När Marcus Garvey anlände till Harlem som söker anhängare för sin rörelse blev Randolph en av hans starkaste anhängare. Under våren 1917 presenterade Randolph, som då var en respekterad Harlem soapbox orator, Garvey för en Harlem-publik och frågade att de lyssnade på den unga mannen från Jamaica som var ”en av de militanta svarta fighters för social och rasrättvisa.,”Randolph var särskilt imponerad av Garveys förmåga att nå massor av människor med sin trollbindande talande röst.
1920, men Randolph och andra inflytelserika svarta ledare hade börjat ifrågasätta Garvey motiv och den övergripande genomförbarheten av Garvey rörelsen, och Messengerbörjade offentligt kritisera rörelsen. Oppositionen av Randolph, Owen och andra eskalerade så småningom till ”Garvey Must Go” – kampanjen som krävde federal intervention och Garveys utvisning., Randolph ifrågasatte specifikt rimligheten hos en svart fraktlinje och skapandet av ett universellt Negroförbättringsförbund-kontrollerat imperium i Afrika.
Randolph fortsatte att vara en frispråkig förespråkare för jämlikhet och tog en ledande roll i ansträngningarna för att rätta till diskriminering i sysselsättning och väpnade styrkor. 1941 ledde han en 10,000-person marsch på Washington för att demonstrera mot orättvisa arbetsförhållanden och diskriminering inom försvarsindustrin. Randolphs ledarskap var avgörande för slutet på segregationen i de väpnade styrkorna.
Med Rev. Martin Luther King, Jr.,, Randolph var en av de viktigaste organisatörerna av den historiska 1963 Mars på Washington, som förde över 200 000 människor till Washington för att protestera mot segregation och disenfranchisement. Han tilldelades presidentens frihetsmedalj för sitt livslånga arbete för universella medborgerliga rättigheter.
A. Philip Randolph dog den 16 Maj 1979, i New York.