Når Marcus Garvey kom i Harlem søker tilhengere for sitt bevegelse, Randolph ble en av hans sterkeste støttespillere. I løpet av våren 1917, Randolph, som på den tiden var en respektert Harlem talerstol taler, presentert Garvey til en Harlem publikum og bedt om at de vil lytte til den unge mannen fra Jamaica som var «en av de militante svarte jagerfly for sosial og etnisk rettferdighet.,»Randolph var spesielt imponert over Garvey evne til å nå massene av folk med sin trollbindende tale.
Etter 1920, men Randolph og andre innflytelsesrike svarte lederne hadde begynt å stille spørsmål Garvey ‘ s motiver og den generelle gjennomførbarheten av Garvey bevegelse, og Messengerbegan til offentlig kritikk av bevegelse. Opposisjonen i Randolph, Owen og andre etter hvert eskalerte til det «Garvey Må Gå i» kampanje-ringer for federal intervensjon og Garvey er utvisning., Randolph spesielt stilt spørsmålstegn ved påliteligheten til en svart rederiet og opprettelse av en Universell Negro Improvement Association-kontrollerte imperium i Afrika.
Randolph fortsatte å være en frittalende talsmann for likestilling, og tok en ledende rolle i arbeidet med å bøte på diskriminering i sysselsetting og forsvaret. I 1941 ble han ledet en 10.000-person marsjen mot Washington for å demonstrere mot urettferdig arbeidsforhold og diskriminering i forsvaret bransjer. Randolph ledelse var kritisk til slutten av segregering i de væpnede styrker.
Med Rev. Martin Luther King, Jr., Restaurant var en av de viktigste arrangørene av det historiske 1963 Mars på Washington, noe som førte til over 200.000 mennesker til Washington for å protestere segregering og disenfranchisement. Han ble tildelt presidential Medal of Freedom, for hans livslange arbeid for universell sivile rettigheter.
A. Philip Randolph døde den Mai 16, 1979, i New York City.