Når Marcus Garvey ankom i Harlem søger tilhængere for sin bevægelse, Randolph blev en af hans stærkeste tilhængere. I foråret 1917 præsenterede Randolph, der på det tidspunkt var en respekteret Harlem soapbo.orator, Garvey for et Harlem-publikum og bad om, at de lytter til den unge mand fra Jamaica, der var “en af de militante sorte krigere for social og racemæssig retfærdighed.,”Randolph var især imponeret over Garvey’ s evne til at nå masser af mennesker med sin fortryllende talende stemme.
i 1920 var Randolph og andre indflydelsesrige sorte ledere imidlertid begyndt at stille spørgsmålstegn ved Garvey ‘ s motiver og den samlede gennemførlighed af Garvey-bevægelsen og Messengerbegyndte at kritisere bevægelsen offentligt. Oppositionen fra Randolph, O .en og andre eskalerede til sidst ind i “Garvey Must Go” – kampagnen, der krævede føderal indgriben og Garvey ‘ s udvisning., Randolph satte specifikt spørgsmålstegn ved plausibiliteten af en sort rederi og oprettelsen af et Universal Negro Improvement Association-kontrolleret imperium i Afrika.
Randolph fortsatte med at være en åbenhjertig fortaler for ligestilling, og tog en ledende rolle i bestræbelserne på at afhjælpe forskelsbehandling i beskæftigelsen og de væbnede styrker. I 1941 ledede han en 10,000-personers march på Washingtonashington for at demonstrere mod urimelige arbejdsvilkår og diskrimination i forsvarsindustrien. Randolph ‘ s ledelse var afgørende for afslutningen af adskillelse i de væbnede styrker.
med Rev. Martin Luther King, Jr.,, Randolph var en af de vigtigste arrangørerne af den historiske Marts 1963 i Washington, som bragte over 200.000 mennesker til Washington for at protestere adskillelse og fratagelse af stemmeret. Han blev tildelt præsidentmedaljen for frihed for sit livslange arbejde for universelle borgerlige rettigheder.
A. Philip Randolph døde den 16.maj 1979 i Ne. York City.