Kun Marcus Garvey saapui Harlem etsivät seuraajia hänen liikkeensä, Randolph tuli yksi hänen vahvin kannattajia. Keväällä 1917, Randolph, joka oli tuolloin arvostettu Harlem juhlapuheissa puhuja esitteli Garvey on Harlem yleisö ja pyysi, että he kuuntelevat nuori mies Jamaikalta, joka oli ”yksi musta militantti taistelijat sosiaalinen ja rodullinen oikeutta.,”Randolph oli erityisen vaikuttunut Garveyn kyvystä tavoittaa ihmismassoja syljeskelevällä puheäänellään.
1920, kuitenkin, Randolph ja muut vaikutusvaltainen mustat johtajat olivat alkaneet kyseenalaistaa Garvey motiivit ja yleinen toteutettavuus Garvey liikkeen, ja Messengerbegan julkisesti kritiikkiä liikkeen. Randolphin, Owenin ja muiden vastustus kärjistyi lopulta” Garvey Must Go ” – kampanjaksi, jossa vaadittiin liittovaltion väliintuloa ja Garveyn karkotusta., Randolph kyseenalaisti erityisesti mustan laivaväylän uskottavuuden ja universaalin Negro Improvement Associationin hallitseman imperiumin luomisen Afrikkaan.
Randolph edelleen suorapuheinen puolestapuhuja tasa-arvoa, ja otti johtavan roolin pyrittäessä estämään syrjintää työelämässä ja asevoimien. Vuonna 1941 hän johti 10 000 henkilön marssia Washingtoniin osoittamaan mieltään puolustusteollisuuden epäreiluja työoloja ja syrjintää vastaan. Randolphin johto oli kriittinen erottelun lopettamiseksi asevoimissa.
With Rev. Martin Luther King, Jr., Randolph oli yksi tärkeimmistä järjestäjät historiallinen 1963 Maaliskuussa Washington, joka toi yli 200 000 ihmistä Washington protestoida erottelu ja riistoa. Hänelle myönnettiin presidential Medal of Freedom elinikäisestä työstään yleismaailmallisten kansalaisoikeuksien hyväksi.
A. Philip Randolph kuoli 16.toukokuuta 1979 New Yorkissa.