amikor Marcus Garvey megérkezett Harlembe, követőket keresve mozgalmához, Randolph az egyik legerősebb támogatója lett. 1917 tavaszán Randolph, aki akkoriban elismert Harlem soapbox szónok volt, bemutatta Garvey-t egy harlemi közönségnek, és kérte, hogy hallgassák meg a Jamaicai fiatalembert, aki “a társadalmi és faji igazságosság egyik militáns fekete harcosa.,”Randolphot különösen lenyűgözte Garvey azon képessége, hogy lenyűgöző beszédhangjával emberek tömegeit érheti el.
1920-ra azonban Randolph és más befolyásos fekete vezetők elkezdték megkérdőjelezni Garvey motívumait és a Garvey-mozgalom általános megvalósíthatóságát, és a Messengerb kezdett nyilvánosan kritizálni a mozgalmat. Randolph, Owen és mások ellenállása végül a “Garvey Must Go” kampányba torkollott, amely szövetségi beavatkozást és Garvey deportálását követelte., Randolph kifejezetten megkérdőjelezte a fekete hajózási vonal megbízhatóságát és egy univerzális Néger Fejlesztési Szövetség által ellenőrzött Birodalom létrehozását Afrikában.
Randolph továbbra is szókimondó szószólója volt az egyenlőségnek, és vezető szerepet vállalt a foglalkoztatás és a fegyveres erők hátrányos megkülönböztetésének orvoslására irányuló erőfeszítésekben. 1941-ben 10 000 fős menetelést vezetett Washingtonban, hogy demonstráljon a védelmi iparágak tisztességtelen munkakörülményei és diszkriminációja ellen. Randolph vezetése kritikus volt a fegyveres erők szegregációjának vége felé.
Martin Luther King, Jr.,, Randolph volt az egyik fő szervezője a történelmi 1963 Március Washington, amely hozta több mint 200.000 ember Washingtonba, hogy tiltakozzanak a szegregáció és a jogfosztottság. Az egyetemes polgári jogokért végzett élethosszig tartó munkájáért elnyerte az Elnöki Szabadság Érdemrendet.
A. Philip Randolph 1979.május 16-án halt meg New Yorkban.