Když Marcus Garvey dorazil v Harlemu, kteří hledají následovníky pro jeho pohyb, Randolph se stal jedním z jeho nejsilnější podporovatelé. Na jaře 1917 Randolph, který byl v té době respektovaným řečníkem Harlem soapbox, představil Garvey publiku Harlem a požádal, aby poslouchali mladého muže z Jamajky, který byl „jedním z militantních černých bojovníků za sociální a rasovou spravedlnost.,“Randolph byl zvláště dojem tím, Garvey je možnost oslovit masy lidí, s jeho okouzlující hlas.
v roce 1920, nicméně, Randolph a dalších vlivných černá představitelé začali pochybovat Garvey motivy a celkovou proveditelnost Garveyho hnutí, a Messengerbegan veřejně kritika hnutí. Opozice Randolpha, Owena a dalších nakonec eskalovala do kampaně „Garvey Must Go“ požadující federální intervenci a garveyovu deportaci., Randolph konkrétně zpochybnil věrohodnost černé lodní linky a vytvoření univerzální černošské říše řízené asociací v Africe.
Randolph pokračoval být vyhlášený advokát pro rovnost, a vzal vedoucí roli v úsilí k nápravě diskriminace v zaměstnání a ozbrojených sil. V roce 1941 vedl Pochod 10 000 osob na Washington, aby demonstroval proti nespravedlivým pracovním podmínkám a diskriminaci v obranném průmyslu. Randolphovo vedení bylo rozhodující pro konec segregace v ozbrojených silách.
S rev. Martinem Lutherem Kingem, Jr.,, Randolph byl jedním z hlavních organizátorů historické 1963. Března na Washingtonu, který přinesl více než 200 000 lidí do Washingtonu na protest proti segregaci a nerovnoprávnost. Za celoživotní práci za Všeobecná občanská práva získal prezidentskou medaili svobody.
a. Philip Randolph zemřel 16. května 1979 v New Yorku.