toen Marcus Garvey in Harlem aankwam op zoek naar volgelingen voor zijn beweging, werd Randolph een van zijn sterkste supporters. In het voorjaar van 1917, Randolph, die op dat moment een gerespecteerde Harlem zeepkist redenaar, presenteerde Garvey aan een Harlem publiek en vroeg dat ze luisteren naar de jonge man uit Jamaica die was “een van de militante zwarte strijders voor sociale en raciale rechtvaardigheid.,”Randolph was vooral onder de indruk van Garvey’ s vermogen om massa ‘ s mensen te bereiken met zijn betoverende sprekende stem.in 1920 begonnen Randolph en andere invloedrijke zwarte leiders Garvey ‘ s motieven en de algehele haalbaarheid van de Garvey-beweging in twijfel te trekken, en de Messenger begonnen de beweging publiekelijk te bekritiseren. De oppositie van Randolph, Owen en anderen escaleerde uiteindelijk in de “Garvey Must Go” campagne waarin werd opgeroepen tot federale interventie en Garvey ‘ s deportatie., Randolph stelde specifiek de plausibiliteit van een black shipping line in vraag en de oprichting van een Universal Negro Improvement Association-gecontroleerd imperium in Afrika.
Randolph bleef een uitgesproken pleitbezorger voor gelijkheid, en nam een leidende rol op zich in de inspanningen om discriminatie in arbeid en het leger tegen te gaan. In 1941 leidde hij een 10.000-persoons Mars naar Washington om te demonstreren tegen oneerlijke arbeidsomstandigheden en discriminatie in de defensie-industrie. Randolph ‘ s leiderschap was van cruciaal belang voor het einde van de segregatie in de strijdkrachten.
met Rev. Martin Luther King, Jr., Randolph was een van de belangrijkste organisatoren van de historische Mars op Washington in 1963, die meer dan 200.000 mensen naar Washington bracht om te protesteren tegen segregatie en ontzegging van het recht. Hij werd bekroond met de presidential Medal of Freedom voor zijn levenslange werk voor universele burgerrechten.Philip Randolph overleed op 16 mei 1979 in New York City.