Kiedy Marcus Garvey przybył do Harlemu w poszukiwaniu zwolenników dla swojego ruchu, Randolph stał się jednym z jego najsilniejszych zwolenników. Wiosną 1917 roku Randolph, który w tym czasie był szanowanym oratorem mydelniczki z Harlemu, przedstawił Garvey 'a publiczności z Harlemu i poprosił, aby wysłuchali młodego człowieka z Jamajki, który był” jednym z bojowników czarnych o sprawiedliwość społeczną i rasową.,”Randolph był szczególnie pod wrażeniem zdolności Garvey' a do dotarcia do mas ludzi z jego czarującym, mówiącym głosem.
jednak w 1920 roku Randolph i inni wpływowi Czarni przywódcy zaczęli kwestionować motywy Garveya i ogólną wykonalność ruchu Garveya, a Posłaniec zaczął publicznie krytykować ruch. Opozycja Randolpha, Owena i innych ostatecznie nasiliła się do kampanii „Garvey Must Go” wzywającej do interwencji Federalnej i deportacji Garvey ' a., Randolph w szczególny sposób zakwestionował wiarygodność czarnej linii żeglugowej i utworzenie uniwersalnego, kontrolowanego przez Murzynów imperium w Afryce.
W 1941 roku poprowadził 10-tysięczny marsz na Waszyngton w celu demonstracji przeciwko nieuczciwym warunkom pracy i dyskryminacji w przemyśle obronnym. Przywództwo Randolpha było krytyczne dla zakończenia segregacji w Siłach Zbrojnych.
z ks. Martinem Lutherem Kingiem Jr.,, Randolph był jednym z głównych organizatorów historycznego marszu na Waszyngton w 1963 roku, który przywiózł do Waszyngtonu ponad 200 000 osób, aby zaprotestować przeciwko segregacji i pozbawieniu praw wyborczych. Został odznaczony Prezydenckim Medalem Wolności za całokształt pracy na rzecz powszechnych Praw Obywatelskich.
A. Philip Randolph zmarł 16 maja 1979 roku w Nowym Jorku.