Quando Marcus Garvey arrivò ad Harlem in cerca di seguaci per il suo movimento, Randolph divenne uno dei suoi più forti sostenitori. Nella primavera del 1917, Randolph, che all’epoca era un rispettato oratore di Harlem soapbox, presentò Garvey ad un pubblico di Harlem e chiese di ascoltare il giovane giamaicano che era “uno dei combattenti neri militanti per la giustizia sociale e razziale.,”Randolph fu particolarmente colpito dalla capacità di Garvey di raggiungere masse di persone con la sua voce parlante affascinante.
Nel 1920, tuttavia, Randolph e altri influenti leader neri avevano iniziato a mettere in discussione le motivazioni di Garvey e la fattibilità complessiva del movimento Garvey, e il Messengerha iniziato a criticare pubblicamente il movimento. L’opposizione di Randolph, Owen e altri alla fine si trasformò nella campagna “Garvey Must Go” che chiedeva l’intervento federale e la deportazione di Garvey., Randolph in particolare messo in discussione la plausibilità di una linea di spedizione nera e la creazione di un impero controllato da Universal Negro Improvement Association in Africa.
Randolph ha continuato ad essere un sostenitore schietto per l’uguaglianza, e ha assunto un ruolo di primo piano negli sforzi per rimediare alla discriminazione nel mondo del lavoro e le forze armate. Nel 1941 guidò una marcia di 10.000 persone su Washington per manifestare contro le condizioni di lavoro ingiuste e la discriminazione nelle industrie della difesa. La leadership di Randolph era fondamentale per la fine della segregazione nelle forze armate.
Con il Rev. Martin Luther King, Jr., Randolph fu uno dei principali organizzatori della storica Marcia del 1963 su Washington, che portò oltre 200.000 persone a Washington per protestare contro la segregazione e la privazione dei diritti umani. È stato insignito della Medaglia presidenziale della Libertà per il suo lavoro per tutta la vita per i diritti civili universali.
A. Philip Randolph morì il 16 maggio 1979 a New York.