Cuando Marcus Garvey llegó a Harlem en busca de seguidores para su movimiento, Randolph se convirtió en uno de sus más fuertes partidarios. En la primavera de 1917, Randolph, que en ese momento era un respetado orador de Harlem, presentó a Garvey a una audiencia de Harlem y les pidió que escucharan al joven de Jamaica que era «uno de los combatientes negros militantes por la justicia social y racial.,»Randolph estaba particularmente impresionado por la capacidad de Garvey para llegar a las masas de personas con su fascinante voz.
en 1920, sin embargo, Randolph y otros líderes negros influyentes habían comenzado a cuestionar los motivos de Garvey y la viabilidad general del movimiento Garvey, y el Messengerbegan a criticar públicamente el movimiento. La oposición de Randolph, Owen y otros finalmente se intensificó en la campaña» Garvey Must Go » que pedía la intervención federal y la deportación de Garvey., Randolph cuestionó específicamente la plausibilidad de una línea naviera negra y la creación de un imperio controlado por la Asociación Universal de Mejoramiento Negro en África.
Randolph siguió siendo un defensor Abierto de la igualdad, y asumió un papel de liderazgo en los esfuerzos para corregir la discriminación en el empleo y las Fuerzas Armadas. En 1941 dirigió una marcha de 10.000 personas en Washington para manifestarse contra las condiciones de trabajo injustas y la discriminación en las industrias de defensa. El liderazgo de Randolph fue crítico para el fin de la segregación en las Fuerzas Armadas.
con el Rev. Martin Luther King, Jr.,, Randolph fue uno de los principales organizadores de la histórica marcha de 1963 sobre Washington, que llevó a más de 200.000 personas a Washington para protestar contra la segregación y la privación de derechos. Fue galardonado con la Medalla Presidencial de la libertad por su trabajo de toda la vida por los derechos civiles universales.
A. Philip Randolph murió el 16 de mayo de 1979, en la ciudad de Nueva York.