Als Marcus Garvey in Harlem ankam und Anhänger für seine Bewegung suchte, wurde Randolph einer seiner stärksten Unterstützer. Im Frühjahr 1917 präsentierte Randolph, der zu dieser Zeit ein angesehener Harlemer Seifenkistenredner war, Garvey einem Harlemer Publikum und bat darum, dem jungen Mann aus Jamaika zuzuhören, der „einer der militanten schwarzen Kämpfer für soziale und rassische Gerechtigkeit“ war.,“Randolph war besonders beeindruckt von Garveys Fähigkeit, Massen von Menschen mit seiner faszinierenden Sprechstimme zu erreichen.
Bis 1920 hatten Randolph und andere einflussreiche schwarze Führer jedoch begonnen, Garveys Motive und die allgemeine Machbarkeit der Garvey-Bewegung in Frage zu stellen, und der Messengerbegann, die Bewegung öffentlich zu kritisieren. Die Opposition von Randolph, Owen und anderen eskalierte schließlich in die Kampagne“ Garvey Must Go“, in der Bundesintervention und Garveys Deportation gefordert wurden., Randolph stellte insbesondere die Plausibilität einer schwarzen Reederei und die Schaffung eines universellen von der Negro Improvement Association kontrollierten Reiches in Afrika in Frage.
Randolph war weiterhin ein ausgesprochener Verfechter der Gleichstellung und nahm eine führende Rolle bei den Bemühungen zur Beseitigung von Diskriminierung in Beschäftigung und Streitkräften ein. 1941 führte er einen 10.000-Personen-Marsch nach Washington, um gegen unfaire Arbeitsbedingungen und Diskriminierung in der Verteidigungsindustrie zu demonstrieren. Randolphs Führung war entscheidend für das Ende der Segregation in den Streitkräften.
Mit Rev. Martin Luther King, Jr, Randolph war einer der Hauptorganisatoren des historischen Marsches 1963 auf Washington, der über 200.000 Menschen nach Washington brachte, um gegen Segregation und Entrechtung zu protestieren. Er erhielt die Presidential Medal of Freedom für seine lebenslange Arbeit für universelle Bürgerrechte.
A. Philip Randolph starb am Mai 16, 1979, in New York City.