Em 1960, após deixar o conjunto de Miles, Coltrane iniciou uma nova fase, liderando um quarteto com McCoy Tyner ao piano, Jimmy Garrison ao contrabaixo e Elvin Jones à bateria, e iniciou uma ousada e inédita exploração do espaço sonoro jazzístico. Coltrane desenvolveu um estilo absolutamente próprio, onde predominavam as chamadas sheets of sound (folhas ou camadas de som), que se compunham de longas frases de notas rápidas tocadas em legato. Coltrane embarca numa radicalização da harmonia que o leva à beira do atonalidade. Também fragmenta e desconstrói os temas, deixando-os quase irreconhecíveis sob um congestionamento de frases torturadas. A produção do quarteto de Coltrane entre 1960 e 1965 é um marco na história do jazz, comparável ao quinteto de Miles. As várias, longuíssimas e impressionantes versões de Coltrane para My Favorite Things, valsa aparentemente banal de Rodgers e Hammerstein, são antológicas. Em 1965 o quarteto cria aquela que é unanimemente considerada sua obra-prima, a suíte em quatro movimentos "A Love Supreme".