Embora vindo do hard bop, o Coltrane de 1955 a 1965 já podia ser considerado em certo sentido um precursor do free jazz. Porém em 1965 sua ligação com a vanguarda se torna ainda mais direta, quando se une a músicos free como o baterista Rashied Ali, os saxtenoristas Archie Shepp e Pharoah Sanders, entre outros. Sua mulher, a pianista Alice Coltrane, também o acompanha nessa nova, arrojada e curta fase. O disco Ascension é uma obra-prima desse período, já desvinculado da harmonia tonal. Bastante religioso, Coltrane imprimiu às suas obras de 1965-1967 um forte conteúdo religioso e místico.

Tragicamente, antes de 1966 sua saúde estava começando a falhar: alguns culparam o excesso de trabalho, pelo fato de Coltrane praticar até 12 horas por dia. Ele faleceu no dia 17 de julho de 1967 de câncer no fígado e foi enterrado em Farmingdale, New York.