Durante os anos seguintes Coltrane rodou em vários grupos sem se fixar, e só alcançou a fama depois que começou a refinar seu som sob a tutela de Miles Davis.

De 1955 a 1960 fez parte do histórico quinteto-sexteto de Miles Davis, tendo participado de discos memoráveis como Cookin', Relaxin', Steamin', Workin', Milestones e Kind of Blue. Essa foi a sua primeira grande fase, musicalmente falando, embora tenha sido um período difícil em sua vida pessoal, devido a um vício em heroína adquirido no final dos anos 40. (Esse problema foi o motivo de Miles o demitir e recontratar duas vezes, em 1956 e 1957.) Enquanto estava com Davis, também fez várias gravações como sideman, e em 1957 fez sua primeira gravação como líder.