Geboren wurde Karl Krolow in Hannover, er studierte Germanistik, Romanistik, Kunstgeschichte und Philosophie in Breslau und Göttingen.

Nach dem Krieg arbeitete er als freier Schriftsteller.

Von 1972 bis 1975 war er Präsident der Deutschen Akademie für Sprache und Dichtung in Darmstadt. In Darmstadt lebte er auch seit 1956.

Er war Mitglied des PEN-Zentrums der Bundesrepublik und der Bayerischen Akademie der Schönen Künste in München.

Karl Krolow erhielt den Georg-Büchner-Preis (1956), den Rilke-Preis (1975) und den Hölderlin-Preis (1988).

Bekannt wurde Krolow vor allem durch seine Gedichte. Die Schönheit seiner Prosa-Erzählungen verdanken sich seinem poetischen Umgang mit der Sprache.

Er starb nach einer langen Krankheit am 21. Juni 1999 in Darmstadt