Ha iniziato la carriera nell'immediato secondo dopoguerra grazie all'aiuto del fratello maggiore, con il film I pompieri di Viggiù (1949), poi appare in oltre 100 film assieme ai grandi del cinema italiano (Totò, Vittorio De Sica, Franco Franchi, Ciccio Ingrassia, Alberto Sordi), interpretando ruoli di caratterista soprattutto in commedie e musicarelli.

Tra le sue più gustose interpretazioni è da ricordare quella ne Il medico e lo stregone (1957, regia di Mario Monicelli) e l'allenatore di calcio detto "lo stregone" nel film Il presidente del Borgorosso Football Club.

Carlo Taranto fu attivo anche in campo teatrale, come interprete delle commedie di Scarpetta, Viviani e De Filippo.

Per la televisione è apparso, fra l'altro nello sceneggiato televisivo del 1967 La fiera della vanità; suo figlio Corrado è a sua volta attore. Muore il 4 aprile del 1986 un mese dopo il fratello maggiore Nino in seguito ad un'emorragia interna.