Настоящее имя — Алексей.
Родился 9 марта 1908 года в Петербурге.
Работал слесарем на Ленинградском машиностроительном заводе.
Учился в театральных мастерских (ТЕМАС), в 1934 году окончил Ленинградский институт сценических искусств, мастерская Е.В. Червякова.
В кино Кмит начал сниматься с 1928 года, тогда ещё немом. С началом эры звукового собирался расставаться с профессией из-за своего заикания. Но однажды он упал на даче в заснеженный колодец, и от сильного испуга заикание прошло теперь уже навсегда.
В 1939 году актёр из-за переломанной перегородки носа, которая мешала дышать, вынужден был сделать пластическую операцию. Курносый нос “уточкой” стал прямым, пропали задор и непосредственность чапаевского Петьки — самой яркой роли Леонида Кмита.
В 1936-1939 годах — актёр Центрального театра Красной Армии, в 1942-1945 годах — актёр военных ансамблей, с 1957 года — актёр Театра-студии киноактёра.
Заслуженный артист РСФСР (1935).
Народный артист РСФСР (1968).
Ушёл из жизни 10 марта 1982 года в Москве. Похоронен актёр на Кунцевском кладбище Москвы (участок № 10).