함경남도 원산부 출신으로, 작곡가 겸 가수인 맏형 김용환과 성악가인 누나 김안라가 모두 음악인으로 활동한 기독교 가정에서 태어나 자연스럽게 음악을 접했다.
1936년에 뉴코리아레코드에서 형 김용환의 작품인 〈삼번통 아가씨〉를 취입하여 가수로 데뷔했다. 이후 오케레코드로 옮겨 〈항구의 선술집〉(1938)을 불렀고, 이듬해 〈눈물 젖은 두만강〉이 크게 유행하면서 이름을 널리 알리게 되었다.
〈눈물 젖은 두만강〉이 대표곡이긴 하나, 만요 가수로서의 재능이 두드러져 익살스러운 노래를 여러 곡 히트시켰다. 〈왕서방 연서〉, 〈앵화폭풍〉, 〈모던 관상쟁이〉, 〈총각진정서〉, 〈수박행상〉 등이 모두 만요이며, 장세정과 함께 부른 듀엣곡 〈만약에 백만원이 생긴다면은〉, 〈가정전선〉 등이 있다.
태평양 전쟁 종전 후에는 김용환과 함께 태평양가극단을 조직하여 활동하였다. 1960년대에 한국방송 라디오 반공드라마인 《김삿갓 북한 방랑기》의 주제곡으로 〈눈물 젖은 두만강〉이 쓰이면서 다시 주목을 받았다. 이후 이 노래는 오랫동안 애창되어 한국의 대표적인 트로트곡이 되었다.
1980년에 대중가요 가수로는 처음으로 문화훈장 보관장을 수여받았다. 말년에는 미국으로 이민을 떠나 생활하다가 캘리포니아 주에서 사망했다. .... ....