Il est né le 16 septembre 1927 à New-York (New-York, USA), d'origine italienne et hongroise. A trois 3 ans, il perd son oeil droit à la suite d'une opération chirurgicale. Doté d'un oeil de verre, Peter Falk n'a pas pour autant une vue étriquée sur son avenir. Passionné depuis toujours par la comédie, il prend le temps qu'il faut pour en faire son gagne pain. Ce sont pourtant des études de sciences politiques et de droit administratif qu'il suit au Hamilton College de New-York puis à l'université de Syracuse.
Diplomé, il devient employé des services du budget de l'Etat du Connecticut. Parallèlement à ses activités comptables, il joue déjà les comédiens amateurs et il ne faut guère de temps pour qu'il tente une carrière professionnelle au milieu des années 50 tout en appofrondissant l'art de la comédie sous la direction de Jack Landau et Stanford Meisner.Faisant ses débuts sur les planches loin de Broadway, il parvient cependant à attirer l'atention des professionnels. C'est ainsi qu'il débute dans la série "Naked city". En 1960, il est nominé aux Oscars pour son rôle dans "Crime, société anonyme". Puis il apparait dans un épisode de la série "Alfred Hitchcok présente". En 1961, Falk est de nouveau nominé pour l'Oscar du meilleur second rôle pour "Milliardaire pour un jour" de Frank Capra. Il se fait remarquer en jouant Staline dans "The passion of Joseph D." à Broadway. Par la suite, il apparaît dans les séries "Les incorruptibles", "La quatrième dimension" ou "Dick Powell show". En 1965, on lui propose le premier rôle de la série "The trials of O'Brien" dans laquelle il croisera une future star Faye Dunaway. La série ne durera qu'une saison de 1965 à 1966.