Hároméves volt, amikor rosszindulatú daganat retinoblasztóma (ideghártya-daganat) miatt eltávolították a jobb szemét. Kivehető üvegszemet kapott, mellyel időnként tréfákat is megengedett magának. Kamaszként egy baseball-mérkőzésen kiállította a játékvezető, mire Falk kivette az üvegszemét, hogy átnyújtsa neki ezzel a megjegyzéssel: „Próbáld ezzel.”
Művészi pályája során olykor diszkriminációk érték a hiányzó szeme miatt. A Columbia Pictures igazgatója állítólag ezzel a felkiáltással utasította el: „Ennyi pénzért kétszemű színészt is kaphatok!” Rajongói közül azonban sokan kifejezetten vonzónak találták különös tekintetét.
Kamaszként az ossiningi középiskolába járt, ahol osztályelső volt. Érettségije megszerzését követően szakács lett az Amerikai Egyesült Államok kereskedelmi flottájánál. Később a New School for Social Research intézményében politológiát tanult, 1951-ben végzett. A következő három évben a Hamilton Egyetem hallgatója lett Clintonban. 1953-ban a Syracuse Universityn egyetemi szintű diplomát szerzett közigazgatásból. Megpályázott egy állást a CIA-nál, de nem vették fel, ezért a hartfordi Connecticut State Budget Bureau-nál helyezkedett el mint gazdasági elemző.
Tizenkét évesen lépett először a színpadra, de később a középiskolában jobban érdekelte az atlétika és a háború, szövetségi ügynök szeretett volna lenni. Felnőttként munka mellett a westporti White Barn Theatre-nél színészi tanulmányokat folytatott, mert felkeltette érdeklődését ez a pálya, és elhatározta, hogy színész lesz. 1956-ban otthagyta az állását, és Greenwich Village-be ment.
Az off-Broadwayn debütált 1956. január 3-án Molière Don Juan című darabjában, melyet a Fourth Street Theatre tűzött műsorára. Még ugyanabban az évben a Broadwayn is színpadra lépett George Bernard Shaw Szent Johanna című darabjában, egy angol katona szerepében, Siobhán McKenna partnereként. Az 1960-as évek elején, mind a filmvásznon, mind a tévéképernyőn felhívta magára a figyelmet.
Kétszer jelölték a tévés produkciók számára létrehozott Emmy-díjra, amit második alkalommal meg is kapott, illetve kétszer jelölték a legjobb férfi mellékszereplőnek járó Oscar-díjra. Taxisofőrt játszott Stanley Kramer Bolond, bolond világ című alkotásában, melyben Spencer Tracy is szerepelt.
A Columbo 1968-ban kezdődött A recept: gyilkosság című epizóddal. A folytatás csak három év múlva következett, mivel a színész habozott, hogy elvállalja-e a sorozatot. Az 1971-ben sugárzott második részt – Váltságdíj egy halottért – a magyar közönség moziban láthatta először. Ezzel az epizóddal valóban elindult a Columbo-sorozat, amely nemcsak az Amerikai Egyesült Államokban, hanem az egész világon rendkívül népszerű lett.
Columbo megformálásáért Peter Falkot tízszer jelölték Emmy-díjra (ötször nyert), és kilencszer Golden Globe-ra, melyet egyszer nyert el. Columbo rosszul öltözött, látszólag lassú észjárású nyomozó, aki azonban mindig mindegyik ügyét sikeresen megoldja. Módszere, hogy különösen odafigyel az apró, egymásnak ellentmondó részletekre, és azokból kiindulva leplezi le a tettest.
A gyanúsítottak gyakorlatilag mindig elkövetik azt a súlyos hibát, hogy nem veszik elég komolyan Columbót, aki olykor felidegesíti őket azzal, hogy a távozás pillanatában az ajtóból fordul vissza, hogy még valamit kérdezzen, és feltárjon egy kulcsfontosságú ellentmondást. A magyar nyelvű változatokban Columbo hadnagy szinkronhangját Szabó Gyula adta.
A sorozat harmadik részét (Ahogy a könyvben meg van írva) a pályakezdő Steven Spielberg rendezte, egy 1978-as epizódot (Az ínyenc gyilkos) pedig Jonathan Demme. A széria népszerűségét jelzi, hogy az évek folyamán nagy sztárok is szívesen vállaltak benne szerepet, voltak, akik többször is: Patrick McGoohan (Falk jó barátja) négyszer, Robert Culp és Jack Cassidy háromszor, George Hamilton kétszer. A rekorder Falk felesége, Shera Danese, aki hat epizódban játszott. Alkalmi vendégsztár volt – a teljesség igénye nélkül – Leslie Nielsen, Leonard Nimoy, William Shatner, Robert Vaughn, Laurence Harvey vagy Nicol Williamson is.
A sorozatból sokáig nem lehetett megtudni, mi Columbo igazi keresztneve. Peter Falk egy újságírói kérdésre viccesen azt válaszolta, hogy „hadnagy”. A sorozat rajongói azonban nem elégedtek meg ennyivel és az egyik epizódban észrevették, hogy Columbo rendőr igazolványán (száma: 69421-O) olvasható a keresztnév is, melyen az állt, hogy Frank Columbo. Columbo hadnagy nyomozásai során gyakran hivatkozott feleségére, aki nem volt szereplő, és a 69 epizód alatt nevét (Rose) is csak egy ízben említette.
A sorozatban szinte főszerepet játszott az autója is, mely a karakteréhez jól illő 1959-es Peugeot 403-as. Az egyetlen extra az URH-rádió volt az autóban, melynek az volt az ismérve, hogy nem indult elsőre. Ezt a példányt egyébként Peter Falk személyesen választotta ki a Universal Studios egyik parkolójából.
Az 1980-as évek terméséből Wim Wenders azóta klasszikussá vált filmje, a "Berlin felett az ég" emelkedik ki, amelyben a színész lényegében önmagát alakította, egy filmsztárt. A rendező így nyilatkozott a megosztott Berlinben játszódó filmjéről:
1995-ben Falk Woody Allen partnereként komédiázott Neil Simon egyik legnépszerűbb darabja, a Napsugár fiúk televíziós feldolgozásában. 1998-ban a művész visszatért az off-Broadwayre, ahol Arthur Miller egyik darabjában (Mr. Peters' Connections) lépett színpadra, de sikere volt David Mamet Glengarry Glenn Ross című darabjában is, Shelley Levene szerepében.
Megromlott egészségi állapota miatt a Columbo tervezett utolsó epizódját 2007-ben végül nem készítették el. Az NBC programigazgatója, Charles Engel szerint senkit nem érdekelne egy olyan krimi, melynek főszereplője már túl van a nyolcvanon, és a mai közönség egyébként is másfajta tempójú filmekhez szokott a tévében is.
Peter Falk 1960. április 17-én nősült először, Alyce Mayóval. A házaspár két gyereket fogadott örökbe: Catherine-t és Jackie-t. (Catherine később magánnyomozó lett.) Falk és Mayo tizenhat év házasság után 1976-ban vált el. A színész 1977. december 3-án nősült másodszor: Shera Danese színésznőt vette el. Második házassága harmonikus volt és 34 évig tartott egészen a színész haláláig.
Élete vége felé azonban aggasztó hírek keringtek Peter Falk megromlott egészségi állapotáról és arról, hogy Alzheimer-kórban szenvedett. Például 2008-as sajtóhírek szerint egy ízben öntudatlan állapotban randalírozott az utcán. Catherine lánya ugyanabban az évben kezdeményezte gondnokság alá helyezését, mivel Falk állítólag már legközelebbi hozzátartozóit sem ismerte fel, és félő volt, hogy esetleg kárt tehet magában, illetve csalók használják ki a helyzetét. Több évnyi betegség után, 83 éves korában Beverly Hills-i otthonában hunyt el, 2011. június 23-án.