V roku 1971 absolvoval Elektrotechnickú fakultu SVŠT, odbor fyzika tuhých látok

Od začiatku 70-tych rokov pracoval v Ústave technickej kybernetiky SAV. V 80-tych rokoch bol jednou z kľúčových osobností slovenského disentu. Podieľal sa na aktivitách podzemnej univerzity. Po novembri 1989 sa stal poslancom Federálneho zhromaždenia ČSFR, po voľbách 1990 bol vymenovaný za Federálneho ministra vnútra ČSFR. V tejto funkcii sa v podstatnej miere zaslúžil o rekonštrukciu FMV a o zrušenie a rozpustenie ŠtB.

Celoživotným dielom Jána Langoša bol zápas proti komunizmu, o ktorom bol bytostne presvedčený ako o zle pre jednotlivca i spoločnosť. Jeho úsilie o odkrytie plnej pravdy o nemorálnom a protiprávnom komunistickom režime vyvrcholilo v auguste 2002 schválením Zákona č. 553/2002 Z.z. o pamäti národa a zriadením Ústavu pamäti národa, ktorý naďalej zostane nositeľom a realizátorom myšlienok Jána Langoša.

Bol ženatý, mal dve dcéry.