Urodził się w Kcyni na Pałukach, znajdującej się wówczas w zaborze pruskim. Był ósmym z dziesięciorga dzieci stolarza Franciszka Czochralskiego i Marty Suchomskiej. Zgodnie z wolą ojca Jan ukończył Seminarium Nauczycielskie w Kcyni, jednak wyniki egzaminu maturalnego nie spełniły jego oczekiwań. Po otrzymaniu świadectwa, gdy był już pewien, że nie grozi mu za to kara, miał je podrzeć, mówiąc „Proszę przyjąć do wiadomości, że nigdy nie wydano bardziej krzywdzących ocen”. Brak tego dokumentu zamknął młodemu Czochralskiemu drogę do dalszej kariery nauczycielskiej i naukowej. Nie powstrzymało go to jednak od oświadczenia, że wróci w rodzinne strony dopiero wtedy, gdy zdobędzie sławę.

Interesował się chemią. W wieku 16 lat zamieszkał u brata w Trzemesznie koło Rozdrażewa, niedługo potem rozpoczął pracę w aptece w Krotoszynie, gdzie prowadził eksperymenty naukowe w dziedzinie chemii.

W 1904 r. wyjechał do Berlina, gdzie rozpoczął pracę w aptece i drogerii dr A. Herbranda w Altglienicke, a następnie w AEG-Kabelwerk Oberspree. Zajmował się określaniem jakości i czystości rud, olejów, smarów, metali, stopów i ich półproduktów oraz rafinowaniem miedzi. W tym czasie uczęszczał na wykłady chemii na Politechnice w Charlottenburgu pod Berlinem jako wolny słuchacz. Tam także poznał swoją przyszłą żonę, Marguerite Haase, pianistkę pochodzącą z holenderskiej rodziny osiadłej w Berlinie.

W 1906 r. podjął swoje pierwsze prace badawcze w laboratorium firmy Kunheim & Co., a rok później w Allgemeine Elektricitäts-Gesellschaft (AEG), gdzie został kierownikiem działu badania stali i żelaza. W 1910 r. na Politechnice w Charlottenburgu uzyskał dyplom inżyniera chemika.

W latach 1911–1914 był asystentem Wicharda von Moellendorffa, z którym opublikował swoją pierwszą pracę poświęconą krystalografii metali, a dokładniej podwalinom późniejszej teorii dyslokacji. Od tamtej pory właśnie metalografia stała się dziedziną, której Czochralski poświęcił resztę życia. Pierwsze publikacje były poświęcone zastosowaniu aluminium w elektronice. Największy rozgłos przyniosła mu odkryta w 1916 r. metoda pomiaru szybkości krystalizacji metali[8], wykorzystywana obecnie do produkcji monokryształów krzemu. Według popularnej anegdoty metodę tę odkrył przypadkowo, zanurzając pióro w tyglu z gorącą cyną zamiast w kałamarzu.

W 1917 r. przeniósł się do Frankfurtu nad Menem, gdzie został szefem laboratorium metaloznawczego Metallbank und Metallurgische Gesellschaft AG. Tam opracował i w 1924 r. opatentował bezcynowy stop łożyskowy, który wykorzystano w produkcji panewek do ślizgowych łożysk kolejowych. Stop zwany był w Polsce metalem B, a produkowały go zakłady Ursus. Stop spowodował rewolucję w kolejnictwie, przyczyniając się do zwiększenia prędkości i niezawodności ruchu pociągów, co przynosiło liczne oszczędności eksploatacyjne. Wynalazek ten był szczególnie istotny dla gospodarki Niemiec, którą objęto zakazem importu cyny. Patent zakupiony został przez niemiecką kolej (Bahnmetal) oraz liczne państwa, m.in.: USA, ZSRR, Czechosłowację, Francję i Anglię. Metal B był wykorzystywany powszechnie do lat 60. XX wieku, gdy łożyska ślizgowe zastąpiono tocznymi. Metal B pozwolił Czochralskiemu znacznie się wzbogacić. Głównym celem młodego Czochralskiego było jednak wprowadzenie aluminium do elektroniki, a więc pionierskie prace nad technologią produkcji blach, drutów i wyprasek aluminiowych, badanie stopów aluminium i standaryzacja badań metalograficznych. W 1924 r. został wiceprzewodniczącym, a w 1925 r. przewodniczącym Niemieckiego Towarzystwa Metaloznawczego i członkiem honorowym Międzynarodowego Związku Badań Materiałoznawczych w Londynie. Henry Ford zaproponował mu pracę w laboratorium swojej firmy w Detroit, z czego Czochralski jednak nie skorzystał.

W kwietniu 1954 r. zespół Gordona Teala z Texas Instruments skonstruował pierwszy tranzystor z kryształu krzemu wyhodowanego metodą Czochralskiego. Od tego czasu ilość produkowanego w ten sposób krzemu zaczęła rosnąć lawinowo.

Lata 50. XX wieku były okresem, kiedy uczeni z całego świata zaczęli korzystać z najważniejszego wynalazku Czochralskiego – metody krystalizacji. To przynosiło sławę twórcy i zainteresowanie jego osobą. Pierwsze próby rehabilitacji na PW w 1984 r. zakończyły się awanturą. Przy ponownym rozpatrywaniu w 1993 r. senat PW stwierdził, że dokonania Czochralskiego są olbrzymie, ale nie widzi potrzeby i możliwości uchylenia uchwały z 19 grudnia 1945 r. Politechnika Warszawska otrzymała od prokuratur okręgowych w Warszawie, Łodzi i Wrocławiu oraz Głównej Komisji Badania Zbrodni Hitlerowskich informację, że nie istnieją żadne dowody na kolaborację Czochralskiego. Potwierdziły to także archiwa sądu podziemnego Armii Krajowej. W lutym 2011 r. rektor uczelni, prof. Włodzimierz Kurnik, postanowił sięgnąć do dokumentów i definitywnie rozstrzygnąć spór o Czochralskiego. Pod kierownictwem prof. Mirosława Nadera wyruszono na poszukiwanie dokumentów w archiwach. W maju 2011 r. w Archiwum Akt Nowych odnaleziono meldunek Czochralskiego do komendy Głównej AK. Dokument składa się z dwóch kartek i nosi datę 8 czerwca 1944 r. Na stronie pierwszej jest napis „przesyłam informację od prof. Czochralskiego”. Druga to spisany raport do Oddziału II KG AK. Autor podaje, że na terenie zakładu są tartaki i hale kryte drewnem, co ułatwia pożar. Doradza jednak opanowanie, w stosownej chwili, tych magazynów z najrozmaitszym wysokowartościowym sprzętem. Jego treść nie pozostawia wątpliwości co do roli i postawy profesora w tych trudnych latach. 29 czerwca 2011 r. Senat Politechniki Warszawskiej ogłosił rehabilitację Czochralskiego.

Powstaje pytanie, jak Czochralskiemu udawało się przekazywać meldunki do Komendy Głównej AK. Odnaleziony dokument potwierdza współpracę z wywiadem AK (Oddział II). Przypuszcza się, że bezpośrednim odbiorcą meldunków był prof. Stanisław Ostoja-Chrostowski, rzeźbiarz, grafik i malarz. To on kierował referatem Korweta, do którego trafił znaleziony meldunek. Ostoja-Chrostowski i Czochralski spotykali się w salonie prowadzonym w czasie wojny przez Czochralskiego.