Adolf era mezinul unei familii numeroase. Avea un frate vitreg mai mare, Alois Junior, și o soră vitregă, Angela, din prima căsătorie a tatălui său cu Franziska Matzelsberger. După moartea ei, Alois se căsătorise cu verișoara lui, Klara Pölzl, cu care a avut șase copii, dintre care doar doi au supraviețuit – Adolf și sora lui mai mică, Paula. Doi dintre cei patru frați ai lui Hitler au murit înainte să se nască el, iar altul, pe când Hitler avea aproape zece ani. Johanna, sora Klarei, căreia i se spunea „Hanitante” (Mătușa Hani), a fost un personaj important în viețile lor. Munca lui Alois a făcut ca în curând întreaga familie să plece din casa lor de pe strada Salzburger Vorstadt și să se mute în apropiere, la Hafeld și Lambach. A lucrat o perioadă și în Passau, un oraș german de graniță. Alois s-a retras în cele din urmă la Leonding pe 3 ianuarie 1903, unde s-a prăbușit și a murit după un pahar de vin servit la o oră matinală într-un han local.
Klara, văduvă acum, s-a mutat cu familia mai întâi la Linz, apoi la Urfahr, pe celălalt mal al Dunării. Educația lui Hitler a continuat la Staats Realschule. Școala de stat din Linz era cunoscută pentru simpatiile sale naționaliste germane și antihabsburgice. După ce s-a descurcat bine în primii ani de școală, Adolf a devenit un elev lăsător, cu absențe frecvente, obținând note mari doar la desen și la sport, și doar un „satisfăcător” pentru efort. Deși s-a alăturat unor diverse organizații culturale când era în Linz și Urfahr, precum Linzer Musealverein, Oberösterreichischer Musikalverein și Oberösterreichischer Volksbildungsverein, nu avem dovezi contemporane cu privire la vreun angajament politic. Nimic nu sugerează nici că Hitler l-ar fi cunoscut pe colegul său Ludwig Wittgenstein, devenit ulterior un filozof faimos. Într-un fel sau altul, Hitler a fost un biet elev, forțat să repete un an înainte să abandoneze într-un final școala la vârsta de șaisprezece ani.
