Poté, co nebyl přijat na gymnázium v Horní Plané ho poslal dědeček proti jeho vůli do latinské školy benediktinů v hornorakouském Kremsmünsteru. Zde se zrodil jeho cit pro přírodu, literaturu a umění. Stifter později toto období označil jako nejhezčí v jeho životě. Studia ukončil s vynikajicími výsledky. Zde také začal potají psát své první básně.

Následovala studia práv na Vídeňské univerzitě (1826-1832). Často se vracel do svého rodného kraje, mj. do Frymburku za svou nenaplněnou láskou Fanny Greiplovou, která později byla součástí řady jeho básní. Od roku 1848 působil v rakouském Linci, byl několikrát vyznamenán císařskými medailemi a uznáván za své vědecké práce. Většinu děje svých literárních děl zasadil do šumavské přírody a nezřídka také psal o svém dětství v Horní Plané. Ne nadarmo je přezdíván "básníkem Šumavy".

Zemřel roku 28. ledna 1868 v Linci. Stifterův rodný dům v Horní Plané čp. 21 v současnosti slouží jako memoriální expozice provázející jeho životem a dílem. Na vrcholu Plechý nad Plešným jezerem se nachází Stifterův pomník.