Rodina se záhy po jeho narození přestěhovala do Rakouska. Ve věku deseti let mu zemřela matka. V letech 1892–1896 byl v učení u svého strýce fotografa v Klagenfurtu. Citově strádal a v roce 1896 se pokusil o sebevraždu na matčině hrobě. Trpěl halucinacemi a jeho psychická krize vyvrcholila v době jeho vojenského výcviku v Laibachu. Byl hospitalizován a posléze propuštěn z armády. V letech 1898–1906 studoval na mnichovské akademii, studiu se příliš nevěnoval, zato navázal řadu významných kontaktů například s Kleem, Feiningerem a Marcem. Nová psychická krize jej postihla poté, co náhle zemřela jeho první snoubenka. Zklidnění nastalo po sňatku s Hedwig Gründler, se kterou se přestěhoval do malého zámečku v rakouském Zwickledtu, kde v pilné práci strávil celý zbytek života. V roce 1909 se stal členem Neue Künstlervereinigung München a v roce 1911 skupiny Der Blaue Reiter. V roce 1909 vydal fantastický román Die andere Seite (Země snivců), který bývá srovnáván s Kafkovým Zámkem. Již v mládí se přátelil se spisovateli z pražského literárního okruhu Maxe Broda, později se stal členem Prager Secession a velmi často zajížděl na Šumavu.