1877年7月2日黑塞出生于德国南部席瓦本地方的小镇卡尔夫，父母都信仰虔诚，他是次子。席瓦本地方曾产生过伟大的剧作家席勒，以童话闻名的赫夫，与以诗人扬名天下的赫尔达林和梅里克。这个文人辈出的地方，自古以来政治较为落后，但在文学、哲学以及神学的精神领域中却出现了许多杰出的人物。
父亲约翰涅斯·黑塞是巴鲁特地区的俄裔德人，和母亲的祖父赫尔曼·肯德尔特一样，青年时代参加瑞士的传道团前往印度传道，后因健康欠佳而回国，担任肯德尔特的助手，从事宗教书籍的出版。不久，和肯德尔特的女儿，当时是未亡人的玛丽结婚。母亲是法裔瑞士人，具有音乐才华，感受力敏锐。父亲聪明而善良，给人求道者的孤独感觉。继承父母血统的黑塞，幼小时即对音乐感兴趣，后来也追求宗教思想，不仅对希腊、拉丁的思想，甚至对印度、中国的智慧，以及日本的禅产生浓厚的兴趣，可以说其来有自。
4岁时由于父亲工作的关系，迁居到瑞士的巴塞尔市。在巴塞尔，家的后面就是广袤的原野，在接近大自然，和动物、植物交朋友的同时，也帮助他培养丰富的想象力。未来的诗人——黑塞早在这样的环境中打好了根基。1886年，一家人再度回到德国的卡尔夫。黑塞9岁时进入拉丁语学校就读。
想要继承父亲的圣职，成为优秀的牧师，就必须参加每年夏天在威尔丁堡州举行的州试。为突破这个难关，黑塞被送到第一流的杜宾根拉丁语学校。通过州试的人允许到有传统的墨尔布隆神学预备学校求学，而且能以公费资格进入大学，并保证日后可以终身担任牧师这项圣职。
1891年7月，黑塞14岁，果然通过了州试，9月进入墨尔布隆神学预备学校，开始过寄宿生的生活。这在《在轮下》（心灵的归宿）中有详细的叙述。入学后不久，他受到自己“内部刮起的暴风”所袭击，逃出宿舍，结果当然是告别了神学校。这是因为他产生了“除了做诗人之外，别的什么也不做”的强烈欲望。
黑塞对青春的困惑与流浪于焉开始。在神学预备学校之后，转读高级中学，然后又遭禁闭和退学，于是又到商店当学徒，在机械工厂见习，有4年多的时间辗转更换工作，但不论做任何事都不顺利。虽然如此，他没有放弃学习。现在且让黑塞本人来说吧：
“自从学校生活不顺利的15岁开始，我