安徒生的家庭很贫困，一家人常常为了生计问题而愁眉不展，安徒生在贫困和孤寂中度过了自己的童年。
安徒生的父亲小时候渴望上学念书。他乞求父母把他送到拉丁学校去学习，但父母觉得家里太穷，实在负担不起这所学校的学费，只让他到一所慈善学校念了点书，便叫他当了一名鞋匠，靠这门手艺来挣一碗饭吃。
安徒生的父亲并没有把心思放在鞋匠手艺上。他干鞋匠活时，两手显得那么笨拙，但为儿子做起玩具来，那双手却灵巧极了。他给儿子做望远镜、玩偶舞台、拉洋片的可变换的图画等。他特别喜欢给小安徒生读他收藏的霍尔伯格的剧本和《阿拉伯故事集》等书。他一读起书来，什么愁苦的事儿都可以忘在脑后。
他一生没有什么欢乐可言，只有跟儿子在一起玩耍、读书，才感到无限的快乐。
父亲把一切希望都寄托在独生儿子的身上。他对安徒生说：“我的命苦，没有得到念书的机会，你一定要有志气，要争取学些文化，使自己成为有知识的人。”
没有正规地上过学，这一直是安徒生的父亲的一块心病。有一次，拉丁学校的一个小学生到他家来让他做一双新鞋子。在他给那小学生量尺寸时，这位小学生把书包里的书拿给安徒生看，告诉他在学校里都学些什么。这时，小安徒生无意中看了父亲一眼，奇怪地发现父亲眼里噙着泪水。
等那个小学生走了，父亲对小安徒生说：“孩子，你听着，等你长大了，一定要有一股子顽强劲儿，不要怕穷怕苦，要不顾一切地奔一个目的：念书！我可是没有这个机会了。你就沿着这条路向前奔吧！”
父亲在贫困的生活环境中，没有忘掉对安徒生的启蒙教育。在他家那唯一的一间狭小的房子里，只有一张做鞋用的工作凳、一张用棺材架改装的床和安徒生晚间用来睡觉的一条凳子。父亲却为儿子布置了一个艺术的环境：墙上挂了许多图画和装饰品，柜子上摆了不少玩具。工作凳旁还有一个矮书桌，上面放有书籍和歌谱，门上贴着一幅风景画。
通过厨房的梯子可以到达屋顶，与邻居家之间隔着的排水沟有个土箱子，里面种着香葱和西芹，这就是安徒生妈妈的小菜园，这同时也给童年的安徒生带来了无限的想象空间。在无法拥有花园的贫苦童年里，安徒生靠这个蔬菜箱子，编织着五颜六色的梦想。
后来，安徒生的童话《白雪皇后》里长着茂盛植物的大匣子，就来源于童年时母亲的这个蔬菜箱子。
父亲常在劳动之余，会抽时间陪安徒生玩。为了排解儿子的寂寞，他常常给安徒生讲一些《一千零一夜》中的古代阿拉伯的传说。
有时，为了调节一下气氛，父亲还特地给小安徒生念一段丹麦著名喜剧作家荷尔堡的剧本，朗诵莎士比亚戏剧中的章节。这些剧本里的故事启发了安徒生，他经常把大人们讲的故事，通过自己的设想演绎成新的故事。
但这还不能让安徒生感到满足，父亲就用破碎的布片给木偶缝制小衣服，把它们打扮成讨饭的穷人、没人理睬的穷小孩、欺压百姓的贵族和地主等，并根据自己的实际生活体验编起木偶戏来。
为了扩大孩子的眼界，丰富孩子的精神世界，父母亲同意并鼓励安徒生到街头去看油嘴滑舌的生意人、埋头工作的手艺人、弯腰曲背的老乞丐、坐着马车横冲直撞的贵族和伪善的市长、牧师等人的生活，获得各种感性的经验。
安徒生是独子，因此深受宠爱。妈妈总跟安徒生说，他比自己小时候幸福多了，好像是当成贵族的孩子来抚养的。安徒生妈妈小时候，外公、外婆赶她出去乞讨。她不能这么做，就坐在欧登塞一条河的桥下哭了一整天。
父亲凡事都顺着孩子，小安徒生占据了他的整个身心，他活着就是为了孩子。于是，所有的星期天，都要花整天的时间给安徒生做玩具和图画。在安徒生的记忆里，只有在这样的时候才能见到父亲的笑容，因为作为一个手艺人，他从未真正感到过快乐。
幼小的安徒生最常去玩的地方是他家房后的一片场地，他管那儿叫做他家的公园。虽然那儿只有一些篱笆和几株醋栗树，可是他用母亲的一条围裙拉开当做帐篷，架在醋栗树和篱笆之间，就变成了一个帐篷。他坐在这“帐篷”里倾听鸟儿的悦耳歌唱，凝视太阳照射下的树叶和天上慢悠悠飘浮着的美丽云彩，可以坐上好长的时间。
稍远一点有一条小河，河边上有一座水磨坊。水磨的轮子“哗啦哗啦”响，他从“帐篷”里听得很清晰，由此产生许多美丽的遐想。那座水磨坊现在还保存在原地，去安徒生故乡参观的游客，总要去亲眼看一看这个曾经给安徒生幼小心灵刻下深刻印记的地方。
那条小河的两岸，有一座小桥相通。小河那边，柳树、牛蒡丛生，小安徒生有时也到那边去玩。那儿的草地上，有几个小洞。在他的想象中，里面说不定住着树精或者妖怪。那儿还有一汪汪水洼，那是蟾蜍活动的世界，它们在水里嬉戏玩耍，活泼得很。水洼里不断冒出一个个水泡，像是许多闪闪烁烁的星星。
再往前走，远一点的地方出现一片薄雾弥漫的荒野，在夏天的早晨或傍晚，给人一种特别神秘的感觉。这片荒野是鹳鸟出没的地方。在鸟类中，鹳鸟是安徒生最好的朋友。他后来发现，自己身子瘦削，背微微弯曲，两腿细长，不长久待在一个地方，这跟鹳鸟颇有点相似。
小安徒生常想，鹳鸟都说些什么话呢？他去问父亲。
父亲想了想说：“想必是说埃及话吧，因为它们在炎热的国度，在金字塔附近过冬，不会说埃及话怎么行呢？”他摸摸脑袋，又补充说：“当然，它们也应该会说丹麦话。你看，天气一暖和，它们就飞回来，和这里的人们在一起。”
它们来回飞过大海，在海上还不能停下来休息，真有本事。安徒生觉得，它们每年都到那么远的地方去旅游，一定很长见识。
安徒生4岁的时候，丹麦和法国、西班牙是盟国，有一支法国军队和西班牙援军取道费恩岛去瑞典。欧登塞街上全是法国兵和西班牙兵。其中有许多熙熙攘攘的棕黑色人群，他们摊开手躺在人行道上和圣约翰教堂的草坪上。
欧登塞的学校几乎成了兵营。他发现，法国兵傲慢自大，西班牙人却温和友好。在街上，他见一个西班牙士兵解开外衣纽扣，拿出一个小十字架上的圣像，虔诚地吻了吻。幼小的安徒生从来没有看见过这种事情，感到挺奇怪。
他走到那个士兵跟前，问他干吗吻那东西。那个士兵很和蔼地给他做了解释。
“让我吻一下，可以吗？”小安徒生问。
“你是个好孩子，可以吻。”那士兵说。
小安徒生回到家里，把吻了西班牙士兵的圣像的事告诉他母亲，母亲感到很伤心，生气地告诉他那士兵是天主教徒，而他们家是路德派教徒，这样做是丢脸的事，叫他以后别干这种傻事了。这事儿在安徒生心灵上打下了深深的烙印，好多年以后他想起这件事，还专门写了一首题为《士兵》的小诗。
安徒生的祖父在乡下时，家境还不错，但是后来很多不幸的事情接踵而来：牛死了，农场烧了，最后祖父也疯了。他走起路来摇摇晃晃，就像在水里行走，不知该把脚踩到哪里似的。他像瞎子走路一样，不看四周，只顾走自己的路，但他的眼睛并不瞎。他在街上找一个地方坐下来，拿出随身带的一截截木头，用灵活的手指使着一把小刻刀，刻出一些奇怪的动物，像狮身鱼头动物啦，鱼身狮面的动物啦，长翅膀的四脚动物啦……
农村妇女和农家孩子非常喜欢这些稀奇古怪的玩具。可也总有一些孩子，往往跟在他爷爷后面，怪声怪气地喊叫呼号，取笑这位老人。不过，他从来不对孩子们生气，更不伤害他们。他不和安徒生的祖母生活在一起，也不去看他的小孙子。
直至安徒生14岁离开欧登塞那一年，他跟孙子只说过一次话。小安徒生又是怕他，又是爱他，他羡慕他的雕刻本事，又不敢把他领到家里来。
安徒生的祖父和父亲都是有才智，心灵手巧的人，但都没有进过正规学校受教育，他们的生活过得那么艰难，那么不幸。幼小的安徒生立下志愿：他不能像他们那样生活，他要念书，要上学，要掌握知识。他要走另外一条路。
就这样，祖母和祖父一起搬到了欧登塞。尽管儿子最想上文法学校，但他们没别的办法，只能让聪明的儿子去学修鞋。
可怜的父亲，美梦从未成真，可也从未忘记过去。记得安徒生小时候，有一次，一个文法学校的学生来定做一双新鞋，给安徒生父子俩看他学习的课本时，安徒生见到父亲眼里闪着泪花。他深情地亲着小安徒生说：“这也是我应该走的路！”那个晚上，父亲没再说什么。
安徒生的父亲不大和同行交往，倒是常有亲朋来他们家。在冬天的晚上，父亲给安徒生大声朗读，给他做玩具；夏天，几乎每个星期天，父亲都带安徒生去林间散步。他并不和小安徒生说话，只是坐着沉思。
安徒生高兴地到处跑着，把采集来的草莓编成花环。妈妈则只有在每年的5月，林间的树木绽出嫩芽的时节，才和安徒生他们一起愉快地散步。这时，妈妈会穿上她那身只在这个季节，或是去领圣餐时才穿的褐色印花棉布衣服。安徒生记得这是那些年她唯一一件也是最好的衣服。
每当散步回家时，妈妈都要带回一大抱桦树枝，放在擦亮的炉子后面，还总要把带叶的小枝插在屋梁的缝隙里，以它们的生命来标记家人的成长。
安徒生和爸爸妈妈用绿树枝和图画装点着小屋。妈妈总是把房间收拾得整齐干净，而且，她一定要让亚麻布的床单、窗帘都是雪白雪白的。
父母迫于生计而整日忙碌，抛下小安徒生无人照管。安徒生跑到外面玩耍，但那些富人家的孩子一见他就拳打脚踢，讥笑谩骂，说他“长得丑”“穿得破”“是下贱人的崽子”。
父亲看在眼里，气在心里，但是一点也没有在孩子的面前表露出来，他反而十分轻松地对安徒生说：“孩子，别人不跟你玩，爸爸来陪你玩吧！”
为了抚慰儿子，他有时不得不丢下手中的活，亲自陪安徒生游玩。他们来到欧登塞河畔观赏那如画的美景。
这时，父亲给他讲起了《一千零一夜》中那些动人的故事。故事中那动人的情节和眼前欧登塞河的美丽景色交织在一起，启发了安徒生的想象力，陶冶了他那幼小的心灵。阅读和倾听，这是获取知识的重要途径。
欧登塞是个封闭的小镇，人们坚信上帝和女巫。许多神秘的传说在空气中荡漾不绝。纺纱室的阿婆们有时会把《一千零一夜》中的离奇故事讲给来玩耍的小安徒生听，使这个原本喜欢想象的小家伙的脑子更加丰富了。
小安徒生觉得这些故事是多么的奇怪啊！许多人听着这些可怕的故事都无限叹息，担惊受怕，可是过后却好像没事儿似的。
而对于安徒生来说，他所听到的一切都带着鲜明的神奇色彩，仿佛真的一样重现在眼前。
有时，安徒生在树林中遐想。甚至会被自己想象出来的精灵吓得飞奔回家。多年以后，这些古老的传说和童年的幻想，都成为安徒生创作的源泉。
