安徒生本来就有表演欲望，工头的这个安排，他非常乐意。有这么多“观众”的支持，他的表演更卖力，更放得开了。除了唱歌，他还给大家表演戏剧——以前在家排练过的霍尔堡和莎士比亚的戏剧，精彩的对白和表演，使他不断赢得一阵又一阵掌声和欢呼。
但是，年轻人的注意力是善变的，而且工厂里的工人们大多性情粗鲁，举止无礼，他们在听惯了安徒生的歌唱看惯了他的演出之后，就觉得没有什么稀奇的了。因此，这样快乐的生活很快就结束了。
有一天，安徒生又像往常一样演唱，这时候，大家明显心不在焉，一个壮实的小伙子怪叫起来：“哈哈，听啊，听啊，这个娘们儿唱的……他不可能是个男孩子，他的嗓子多尖细啊！”说着，他就扑过来捉住安徒生，乱抓乱摸，甚至要脱安徒生的衣服。别的工人一下子来精神了，也觉得这个粗俗的玩笑让人开心，跟着起哄。他们推来搡去。陡然的变故，让安徒生又害怕又害臊，他着急地叫着，周围的人更开心，哄笑声更大了。他委屈地哭起来，在其他人眼里他更像是个小姑娘了，他们涎皮赖脸地说：“小姑娘，乖乖，宝宝！哈哈！”
安徒生左冲右突，终于挣脱了他们的纠缠和推搡，一溜烟跑回家去，委屈地向妈妈哭诉。妈妈心疼儿子，立刻答应让他离开那家织布厂。没多久，妈妈又为他联系到一家烟草厂去做工，因为听说那里的工人要文明一些。于是，安徒生又到了烟草厂，整天帮忙包装鼻烟。那边的环境也好不到哪儿去。工人们一边干活，一边被卷烟味儿熏得直打喷嚏。
少年总是健忘和快乐的。在这里，他又恢复了唱歌的“传统”，他的嗓音更加高亢洪亮。还为工人们表演戏剧。有几位工人看了他惟妙惟肖的表演后，惋惜地对安徒生说：“你唱得这么好，又喜欢表演，干吗不去当一个演员呢？”啊！当一个演员，为什么不呢？这正是安徒生梦想的事情啊！安徒生仿佛看到自己站在舞台的中央。大厅里灯火辉煌，观众们在热烈地鼓掌，到处是鲜花和笑脸。这一句话为安徒生打开了梦想的大门，他在白天上班的时候设想着未来，晚上辗转反侧的时候也想着舞台和表演。虽然在烟厂的工作相对轻松一些，但烟尘伤害着他的肺，安徒生经常弓着背咳嗽起来，有时候晚上也会咳嗽得醒过来。母亲非常惊慌，她认为瘦弱的安徒生像他的父亲一样肺不太好，怕如果长期在烟厂工作，儿子的健康会被毁了。于是，她下定决心，赶紧把安徒生从厂里领了回来。
这之后，安徒生又给一个油漆匠当小听差。在那儿，他认识了一个善良的小姑娘玛莲，他们很快成为了好朋友。安徒生把自己当演员的梦想告诉了玛莲，玛莲非常认真地听着，虽然她还不知道剧场的舞台是什么样子的，更不用说看过剧场里表演的节目了，但她还是很认真地倾听着安徒生远大的理想，她觉得安徒生不是个凡夫俗子。找到了一个理解自己的知音，安徒生觉得幸运极了。
安徒生郑重地对玛莲许诺说：“如果将来有一天我扮演主角，我的名字就会写得大大的，印在海报上。到时候我一定会送票给你的，亲自请你观看我的演出，好不好啊？”玛莲对此十分神往，她也相信一定会梦想成真的。当然，这都是在油漆匠不注意的时候说的悄悄话，等到油漆匠大声喊着，支使安徒生做这做那时，他就得拿着油漆桶赶紧干活去了。梦想啊，是艰难琐碎生活的润滑剂。
有一天，母亲觉得这样东一榔头西一棒子地打工，终究不是个长久之计，于是，她决定把儿子送到慈善学校去。这所学校是为负担不起学费的穷孩子设立的。学校教员也都很穷，学校的所在地是一幢旧楼房，墙上斑斑驳驳，但却贴着许多《圣经》故事里的绘画，这些多少让人感受到学校的氛围。教员们教的都是一些初级东西，比如读、写和算术。对安徒生来说，这儿学的东西非常容易，他轻松自如。他不必像其他的孩子们一样回家复习、做作业，更不用说熬夜啦，对他来说，只要第二天在上学路上回忆一下，就都能搞定了。玩中学，这就是他当时的状态。他母亲对他的学习成绩很满意，很自豪，常情不自禁地跟邻居说：
“我儿子可聪明了，不怎么费劲就取得了好的成绩。”
她看到别的孩子下学后回家复习到深夜，成绩还落在他后面，她觉得十分幸福。是呀，幸福往往那么单纯，那么简单。
那所学校的校长是一个挪威人，名叫韦赫文。他擅长于讲古老的圣经故事，讲起来活灵活现，引人入胜。安徒生一边听他讲摩西和亚伯拉罕的故事，一边看墙上的绘画，浮想联翩，陷入沉思，思绪回到远古，回到遥远的地方去。情不自禁的时候，他会自个儿扮演起故事中的人物来。同学们饶有兴趣地看着他表演，不无揶揄地说：“看啊，这位戏迷！呆子！”
过了两年更为艰难的日子后，母亲不得不改嫁了。安徒生的继父也是一个鞋匠。母亲改嫁后，安徒生跟继父搬到了另一处地方，离原来那条磨坊街很远。继父家的园子比他家原来的所谓花园更大，更美丽，不仅红醋栗树比原来园子里的多，而且还有荼蔗子和其他的树，郁郁葱葱，鸟儿飞进飞出，虫鸣悠扬悦耳，处处充满生机与活力。新的家也在一条小河附近，小河日夜汩汩不息。
继父对待安徒生还不错，尊重安徒生的选择，不反对他按自己的愿望行事。
安徒生虽然常常受人欺负，但有时候也是非常勇敢的。有一次在收割季节，五月的田野，生机盎然，母亲带安徒生到田野拾散落的麦穗。拾麦穗，在安徒生看来，是一件有趣的事情，也是愉快的事情。
但是，这一次就不那么愉快了。看到有人拾麦穗，那块田地的管家飞奔过来，拿一根大鞭子，一边飞奔，一边呼呼地飞舞着。显而易见，来者不善，这家伙十分粗暴。母子俩人赶紧逃跑。小安徒生穿一双木头鞋，匆忙中把鞋子都跑掉了，光着脚板被麦茬刺得好痛，有的地方都被划破了口子，鲜血都渗出来了。渐渐的，安徒生气喘吁吁，脚像灌了铅一样，一个人落在了后面。那管家高高举起鞭子就要打他。在这紧要关头，小安徒生勇敢地直盯着他的脸，大声喊道：
“上帝高高在上，无所不在，一切都逃不过他的眼睛！你怎敢在上帝面前打我！”
那管家听他这么一喊，愣了一下，脸色突然缓和了些，问道，“你是哪里来的孩子？叫什么名字？”
“我叫安徒生，我父亲是汉斯·安徒生。”安徒生勇敢地回答说，“我和母亲捡一点你们不要了的麦穗，又没有犯罪，你干吗那么凶狠啊！”
那管家见安徒生那么信上帝，讲话有条有理，大方而勇敢，更加温和、亲切起来了，当然不会再打他了，而且，也许是良心发现抑或是人都有心向善吧，出人意料的是，他还给了安徒生一点钱。
安徒生赶紧把钱给了母亲，母亲自然高兴得不得了。
“我这孩子信上帝，有胆子，连那严厉的管家都不敢打他，还表扬他。”信上帝的母亲见人就说起这件事来。一时间，连小安徒生都有些错觉，真有点以为是上帝帮了他的忙呢。
有时候站在河边，看着妈妈洗衣服，安徒生浮想联翩、思绪飞扬。有个老婆婆告诉他，在欧登塞这条河的对面很远很远的地方，就是古老的中国。假如在这条河上挖土，挖呀挖呀，最终能挖出一条通道，一直通到中国。
中国，该是多么金碧辉煌，多么神奇、不可思议啊！小安徒生很希望到中国去看看。假如黄皮肤的中国王子能到丹麦来该多好。月光下，安徒生一往情深地唱着，想象着中国的王子为他的歌声所吸引，翩然而至，穿过广袤的大地和深邃的天空，把他带到神奇的中国。那时他说不定会得到一个水晶城堡呢。后来在童话《夜莺》中他这样描写这些场景：
“在中国，你们知道，皇帝是中国人，他周围的人也是中国人。我这会儿要跟你们讲的这个故事发生在许多年以前，因此最好趁它还没有被忘记，现在就来听听它。我要讲的这个皇帝，他那皇宫是天底下最美丽的。它整个儿由瓷砖砌成，价值非常昂贵，但是它太脆薄易碎，谁摸它都得十分小心。在花园里可以看到最珍奇的花卉，上面系着美丽的银铃，丁零丁零响，人人走过都不由得会注意到那些花。”
无论怎样的环境，都关不住安徒生的想象——就像春天一到，一枝红杏就会固执地斜出墙来。