在自传里，奥巴马还提到了当母亲和外祖父母住在德克萨斯时，发生在他们身上的一个有关种族歧视的故事。安10岁时有个好朋友是个黑人女孩。一天下午，当外祖母下班回到家时，她发现安和这个小女孩惊恐地躲在了前院里，而站在大街上的孩子们正在大声嘲笑她们，还朝她们扔石头。看到两个女孩子惊慌失措的样子，麦德琳说：“如果你们两个想要好好玩，还是进屋来吧，那样比较安全。”说完，她走过去，想要牵起那个黑人小女孩的手。没想到她却挣脱了，逃出了院子，跑到大街上去。安的父亲回家听到这个消息后十分气愤。第二天，他就找到了安的校长，讲述了那些孩子的行为，说他们应当受到惩罚。他还给那些孩子的家长们打了电话。但所有人的回应都很一致：白种女孩是不应该和镇上的“有色人种”一起玩耍的。每当外祖父向自己的外孙提起种族歧视时，他总会说正是因为这个原因，他才离开了德克萨斯。而外祖母的看法则有一点不同，她说那时候他们的脑海中还完全没有“种族歧视”这个概念，只是觉得应该公正地对待每一个人，如此而已。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第20～21页。
就这样，全家从德克萨斯州搬到了西雅图。安在那里读完了中学。她一直梦想着能进入芝加哥大学读书，但父亲却认为她年龄太小，还不能离开家独立生活。所以，1959年，她跟着父母来到了夏威夷，后来被夏威夷大学录取。在学校读书的时候，这个安静羞涩的18岁女孩认识了一个叫做巴拉克·奥巴马的非洲留学生。他是个很有魅力的人，而且聪明好学。当安把他介绍给自己的父母时，他们起初还有些提防，但最终都被他的魅力所折服。后来，他们两人结婚了。
1961年8月4日，他们的儿子出生，老巴拉克根据自己的名字“巴拉克”和父亲的名字“侯赛因”为他命名。后来安与老巴拉克离婚，与夏威夷大学的印尼留学生罗洛·苏托洛结婚。当奥巴马六岁的时候，他跟随母亲和罗洛一起来到了印尼，居住在雅加达。罗洛在这里是一个地质学工作者，而安则在美国大使馆教印尼商人们学英语，这是美国针对发展中国家援助项目的一部分。奥巴马写到，罗洛对待自己就像对待亲生儿子一样，关怀备至，体贴入微，母亲对此十分感激。他还曾经提到，母亲从来不会想到会在自己24岁的时候带着一个孩子，与一个不是孩子父亲的人结婚，而这个人的国家和历史她却知之甚少。同时，与她的护照一起来到那个陌生国度的还有她天真的想法。
去印尼之前，她就明白自己日后的生活会面临很多困难，所以她竭尽所能去了解关于印尼的一切。她知道了这是世界上人口总数排名第五的国家，知道这里有很多个民族，很多种方言。但只有到了那里她才了解到，生活远比自己想象的更加艰难。在这里，细菌性痢疾流行，人们很容易患上感染性腹泻，冲澡时只有凉水，公共厕所里没有马桶，只有在地面上挖出的一个一个的坑。自从老巴拉克离开她和儿子以后，安被罗洛深深地吸引住了，因为他总是对于未来充满了希望，而且满怀着建设祖国的伟大梦想，于是她跟着罗洛回到了他的祖国。她准备好了面对生活中所有的困难，却没有准备好迎接她即将面对的孤独。虽然她可以从大使馆的工作和所得工资中寻找到一些安慰，但这些丝毫不能帮助她排解自己的孤独感。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第41～43页。
于是，安开始将注意力集中在教育奥巴马上。她没有钱把她送到大多数外国孩子就读的国际学校，所以她就安排奥巴马在课余时间学习美国的函授课程。每周从周一到周五，每天早晨四点钟，她会在自己去上班之前为奥巴马做好早餐，并让他学习三个小时的英语。同时，她还不忘时刻提醒奥巴马记得自己的血统。她给他讲父亲的故事，讲父亲是怎样在一个遥远的贫穷国家长大，他的生活有多么艰难，后来他又怎样通过自己的努力取得了成功，又是怎样恪守原则地生活。她说他应该向父亲学习，而且他别无选择，因为这是他遗传自父亲的基因。
她说：“你遗传了我的眉毛，但你的头脑和性格都遗传自你的父亲。”她还让奥巴马读很多关于美国民权运动的书、听黑人歌手米哈里亚·杰克逊唱的歌曲、看马丁·路德·金的演讲录像。她还告诉奥巴马，在美国南部，那里的黑人孩子只能使用被白人孩子抛弃了的旧书，但他们中的很多人长大以后成为了成功的医生或律师。母亲的教诲让奥巴马明白，“作为一个在这个世界上生活的黑人，就意味着成为一种伟大遗产的继承者，意味着将拥有一种别样的人生、负担一种光荣的使命，一种只有我们这些足够顽强的人才能完成的使命。”[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第50～51页。
当时印尼的政局并不稳定，再加上自己长时间持续地孤独和忧虑，安越来越担心日后的生活。到印尼后，她更加认识了印尼政府以及印尼人民水深火热的生活。所以当她了解到作为一个美国白种人，自己是受到保护的，而且想离开时随时都可以离开，她感到一些欣慰。安也考虑到了这种环境对于自己的儿子——这个有部分白种人血统、部分非洲血统的孩子会有什么样的影响。但她所有的担心都只有一个源头，那就是她和丈夫的关系正在日益疏远。这些年罗洛已经学会了怎样与国家领导人和有权势的官员们打交道。在社会关系广泛的姐夫的帮助下，他顺利进入了一家美国石油公司工作。这样全家就搬到了一个条件更好的社区居住，买了轿车和电视机，还成为一所国家俱乐部的成员。虽然生活不再像以前那么窘迫，但罗洛的新工作却为他和安之间带来了更多的问题。不过安还是怀孕了，生了一个女孩，取名叫做“玛雅”。
当奥巴马十岁的时候，安觉得他需要进入一所美国学校读书，接受美国教育，于是把他送回夏威夷与外祖父母一起居住。她则和玛雅一起留在了印尼，但她向儿子承诺，不久后就会回到美国找他。从那以后，她和罗洛开始了分居生活，不久后就离婚了。电子版的《芝加哥论坛报》上曾发表过一篇名为《巴拉克·奥巴马的童年故事——并非那么简单》的文章，其中写到，奥巴马同母异父的妹妹玛雅·苏托洛曾经谈到过奥巴马、他们的母亲和他们的外祖父母斯坦利与麦德琳。她说：“现在回想起来，他身上简直集中了家里所有人的优点。也许我们的母亲和外祖父母并不完美，但他们都深爱着他。而且我坚信他遗传了他们每个人身上最优秀的品质。”[ 科尔斯顿·莎恩博格、金·巴克：“青年奥巴马并不简单的故事”，《芝加哥论坛报》在线网站，2007年3月25日。
毫无疑问，奥巴马的母亲和外祖父母都对他的人生产生了不可磨灭的影响。在他的自传《无畏的希望》一书中，奥巴马详细描述了自己的家人，尤其是母亲和外祖母。他说，这两位伟大的女性是自己生命力量的源泉。因为有了她们，自己和家人们才能有机会飞得更高，他的世界才会有重心。他还谈到了自己有多么感激母亲对他无私的爱，有多么敬佩她那纯洁伟大的灵魂。也正是因为母亲和外祖母给了他满满的爱，所以他从未对任何事物有过十分强烈拥有的渴望。而从她们身上，他也理解了一直指引他前进的价值观。[ 巴拉克·奥巴马著：《无畏的希望》，纽约：皇冠出版，2006年版，第346页。
教育
从印尼回到美国后，奥巴马进入畔纳荷学校读书。当他成为一个十几岁的青少年时，学校的黑人学生依旧寥寥无几。但随着年龄的增长，奥巴马的生活变得更加复杂了起来。他有时会接到校长办公室打来的电话，有人会给他提供兼职工作的机会。另外，他还经历了几次尴尬的约会。同学们之间还产生了一些攀比现象，经常讨论他们有什么东西，但奥巴马却没有。这时，安和罗洛分居了，安带着玛雅回到了夏威夷，继续攻读人类学专业的博士学位。在后来的三年时间里，这母子三人就居住在学院附近一个很小的公寓里，靠母亲的奖学金度日。她经常提醒奥巴马说自己是个又要上学又要同时抚养两个孩子的单身母亲，而缺水断粮难免就成为他们生活的一部分。
虽然奥巴马总是声称要独立生活，虽然有时他也因为年龄原因开始变得有些郁郁寡欢，但他总是竭尽全力帮助母亲购物、洗衣、照看妹妹。后来安不得不再次返回印尼，以完成自己的人类学田间实验。她提出要带着奥巴马和玛雅一起回去时，奥巴马马上回答说“不”，因为他希望和外祖父母生活在一起。根据他的妹妹玛雅后来回忆说：“我觉得对于每个人来说，选择不跟随母亲离开都不是件易事。但他做出了这样的选择，他想继续留在畔纳荷，那里有他的朋友，他会感觉更舒服一些。对于那个年纪的孩子，这就够了。”[ 科尔斯顿·莎恩博格、金·巴克：“青年奥巴马并不简单的故事”，《芝加哥论坛报》在线网站，2007年3月25日。
]那时奥巴马想要的就是和外祖父母住在一起，因为他们就像自己的父母一样亲切。他也意识到了自己将要成为一个在美国长大的黑人。但问题是，他和他身边的人都不知道这会意味着什么。从父亲时有时无的信件中，他找不到答案。这些信的内容都是父亲在肯尼亚的家庭情况，他会问及奥巴马在学校的表现，会提到无论哪天都欢迎他和母亲、妹妹一起去肯尼亚做客。就连外祖父母和身边的黑人朋友们也能告诉他答案。
奥巴马寻找到了一种发泄方式，那就是打篮球。当他还在上中学时，他就是校篮球队的一员，尽管不是先发球员。由于他出色的远射和弹跳能力，他被同学们称为“轰炸机巴利”。也就是在篮球场上，奥巴马认识了许多其他的黑人朋友。他们拥有的同样困惑和心中暗藏的不满也影响到了他。根据畔纳荷一位叫做阿兰·拉姆的篮球教练，同时也是该校一位中学老师回忆说，如果奥巴马和他的朋友们觉得他们在教练分配训练时间时受到了不公平的对待，奥巴马总是第一个与教练发生冲突，而且他总是毫无顾忌、毫不犹豫地去保护自己和队友的权益。他还说：“打比赛时，他会径直走到教练面前说：‘教练，我们马上就要把那支队伍打败了，现在只要有足够的比赛时间就可以了。’”[ 科尔斯顿·莎恩博格、金·巴克：“青年奥巴马并不简单的故事”，《芝加哥论坛报》在线网站，2007年3月25日。
]奥巴马上大学时还喜欢去健身房，有很多的黑人学生都在那里锻炼身体。也正是在那里，他明白了别人对待你的态度取决于你的所作所为，而非你的肤色或家庭背景。而在球场上，奥巴马找到了一个属于自己的群体，在那里，他能感觉到身为一个黑人并非一种劣势。