到了五十岁的时候，昂扬格决定不再为英国人效力。他把自己的农场留在肯都，全家搬到了阿莱沟，这是他祖父的老家。他在内罗毕时已经学会了英国的种植技术和一些农业知识，于是他开始将这些方法应用到当地的土地上。虽然当时那里大部分还都是非洲的灌木丛，但不到一年，祖父就收获到了足够可以拿到市场上去卖的粮食。在祖母现在居住的院子里，还长着几棵大树，这些树都是祖父当年种的。他为自己的妻子和孩子们建好了房屋，还垒砌了一个专门用来烘烤面包和蛋糕的炉灶。晚上他会在自家院子里放音乐，为孩子们铺好床、扎好蚊帐。他还教给邻居们怎样种地，怎样治病，所以大家都很敬佩他。当老巴拉克八岁的时候，他的母亲决定离开自己的丈夫，把孩子们全都留给祖母抚养。
其实在那之前，她就曾经有过多次离开的想法，但最终还是回到了自己的家，因为她的丈夫总是要求她回来。但这次昂扬格第一次决定让她走。但后来考虑到祖母还有两个自己的孩子要抚养，他就来到了阿古玛家，要求她回来照看自己的孩子。但这次她的家人却拒绝了，因为他们已经接受了另外一个男人的彩礼。阿古玛后来与那人结了婚，去了坦桑尼亚。所以祖父变得束手无策，只能告诉祖母，现在她必须抚养他所有的孩子。老巴拉克的姐姐萨拉和自己的母亲很亲近，所以很讨厌父亲。但老巴拉克却截然不同，他总是告诉别人祖母就是自己的亲妈妈。祖母还告诉奥巴马说，祖父对自己的孩子们要求异常严厉。他不允许他们随便跑到院子外面去玩耍，因为他觉得其他人家的孩子总是脏兮兮的，还不懂礼貌。但是当祖父不在的时候，祖母会让他们随心所欲地去玩，毕竟他们还只不过是一些孩子。
老巴拉克十几岁的时候，肯尼亚的政局发生了剧烈的变化。许多非洲人都去参加了二战。所以回到祖国后，他们觉得应当继续斗争，不能再生活在白人的殖民统治之下。许多年轻人开始热衷于讨论国家的独立。但奥巴马的祖父则偏执地认为肯尼亚永远不会独立，因为非洲人不可能战胜白人的军队。他对自己的儿子说：“非洲人还不会自己造自行车呢，怎么可能打赢白人呢？”他说如果交战，非洲一定会输给白人，因为非洲人只会想着怎样让自己的家庭或氏族获得益处，而白人考虑的则是怎样让国家的力量强大。他说白人一起工作，国家的事务和商业的生意对于他们来说都至关重要，他们总会无条件地服从上级，从不质疑自己接到的任何指令。但黑人会想怎样做才是自己最喜欢做的事情。他说这就是为什么黑人总是输给白人。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第417页。
]虽然他的观点如此，但有一天政府却将他逮捕了，说他是煽动民族独立运动的叛军首领。他被关押到一个拘留所中。虽然后来被无罪释放，但6个月的牢狱生活，使得返回家中的他变得身材瘦削，走路都很有困难。他发现自己的形象已经大不如以前，干什么事都开始力不从心，所以从那时起，他忽然变老了，再也不是被诬陷之前那个活力充沛的男人了。
祖母告诉奥巴马，祖父最尊重的就是力量和纪律。他虽然学习了很多白人的先进技术和科学知识，却依然恪守卢奥族的传统，无论做什么事都尊敬长辈，服从权威，遵守纪律和习俗。她觉得这就是为什么他拒绝皈依基督教的原因。曾经有一段时间，他决定开始信仰基督，甚至还把自己的名字改成了“约翰逊”。但后来他始终不能理解基督教中“对待敌人要仁慈”的思想，最后还是选择了信仰伊斯兰教，认为其教义更加符合自己的信仰。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第407页。
几年后，老巴拉克离开家，去了蒙巴萨工作。不久后，他就开始申请到美国大学读书。昂扬格十分支持儿子的决定，但经济上却不能给予有力的支持。后来，老巴拉克被夏威夷大学录取，从学校和资助者那里获得了足够的奖学金，这样他才离开了非洲。当他遇到安·邓纳姆——奥巴马的母亲并要与她结婚时，昂扬格十分恼火，觉得儿子这样做是一种极其不负责任的行为。他给老巴拉克写信说：“当你在自己的家乡还负有责任的时候，你怎么能这么轻易地与一个白种女人结婚呢？这个女人会跟随你回到非洲，成为一个卢奥族的女人吗？让这个女孩的父亲到家里来和我谈吧！这是大人之间的事，不是孩子的事。”他还给奥巴马的外祖父斯坦利·邓纳姆写了一封同样内容的信。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第422页。
]他还威胁儿子说，如果他们结婚，他就会吊销他的护照。但最终老巴拉克还是不顾父亲的反对与安结婚了。当老巴拉克独自一人回到肯尼亚，而没有带着自己的妻子和儿子时，昂扬格一点都不吃惊，知道自己的预测最终应验了。昂扬格去世时，老巴拉克回到老家，与家人一起准备了父亲的葬礼。
就在祖母家芒果树的树阴下，奥巴马听到了这些家族故事。当故事接近尾声时，奥巴马问祖母祖父有没有留下什么遗物。在一个落满了灰尘的旧皮箱中，奥巴马发现了一本护照大小、已经发黄了的小册子，扉页上印着“家仆注册登记手册，家仆注册登记管理处颁发，1928年，殖民地及保护国肯尼亚”。手册内印着祖父左手和右手大拇指的指印。手册的序言中说，该手册目的在于明确记录手册持有者的受雇情况，以有效保护雇主的利益免受那些工作不称职的家仆的侵害。这本小手册还对“仆人”进行了定义，并声明该手册由家仆本人随身携带，如果被发现违反了该条规定，就会受到相应的处分和惩罚。奥巴马祖父的姓名“侯赛因·昂扬格”、他的管理序列号、民族、居住地、性别、年龄、身高和外貌特征都在上面被清清楚楚地列了出来。他的受雇记录详细地记载着祖父各方面的工作和表现情况。这本手册中还夹着一叠申请书，都是父亲申请到美国读大学时写的。对于奥巴马来说，这些关于祖父的文件、父亲遗留下的信件还有此次家乡之行的所闻所见就是他的根、他的血统、他的家族史。
外祖父与外祖母
在他的自传《源自父亲的梦想》一书中，奥巴马曾经满怀深情地讲述过外祖父母的故事。从他出生到后来离开夏威夷到加州上大学这段时间里，他曾经断断续续地跟随他们居住了很长时间，所以他们对奥巴马的生活有着不可磨灭的影响。麦德琳（被奥巴马称为“图斯”，该词源于“图图”一词，“图图”在夏威夷语中是祖父母或外祖父母的意思）从小在堪萨斯州长大，她家族的祖先可以追溯到很久以前在堪萨斯大草原上定居的切罗基族人（北美易洛魁人[ 易洛魁人（Iroquois）：北美洲印第安人的一支。原分布在密西西比河以西，后迁到安大略湖和伊利湖一带。共约9万人(1978)。本支包括塞内卡人、卡尤加人、奥内达人、摩霍克人和奥南达加人，旁支包括伊利人、切罗基人等，共有十多个部落。属蒙古人种美洲支。使用易洛魁语，属印第安语系霍卡-西乌语族。信仰多神和自然崇拜。——译者注
]的一支）、苏格兰人和英格兰人。斯坦利也在堪萨斯州的一个城镇长大，这个镇子离麦德琳家不过二十英里。在奥巴马的自传中，他写道，外祖父母回忆童年时总是会提到他们在经济大萧条时期的美国小城镇中长大，那时的生活充斥着各种游行示威，所以记忆中只留下了萤火虫、沙尘暴、冰雹、坐满了农民的儿子的教室。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第13页。
]他们经常教育奥巴马要尊重他人，永远不能等到自己生活富有了才去尊敬别人。他还介绍说，麦德琳一家都很勤奋、正直。她的父亲在经济大萧条期间还一直坚持工作。母亲结婚前是名老师，婚后做了一名家庭主妇。她总是将家里打扫地一尘不染，还经常通过邮局订购自己喜爱的书。斯坦利的父母都是浸礼会[ 浸礼会（Baptist Churches）：又称浸信会，基督教新教主要宗派之一。十七世纪上半叶产生于英国以及在荷兰的英国流亡者中。当时属清教徒中的独立派。反对给儿童行洗礼，主张教徒成年后方可受洗，且受洗者须全身浸入水中（象征重生），称为“浸礼”，故名。——译者注
]信徒。在他八岁的时候，母亲自杀了。后来，正值年少轻狂年纪的斯坦利与学校发生争执，把校长的鼻子打破了，因此被学校开除。在接下来的三年中，他一直在全国各地之间辗转，靠打些零碎工为生。当他来到堪萨斯州的威奇塔城时，他认识了跟随父母搬到这里居住的麦德琳。两个人相爱了。但麦德琳的父母并不同意他们交往。在奥巴马的自传中，他这样描述当年的外祖父，“精神抖擞，衣着时髦，上身穿着浆过的衬衫，下面穿着宽松肥大的裤子，头上还反戴着一顶鸭舌帽。而他的外祖母则是一个风趣幽默的聪明姑娘。她总是涂着鲜红的唇膏，头发染成了金黄色，双腿修长美丽，甚至可以去商场做推销丝袜的模特了。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第15页。
]在珍珠港事件爆发以前，他们两人私奔了。后来斯坦利应征入伍。当他还任职于一个军队基地时，奥巴马的母亲安出生了。这时麦德琳开始到一个轰炸机组装车间工作。战争结束后，由于斯坦利可以享受士兵福利，到加利福尼亚大学伯克利分校读书，所以全家搬迁到了加州。但过了一段时间以后，斯坦利觉得坐在教室上课实在是不适合自己的性格，于是全家又搬回了堪萨斯州。后来他们还去过德克萨斯，再后来又到西雅图安家。斯坦利在西雅图找到一份家具推销员的工作。安也在那里读完了高中，同时接到了芝加哥大学的录取通知书。但她的父亲却不同意她去上大学，认为她现在年龄还太小，不能自己独立生活。
大概就在这个时候，斯坦利工作的那家家具公司的经理告诉他，公司将要在夏威夷的檀香山新开一家分公司，因为夏威夷马上就会成为美国的一个州，所以那里暗藏着无限的商机。于是，邓纳姆一家卖掉了西雅图的房子，再次搬家。来到夏威夷后，斯坦利继续在家具公司做推销员，而麦德琳则开始到当地一家银行做秘书。最终，她成为这家银行首位当上副行长的女性。
奥巴马认为，外祖父母搬家到夏威夷是因为他们总是在不断地追求崭新的开始。搬到夏威夷后，斯坦利的性格也开始定型了。可以说他既慷慨又热情，是个思想老练却又有些狭隘的人。他是他们这一代人中的典型，渴望自由和独立，不安分却又奋发有为。他喜欢写诗，听爵士乐，在家具公司工作时和许多犹太人交了朋友。而他的外祖母则相反，骨子里便怀疑一切，性格顽固，生活独立，是个典型的实用主义者。对于奥巴马而言，虽然他认为外祖父母的信仰从未演变成为一种特定的思想意识或形态，但他们的言谈举止就像是一个自由主义者一样。比方说，当安回到家告诉父母她在学校认识了一个来自非洲肯尼亚的叫做巴拉克的黑人时，他们的第一反应是请他到家里来吃顿饭。[ 巴拉克·奥巴马著：《源自父亲的梦想》，纽约：三河出版，2004年版，第16～17页