曾被认为是个差劲父亲。
爱因斯坦对穷人、弱者和被压迫阶级表现出来的人文关怀，不仅长久感动着整个世界，而且远超一般科学家所为。但他作为丈夫和父亲，却实在有些差劲。
爱因斯坦有两个私生女，第一个即莉莎，系与前妻米列娃婚前所生，后来据说被送回了塞尔维亚，而且就此不知所终。爱翁在名满全球、叱咤风云的30多年之间，从未做过任何努力去寻找她的下落，也许她早已死于猩红热。
第二个私生女名叫伊夫琳，是爱因斯坦1933年正式移民美国之后，与一名纽约舞女所生（彼时其继妻爱尔莎还健在），爱翁对她也是不闻不问，就当没有这个人存在一样。最后，还是作为长兄的汉斯大发恻隐之心，不得不暗中接管了这个同父异母妹妹的抚养责任。据说直到伊夫琳成人，汉斯也没有告诉她，大名鼎鼎的爱因斯坦正是她爹。
当然，天下没有不透风的墙，更何况是堂堂爱因斯坦博士教授的后代！伊夫琳最后还是知道了自己的身世。她的丈夫、也就是爱因斯坦的女婿Ｒ·凯塞，曾以笔名Ａ·赖塞出版了一本《爱因斯坦传》，对自己的这位伟大的岳父泰山大人，多多少少还是有一些微词的。
另外，爱因斯坦还与米列娃生有两个儿子：大儿子汉斯与小儿子爱德华。他当年抛弃妻子和儿子，把他们孤零零地丢在瑞士苏黎世，不但孩子们过早失去了父爱，而且经济拮据，日子过得非常清贫。爱因斯坦曾经许诺把自己获得的诺贝尔奖金全部交给米列娃支配，其实并没有真正兑现。他把大部分奖金都用来“炒股”，投在美国市场，但是运气不佳，在大萧条期间损失殆尽。
特别是爱德华性格多愁善感、郁郁寡欢，后来又患上了严重的精神分裂症，花掉了母亲米列娃的几乎全部积蓄，还得靠母亲去教别人钢琴以维持生计，凄苦地照料了他26年，这才灯尽油灭、撒手归西；而他还终生不能娶亲，竭力支撑了17年之后，最终痛苦地殁于苏黎世的一家医院。有人说，爱因斯坦还曾抱怨，爱德华不生下来的话也许更好。
只有汉斯在上世纪30年代带着妻子和孩子去美国与父亲爱因斯坦相会，家庭、工作、生活各方面还算比较可以。
过去的爱因斯坦诸多传记，认为他与米列娃的婚姻就像一场噩梦，并都有他对米列娃不敬、冷淡甚至残忍的记载。他还被形容为一名不愿承担义务的父亲。
爱因斯坦的家庭结合力不强的原因是很明显的。创造性地建立持久深厚的人际关系需要费力气，而爱因斯坦简直就不愿费那种力气。他全部创造性的努力，完全并且永远集中在科学上，这或许会以他自己为代价，而且也肯定会以和他亲密的那些人们为代价。
家信披露他并没那么差。
但是，2年前，美国加利福尼亚理工学院和普林斯顿大学公开了1915年爱因斯坦写给家人和朋友的部分信件，展示了爱因斯坦鲜为人知的一面，作为父亲对两个儿子的舐犊之情。
1915年4月初，阿杜（汉斯的小名）在给爱因斯坦的信中写道：
“亲爱的爸爸：您知道吗，泰特（爱德华的小名）已经学会乘法和除法了，而我现在正在学习几何。平时妈妈会给我们出题，而我们也准备了一个小本子答题。到时候您也可以出题让我们做。可是，最近您为什么都不写信给我们呢？我一直在想：复活节的时候您过来这里，到时候我们就又能和爸爸在一起了。”阿杜在信中央求父亲在放假时回苏黎世看他和弟弟。
在另一封给爱因斯坦的信中，阿杜写道：
“亲爱的爸爸：今天我和弟弟告诉对方各自的梦想。泰特忽然说：‘我希望爸爸能出现在这里！’然后我想：‘如果您能待在这里和我们一起就好了。’现在，我的钢琴比以前弹得好多了，几天前我还弹了海顿和莫扎特的奏鸣曲。总之，现在我也能和您一起弹琴了。考试快到了，不过复活节也快到了。去年复活节我们过得很孤单，难道今年我们也要这么过么？如果您写信告诉我您能来的话，这将是我们复活节中最完美的一只兔子，我们能在这里过得很开心。还有，妈妈要是病了，我会不知道该怎么办。我们身边除了女仆以外什么人都没有，您在的话一切都好办。”
1915年是爱因斯坦事业中最关键的一年。在此前较早的10年间，爱因斯坦专注于对狭义相对论的研究；可是在这一年，他在此基础上提出了一个给他带来无上荣誉、也许还是世界上最美妙的理论--广义相对论。
1915年也是爱因斯坦生命中最难熬的一年。他与他的物理学者妻子米列娃的婚姻已经出现了严重问题。这个曾在数学上帮过他大忙的塞尔维亚女人带着两个儿子--11岁的汉斯和5岁的爱德华离开柏林，前往苏黎世生活。
1915年的这些信件，揭示了这位天才在生活和科学上的挣扎。
他在给儿子们的信中说：
“如果你在每次写信时告诉我你学习的进度，我可以给你出一个小问题让你解答啊。”
“我很注意刷牙，你看现在我还留着一排健康的好牙齿。”
爱因斯坦多么希望能教儿子数学，遗憾的是他连这样小小的要求也没法做到。他只能通过信件来稍作弥补。他还给每个儿子都邮去了一个小玩具，玩具上附有叮嘱他们俩好好刷牙的留言。
他在此年6月下旬给汉斯的一封信中写道：“夏天我会和你一个人单独旅行。以后我们每年都会一起旅行，当泰特年纪足够大时，他也可以加入我们。”
爱因斯坦原本准备前往苏黎世看望儿子，可是战事的发展让一切泡了汤。不过，他答应在7月份带大儿子阿杜去瑞士的阿尔卑斯山度假，这是他在明信片上写的话。他还对自己的儿子喜欢几何表示高兴，还说在自己像阿杜一样大时，几何是他“最喜欢的娱乐消遣”，“可是那时候没人可以演示给我看，所以我只能通过看书学习”。
汉斯却回信说：
“亲爱的爸爸：您要跟妈妈好好说说度假这件事，因为这事我做不了主。可如果您跟她处不好，我也不愿意和您在一块了。虽然我们计划的旅程很好玩，可我宁愿不去。您要记得我们约好要在7月初见面并待上一个暑假啊。”
这段时期，爱因斯坦和米列娃的关系却在急剧恶化之中，他们反复在信中争论着金钱分配和假期安排。儿子阿杜寄来了一封简短的明信片，回复了他们曾经订下的暑假旅游之约。
爱因斯坦觉得这封信是米列娃教儿子写的，来自妻子和儿子的双重打击让他伤心得无法面对。因此，爱教授决定取消和儿子的约定，转而与新欢爱尔莎去度假。
接着爱因斯坦给朋友桑戈（爱因斯坦的朋友，苏黎世医学博士，一直帮爱因斯坦调解他们夫妻之间的矛盾）写信说了这件事：
“我亲爱的朋友桑戈：由于我妻子的缘故，我和儿子这几年来的关系日渐疏远。我妻子是一个报复心很重的人，她的狡猾手段足以欺骗任何一个外人，尤其是男人。如果您知道我们相处情况的话，您会支持我跟她分居。这次汉斯寄来的明信片让我清楚认识到，如果不照她所说的去做的话……我尝试写信给儿子，可他根本不回信。种种迹象表明，即使我按原计划7月份去了苏黎世，也见不到孩子们。因此在最后时刻，我在哥廷根进行广义相对论的演讲时，决定去塞林放松一下心情，我的表姐（爱尔莎）和她的孩子已经在那里租好房子了。”
对儿子的温情。
爱因斯坦对自己的儿子，并没有人们说得那样冷漠。相反，他谈起儿子时不乏温情，特别对患有精神分裂症的儿子爱德华非常喜爱与怜惜。他曾在收到后者寄来的诗歌、照片和信件后，在给朋友的信中写道：“他是我这些儿子中举止最优雅、最有才气的一个，也是最像我的，继承了我的品性，可是患上了不可治愈的精神疾病……”
爱因斯坦对儿子们的爱是显而易见的。他不止一次地夸奖长子汉斯：“他心地善良并且好学上进，我们的父子关系很好。”当听说汉斯在学习几何学，爱德华已经掌握乘、除法运算时，他在信中写道：“很高兴看到你们的来信。今天给你们寄一包玩具，不久我会去看你们，我要给你们讲很多有趣的事情。对了，汉斯，别忘练琴。”
前文中提到，有一次，爱因斯坦计划旅行但没有和米列娃商量，汉斯便写信责怪父亲。爱因斯坦接到信后很生气，他当即取消了去看望儿子的计划，并且在回信中说：“你的来信太无理了，我不会去看你们，以免不欢而散。”然而，他很快开始后悔自己的鲁莽行为，他在下一封给桑戈的信中写道：“我犯了个大错误，一个有理智的人是不会做这种事情的。”
1915年11月4日，爱因斯坦发表了第一次有关广义相对论的演讲。在这次演讲中，他阐述了自己的新理论，但他承认自己还没有得出精确的数学公式来证明广义相对论。当天下午，他一结束自己的演讲，就给大儿子写了一封充满感情的信：
“亲爱的阿杜：我将尽量每年抽出1个月的时间在身边陪伴你，爱护你，你可以从我这里学到很多别人不可能教给你的知识。我通过艰苦努力所获得的这些知识，不仅对陌生人、对我的儿子也尤其具有非常重要的意义。在过去的几天时间里，我完成了有生以来最优秀的论文之一，当你长大后我将告诉你有关它的内容。因为我常常专注于工作，以至忘记了吃午饭。”
1915年底，汉斯给父亲写信：
“亲爱的爸爸：我将会在12月31日到1月2日过来。我不想待的时间太长，因为圣诞节最好还是待在家里。另外，我刚刚得到一个滑雪橇，我想利用假期向我的朋友们学习如何滑雪。这个滑雪橇花了70法郎，是妈妈买给我的，当然，钱是您给的。我把它当成是您送给我的圣诞节礼物。”
爱因斯坦在收到信后，立即取消了旅行计划，他回信说：“你在信中所表现出来的不友好的语气，深深地伤害了我。”
在完成最后一次关于相对论的演讲后的几天，爱因斯坦又给汉斯回信：“我想我的拜访不会给你带来什么高兴，因此我认为坐2小时20分钟的火车前去看你是错误的决定。”
1915年是爱因斯坦的相对论达到高潮的一年，却以这样一种夹杂着喜悦和悲伤的复杂感情结束。他在写给桑格的信中描述了这种复杂心态：
“亲爱的朋友桑格：我刚刚收到汉斯寄来的信，却让我很伤心。这个男孩的心正在一点一点地中毒，他不再信任我了。在这种情况下，任何试图接近他都可能会间接地伤害他。来吧，我亲爱的老朋友，给我唱起那首您最熟悉的老歌，这样我还可以躲在角落里继续默默地旋转。”
就这样，爱因斯坦在他位于柏林的公寓里，独自度过了圣诞节。