1856年，屠格涅夫的一段记录让后人从另—侧面了解托尔斯泰。当时，他正把屠翁的住所当旅馆一样住着。“整个晚上都在喝酒比赛，与吉普赛人打牌，然后像死人一般一直睡到第二天下午两点。”
当托尔斯泰住在农村、尤其是住在自己庄园里时，他开始物色漂亮的农奴姑娘。就他而言，这也会激起比单纯的情欲更多的东西。若干年后，他写到波利亚纳时说：“我记得在那儿度过的许多个夜晚和年轻美丽的杜尼亚莎……她那强健的、充满女性魅力的身体。”
1856年托尔斯泰去欧洲旅行的动机之一，是逃避来自美丽的女奴杜尼亚莎的诱惑。他知道，他的父亲也曾有过类似的事情。杜尼亚莎后来生下一个男孩，这男孩只是被当做庄园里一名管理马厩的男奴；后来由于行为不端，被降级为守林人。
1856年夏至1857年冬，托尔斯泰曾一度倾心于邻近的可爱的乡村姑娘瓦·弗·阿尔谢尼耶娃，一个21岁的孤儿；此后又为婚事作了多次努力，但都没有成功。她幸运地逃脱了他的追逐。此事反映在他的小说《家庭幸福》里，但也表现了他当时逃避现实、追求与世隔绝的家庭“幸福小天地”的幻想。
托尔斯泰从欧洲回来后，仍然不能控制自己把手伸向女人，尤其是已婚农妇阿克辛雅。1858年5月，他在日记中写道：“今天，在古老的大树林里，我是—个傻瓜，一头野兽。她那古铜色的皮肤和她的眼睛。我爱上了她，这是我一生中从未有过的事、头脑中再没有别的东西。那个姑娘‘很整洁，而且相貌不难看，有着黑亮的眼睛和低沉的嗓音、充溢着新鲜而健康的气息，丰满的胸部在围裙之上高高耸起’。”
可能在1859年7月，阿克辛雅生了—个儿子，名叫季莫费·巴济金。托尔斯泰把她带回家中做仆人；而且曾有一段时期，允许那个小男孩待在母亲身边。然而，像易卜生还有他自己父亲一样，他从未承认过那个男孩是他的孩子，也从未给过他丝毫关心。
更令人惊讶的是，他曾一度公开鼓吹教育农民是完全必要的，并亲自在其庄园里为农民的孩子办学校；但他并未做任何事情让他的私生子学会如何读书和写字。也许，他是担心日后的继承权要求。他似乎并无怜悯之心，从不考虑非婚生子女的各种权利。
而屠格涅夫不仅承认自己的私生女，且想方设法以恰当方式把她教养成人。托尔斯泰对此心怀怨恨，也许是因为屠翁的做法反衬出他自己的行为。
有一次，托尔斯泰含沙射影地提到她的身世，言辞间侮辱了那个可怜的姑娘，从而引起一场他与屠格涅夫的激烈争吵，而且差一点以决斗的方式了结。
托尔斯泰知道，引诱村妇、经常出入妓院都是有罪的行为，并为这些罪过而自责。然而他往往更多地责怪妇女，她们都是夏娃，是诱人的妖妇。
实际上，毋庸讳言，尽管他一生在生理上需要女人并利用了她们，但他并不信任她们，讨厌甚至憎恨她们。从某些方面看，他认为女性性征是令人憎恶的。晚年时他这样说道：“看到一个裸露着胸脯的女人总是让我恶心，甚至我年轻时就有这种感觉。”
从天性来说，托尔斯泰是挑剔的，甚至是清教徒式的。如果说他自己的性欲让他烦躁不安，那么这发生在别人身上，就会激起他最强烈的反感。
1857年在巴黎时，有段时间，他对女性的追逐达到了高峰。他写道：“我所下榻的带家具的公寓里居住着36户家庭，其中19户是非法的。这真让人作呕。”
耽于色欲就是堕落，而女人则是堕落的根源。1847年6月，当时托尔斯泰才19岁，他写道：“现在，我要给自己制定以下规则，把女人的陪伴看做是无法避免的社会罪恶，要尽可能避开她们：谁是我们身上淫荡、放纵以及其他一切恶习的根源，难道不是女人？谁应当为我们所丧失的勇敢、坚定、理智、公正等天性中的美德承担责任，难道不是女人？”
真正令人沮丧的是，托尔斯泰至死都保持着这些幼稚的、某些方面具有东方色彩的妇女观。与他描述安娜·卡列宁娜时所下的功夫相比，在现实生活中，他似乎从不曾打算认真、深入地考察和理解女性的心灵。他从不承认妇女能成为严肃、成熟和有道德的人。
1898年，70岁的托尔斯泰写道：“一般说来，（女性）都是愚笨的，但是当她为魔鬼服务时，魔鬼会借给她头脑。然后，为了干出什么肮脏的事情来，她能奇迹般地思考，而且眼光长远，意志坚定。”
不幸的婚姻
“幸福的家庭是相似的，不幸的家庭则各有不同。”这是小说《安娜·卡列尼娜》开头的一句。但不幸的是，这位文豪的家庭生活正是这多种不幸中的一种。
美国著名历史学家威廉·希勒在研究托尔斯泰和他的妻子索尼亚的日记，及托翁子女写给他的《回忆录》的丰富原始资料后，于1993年写出了揭示托翁婚姻失败原因的专著《爱与恨》。
1862年9月，托尔斯泰同沙皇御医、八品文官别尔斯的女儿索菲亚·安德列耶夫娜结婚。那年，托翁34岁，已度过了放荡的青年期，作为婚配对象，当时他并没有多少资本，一介赌徒，且具有“最平庸的丑陋而粗俗的相貌”；而索菲亚还只有17岁，虽姿色平常，个子矮小，但正当韶华，聪明热情，对爱情充满美妙的狂想。两人曾经度过了一段和睦幸福的生活。
托尔斯泰在给她的求婚信中写道：“我再也无法忍耐下去了。接连3个星期，每天我都对自己说：今天我一定要说出一切。然而我依然怀着惆怅、悔恨、恐惧和幸福的心情离开了。每天夜里，我都和今天一样，总是痛苦地对自己说：我为什么没说呢？我该怎样说，又说些什么呢？
“……假如一个月前有人对我说，一个人会像我现在这样痛苦，我会笑死的。但我现在却正是在为幸福而痛苦着。诚实的人，告诉我，您是否愿做我的妻子？只要是出自内心，您可以大胆地说，‘可以。’倘若您对自己还有丝毫的怀疑，那就说‘不行’好了。
“……听到‘不行’，对我说来是可怕的，我能预见到这一点。但我会找到经受这一切的力量。倘若我做您的丈夫，而您又不能像我爱您那样地爱我，那才更加可怕。”
从这封信中人们知道，当时索菲亚还写过一部中篇小说，说明她是有一定文学才能的。
在托尔斯泰一生中，他的夫人不仅操持家务，生育子女，掌管庄园，治理产业，使其财产收入较前增加4倍，一切都井井有条，婚姻前期大部分时光还是挺美好的，这使得托翁可以将全部时间用于文学作品的精雕细刻，给人类留下了大量传世之作；而且每夜挑灯，不厌其烦地为他誊清和保存文稿，例如《战争与和平》就抄过多次。他们前后育有13个孩子，并加3次流产。
但两人的教育、观念、文化水平差距甚大。而托翁本人又是典型的大男子主义者，平时不愿和妻子交流、相处；且不够细心、体贴——他喜欢散步，却不愿陪妻子散步，更不屑于和她聊天；但妻子和别的男人聊天时，他又愤怒、嫉妒。每次托尔斯泰生病，索尼亚都是悉心照料，有一次连续9个月护理在床边；但妻子得病，做丈夫的他却不闻不问。
夫妻之间缺乏交流，使得婚姻生活每况愈下。高尔基说托尔斯泰“非常喜欢谈论女人，但总是带着俄国农民的粗野口气……他对女人的态度是一种顽固的敌意。他最喜欢做的事情莫过于惩罚她们。……这是一个男人对没有得到他应有的幸福而进行的报复”。
大女儿塔妮娅劝她妈妈：“你无微不至地关心他的物质生活，但是你却忽略了他更珍视的东西。如果你同样关心他的精神生活，他会是多么感动，会百倍地报答你的付出。”
索菲亚则未能摆脱世俗偏见，过多为家庭和子女利益着想，不能理解世界观激变后托尔斯泰的思想；而且虚荣，嫉妒心强，刚烈且又神经质。夫妻的不和造成家庭悲剧。两人时常争吵度日，活在地狱般的婚姻里。索菲亚说：“他爱我，但只在夜里，从来不在白天。”她抱怨：“不会有人知道他从来不曾想过要让他的妻子休息片刻，或给生病的孩子倒一杯水！”“我什么都不要，只要他的爱和同情，但他不愿给我。我所有的自尊都被践踏在泥淖里了。我只是一只被压扁了的可怜虫，没有人需要，也没有人爱护，一个挺着大肚子、不断因怀孕而呕吐的无用东西。”
这些情节如果不是他的子女亲笔录，谁也不会相信是写出《复活》等宣扬人性作品的世界级大文豪的所作所为。托尔斯泰不爱索尼亚吗？他的日记里也不乏对妻子充满激情的爱的宣言。但通读全书，人们感觉到他的爱是抽象、苛刻的头脑的爱；而非具体、宽宏的心灵的爱。
托翁的一个特点，认为保守秘密尤其是那些有关性生活的秘密是有害的。所有的事情都应该“公开”，每一个潘多拉盒子的盖子都必须揭开，丈夫与妻子应该相互告诉对方“所有的一切”。他将记录自己年轻时代行为的日记都交给了妻子，内容记载他婚前曾经赌博、酗酒、乱交，找妓女，甚至感染性病；还与庄园女工阿克辛雅疯狂相爱，陷入情欲，生了一个私生子，种种性生活的细节要言不烦。
这让索菲亚大为恐惧、光火。她在日记中写道：“我真想烧了他的日记和他的过去。”“我梦见了一个巨大的花园，……我抓起她的孩子，撕扯起来。我扯下了他的头颅和双腿——我像疯子一样。”她学安娜·卡列尼娜那样去“卧轨”，甚至服毒自杀，闹得全家不得安宁。她自己也承认：“总有一天我会嫉妒得自杀。”
托翁于是更厌恶这场婚姻。他在日记中写道：索菲亚“成了我痛苦的根源”。“我不知道如何解决这种疯狂，我看不见任何出路。”
其实，托尔斯泰自从和她结合后的48年里，从未有过一次婚外情，虽然他的大名吸引了无数女性崇拜者；即便这样，妻子还是“吃醋”，而且醋意十足，自始至终。时隔40年后，当索尼亚65岁时，仍对阿克辛雅（已80岁）耿耿于怀。她甚至嫉妒自己最喜欢的妹妹，因为妹妹曾和托翁一起到林中打猎。
托尔斯泰后半生几乎不和任何女性来往，但他和男人的交往也让索菲亚嫉妒。他只能采取不理睬的态度，这更刺激了索尼亚敏感的神经，她想用“一哭二闹三上吊”的方式来制服丈夫，结果却适得其反。
真是两个相互折磨的人！索尼亚的日记上经常有“卧床一天，茶饭不思，几乎流了一天泪”的字句；托尔斯泰的日记上则是“睡眠糟糕，非常少。又跟往常一样激动和生气。十分压抑，我一直想哭。”写出《战争与和平》的文豪家里，只有“战争”没有“和平”。
托尔斯泰晚年激进的思想，让夫妻之间产生了更大的隔膜。他憎恨私有财产，同情农民，甚至准备放弃财产和著作版权，过简朴生活，而与妻子发生龃龉。（但他却一直读书写作，致死过着贵族生活；他皈依基督教后宣称要完全戒除淫欲，却一再使妻子怀孕。因此连他哥哥也认为弟弟虚伪，言行不一。）
索菲亚既不理解，更完全不能接受，认为是“整套哲学牵强附会、矫揉造作，完全建筑在虚荣心、名利欲和出风头的基础上。”
晚年的妻子，对丈夫的“败家”举动痛心疾首，寸步不离地守护着自己的产业，惟恐被丈夫“贡献”了出去。由于担心托尔斯泰日记中有不利她的内容，发表后让自己蒙受羞辱，索菲亚甚至又以服毒和投河来要挟丈夫。而名为托翁信徒、实为伪君子切特科夫的出现，更加剧了他们的家庭争斗。她终于成了一个歇斯底里、精神失常的女人。
争吵与自杀，妒忌与发作，家庭成了不幸的地狱，他们创造了历史上最糟糕（也是记录最完备的）婚姻之一。天才作家托尔斯泰愿把博爱献给全人类，却唯独仇恨了他的妻子。他日渐在家庭纠葛中耗尽精力，疲惫绝望，出走的愿望一次次在脑中酝酿：“像一个印度信徒那样出走！”
托尔斯泰在阿斯塔波沃弥留之际，全球各地记者云集这个小车站，他的所有子女也都来到膝下，但托翁临死也不想见妻子一面，可谓悲惨至极。威廉·夏伊勒感叹道：“他们在各方面都得天独厚，惟独不具备相互理解的能力。”
至今，在波利亚纳的餐厅内、客厅里，人们仿佛还在揣测着托翁与共同生活了半个世纪的妻子从恩爱到争吵的场景……