当梵高再次向厄休拉？洛耶求爱时，厄休拉？洛耶明白地告诉他，自己早已在1年前就订了婚。这个沉重的打击几乎让梵高绝望，但他还梦想将她从别人的怀抱中夺回来。梵高努力寻找着机会，直到有一天，他亲眼看到厄休拉？洛耶正紧紧依偎在一个瘦高个男人的怀里，两个人热烈地搂抱、接吻。体格与心灵一样脆弱的梵高，此刻一切梦想都幻灭了，他的心仿佛被人掏走了一样。随后，痛苦不堪的他离开了伦敦，去了巴黎。这是他年轻的生命中第一次对现实感到非常失望。他羞得无地自容，陷入了深深的孤独和沮丧之中。
1880年，在画店工作的弟弟提奥接济当时已27岁的梵高去学画。尽管经济情况非常不乐观，但是绘画给梵高带来了无尽的欢乐，让他暂时忘记了对厄休拉？洛耶的思念。
触动社会禁忌爱上表姐
1881年夏天梵高回荷兰家乡探亲，见到了在他家里做客的、刚成为寡妇的表姐凯沃斯，她还有个4岁的孩子。她是住在首都阿姆斯特丹的牧师舅舅斯特里克的女儿，也比梵高大3岁。凯沃斯表姐美丽、热情而大方，她几乎使梵高沉醉。凯沃斯是一个典型的荷兰女性，头发是深栗色的，蓝色的眼睛里闪动着迷人的光彩，丰满的嘴唇像含苞待放的花儿一样微微启开。
凯沃斯表姐两年前死了丈夫，一直生活在悲痛当中。她常常身着黑色衣裙、忧郁肃穆。不知为什么，这种形象深深地打动了梵高内心的某种需要，他不由自主地为表姐所吸引。
梵高突然为厄休拉？洛耶曾经的拒绝而感到高兴；他觉得，自己过去的爱是那么肤浅，厄休拉？洛耶只是一个无知的孩子。梵高深信不疑的一点是：和凯沃斯表姐相处，要比跟厄休拉？洛耶待在一起有价值得多。凯沃斯使他重新认识了爱情，理解了爱的真谛。然而，在19世纪的荷兰，和表亲结婚是一个严重的社会禁忌。并且，让梵高伤心的是，和他的初恋厄休拉？洛耶一样，凯沃斯对他几乎也没有任何兴趣。
梵高发现凯沃斯表姐总是对他回避爱情和婚姻的话题，从来不给他任何表白的机会。有一天，吃完午饭后，当梵高与凯沃斯在小溪旁的树荫下休息时，他再也无法抑制住内心的冲动，终于向对方吐露了自己的心声：“我爱你就像爱自己一样……”但是，听到梵高表白的凯沃斯，一言不发，很愤恨地离开了。凯沃斯是个非常现实的女人，对她而言，唯一的选择就是溜之大吉。
尽管遭到凯沃斯表姐无情的拒绝让梵高伤心不已，但他仍然勇敢地决定主动去斯特里克舅舅家去找她。可叔叔见是梵高，知道什么原因，便连大门都不给他开。舅舅反复告诉他，凯沃斯不在家里。偏执的梵高为了见到表姐，竟然拿来一盏煤油灯，将自己的手放在煤油灯的火苗上烤，并对舅舅说：“让我见见表姐，否则我就一直把手放在灯上。”梵高的舅舅见状，迅速将灯吹灭，并把早已习惯酗酒的他带到附近的一个酒吧里，将他灌醉。喝醉酒后的梵高当然还是见不到表姐，只是得到了舅舅更强硬的回答：“你永远不可能和她在一起！”
巨大的悲伤充斥着梵高的心，使他的身体和精神都备受摧残，“浑身上下冷透了，一直冷到灵魂的深处”。梵高只有更加努力地工作，来淡忘这一切。受到如此残酷的爱情挫折的他不再有奢求，只希望能独立地生活下去。
一百五十法郎断送婚约
经历了两次爱情的挫折后，梵高把更多的精力放在了画画上。
1882年冬天在海牙，有一次，在画素描时，梵高认识了曾做过妓女、现为模特、刚被男友遗弃、还正怀着孕、又病又饿的克里斯蒂娜·玛丽亚·霍尔妮克。她32岁，也比梵高大3岁。两个人你来我往，感觉很是投机，自然就有了身体关系。
其实，克里斯蒂娜懒散邋遢、酗酒无度，天生一张麻子脸，且满嘴恶臭，简直是不可救药。但他们仍然生活到了一起。也许是克里斯蒂娜艰难的处境打动了梵高，让他对她产生了他自己所谓的“兄弟姐妹之爱”；也许是她在外表上与凯沃斯表姐有某种相似之处，使他感到亲切。
每次，克里斯蒂娜下班之后，就给梵高当模特儿，有时还为他做菜、烧饭、洗衣服，被称为是“一个能干的女人”。这些举动让梵高体会到了家的温暖，使他萌生了结婚的念头。
不久以后，两个需要安慰和情欲的人就同居了。对梵高而言，克里斯蒂娜有着令人崇敬的品质；和克里斯蒂娜在一起，使他增加了信心和力量。梵高不希望只是把克里斯蒂娜当作自己的情妇，他要和她结婚，共同生活、彼此爱护。能有一个和睦幸福的家庭，就算再辛苦，梵高也觉得快乐。克里斯蒂娜也想尽量做一个贤妻良母。
尽管外人对他们指指点点，梵高为此甚至与表姐夫安东·莫夫决裂，他的父母也表示强烈反对；而且，梵高生平的第一次性交活动，还让他付出了昂贵的代价，他很快被医生确诊为患上了淋病，并接受了6个星期的住院治疗，但两个相爱的人义无反顾地决定：当梵高每月能赚到l50法郎时，就正式登记结婚。
然而，克里斯蒂娜在当妓女时把身体弄垮了，她虚弱的身子需要大量营养品。而对绘画近乎痴迷的梵高，却把大量钱花在了买颜料和雇模特上。这一切使得克里斯蒂娜心疼不已，两人的矛盾日渐加深。
但另一个说法是，梵高对克里斯蒂娜亲如手足，为她节衣缩食，对她悉心照料，他在画室里放上摇篮，像对待亲生孩子一样给她新生的婴儿洗澡，可是克里斯蒂娜却常常偷他的钱去酗酒取乐。
最终，由于梵高无法赚到150法郎的月薪，他与克里斯蒂娜彻底断绝了关系，结束了自己的第三次爱情。
1884年在荷兰南部的纽南，此处靠近家乡，梵高与本村的年轻姑娘玛戈特·贝格曼发生了最后一次恋爱，但仍以不幸结局而告终。据说先是玛戈特看中了他的好心肠，爱上了他（此年他31岁），两人幸福地过了数日，但是由于双方家庭均不同意，竟导致这位姑娘企图自杀。梵高对此感到非常震惊，只好马上宣布放弃。
去妓女那寻找家庭的温暖
一次次的恋爱，换来的是一次次的伤痛。绝望之余，梵高呼喊道：
“我应该有一个女人！我活着不能没有爱，没有女人。如果生活中没有无限的东西、深刻的东西、真实的东西，我会觉得生活毫无意义。”
“无论对错……我需要一个女人，我不能、也不会、也将不过没有爱的生活。我是一个男人，一个有热情的男人；我必须有女人一道过日子，否则我就会冻成冰块或变成石头……然而即便是在这样的形势下，我内心仍然进行了一场激烈的斗争，在这场斗争中，我从生理学、卫生学以及辛酸的经验所学到的某些东西占了上风。一个人不可能太长时间没有女人而保持正常……”
梵高需要人间的温暖，可人间流放了他。在流放中，他只能走向街头或妓院的女人。妓女成了他生活中主要的、实际上也是唯一的异性伴侣。为此他又染上了淋病、梅毒。但是即便如此，他依然乐此不疲。他到她们那里去决不是为了单纯的肉欲，而是为了寻找家庭的温暖。他将那些妓女视作同胞姐妹。
在一封信中，梵高这样写道：“至于妓女，与其说我怜悯和同情她们，不如说我对她们发生了认同和共鸣。作为像你我这样的艺术家一样被流放、被抛置于社会之外的人，妓女当然是我们的朋友和姐妹。而在这种被抛置的状态中，就像我们艺术家所做到的一样，妓女发现了自身的独立性，仔细一想，这种独立性最终说来并没有意义。”
同性恋的可能性
有人认为，梵高是一个同性恋者，其对象正是曾和他住在一起的另外一位大画家高更。那是1888年在法国南部的阿尔勒，猛烈的阳光和刺目的麦田使他“疯狂”，创作进入高峰，用心灵作画。5月他迁入拉马丁广场上的“黄房子”，想建立“画家之家”。
此年10月20日，高更前来与他同住，刚开始的生活与合作应该很愉快、友好，但后来两人经常争执，彼此的分歧越来越大。12月23日他们发生激烈的吵架，高更不得不回巴黎去了，梵高为此还悲愤地用剃须刀从自己的耳朵上割下了一块肉，并用报纸将它包起来，带到妓院里去。他的过激行为遭到当地居民的抗议，梵高被迫离开，并自愿前往距阿尔勒不远处的一家精神病院接受治疗。
梵高为什么割掉自己的耳朵，目前尚无定论，这只是其中一种说法，也是中央电视台一个节目里的说法。但更多的人认为，长期超负荷的工作和阳光的灼烧，使得梵高精神失常。还有人认为，从遗传学角度看，梵高晚年患精神病，很可能与其姨妈中有癫痫病患者有关。而关于梵高和高更是否为同性恋人，也没有确凿定论。
尽管高更和梵高的名字双双成了现代主义艺术的先锋，成了极端个性化的艺术家的典型，但他们之间并没有什么相同：高更是个攻击传统观念的人，语言刻薄、玩世不恭、冷漠无情，有时还蛮横无礼；而梵高对于共事的艺术家，则充满了一种天真、热情、深沉的爱。可能也正因为如此，在他们之间发生了一段奇特的情感，却又有巨大的冲突，这才导致不幸的结果。