8月初，提奥从巴黎回到了埃顿，就在他回来之前，文森特特意带着自己的作品去海牙拜访了毛弗。毛弗对文森特的画作大加赞赏，这给了文森特极大的动力，恰巧也在这段时期，他又一次遇到了一个会对他的一生产生巨大影响的女人。在来到埃顿的牧师住宅消夏的客人中，有一位来自阿姆斯特丹的表亲——一位年轻的寡妇(在文森特后来的信中，他称其为“凯”)带着自己4岁的儿子。彼时的凯正沉浸在丧夫之痛中，她是如此深爱着自己的丈夫，她还没察觉到自己的美貌和动人的愁容在比自己小几岁的表弟心上留下了不能抹去的深刻印象。“他对我的儿子很好，”凯这样回忆道。文森特很喜欢小孩，他试图通过获得孩子的喜爱来间接赢得母亲的心。他经常和凯一起散步、聊天，还给她画了一幅肖像(后来这幅画不慎遗失了)，但是凯并无意更进一步的发展关系。后来，文森特向她告白了，然而凯的回复却很决绝。她返回了阿姆斯特丹，再也没同文森特见面。文森特不能接受这个结果，生性固执的他不断地给凯写信，希望能赢得她的芳心。当凯最终不再回复这些信件的时候，文森特开始责难自己的双亲，因为他们并不赞成二人的结合。文森特后来特意去了一次阿姆斯特丹，却被凯拒之门外，他这场无望的爱恋最终宣告失败。“他说他爱我，可我觉得这都是他的幻想，”凯后来说，然而对于文森特而言，凯的拒绝成了他生命中最为悲伤的转折点。假如凯对他的爱有回应，那么文森特也许会因此受到激励，为了给凯和她的孩子更好的生活，努力争取社会地位。求爱失败后，文森特更加沉默寡言了，他一心扑在了绘画上，不愿进行任何改变让自己能够在经济上独立。他不愿意再待在埃顿，整个人变得非常易怒和焦虑。他和父母之间的关系也变得紧张起来，终于，在和父亲一次激烈的争吵过后，在12月，他突然离开了埃顿，去往海牙。为了自己的绘画事业，他在海牙待了两年，这是他艺术生涯中非常重要的两年，他在信中事无巨细地记录下了当时发生的一些事。起初，由于环境的改变和与毛弗的接触，他的精神稍稍振作了些，然而被人轻贱和误解的感觉从未远去，他觉得整个世界都抛弃了他。1月，文森特遇到了一个贫穷的、即将分娩的社会下层女人(他在信中称她为“克里斯汀”和“茜恩”)，他将她置于自己的保护之下，一部分原因是出于怜悯，但更是为了填补自己生活的空虚。“我希望他这个所谓的模特不会带来什么坏处。人一旦孤独和愤懑了，坏事就跟着来了，”他的父亲在给提奥的信中这样写道。文森特和双亲都将提奥视为倾诉的对象，而他也是一个很好的倾听者。文森特父亲的担忧其实不无道理。然而文森特不想孤独地活着，他想为他人而活，他想要有一个妻子，有自己的孩子，在那个他深爱的女人拒绝他之后，他将及时个出现在自己人生道路上的不幸女人揽入怀中，虽然她生下的孩子和自己毫无关系。一开始，他强装出高兴的样子，并且在每一封寄给提奥的信中都试图向他证明自己的这一举动是多么的明智和充满善意。这个女人在医院生产完后，文森特极尽温柔地细心照顾她，但后来发生的事却让我们都很心痛，这个女人不值得文森特对她如此疼爱。文森特很为自己感到自豪，他现在有了属于自己的家庭了，然而，当他和那个女人真正生活在一起之后，他才意识到自己选择的另一半其实是一个粗俗、未曾受过教育的女人。她的脸因为曾经得过天花坑坑洼洼的，她说话的口音低贱，生性恶俗，既酗酒又抽烟，她还把文森特拉进了自己娘家的那一堆烂摊子里。很快的，文森特不愿再在信中提及自己的家庭生活了。克里斯汀也不愿再当他的模特，虽然她起初就是因为这才赢得文森特的心的，(曾经，她坐着时，文森特以她为模特创作了那幅美丽的画作——《悲伤》)，这原本是文森特非常期望的一件事。这次不幸的冒险尝试使得海牙当地原本对他抱有一丝兴趣的人立刻同他划清了界限。毛弗和特斯提格都不赞成他组建一个家庭，并且还是这样一个家庭，因为他自己都还在弟弟提奥的资助下生活。认识他的人和亲戚们都很惊讶，当他们看到文森特身旁竟是这样一个邋遢的女人的时候，没人愿意同他结交，也没人愿意来他家中做客。人们越发孤立他，和以前一样，只有提奥理解他，并且继续支持着他。