在1933年5月23日晚上，欧内斯特在迎接他五岁的儿子帕特里克（老鼠）和保姆埃达·斯特恩后，回到“两个世界”旅馆房间。他们从西礁岛摆渡，打算去投宿在格兰特和简·曼森家作为暂住的客人，和海明威的十岁儿子杰克（邦比）做伴，因为那孩子已经在那里暂住一段时间了。他们住在一个大的庄园里，地处哈瓦那西部的贾马尼塔斯郊区，跟他们在一起的还有三岁的儿子安东尼，还有一个后院动物园，园中养着一只熊、一只猴子、一只狐狸、几只孔雀，一些火烈鸟、鹦鹉、鸽子和三只大狗。为了保持这所豪宅的有条有理，曼森夫妇雇用了一位海地养马人、一位中国厨师、一位意大利男管家、一位德国园丁和一位古巴汽车司机。在季节早些的时候，也就是在四月的最后两星期，欧内斯特曾经欢欢喜喜地迎接格兰特和简·曼森夫妇作陪，登上“阿妮塔”号船，同查·汤普森和波琳的叔父格斯一起钓鱼。虽然他调情勾引简似乎无伤大雅，可是波琳已经注意到他对靓丽的年轻女子的吸引，在她给欧内斯特的一封信中曾经提及曼森女士：“我鼻子大，嘴唇有缺陷，突出的双耳，还有在来古巴前通过手术已去掉的疣和痣。我认为还是我好，曼森女士和那些古巴女人也同样极娇美动人。”
旅馆房间里一片寂静，欧内斯特的思想集中在纸上。他已经应阿诺德·金里奇之邀为他所出版的杂志撰写供年轻人阅读的稿子，然而欧内斯特认为那《老爷》杂志的名字总不会叫响。这种话多少带有一点势利的味道，不过海明威对重操旧业回到新闻工作则有好感。他喜欢向别人解释他怎样到处走动做些事情，那样他就是一个不加做作的教师。他拿着一本笔记本坐在书桌旁，一边想着将向这些有教养的读者讲述怎样捕捉金枪鱼。他把自己的计划记下来：很快地淋浴、穿上舒适的衣服、直奔咖啡馆吃早餐。他们把深海捕鱼的体力需求比作一个拳击家训练时的体力需求——你在锻炼前不要吃得过饱。抽回钓竿，然后转动钓竿上的绕线轮，是相当于做一千次仰卧起坐，只是两只手臂被重重地拉着，直至好像快要拉断的样子。他在笔记中写着：粗茶淡饭。开始是一薄片古巴面包，一杯未热过的牛奶和一杯矿泉水。从鱼一直洄游的情况来看，鱼惯常在上午和下午较晚的时候吃东西，留出晌午时间供捕鱼人称心如意地饱餐一顿午餐。
当老爹草草记下他的一些想法时，他听到卧室的窗户上有一阵急促的敲击声，其声轻得像鸟啄食的声音，不过有令人好奇的节奏。他走向高大、窗板关着的百叶窗旁边，把窗推开。正当简·曼森微笑着弯下身子过来时，他看到一块粉红色的围巾和金黄色头发的飘动。“简，我的美人儿！你有什么事啊？”当曼森通过那扇窗户爬进来时，欧内斯特随口问道，这窗子距离隔壁她的房间有两英尺半阔的砖砌墙壁突出物。
“哦，我刚才在附近兜了一圈，想着我可能会使你感到吃惊。”这个皮肤白皙金发碧眼的女子回答道，机敏地投入老爹的怀抱，进入他的房间，“我想你可能很喜欢听听我对于你即将出发的狩猎旅行的一些想法。”
欧内斯特很快关上木制百叶窗，转过身来发现简已经伸展着身子躺在他的床上。他转身向她走去。“把你的想法告诉我，女儿”。
虽然他们风流韵事的详情细节多半还不为人所知晓，可是在《富人与穷人》一书中的这段文章，却表明欧内斯特怎样利用这种关系暧昧的爱情事件作为写作的灵感，甚至也许暴露出他自己惧怕陷入这种无谓的事件中。
那天下午当门开时，她没有看到他。她没有看到别的任何东西，只看到天花板上镶有糕饼上糖霜混合物的丘比特丘比特画像是指裸体，有双翅，而手执弓矢的美男孩，作为爱的象征。的模型、鸽子和旋涡形装饰物，由于门开着，透进来的光，室内顿时显得更为亮丽、清晰。
理查德·戈登已经转过头来看到，但见他心事重重地站在那里，胡子拉碴，颔毛很多。
“不要停止，”海伦说道，“请不要停止。”她的光亮的头发散乱地铺开在枕头上。
不过理查德·戈登已经停止，他的头还在转动，目不转睛地看着。
“别管他，别管任何东西。难道你没有看出你现在不能够停止吗？”那个女人以不顾一切的催促的声音说。
那个胡子拉碴的男人已经轻手轻脚地关上了门。他面露微笑。
“你怎么啦？亲爱的。”海伦·布雷德利随口问道，现在又陷于一片黑暗之中。
“我应当走。”
——《富人与穷人》
翌日，欧内斯特又乘上“阿妮塔”号船外出捕鱼，同行者有拉塞尔和大副卡洛斯·古铁雷斯，而简带领孩子们去拜访住在米拉格拉斯山庄的一些朋友。孩子们在外面整天晒在阳光下，简却喜欢关上她的雪佛兰牌汽车可折起的车篷的顶盖，使归途可舒服些。看似一个简单的决定，一天结束时却拯救了他们几条性命。
据1933年5月24日《哈瓦那邮报》报道，简·曼森、她的小儿子托尼和欧内斯特的两个儿子杰克和帕特里克避开了一次严重的伤害，本来这很容易酿成一起致命的事故。沿着丘陵起伏、茂盛而青翠的草木丛生的山坡一路开回去时，他们经过卡诺镇。
就在前面，正朝着他们，一辆汽车开着要绕过一辆缓慢改变方向的载重汽车，没有注意到迎面而来的他们的小汽车。“天啊。”简尖声叫喊，当时她从铺砌过的路面急速转向，猛力推上制动器立刻刹车。而那辆汽车倒没有减速顺利通过，继续向前开行。
简开始呼气，可是她驾驶的汽车却慢慢地滑向软而尽是烂泥的路的边缘。“啊呀！抓牢，固定住。”在汽车倒翻进堤岸前，她气喘吁吁地说道。简出于本能，紧紧地控制住发火装置。帕特里克抓住托尼不放，而托尼却紧紧抓住他的母亲不放。简举起她的两只手放在集中于一点的顶上，这样来保护她的头部。当汽车左右摇晃滚过去时，托尼能够看到坐在后座的邦比在做着一种奇怪的侧手翻。从车的前窗看去的景色出其不意地改变了，从蔚蓝的天空到新近开掘的堤岸褐色污垢。在惯性的影响下，小汽车又有两次倾倒、滑动、倾斜，直至完全停止，倾倒得乱七八糟。难闻的汽油味直刺鼻孔，并且他们的喉咙的后部感到闷塞。
“我们必须离开这里。”简一面说道，一面仍在紧抓住方向盘。
“试试把门打开。”邦比建议。
简没有办法把已经变弯的任何一扇车门打开，不过杰克伸头上仰为了摸到窗把手，经过几次很快的旋转，窗玻璃居然像一座吊桥那样升上来了。“曼森夫人，我们可以从这里出去。”
几个年纪较小的男孩子在窗玻璃下面扭动着。一直在附近打棒球的几个十几岁的少年则利用他们的棒球拍作为工具，用力举起门框，而简和邦比在地上挖掘以扩大逃跑的洞口。
最后邦比从车里挣扎出来，简也紧随其后出来了。到那时所有人都已从遭受严重破坏的汽车里脱身而出，在这过程中获得很多方面的帮助。泛美航空公司的一位男性雇员从山坡上直奔下来帮忙，并有一位古巴妇女紧随其后，一面用西班牙语向男孩子们大声喊道：“孩子们，孩子们，你们都好吗？”
那天傍晚，孩子们和简回到曼森庄园，途中没有再发生意外事情，而当欧内斯特听到这消息时，他马上过来探望。这种险些的失误最终发展到国际新闻界报道的重点，担心波琳（虽然她还在西礁岛），甚至欧内斯特的母亲格雷斯，她住在芝加哥 。她后来写信说：“我们今天早晨从众多报上读到你们险些发生的悲剧，大家都十分惊恐不安。上帝真好，不伤害你们的性命，并使你们安然无恙。”
这桩险些发生的悲剧和1947年另一桩汽车车祸，其中包括格雷戈里和帕特里克在内，则构成在《激流中的岛屿》一书中记叙的篇章。该书主人公托马斯·赫德森在听到他的儿子们残废的消息时，内心痛苦万分，这种内心的痛苦最后导致他走上一条自我毁灭之路。像海明威一样，赫德森几乎难以忍受这种悲痛，可是偏偏在每年夏末他的儿子们离开他回去探望他们的母亲的时刻，就是他们失去生命的车祸促使他自己加速毁灭。
“是的，”托马斯·赫德森说道，“这样变得完全孤独寂寞。”
每当儿子们离开，托马斯·赫德森就怏怏不乐。不过他认为那对他们来说是正常的孤独，他就继续工作下去。一个男子汉人世生活的结束，并不像博比先生杰出的绘画作品中有一张那样所画出的轮廓。那张画上有该岛上的男孩子们中的一个，手持一封无线电报，站在当地邮局的那条路上，开口这样说：“请在信封的可分开处签上大名。真对不起，汤姆。”
他取出无线电报，又重读了一遍，电文如下：令郎大卫和安德鲁偕其母在比亚尔里茨附近遭车祸丧生，您到达前务请注意一切，深表同情。
欧内斯特的长子邦比谈及简·曼森：“她犹如一只美丽的飞蛾，一见到好处就围着追逐的人，投向欧内斯特的火焰。”虽然欧内斯特曾试图把他和简的暧昧关系谨慎处理，有人看出适宜写在“阿妮塔”号船的航行日志上。“欧内斯特喜爱简。”欧内斯特却自夸把她吸引到他的房间和床上的那种威仪棣棣的本领。简素以夸张的言行为众人所周知，她显然没有把跨进离开地面五十英尺的一个狭窄的住所，形成激动人心事件的起点当做一回事。
有好几次，欧内斯特和简很欣赏他们所叫的“越野行驶”，乘坐在她的一辆小的进口运动车里。有一天下午，他们在小佛罗里达餐馆喝了双料代基里酒代基里酒（daiquiris）是一种由糖、柠檬汁和朗姆酒掺和成的鸡尾酒。代基里本为古巴产朗姆酒的城镇。后，当他们驾车唯一的目的是惊吓一下别的旅客时，他们已经发现一种纯狂热的异常快感。海明威随口说出这些越野行驶，只不过是没有经验的人要看出大声叫出“减速”或“密切注意”之前，谁能够在旅客的座位忍耐多久。
简后来说，欧内斯特处理并不公平；他不但喝双料代基里酒，并且总是把他的酒杯移开。由于他患有严重的近视，他确实不能看出他们已多么逼近死亡之神。
而当欧内斯特跟简热恋的时候，他对欺骗一位朋友之妻和亵渎他自己的道德行为的准则引起的内疚，总是竭力聊以自慰。他写信给马克斯·帕金斯，谈及他对婚姻方面道德沦落的看法。“所有女人嫁给一个不道德的丈夫，对她们自己和她们的朋友们可说都是厄运。”他很可能试图说出私通事件的合理化；格兰特·曼森也许由于商业事务繁忙，忽略了他妻子的日常生活，或者简已经厌倦嫁给年迈的男人。他在传统的爱情三角关系中所处的地位的受得挫折和不安，很明显地在他的短篇小说《弗朗西斯·麦康伯短促的幸福生活》中暴露无遗：
因此当她进来时，她唤醒他。威尔逊思忖着，以没精打采和冷淡的眼睛看着他们俩，嗯，为什么他不把他的妻子留在她正常归属的地方。他对我有什么想法呢？是一位有血的石膏铸成的有道德的人吗？让他把她留在正常归属的地方。这是他自己的不足之处。
——《弗朗西斯·麦康伯短促的幸福生活》
在故事情节中，那位丈夫最终鼓起勇气，降服了他妻子的生活不检点，只是出于偶然被她开枪打死。可是对简·曼森来说，小说结尾描述她时则出现完全不同的局面。
在简发生车祸后的那天，她回到停泊处和海明威一起垂钓。在“阿妮塔”号船的航行日志中，欧内斯特记下简捉到两条大的金枪鱼。任何人没有一点简单的技艺，更不用说刚逃出车祸幸存下来的妇道人家。可是这位“池畔垂钓倩影”（庞德公司生产的）护肤香脂的模特儿的命运至傍晚将尽。
确切地发生了什么事情还是含糊不清。十分可能，格兰特或许已经正视他妻子与海明威的私通事件，曾经禁止她再去看他。对简来说，她已制定好计划在小佛罗里达餐馆和欧内斯特共同庆贺她的两条金枪鱼的捕获物。由于波琳可靠地远在西礁岛，简不会失去她与欧内斯特的约会，至少不会心甘情愿的。
有些人曾经联想到，下一步会发生的事情是一种自杀的企图，还曾联想到她服用大量止痛药治疗汽车事故的后遗症，因为简·曼森曾经从她的汽车窗口跳出来。有一份古巴报纸报道说，曼森已经被古巴革命者开枪打死，而简却从哈瓦那老城一家旅馆的阳台窗口跳下来，或者在西礁岛海明威的家里，或者说还有简已经被人开枪打死的原因。没有迹象表明他们的私通事件正在减少，或者说她也没有任何原因会抱有自杀的想法。与所有民众的意见相反，整个事件应该重新分类为情感上的意外事件。
由于热切盼望与欧内斯特的另一次约会，简·曼森可能曾经试图从她艺术工作室的二层楼的窗户秘密地爬下来，可是她却不慎失足，坠落到地上，跌断了背脊。当欧内斯特到哈瓦那的一家英美医院探望她时，他想尽办法使她情绪振奋、意气轩昂，于是温情脉脉地说：“简，你是知道的，我从没有看见一个姑娘为我跌得如此严重。”
格兰特·曼森把简送往纽约治疗，她在那里接受背部手术和几个月的理疗。脊柱整合所留下的一个七英寸长的伤疤，这却作为简不能与海明威顺利进行约会的使人回忆的纪念品。
根据《老爷》杂志编辑阿诺德·金里奇所说，他后来和简重筑新巢，她与海明威的私通事件持续了五年之久，直至简把她新识的男朋友理查德·库珀在比米尼介绍给海明威才结束。而理查德·库珀是一位巨富的花花公子，并且也是一位为娱乐消遣而猎取大猎物的猎人。
欧内斯特犹如打翻了五味瓶那样十分心烦意乱，原因在于简和其他人坠入爱河。他在短篇小说《弗朗西斯·麦康伯短促的幸福生活》中表达了他的嫉妒和愤怒，书中用简和格兰特·曼森作为弗朗西斯和马戈特·麦康伯的原型，而同时把理查德·库珀作为狩猎远征向导的罗伯特·威尔逊的原型。
欧内斯特也写到马戈特·麦康伯像有一张姣好的椭圆形脸蛋那样，拥有5000美金批准生产美容产品的支配权，可是她自己从不用这些产品，这是确切地描述出简是赞同庞德公司生产护肤香脂。至于人物性格对简·曼森的联系的描写则留下少许的疑虑。弗朗西斯和马戈特·麦康伯已经结婚十一年，恰巧符合格兰特和简·曼森从1927年至1938年保持婚姻生活的那段时期。海明威用这两行文字总结了已经失败了的曼森夫妇的婚姻生活：
他们有良好的婚姻基础。马戈特对麦康伯来说太妩媚动人而不能离弃她，那么麦康伯对马戈特来说则拥有巨大财富而不能舍弃他。
——《弗朗西斯·麦康伯短促的幸福生活》