坏事接踵而至。有从石镇吉部化装跑来的兵卒报告，石镇吉攻打百色失败，撤兵途中，被土司和当地团练一路埋伏追杀，石镇吉的堂兄石镇常被杀，石镇吉中了埋伏，被土司捉住，解往桂林。
这对石达开又是一个非常严重的打击。石镇吉勇猛不说，这一路上，他虽然没跟石达开在一起，但是一直随着石达开的行军路线活动，帮助石达开牵制了大量清兵。
石达开一连两日几乎没吃饭。他每天独坐屋里，一动不动。王妃带着孩子来叫他，逗他开心，石达开也异常烦躁地让卫兵把他们撵了出去。
石达开还有一个最担心的，他派的差官去朱衣点部两天了，信息皆无。
第三天，石达开突然听得外面一阵马蹄声响，石达开抬头，稍等了一会儿，看到彭大顺和朱衣点以及大将童容海、吉庆元四人走了进来。
看到石达开，四人“噗通”跪下。
石达开问：“你们这是为何？”
彭大顺说：“翼王殿下，我们兄弟想奏请翼王带我们东归天京，如若翼王不去，则请翼王放过我们，给兄弟们一条生路。”
石达开愕然：“难道跟着我石达开就是死路一条吗？”
彭大顺说：“请翼王想想，自从援助吉安临江失败，我们这一路死了多少兄弟。现在老营出来的兄弟还有多少？西取四川，九死一生，我们兄弟都有老婆孩子，实在不能再随着翼王送死了。我们兄弟来劝翼王最后一次，如若翼王不肯东归，那我们兄弟就告辞了。”
石达开心里清楚，他们既然敢进来，就肯定做了防备。这次哗变的将领有六十七人之多，他们一走，将领十去其七，这六十七员将领各率本部人马，加起来有二十万人之众。他们一走，能打仗的就只剩下赖裕新一部一万多人了。
这几乎是一个致命的打击。
石达开心里在流血。他从这四人身边走出来，看到院子里也跪了二十多个人，这都是些曾经随着自己同生共死的兄弟啊。石达开挨个从他们身边经过，他看到其中一个的靴子烂得不成样子，从屋子里找出一双新靴子，递给这个将领。将领跪着，不敢抬头看石达开。
石达开回到屋里。他问彭大顺：“剩下的那些兄弟呢？”
彭大顺没说话。朱衣点说：“回翼王，那些兄弟在外面等着我们，以免……”
朱衣点没说完，石达开也知道什么意思。他们的意思很明确，他们是来跟他石达开辞行的，当然为了以防万一，由剩下的将领带着二十万大军在外面等着他们，万一石达开不让他们走，他们就会带着大军攻城。
石达开笑了笑，说：“各位多心了。你们既然不愿意跟我，我不勉强。希望你们回到天朝后，能协助天王完成千年大业。我石达开会在四川跟他遥相呼应。你们走吧。”
彭大顺朱衣点等人叩头而泣，大呼：“翼王保重。”
咸丰十年（1860）伍月，彭大顺朱衣点等六十七名将士各带本部人马计二十万大军，离开了石达开，东返天京。
看着众将士走出大院，石达开坐地上，好长时间没说话。韩宝英和张遂谋等人进来，石达开一脸死灰，说：“没想到，我石达开会有众叛亲离的这一天，罢了，你们也都散了吧，我去做个山林隐士罢了。”
张遂谋叩头，说：“翼王殿下不敢这么说，这里还有一万多将士效忠翼王，他们还盼望翼王带他们开疆辟地，以图封侯拜将。殿下，留得青山在，不愁没柴烧，请翼王殿下三思。”
石达开顿了一会儿，才说：“我只是一时气闷而已。我石达开几次历经困境，有这一万兵马，只要大军动起来，何愁十万？”
朱衣点等人走后，石达开也率领众人离开庆远府，避开刘长佑的攻击，继续朝南退缩。
他们无法摆脱鬼缠身一般的团练的追击，只能边跟他们打，边朝南退，并攻占了清兵兵力空虚的上林和宾州等地。
一路南撤，虽然石达开攻占了上林等地，但是因为城内的人早就开始朝外搬东西，跑人，石达开进入的只是几座空城。给养并没有得到满足，兵卒依然过着饥一顿饱一顿的日子。
石达开企图带着人马打出广西去，像当初起义之初，自己带着人马打到永安一样。但是刘长佑根本不给他机会，每次出击，都会损失一部分人马。在这时候，军中的天地会头领又带着一部分兵卒离开了。他们待在上林，原先住在上林的地主和百姓组织了团练天天骚扰他们，石达开剩下不到一万人马，竟然无法战胜这些泼皮的团练。
石达开看看再住下去，恐怕想跑也跑不了了，只得带着人马，回到了家乡贵县。因为离贵县不远的桂平是大成国的地盘，大成国成了石达开的屏障。
这是自金田起义以来，石达开第一次回到老家。应该说，他是带着一帮残兵败将回到老家的。当年的熊团董已经死了，新团董听说石达开回来了，吓得带着人跑了。
石达开在县城住下，带着人回到老家一次。那帮村已经破落得不成样子。当年石达开走的时候的，带走了很多年轻人。后来，家里有人参加太平军的，因为官府不断迫害，不得不搬走了。
石达开家的茅屋好几个地方都漏雨了，石达开还让人修了一修。他没有找到熊清芬。他打听到熊清芬改嫁去的村子，乔装改扮成普通老百姓，去找了一次。可是人去屋空，那一家人也不知道搬到哪里去了。
大成国的陈开听说石达开回到贵县，请石达开去桂平喝茶吃饭。石达开哪里有这个心情，他给陈开回帖，说等过一段时间吧，这些日子太累了，休整些日子再说。
让石达开没想到的是，他到贵县还不到一个月，桂平就被清军攻破，浔州王陈开被俘遇害。陈开的手下率领两万人归附太平军，石达开得了这一支人马，势力大增。
更让石达开喜出望外的是，在贵县，他见到了生命中非常值得珍惜的两个人，邱道长和叶梅。
两人是在一个阴沉的午后来到石达开家的。
邱道长还像当年一样穿着道服。最让石达开惊喜的是叶梅，她穿着几乎跟十年前一样的衣服。当这两人出现在细雨绵绵的院子里，让石达开有种时光倒流的感觉。
石达开跑出来，把两人迎进屋子。邱道长拱手，说：“翼王殿下，您现在可不是曾经的那个年轻人了，真怀念当初叫你‘兄弟’的时光。现在您威武雄壮，我老了。”
石达开忧郁的心情看到这两人后大为好转，他哈哈大笑，说：“什么翼王殿下，现在我就是那帮村的石达开。邱道长，您在我眼里，永远是我的兄长，是我的老师。您要是这么客气，我石达开可就失去这最好的朋友了。”
邱道长呵呵一笑，说：“翼王果真如此看重贫道？”
石达开正经说：“当然。当年如果没有道长帮忙，恐怕早就没有现在的石达开了，我怎么敢在你眼前称什么翼王？对了，道长您这些年都在寻找那个仇人吗？”
道长点头，说：“是啊。都在找。不过现在已经找到了。你看我说话算话吧？找到了仇人，完成了任务，我来找兄弟了。呵呵”
石达开问：“道长，那您杀了他吗？”
邱道长摇头，说：“没有。我找到了他的尸体。我找到他的时候，他已经死了。不是被人杀死的，是自己得病死了。人的生死真是无法预料。”
三人坐下。石达开问叶梅：“叶梅，宣娇怎么样了？你怎么离开天京了呢？”
叶梅本来还是脸带笑意，听石达开提到洪宣娇，脸色就阴沉下来，显得很凝重。她说：“宣娇姐……失踪了。”
石达开一愣：“失踪了？”
叶梅说：“是。我们住在一个小胡同里，和别的人家合住一个小院子。那天我出去买东西。宣娇姐自己在家里。我回来的时候，她就不见了。问了院子里所有的人，都没看到她出来，也没看到人进过我们的院子。在那前几天，宣娇姐说过有人进过我们的院子，不过，只是问她是不是认识一个什么什么人，宣娇姐没听说有这么个人，就说不知道。他们就走了。宣娇姐说她觉得好像应该是有什么问题，但是又说不出来。以前我们住的地方是个大院子，偶尔也有走错路进来的，这次宣娇姐说感觉有些问题，我就打算搬家，那几天我在外面找房子，没想到，宣娇姐就在那几天失踪了。”
石达开长出一口气，说：“唉。宣娇妹妹也是个苦命人。如果西王在，她何至于投靠东王？西王去了之后，天王对她也是不管不问，她想见天王都见不到。北王韦昌辉都常挨东王的打，何况一个弱女子？但愿天王只是把她软禁起来。”
叶梅说：“我也是这么想的。宣娇姐姐是个好人，天王又是她哥哥，我想……天王应该不会为难宣娇姐。”
石达开点头，说：“但愿如此吧。”
邱道长说：“达开兄弟，广西贫瘠，团练又凶悍，广西巡抚刘长佑长于杀戮，此处不是久留之地，不知你作何打算？”
石达开说：“入川！”
邱道长沉吟着说：“四川物华天宝，是个好地方。从古至今，也有很多人做过蜀中之王。不过也正因为此，清廷会在沿线严加防范，派重兵守护。这对于处于劣势的太平军来说，入川反而会更加危险。况且，太平军现在士气不高，凡事需要天时地利人和。现在太平军这几样都不占，入川恐怕很难。”
石达开这些日子有些头疼，因此习惯性地捏了捏头，说：“这个是在我预料之中的。但是现在我不想依附天王，大军也不能总是四处游荡。入川虽难，但是清兵在四川兵力薄弱，只要我们拼死进入，就能打出一片天地，我们就有了落脚的地方。”
邱道长摇头，说：“兄弟，您考虑过万一入川不成怎么办？”
石达开笑了笑，点头说：“这个自然也考虑过，万事都有个万一。万一不成，我就带兵退入云贵之地，找个好地方，先住下来，找时机再进入四川。”
邱道长赞叹道：“好！这个退路想到比较周到。但是，万一清兵重重阻挡，不让你退呢？”
石达开一愣，说：“这个……我还真没想到。”
邱道长问：“那您派人去探路了吗？”
石达开一愣，说：“没有。”
邱道长喝了一口茶水。茶水好像挺热，他不由得吸了几口冷气。叶梅不由得笑了笑，说：“道长慢些喝。”
邱道长说：“都说心急吃不了热豆腐，其实心急了水都喝不好啊。达开兄弟，您现在对入川的路不了解，对清兵能派那路人马进行堵截也不了解，怎么运动部队，您都没有了解，甚至到现在还没有派人去探路，更没有先派人去寻找渡过那些江河的船只，您就想进川，这心似乎太急了。入川不比你从江西到福建，从福建到湘南，从湘南一路到广西。入川之路，比这些地方要险恶得多，还要过江，太平军匆忙过去，肯定没有船只，匆忙制造的小船，怎能敌过对方在对岸布置的大炮？人家是以逸待劳，倚强凌弱，这个仗你怎么打？”
石达开对邱道长的话有些反感，幸好身边没有别人，他微微皱眉说：“道长，士气是打出来的。军队就是要打仗，闲着反而事多。况且，我们一路打出去，投军的肯定很多，这个您是应该知道的。至于清兵的围堵，这是意料之中的，我打了这么多年的仗，请您放心，我对这些都有准备。有一点您说得对，入川之路凶险，渡江也需要船只，这个确实是个大事。不过，现在我们没法派人去准备船只，清兵肯定会派人去清理，这个只有到了之后，抓紧时间赶做。大军里有造船的技士，一夜可以做上百艘渡船，这个请道长放心。”
邱道长摇头，说：“入川之战，跟别的战役不同。我有个建议，不知道兄弟是否愿意考虑一下？”
石达开说：“道长请讲。”
邱道长说：“现在入川，可以说是仓促之举，胜算不大。我觉得您应该先一路带兵进入云贵川三省交界之处，此处地势险要，利于防守，并且现在清廷正在为你入川做防备，此处兵力空虚。大军朝此处进发，不会有悍将阻拦。在这里住下后，离着金沙江近，可以早做准备，以待时机。此法入川，虽然时间久些，但是保险，望兄弟考虑。”
石达开犹豫了一下，才说：“道长的话有道理。不过，兵贵神速，迁延时间长了，清廷准备充分，反而成了夹生饭。我想想吧，也好同诸将商讨一下。”