赵铁桥被刺身死，国民政府首先怀疑的对象，就是李国杰，但苦于证据不足，无法将他绳之以法。但国民政府并未放过他，而是以赵铁桥的生前举报为依据，上海地方法院于1932年12月27日，判处李国杰有期徒刑三年，剥夺公民权利四年。
“少年荣华，中年风流，晚年必然落魄。”身在牢狱之中，接到判决书，李国杰眼望苍天，内心十分委屈地感叹：这都是爷爷那辈子杀人无数、卖国求荣造的孽，让我来遭罪偿还。因果报应，果然如是，不信都不行啊。
但李国杰怎么也没想到，就在他万念俱灰的时候，一个贵人轻车简从，悄然南下。
1933年1月22日，正当日本为了策划华北五省（河北、山东、山西、察哈尔、绥远）自治，千方百计拉拢失意军阀段祺瑞、吴佩孚、孙传芳等人出山之时，段祺瑞在钱永铭（交通银行董事长，蒋介石的全权代表）的陪同下，与妻弟吴光新、侄子段宏纲等三人，秘密登上南下的火车，抵达南京；蒋介石大喜过望，立即命令在宁的所有少将以上军官，到浦口车站迎接，以示重视。蒋介石则在下关码头，亲自迎候乘坐渡船而来的段祺瑞，态度十分热情。当时，段祺瑞年近古稀，须发皆白，头戴黑呢子方顶帽，身穿中式服装，满脸和气。刚出船舱，蒋介石立即迎上前去，先敬军礼，随后握手，一口一个“老师”，叫得段祺瑞心里像熨斗熨过了似的，特别舒服。
段祺瑞（1865—1936），字芝泉。安徽合肥人。16岁时，家道中落，只身步行两千多里，远赴山东威海，投奔在淮军任管带的族叔段从德，在淮军营中当了一名司书，干活很卖力气，就是衣服皱皱巴巴，帽没帽样，鞋没鞋样，一天到晚鼻涕邋遢。老兵邢宝斋看不下去，经常骂他：“就你这个屌样，窝窝囊囊的，以后能干什么？哪家闺女要是能看上你，算是瞎眼啦。”段祺瑞总是鞠躬认错，怎么改也改不利索。
不久，李鸿章创办了天津武备学堂，段祺瑞考上第一期炮兵科。学校中，有一门从德国进口的“管退炮”（即速射炮）。一次，这门教学炮的瞄准具坏了，无人会修，“管退炮”变成了瞎子，无法使用。从学兵到教官，一筹莫展。段祺瑞反复琢磨，三鼓捣两鼓捣，竟然鼓捣好了。一时间，段祺瑞令师生们刮目相看。1988年，他又被送到德国，留学一年。1896年，袁世凯奉命到天津郊区小站“新建陆军”，认为段祺瑞是个人才，就把他调到麾下，担任炮队统带。后来，段祺瑞逐渐成为袁世凯的心腹，与王士珍、冯国璋并称“北洋三杰”：王士珍“仰不愧天、俯不愧地、抚不愧心”，深不可测，被誉为“北洋之龙”；段祺瑞拿得起、放得下，敢作敢为，被称作“北洋之虎”；冯国璋（字华甫）对袁世凯毕恭毕敬，鞍前马后，看眼色行事，被叫作“北洋之狗”。
尽管袁世凯有恩于段祺瑞，并将义女张佩蘅嫁给他做了续弦，但是在袁世凯称帝问题上，段祺瑞却自有主张。不但袁世凯的登基大典他没参加，而且，他还对智囊徐树铮说：“项城（袁世凯的字）作孽啊！”一天，冯国璋为了巴结袁世凯，离间、打击政治对手段祺瑞，专门给袁世凯写了一封信：“京以外事，倘有所命，决不敢辞。惟京内事，则极望菊人、芝泉诸兄能切实秉命而行，不要为其左右所误……”“左右”一词，暗指徐树铮。袁世凯却将此信拿给段祺瑞。段祺瑞看后，鼻子都气歪了，将信往地上一扔，骂道：“冯华甫本来是一条狗，现在看来，他简直连狗都不如！”
民国时期，段祺瑞“三造共和”，多次担任国务总理或临时执政，纵横政坛十五载，却恪守“为官不贪”的政治家准则，生活朴素，清廉如水，无积蓄房产，不抽、不喝、不嫖、不赌、不贪、不占，人称“六不总理”；1926年，“三一八”惨案后，他辞去职务，到天津做了寓公，成天念佛，不再吃荤；而他在天津并无房产，手头又没有多少积蓄，只得借老部下位于日租界宫岛街（今和平区鞍山道38号）的房子居住，一日三餐，以馒头、米饭、蔬菜为主。段祺瑞还操起算盘，亲自过问家中开销，审查日常账目，能省就省，能自己干的就不雇人。老部下魏宗瀚 实在看不下去了，邀请一群老兵，自愿到段宅站岗、收拾卫生。邢宝斋光棍一条，无儿无女，年纪大了，一直跟着段祺瑞，也从北京跟到天津。平时的家务不用他上手，只让他做一些买扫帚、簸箕等轻快活儿。闲来无事，他就给后生们讲一讲段祺瑞当兵时的“段子”，每当讲完，后生们就拿他开心：“你不是看不上段大人吗，可你如今还得帮他上街去买扫帚……”邢宝斋有点不好意思，结结巴巴地说：“咱是个凡人，也不知道他后来能够时来运转，当了这么大的官。早知如此，当年应该对他好一些呀！”
到达南京的当天晚上，蒋介石在总统府，为段祺瑞接风洗尘。
“段老师，请问您是愿住在南京，还是住在上海？”酒过三巡，蒋介石亲切地问道。
“我的二小女在上海读书，我还是住上海方便些。”段祺瑞回答。
“段老师，您看您还有什么事情，需要学生办理？”
“这个嘛……没有什么大事。个人只有小事一桩，不知道当讲不当讲？”
“尽管讲，尽管讲。老师不必客气。”
段祺瑞端起茶杯，喝了一口，说：“我有个远房亲戚，名叫李国杰，不知道委员长是否耳闻？”
“就是那个李鸿章的长孙？听说过。”
“李鸿章李大人与我是合肥老乡，曾有恩于我。当年他选派五人去德国留学，看见名单上只有两名安徽人，有些不太满意，说：‘淮军就是淮军，要以淮人为主。’于是，他亲笔勾掉一名山东籍候选人，将老朽的名字补上。后来，又多次提携。再后来，我的大闺女段式萱嫁给李家的孙子李国源，算是亲上加亲。这个李国杰与李国源是至亲。老朽已经年老体衰，不中用了，本不该过问这些鸡毛蒜皮的小事。可是，听说李国杰犯事后，他的妻子寻死寻活，跳了几次黄浦江……当然，国有国法，家有家规。我不是要为他徇私枉法。我的意思是，如果仅仅是经济问题，就让他怎么吃进去的，怎么如数吐出来……”
“段老师，这件小事你老就不必挂在心上，容学生我了解一下，等情况明了，再作决断。可好？”
临别时，蒋介石问段祺瑞，每个月送他1万元，是否够用。段祺瑞表示国难当头，国家用钱的地方很多，自己不需要这么多生活费。蒋介石说：“你如果手头宽裕，可以分一些给你的老部下，听说他们现在的日子也过得紧紧巴巴。”于是，段祺瑞每月接到生活费，自己留下够用的，大部分，都分赠给了昔日袍泽。
段祺瑞乘火车到了上海，不久，就对记者发表谈话：“日本横暴行为，已到情不能感、理不可喻之地步。我国唯有上下一心一德，努力自救。语云：求人不如求己。全国积极准备，合力应付，则虽有十个日本，何足畏哉？”寥寥数语，铁骨铮铮，掷地有声！后来有人发表感慨：如果是段合肥当政，小日本岂敢欺我中华无人？
蒋介石很给老师面子，段祺瑞走后，他就下令，将李国杰放了。有段祺瑞这把大伞罩着，出了监狱，李国杰谨谨慎慎，待在家里整理狱中诗稿《蠖楼吟草》，一般不外出，以免惹是生非。后来，《蠖楼吟草》出版，梁鸿志题签，冒鹤亭、杨云史为序。
1936年6月，段祺瑞患了严重的胃溃疡，大量出血。由于多年吃素，他的免疫力比较低。医生和家人都劝他吃点鱼肉，增加营养。段祺瑞果决地说：“人可死，荤绝不可开。”到了10月，胃部再次大出血；11月2日20时，段祺瑞在宏恩医院（今华东医院）病逝，享年71岁。
李国杰得到噩耗，登门吊唁，哭得比段氏儿女还要伤心，两个眼睛肿得像红灯笼。从此，大伞失去，他更是深居简出，不问世事。
1939年2月19日，农历大年初一上午，按照老规矩，李国杰出门去给长辈拜年，刚走到新闸路沁园村弄堂口，枪声像鞭炮一样，响了数下。随后，他被送进海格路红十字会医院，经过一个多小时的抢救，李国杰苏醒过来，看看自己躺在急救室内，他十分不解地问医生：“他们打我做什么？”医生见他神志清醒，伤势不重，就劝他安心静养。可是，等到傍晚，出门拜年归家的大儿媳妇闻讯后，匆匆赶到医院，一进房门，“嗷”的一声，昏了过去。医生赶紧手忙脚乱地抢救。醒来后，才知道，原来，当年赵铁桥被刺，就躺在他公公睡的那张病床上。入夜，李国杰病情突然恶化，三天后，一命归西。
事过多年，到底是谁刺杀李国杰，一直没有结论。不少人推测，很有可能，是赵铁桥家人雇凶报仇……