山穷水尽之时，幸得晋朝幽州刺史段匹?派人来邀。穷极无路，刘琨只得前往蓟城，依附段匹?。
段匹?一直很敬崇刘琨，两人相见，相约共扶晋室，尽忠朝廷，并结为兄弟。同时，两人又一起上表远在建康的司马睿，拥戴他为皇帝。
段匹?，东部鲜卑人，“种类劲健，世为大人”，其父务勿尘就是王浚嫁女与之的那位鲜卑首领。务勿尘被晋朝封为大单于时，段匹?也受封为左贤王，率众帮助晋朝征讨匈奴刘氏。务勿尘病死后，段匹?的哥哥疾陆眷在叔父涉复辰拥立下承袭大单于封号。
刘曜攻打洛阳时，王浚派疾陆眷等人与晋军一起攻打襄国的石勒。段匹?的堂弟段末杯追击石勒被俘，石勒不仅没杀他，反而送还于疾陆眷。为此，东部鲜卑与羯胡结盟，双方不再战斗，晋将也不能阻止。
段匹?一直不赞成兄长与石勒休战的作法，并尊刘琨为大都督，遣兵准备攻击石勒。大惧之下，石勒派人厚赂段匹?堂弟段末杯。段末杯既想报石勒先前不杀之恩，又想乘段匹?在外征战侵夺他的地盘，便向疾陆眷和涉复辰二人进言，认为他们以单于兄长和叔父之尊，不应该听从段匹?。他又讲，即使讨伐石勒，一旦有所成功，大功也归于段匹?一人，对疾陆眷单于没有什么好处。此计果然奏效，东部鲜卑主力引军而还。
段匹?孤掌难鸣，只得回军。不久，疾陆眷单于病死。段匹?闻讯，率军赶回为哥哥奔丧，段末杯声言他是要回来篡位，半路设伏追击，段匹?败走。
段末杯趁杀掉堂叔涉复辰及其子弟二百多人，自立为单于。
因此，刘琨依附段匹?之时，这位鲜卑人自己也处于多难之秋。惺惺相惜，两人关系开始处得很不错。
当初，段匹?在奔兄丧时，刘琨的儿子刘群也和他一起。段末杯大败段匹?，段匹?逃走，刘群被俘。段末杯抓住刘群后，“厚礼之”，答应推戴刘琨为幽州刺史，结盟共击段匹?。刘群年青无识，写信给父亲刘琨，并派密使送信。半路，段末杯派来为刘群送信的人被段匹?手下抓获，搜出密信。
对此，刘琨一无所知。忽然受到段匹?“邀请”，刘琨便欣然前往。两人坐定，段匹?拿出刘群的密信，对刘琨说：“我也没有怀疑您参与此事，特意把真情告知您。”
刘琨览信过后，神情凝重。良久，他推心置腹地说：“我与您结盟，志在恢复晋室，以雪国家沦亡之耻。即使我儿子的书信送至我处，也不会因一子之故辜负您！”段匹?不断点头。他一直钦敬刘琨的操节，知道其所言发自内心，便想听任刘琨还其所属部伍。
其间，段匹?的弟弟段叔军把兄长唤至厅外，劝道：
“我们本来就是胡夷外族，现在能让晋人畏服，正是我们人多势重的原因。如今，我们家族内部骨肉相残，正是晋人良图之期。如果有人奉戴刘琨从中起事，恐怕我们家族会尽被屠灭！”
段匹?闻言，深觉有理，于是他下令把刘琨软禁起来。
消息传出，刘琨长子刘遵害怕也被囚杀，与刘琨僚属一起闭门自守。由于兵少，段匹?兵将很快攻下营垒，执捕众人。
“（刘）琨既忠于晋室，素有重望，被拘经日，远近愤叹”。连被段匹?任命的代郡太守和刘琨任命的雁门太守也都一起密谋计议，准备联召军兵，袭击段匹?，救出刘琨。不久，两个太守谋泄被杀。段匹?虽杀掉数人，自己也内心惶恐。
刘琨自被拘禁，“自知必死，神色怡如也。为五言诗赠其别驾卢谌”。此诗，即是文章开首那首《重赠卢谌》。
东晋朝廷方面，权臣王敦派人密告段匹?，让他杀掉刘琨。段匹?外迫于王敦，又内惧属下造反，就声称皇上诏旨，下令诛杀刘琨。
刘琨听说王敦来使，就已预料自己的命运，他对儿子刘遵说：“处仲（王敦字处仲）使来而不告我，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳”。大英雄言及此，泪下如雨。
段匹?遣兵士闯入，缢杀刘琨，时年四十八。同时遇害的，还有刘琨的子侄四人。由于当时晋廷还要依仗段匹?抵拒石勒，没有立即为刘琨正名举哀。
两年多后，晋廷才下令赠刘琨为侍中、太尉，谥曰愍。南宋大诗人陆游与民族英雄文天祥都有佳诗赞美刘琨。
买醉村场半夜归，西山照月落柴扉。刘琨死后无奇士，独听荒鸡泪满衣。
《夜归偶怀》陆游
寥阳殿上步黄金，一落颠崖地狱深，苏武窖中偏喜卧，刘琨囚里不妨吟。生前已见夜叉面，死去只因菩萨心。万里风沙知已尽，谁人会得广陵音。
《已卯十月一日有感而赋》文天祥
段匹?杀掉刘琨后，其属下汉人、胡人多奔散。杀刘琨是段匹?一生最大败笔，但这个鲜卑人一直忠于晋室。不久，他与晋臣邵续合力，进攻段末杯。石勒大将石虎乘段氏兄弟互攻之际，乘间掩袭，最终把段匹?包围于蓟城。
段匹?本想突围逃生，单骑归朝，被人劝阻。最后，眼见救援无望，段匹?身穿晋朝朝服，手持晋节，率从人出见围攻他的石虎，正色凛然道：“我受国恩，志在灭汝。不幸族内自乱，以至于此。既不能死，也不会奉汝为主。”石虎与段氏鲜卑一族从前常打交道，二人还曾结拜为兄弟。石虎虽残暴成性，对段匹?仍十分尊敬，“起而拜之”。
段匹?被执送襄国后，被石勒软禁，常常也被石勒“请出”参加赵国的“朝会”。段匹?总是一身晋朝朝服，手持晋节，从不向石勒下拜。以石勒、石虎之暴，竟也一时不敢对段匹?下手，可见这位鲜卑大人的威武和人格魅力绝非常人可比。
石勒忍耐一年多，见始终无法降服这位辽西鲜卑，又怕其族人趁机拥之东山再起，便加以谋乱罪名，派人杀掉了段匹?。
《晋书》对段匹?的评价非常中肯：
“段匹?本自遐方，而系心朝廷，始则尽忠国难，终乃抗节虏庭，自苏子卿以来，一人而已。越石（刘琨）之见诛段氏，实以威名；匹?之取戮世龙（石勒），亦由众望。福祸之应，何其速哉！《诗》云：‘无言不酬，无德不报’此之谓也。”
（附）关河大志闻鸡起舞——祖逖的恢复大志
“闻鸡起舞”、“中流击楫”，是中国人耳熟能详的典故。但真正了解这两个典故主人公祖逖事迹之人，却又廖廖无几。
祖逖，字士稚，范阳遵人（今河北涞水）。祖家世为北州大姓，“世吏二千石”。
祖逖年少丧父，兄弟六人，共同撑持家业。青少年时代，祖逖“生性豁荡，不修仪检，年十四五犹未知书，诸兄每忧之。然轻财好侠，慷慨有节尚。每至田舍，辄称兄意，散谷帛以周贫乏，乡党宗族以是重之。后乃博览书记，该涉古今，往来京师，见者谓（祖）逖有赞世之才”。
晋武帝太康年间（公元290年左右），二十四、五岁的祖逖与刘琨一起任司州主簿，两人英雄相惜，谈诗饮酒，共为豪爽喜侠之士。“情好绸缪，共被同寝。（无厘头之辈看见此处，肯定会遐想连翩，忖度二人是“同志”。其实，古代大丈夫志气相投，常常相谈通宵，抵足而眠）。中夜闻荒鸡鸣，蹴琨曰：‘此非恶声也’，因起舞”。由于二人皆是不羁骑士，常常夜中坐起，纵论世事，“相谓曰：‘若四海鼎沸，豪杰并起，吾与足下当相避于中原耳”。由此，可以看出祖逖已经预见国中将有兵灾变起之日。
“八王之乱”后，晋室沦丧。公元311年（怀帝永嘉五年），洛阳陷落。祖逖率亲族乡党数百家避乱于淮泗（今江苏徐淮地区）。一路之上，祖逖躬自步行，把自己的车马让给老弱疾病的人，衣粮药物施予有急之人。逃亡途中多遇盗贼险阻，祖逖应付裕如，显示出极强的组织、领导才能，被同行诸人推率为“行主”。抵达四泗时（今徐州市），当时的琅玡王司马睿任命他为徐州刺史。不久，祖逖又被征为军谘祭酒，在京口（今江苏镇江）屯驻。（行主，是坞壁首领的称呼之一。又称坞主，营长等。坞壁组织是中国历史上动乱时代百姓为自身生命和财产安全，相聚于山林险地，凭险依势，形成一种相对独立的宗社流民自治组织。坞壁在王?末年大动乱时代已经出现，但西晋末及东晋十六国时期，由于世道混乱，坞壁最为繁盛。“永嘉之乱，百姓流亡，所在屯聚”。坞壁的规模，大小不一，从几百家到几千家。首领多由乡里威信高的大族豪强担任，宗族是坞壁的核心构成，而各地流民则构成坞壁的基层组织。因而“招纳流亡”也成为坞壁的一大特色。此外，在门阀士族把持朝政的南北朝，坞壁也是民间下层豪强一显身手的惟一表演空间，在这样一种且战且耕的组织内部，只有靠义气、信誉、公正以及坞壁主的个人魅力来进行管理和沟通，宗法与恩义是坞壁赖以生存、发展的两大支柱。当然，坞壁日后也成为南北朝政局不稳的重要因素，地方豪强中也有不少人演变为动乱的潜在因子和新一轮门阀的候选人。）
作为一时人杰，祖逖常怀恢复之志。晋愍帝继位后，下诏命远在江东的司马睿率兵赴洛阳来勒王。司马睿当时致力于确保江南一隅不失，根本无意（也确实没有足够力量）进行北伐。祖逖上表，慷慨陈词，司马睿就顺手推舟做人情，给祖逖虚封一个豫州刺史的衔号，象征性地拨调千人粮饷、三千匹布帛以充军费，让他自己想办法招募兵士。至于甲胃弓矢、士卒粮马，琅玡王再没有任何支持。
大英雄祖逖本来完全可以在江南依附司马睿，求田问舍享清福。至此，他毅然出发，率先前和他一起南渡的宗族部曲百余家，从京口北渡长江。行至中流，祖逖拨剑而起，眼望茫茫大江，敲击着船楫说：“祖逖不能清中原而复济者，有如大江！”辞色壮烈，众皆感奋。
渡江之后，祖逖屯驻江阴，冶造兵器，招募兵卒。拥有两千多名武装后的士卒后，祖逖开始北进。
当时，长江以北地区属于大乱过后的三不管地区，各处流民和当地住民纷纷建立坞堡武装，自封刺史、太守，看谁力量大就依附谁，完全乱了“王法”。祖逖纵横捭阖，击败击降坞主张平、樊稚等人。太丘之战胜利后，祖逖攻克谯城。后来，蓬陂坞主陈川叛归石勒，并引来大魔头石虎的五万羯族精兵，祖逖出战，与赵兵相持。
公元319年（东晋元帝太兴二年），祖逖与后赵兵在浚仪相持。晋兵屯兵东台，后赵兵屯据西台，双方紧张相持四十天，粮草都到了精光的境地。
祖逖派人用布囊盛满砂土，假装是食用的大米，派千余人运至晋兵据守的东台；然后，他又派数人挑着真正的大米（也是用同样的布袋盛装），佯作劳累坏了躺在道旁喘气歇息。西台的后赵兵望见，马上派精兵来袭，担夫都依据计谋，假装惊惧状弃担而逃。后赵将打开袋子，见里面全是上好的大米，推断晋军粮食充足，“以为（祖）逖士众丰饱，甚惧”。古代人打仗，拼得就是粮草，见敌方粮多士饱，自然心中泄气。
石勒遣大将以千头壮驴运粮，支持浚仪城西台的后赵兵。祖逖在汴水设伏，尽得其粮。后赵兵无粮，不支退走。此后，祖逖军将凭据封丘、雍丘，多次出兵邀打石勒的后赵军，使石勒的力量在河南一地迅速萎缩。
与此同时，祖逖还调和河南诸晋将和坞堡头目之间的矛盾，示以祸福，最终使这些人都听从他的节度。对于河南一带的坞堡堡主，祖逖对他们送质子于后赵的权宜之计也之示理解，灵活处理政治纷争，不仅常对他们施以德惠，还不时遣小股军队假装击扰这些坞堡，让后赵方面想当然的认为这些坞堡地主是忠于自己的队伍。
感激之余，坞堡堡主常常向祖逖暗通消息，把后赵军队的行军意图和路线一一提前报告。
“（祖）逖爱人下士，虽疏交贱隶，皆恩礼遇之，由是黄河以南尽为晋土”。河南父老乡亲感悦祖逖的恩仁德政，作歌咏叹其美。刘琨也对此位老友的文治武功很有感慨，在与亲旧的书信中感赞祖逖。东晋朝廷进祖逖为镇西将军。
由于有祖逖在，号称攻无不取、战无不胜的羯胡石勒再也不敢侵入河南之地，并派人在成皋县修茸祖逖母亲的坟墓。
石勒还写亲笔信给祖逖，要求“通使交市”。祖逖虽不回信，但却听任军民与河北的羯胡互市，交换各自所需，“收利十倍，于是公私丰赡，士马日滋”。
正当祖逖想“推锋越河、扫清冀朔”之际，东晋朝廷对他拥兵一方产生了疑忌，派江南士族出身的文人戴渊为都督，出镇合肥，以牵制祖逖。
前人栽树，后人乘凉，祖逖心中非常不舒服。当时，东晋朝中王敦与刘隗交恶，互相攻讦。祖逖深知内难一起，北伐大业会因之搁浅。忧愤如此，他仍然加紧一切军事准备工作，带病指挥营建武牢坚城。
公元321年10月，天文有变，“妖星见于豫州之分”。古人迷信，病入膏肓的祖逖也识天文，夜中他仰视星空，叹息道：“此星是应在我身！本想进军平定河北，而天欲杀我，这是对国家不利的征兆呵”。几天后，满怀遗憾，祖逖病亡，时年五十六。
宋人胡曾有首咏史诗，表达了对祖逖病亡的历史遗憾：“策马行行到豫州，祖生寂寞水空流。当时更有三年寿，石勒寻为阶下囚”。
***也有《七律?洪都》一篇叹美：“到得洪都又一年，祖生击楫至今传。闻鸡久听南天雨，立马曾挥北地鞭”。
祖逖死后，东晋朝中久怀逆乱的王敦大喜过望，他先前一直忌惮祖逖不敢有异谋，“至是始得肆意焉”。(《世说新语》中曾记载，“王大将军始欲下都更分树置，先遣参军告朝廷，讽旨时贤。祖车骑（祖逖）尚未镇寿春，嗔目厉声语使人曰：「卿语阿黑：何敢不逊！摧摄面去，须臾不尔，我将三千兵，槊
脚令上！」王闻之而止。）东晋派祖逖之弟祖约代替其兄统领其众，但节节失败，被祖逖收复的河南大片土地最终被后赵所攻陷。
史臣把刘琨与祖逖同编一传，并在赞语中有非常中肯的评价：
“刘琨年少之时，本无高节异操，终日走马贾谧门下，博饮石崇金谷园中，谈笑于司马伦幕府，实为轻佻幸进之徒！祖逖青年初期，义气散谷周济贫乏，半夜闻鸡昂然起舞，潜思中原烽火燎原，贪幸天下兵灾多艰，疑其本意，确乃贪乱乐祸之辈！然而，一俟国家有难，皇室沦亡，此二人各运奇才，并腾英气，疾风劲草，节操磊磊，捐身赴义，死所不辞，身虽丧亡，但成就万世千秋英名！”