”匈奴兵本来就没心思打仗，一看城里火光冲天，以为晋军真的要偷袭，吓得连夜撤退了。这就是历史上有名的“胡笳退敌”。
可刘琨心里清楚，光靠晋阳一座城，根本挡不住胡人。匈奴人这次退了，下次肯定还会来；而且除了匈奴，羯族石勒的势力也在壮大，石勒当时已经占领了河北大部分地区，对晋阳也是虎视眈眈。刘琨知道，他必须找帮手——北方的鲜卑部落。
当时北方有几个比较强的鲜卑部落：段部（在今河北东部）、拓跋部（在今内蒙古南部、山西北部）、慕容部（在今辽宁西部）。其中段部和拓跋部离晋阳比较近，而且和匈奴也有矛盾——匈奴人想吞并鲜卑的地盘，鲜卑人也苦于被匈奴侵扰。刘琨就先派人去联络拓跋部的首领拓跋猗卢。
拓跋猗卢是个很有野心的人，他想扩大自己的势力，也想得到西晋朝廷的认可。刘琨派人跟他说：“只要您帮我对抗匈奴，我就上表朝廷，封您为代公，还把雁门郡（今山西雁门关一带）的土地赐给您。”拓跋猗卢很高兴，立马答应出兵。永嘉六年（公元312年）六月，拓跋猗卢派儿子拓跋六修率军三万，来帮刘琨。
有了鲜卑兵的帮助，刘琨的底气足了不少。他和拓跋六修一起，率军进攻匈奴占领的晋阳外围据点——黄父（今山西沁源）。匈奴守将是刘曜的部将綦毋豚，根本不是鲜卑骑兵的对手，很快就被打败，綦毋豚也被杀死。这一战，晋军和鲜卑军大获全胜，不仅解了晋阳的围，还收复了不少失地。
战后，刘琨亲自送拓跋六修回拓跋部，还和拓跋猗卢在陉岭（今山西代县雁门关）会盟，两人歃血为盟，约定“共讨匈奴，同复中原”。刘琨还真的上表朝廷，封拓跋猗卢为代公，赐给雁门郡的土地——这也是后来拓跋部建立“代国”（北魏的前身）的基础。各位，从这里就能看出刘琨的远见：他知道单凭汉人之力，很难在北方立足，必须联合所有能联合的力量，哪怕是胡人。
后来，刘琨又和鲜卑段部的首领段匹磾结盟。段匹磾是段务勿尘的儿子，之前刘琨跟着司马腾时就认识他，两人关系不错。建兴二年（公元314年），段匹磾率军来到晋阳，刘琨亲自出城迎接，两人在晋阳城里举行了盟誓仪式，约定一起对抗石勒。为了表示诚意，刘琨还把自己的儿子刘遵送到段匹磾的根据地厌次（今山东惠民）当人质——这在当时是很常见的做法，用来证明自己不会背叛盟友。
有了拓跋部和段部的帮助，刘琨在北方的势力达到了顶峰。他控制了晋阳及周边地区，手下有几万士兵，还得到了北方百姓的支持——那时候的北方，只要提起刘琨的名字，老百姓都竖大拇指，说：“刘大人是咱们汉人的救星！”甚至有不少流民从河北、河南跑来投奔他，晋阳城里的人口最多时达到了几万人，又恢复了往日的热闹。
刘琨还写了一首《扶风歌》，记录自己赴晋阳的经历和报国的决心，诗里写道：“朝发广莫门，暮宿丹水山。左手弯繁弱，右手挥龙渊。顾瞻望宫阙，俯仰御飞轩。据鞍长叹息，泪下如流泉。系马长松下，发鞍高岳头。烈烈悲风起，泠泠涧水流。挥手长相谢，哽咽不能言。浮云为我结，归鸟为我旋。去家日已远，安知存与亡？慷慨穷林中，抱膝独摧藏。麋鹿游我前，猿猴戏我侧。资粮既乏尽，薇蕨安可食？揽辔命徒侣，吟啸绝岩中。君子道微矣，夫子固有穷。惟昔李骞期，寄在匈奴庭。忠信反获罪，汉武不见明。我欲竟此曲，此曲悲且长。弃置勿重陈，重陈令心伤。”这首诗写得悲怆又豪迈，把乱世中的艰难和报国的决心写得淋漓尽致，后来成了西晋诗坛的名作。
可好景不长，先是盟友拓跋部出了动乱。建兴四年（公元316年），拓跋猗卢被自己的儿子拓跋六修杀死，拓跋部陷入内乱，根本没时间再帮助刘琨；接着，西晋朝廷也完了。同年十一月，匈奴刘曜率军攻占长安，晋愍帝被俘，西晋灭亡。消息传到晋阳，刘琨当场就哭了，他穿上丧服，在晋阳城里为晋愍帝举行了哀悼仪式，还派人去南方，劝说琅琊王司马睿（晋元帝）称帝，建立东晋——这也是后来东晋建立的重要原因之一。<
