境，不如让乐乘取代廉颇，这样既能削弱廉颇的权力，又能让乐乘感恩戴德”。赵悼襄王本来就对廉颇有所猜忌，听了这些话，当即下旨：免去廉颇相国之职，派乐乘去取代他。
此时的廉颇正在外地练兵，接到圣旨后，气得浑身发抖。他对身边的人说：“我为赵国立下多少功劳？鄗代之战救了赵国，现在大王却听奸臣的话，要免我的职！”
愤怒之下，廉颇做出了一个冲动的决定——率军攻打乐乘！乐乘本来就怕廉颇，见廉颇率军来攻，吓得不敢应战，连夜逃跑了。廉颇知道，自己攻打朝廷派来的将领，已经成了“叛臣”，在赵国再也待不下去了，只好带着几个亲信，投奔了魏国。
魏国都城大梁的魏王，早就听说过廉颇的名声，见他来投奔，表面上很客气，封他为“客卿”，可心里却不信任他——毕竟廉颇是赵国人，魏王怕他是赵国派来的奸细，所以一直没给他兵权，只是让他住在大梁，好吃好喝招待着。
廉颇在魏国住了几年，心里一直惦记着赵国。他每天都会登上大梁的城楼，往北眺望赵国的方向，常常一站就是几个时辰，眼泪不知不觉就流了下来。他身边的亲信劝他：“将军，您都离开赵国了，就别再想了，在魏国安享晚年不好吗？”廉颇摇摇头：“我是赵国人，我的根在赵国，我这辈子，只想为赵国打仗！”
这时候，赵国的情况又变了——秦国见赵国没有了廉颇，又开始派兵攻打赵国，接连攻占了赵国的几座城池。赵悼襄王这才想起廉颇的好，后悔当初听了郭开的话，就想把廉颇召回来。
可郭开怕廉颇回来后报复自己，就偷偷对赵王说：“大王，廉颇年纪大了，不知道还能不能打仗，不如先派个使者去魏国看看，要是他身体还好，再召他回来也不迟。”赵王觉得有理，就派了一个使者去大梁。
郭开早就料到赵王会这么做，提前派人去见使者，给了他很多黄金，说：“你去见廉颇，要是他身体不好，就如实回报；要是他身体还好，你就说他‘虽然能吃饭，可一会儿就上了三次厕所’，让大王觉得他老了，不能用了。”使者见钱眼开，一口答应了。
使者到了大梁，廉颇听说赵国派使者来，心里特别高兴，以为赵王要召自己回去。他特意穿了铠甲，在使者面前舞了一趟矛，又吃了一斗米、十斤肉，证明自己身体还好，还能打仗。可使者回去后，却按照郭开的吩咐，对赵王说：“廉将军虽然还能吃饭，可臣跟他坐了一会儿，他就上了三次厕所，看来是老了，不能再打仗了。”
赵悼襄王听了，叹了口气：“唉，廉颇真的老了，看来是用不上了。”从此，再也不提召廉颇回赵国的事。
廉颇在魏国等了很久，一直没等到赵国的消息，心里越来越失望。这时候，楚国听说廉颇在魏国，就派人去大梁，想把他请到楚国来。楚王派来的使者对廉颇说：“楚王一早就仰慕将军的威名，想拜将军为大将军，率楚军抵御秦国，还请将军成全！”
廉颇犹豫了很久，最后还是答应了——他想，就算不能为赵国打仗，能为楚国打仗，保住一方百姓，也算是对得起自己“武将”的身份。于是，他跟着楚国使者去了楚国都城寿春。
楚王见廉颇来了，果然很客气，拜他为大将军，还给他拨了十万兵马。可廉颇心里一直惦记着赵国，而且楚国的士兵和赵国的士兵不一样，训练方法、作战习惯都不同，廉颇指挥起来很不习惯。他虽然也打了几场仗，可都没能取得大的胜利，心里很郁闷。
有一次，他跟身边的人说：“我还是习惯用赵国人打仗啊，楚国的士兵虽然勇猛，可我总觉得不能得心应手。”说完，他拿出一张赵国的地图，指着长平、鄗城的方向，眼泪又掉了下来。
就这样，廉颇在楚国住了几年，因为水土不服，再加上心里一直郁郁寡欢，身体越来越差。公元前243年，这位为赵国征战了一辈子的老将军，在寿春病逝，享年八十四岁。
临终前，廉颇把身边的亲信叫到床前，说：“我死了以后，你们把我埋在沙丘之下，我要面朝赵国的方向；还有，我腰间的这把‘破虏
