再次向曹魏称臣。张辽奉命还屯雍丘，却在此得病。曹丕遣侍中刘晔带著太医审视其疾，并令虎贲卫士们往来传达张辽病况，为张辽问病的使者经常在路上互相遇见。
张辽之疾久未痊愈，曹丕命人把他接到自己的行营，自己则车驾亲临，握着他的手，赐给他御衣，太医官每天来送御膳、御药。病情稍有好转后，张辽便返回其屯军之所驻军，忠于职守。正当其时，孙权再次背叛曹魏，曹丕派张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，甚为忌惮，敕令诸将道：“张辽虽然抱病，但仍是勇不可当，千万要谨慎在意！”同年，张辽与诸将同破吴将吕范。但他的病情却也日渐严重，最后终于在江都逝世，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣任其爵。
黄初六年，曹丕追念张辽、李典在合肥之功，诏曰：“合肥一役中，张辽、李典仅以步卒八百人，破贼十万之众，自古用兵，未见如此。他们使贼众至今仍气为之所夺，真可谓国之爪牙。现分封辽、典邑各百户，赐一子爵关内侯。”
正始四年，张辽得享从祀于曹操庙庭。历任官职为：郡吏，骑都尉，鲁相，中郎将，关内侯，裨将军，行中坚将军，荡寇将军，征东将军，前将军，内朝官，亚于车骑、骠骑大将军。
欲知后事如何，且听下回分解。