的统帅巴巴罗萨对盟友的软弱十分鄙夷，于是将整个法国舰队扣押，索要赎金。法国人开始觉得自己和魔鬼结了盟约；在巴巴罗萨的逼迫下，弗朗索瓦一世最终不得不付给土耳其舰队八十万金埃居，请他拿钱走人。真是偷鸡不成蚀把米！尽管赎金当然是土伦居民出的，这让这些屁民全成了穷光蛋。
到了十六世纪五十年代末，形势越来越明朗，查理五世在一步一步输掉这场战争。德意志和低地国家新教徒造成的麻烦、无休止的对法战争，甚至西班牙人在美洲的领土也祓以明人为首的亚洲人蚕食，所有的殖民地都在萎缩。就连巴西沿岸也受到了朝鲜人和倭人舰队的威胁，为了保住这块最大最富裕的殖民地。查理五世不得不加强美洲舰队的规模，这样导致了哈布斯堡王朝的债务问题也日益的严重。
这一切都困扰着这位西班牙的皇帝。他忙于维持整个帝国，无心长时间关注地中海局势。与苏莱曼的断断续续的停战也无助于大局。奥斯曼舰队不出动的时候，还有马格里布的北非海盗在放肆。海盗不断洗劫意大利、西西里、巴利阿里群岛和西班牙的海岸，几乎不受任何阻挡。严重的经济损失和人口下降对意大利南部影响特别大。
有时当地的总督不得不命令将某一海岸地区的居民全部撤走，以免他们被海盗掳走，就像1556年的亚得里亚海岸那样。但海盗还是蹂躏了五百平方英里的乡村。西班牙和意大利之间的海上贸易不时地处于瘫痪的边缘。西班牙的地中海帝国的整个结构似乎都受到了这次无情劫掠的威胁。
到16世纪50年代初，查理五世已经是个心力交瘁的老人，被整个帝国的重担压垮了。他极富责任感，对基督教世界的大小政务事必躬亲，积劳成疾，以至精神崩溃。他身患痛风病，财务完全被德意志银行家控制，他执拗地在一个个人的、微小的世界里寻求秩序。
“他常常一连几天沉浸在忧郁中，”一名目击者记述道，“他的一只手已经瘫痪，一条腿蜷缩在身下，不肯接见廷臣，很多时间花在拆卸和组装钟表上。”
1556年，他将西班牙王位禅让给了儿子菲利普二世，隐居在一所修道院内，专心侍奉上帝。除了宗教书籍和他一辈子的日记外，他还带去了自己的世界地图以及尤利乌斯·恺撒的著作。他统治时期内最后一次海上灾难发生在1558年夏季：一支西班牙远征队在马格里布全军覆灭。消息传回西班牙时，查理五世已经奄奄一息。没有人忍心把这噩耗告诉他。
这时苏莱曼已经心满意足地宣布，他赢得了
…。。