两位王子被剥夺继承权，关在阿内马的高塔。第二个儿子是虔诚的曼努埃尔，成为统治的国君，获得的报酬是帝国的冠冕。然而过了两年以后，拉丁人的骚动和希腊人的轻浮引发一场革命，两位皇帝被幽禁在高塔，而那里的两名囚犯登上宝座。巴列奥略和曼努埃尔又用了两年的时间获得逃脱的工具。这样的安排完全出于一位僧侣的法术或妙计，可以轮替享有天使或恶魔的盛名。他们逃到斯库塔里，拥护者揭竿而起支持复国大业。拜占庭的两个党派展现出强烈的野心和相互的怨恨，就像恺撒和庞培要争夺主宰世界的帝国。
罗马世界现在已经缩小到色雷斯的一隅之地，夹在普罗蓬提斯海和黑海之间，长宽各为50英里和30英里。如果剩下的君士坦丁堡不是在财富和人口方面仍旧比得上一个王国的话，仅就面积而言还不如德意志和意大利最小的公国。为了恢复公众的和平，人们发现需要分割帝国这块剩余的领土，就在巴列奥略和曼努埃尔留下来据有首都时，几乎所有城墙以外的地区全部让给瞎眼的君王，这两位把居所安置在罗多斯托和塞利布里亚。希腊帝国的王权在安宁中沉睡不醒，约翰五世巴列奥略的激情比起理性和精力更能持久，他从宠爱的嫡子手里夺走绮年貌美的特拉布宗公主。当衰弱的皇帝费尽力气要完成婚事时，他派遣曼努埃尔和100位最高贵的希腊人，听从奥斯曼政府专横的召唤，他们在巴耶塞特的麾下光荣参战。一项加强君士坦丁堡防御能力的计划引起猜疑，奥斯曼君王提出威胁要使他们命丧黄泉，新的工程立即全部被夷为平地。设若这个最后的羞辱是巴列奥略致死的原因，可以说是他一生中最值得称誉的事。