尽管如此，并不影响这如影相随的患难夫妇的伉俪情深。
记得读过一则趣闻，说是“文革”后期，张伯驹从吉林回到北京，处境极为凄凉，一日到莫斯科餐厅（京城人称老莫）打牙祭，仅一盘一飧而已。此时，张还不忘系上餐巾，临走时还要把红汤装入餐盒，颤巍巍地带回给潘素品尝。这一细节，尤胜过诸多传记中的烦言琐语，让张伯驹的名士风节与对夫人潘素的关爱之情，跃然纸上。还有网上流传的徐晋如先生所辑录的一则士林轶闻，同样有趣，亦可看出张伯驹的纯性天然，我行我素。说张伯驹喜欢海棠，每岁海棠花开，便赴天津赏花填词。待到遭难之际，不复更为此游。其时北京中医学院有海棠数本，亦饶丰致，某氏遂邀张往游。行至半途，张内急难耐，竟蹲在街边大解。某氏后来对人赞叹：此真名士也。
不过，对自己这些怪异之举，《红毹记梦诗注》里是不曾记载的。作为张伯驹故乡的河南项城，曾是西楚霸王项羽的封地。张伯驹有一闲章，上刻“重瞳乡人”，典出《史记项羽本·
纪》：“吾闻之周生曰：舜目盖重瞳子，又闻项羽亦重瞳子。”046何谓“重瞳”？就是一只眼睛里有两个瞳仁。辛弃疾有词：“舜盖重瞳、堪痛恨，羽又重瞳。”意谓同样的人才相貌，为何会有两种截然不同的人生结局呢？其实，张伯驹、潘素夫妇并不是不想融入新社会之中，这对书画家夫妇也曾多次向毛泽东呈献精心绘制的书画作品，来表达自己的拳拳之心。尽管他们一生对国家、对民族做出过这么大的贡献，但作为旧时代的沦落王孙，畸人怪异，难侔于天，在大时代与大变革面前，穷困潦倒，坎坷蹇滞，似乎成了他前世注定的宿命。