自此，凌玉再也没有见到过刘伯温。刘伯温就像是隐形了一样，能在他到来时突然消失，又能在他离开时，突然现形。
凌玉很遗憾。他不知道的是，刘伯温很恐惧。
已经丧失神性的刘伯温对于凌玉的到访是心惊胆战的。这一恐惧心理并非是杯弓蛇影，朱元璋那无孔不入、细致入微的特务遍布整个中国，即使是退休的官员，朱元璋也不会轻易放过。几乎和刘伯温同时退休的前吏部尚书吴琳回到老家后，朱元璋竟然派特务去吴琳的老家查看。吴琳是黄州下辖的一个村里的人，那个特务走过各种各样的路，翻过各种各样的山，涉过无数凶猛的大河，才找到那个村子。就在村外，他看到一农民打扮的老人在田间插秧，这个特务骂着娘跑过去问：“你们这里是不是有个前吴尚书？”
那位老农民停下手里的活，站直了，回答：“我就是吴琳。”
特务和吴琳寒暄了几句，又千辛万苦地回到南京，当朱元璋知道吴琳正把余生交给黑土地后，才满意地点了点头。
这件事给人的启示就是，只要是在朱元璋的平台上工作过的人，直到进入坟墓前，都会在朱元璋的“照顾”之下，这是个退不出的江湖。
刘伯温在凌玉之前的拜访中拒不接见和后来凌玉表明身份后的送客，都是朱元璋的行为带给刘伯温的条件反射，他认为凌玉很有特务的嫌疑。况且，一个退休官员和地方官来往，本身就是一件危险的事，这是朱元璋那种疑心重如山的人无论如何都无法接受的。