刘纶在乾隆元年（1736年）中的是头名，在杭世骏得罪乾隆而被开革回家后的六年即乾隆十四年（1749年），他已经干到“直南书房（兼内阁学士），授礼部侍郎”的高位。乾隆十八年（1753年），他服丧期满，又出任户部侍郎。出任此职是正统史书如《清史稿》的说法，民间笔记野史如《清代名人轶事》则记为“特旨以吏部尚书协办大学士”。而不管哪种说法更可靠，反正是回京任高官无疑。刘纶是江苏武进人，武进在长江以南（靠近常州），由武进去北京，当时以北到镇江而后渡江到扬州打站，较为方便。

刘纶回京，惦记着要在扬州站下，到那里造访在安定书院讲学的同年杭世骏。

杭世骏一见刘纶全身官服来访，十分诧异，问他:“你现在任什么官职？”

“不敢相瞒，已任内阁学士多年。”刘纶答道。 闻此答言，杭世骏不禁失笑，说道:“你这么个吴下少年，也能成为内阁成员？”于是，满堂哄笑。刘纶本想与老同年叙旧，没想弄了个没趣，就告辞而去。

说人家是“吴下少年”也不算过分，毕竟他比杭世骏小15岁。虽然说杭世骏已经全然在野，不理会朝中谁升谁降，但设身处地地一想，若是自己不出“政治问题”，凭才学怎么也成了阁员，官到一品应不成问题。

没当成朝中阁员或一品高官，自然要过清苦的日子，这也算是自由的代价了。更兼其赌钱只是放纵心情，并不在乎输赢，很快就家资贫乏了。再加上他太太在他被开革回籍后不久就死了，没可靠的人帮他打理家务，所以日子就更见紧巴。为了对付日益艰难的生计，他在老家西湖边上开了一间古董店，专做字画生意。懂行又有钱的游人竞相购买，因此杭世骏的日子得些舒缓。为了让生意好一点，杭世骏也“掺杂使假”，把自己的书法作品混在古董字画中卖出。说是“掺杂使假”，实质上杭世骏的书法绝不亚于古人，到他死后无论书法还是绘画作品均成了上等收藏品。即便是在当时，有眼光的收藏家也不在乎他不署本名的作品是真古董还是假古董，反正知道此人笔力非常，作品必能升值。

杭世骏丧妻之后没有再娶，只买了一位相貌丑陋的婢女给他做饭。在古董店的后院里，他种花种草，聊以自乐，收入好时他就喝上两壶，似醉非醉之际就在院子里闲溜达。有时候，干脆店门一关，雇只船到西湖深处游玩，一玩就是数天。好事儿的人们往往借机从门缝里看看店里有什么，结果“中仅破书旧画，杂以碎磁古铁而已”。 (本文来源:网易历史 作者:綦彦臣)