后来，为了糊口他先在内务府做过短时期的堂主事，即整理文书档案的工作，乾隆十年(1745)前后又到西单石虎胡同(后迁至宣武门里绒线胡同东口)专为皇室子弟开设的官学——右翼宗学当了两年管理日常事务的差事。在这里，曹雪芹结识了宗室子弟敦敏和敦诚两兄弟。他们有过同样的身世，成了坎坷一生中相互间最了解的知己。当曹雪芹过着“寒冬噎酸齑，雪夜围破毡”的生活时，敦诚写了“劝君莫弹食客铗，劝君莫叩富儿门。残杯冷炙有德色，不如著书黄叶村”的诗句，鼓励他一定要把《红楼梦》写出来。

　　爱石，画石，写“石”

　　曹雪芹为何要从北京城里迁住西郊？

　　乾隆十五年(1750)前后，曹雪芹的景况越来越差，连“悲歌燕市，卖画为生”也很艰难了。传说他曾几次搬家，在旧刑部街住过，又在崇文门卧佛寺一带很偏僻的地方住过。后来连个立足之地也没有了，不得不离开城里，全家迁到西郊香山附近旗地居住。

　　他先住在正白旗的四王府和峒峪村，后来迁移到香山脚下镶黄旗的北上坡，最后定居在白家疃，住的是斜向西南的四间茅屋，真正过起“著书黄叶村”的生活来了。

　　曹雪芹远离了烦嚣的市尘，蛰居西山荒村，倾注全部精力，一刻不停地埋头写作《红楼梦》的时候，生活已处于十分贫困的境地，有时穷到“举家食粥酒常赊”的地步，但他却对穷苦人非常关心，竭诚相助。

　　据说，曹雪芹有个邻居白媪，贫病交迫，孤苦无依，曹雪芹不但常常照顾她的生活，给她治好了眼病，还把自己的草屋让给她一间，使她不致流离失所。他还教会了一个从征伤足、生活困顿、断炊无告的朋友于景廉(字叔度)扎糊风筝卖钱，并为于谱定新样，编写了《南鹞北鸢考工志》，收在《废艺斋集稿》里。

　　曹雪芹多才多艺，在这本书中，他谈到金石、工艺、织补、印染、雕刻、烹调等各方面的技艺，分别取名叫《岫(袖)里湖(壶)中琐艺》、《斯园(思源)膏脂摘录》、《蔽芾(弼废)馆鉴金石印章》等，也都贯串了一种救济废疾无告者，为其谋一生路的意思。《废艺斋集稿》这部书是近年来在北京发现的，极其珍贵的是，它还保存了据说是别人用双钩摹下来的一页曹雪芹亲笔书写的序文，不过它的学术和文物价值还有待于继续研究确定。如果考证资料属实，当是珍贵的实物。

　　曹雪芹性格豪爽，善饮健谈，常和朋辈诗酒往还，可惜他的作品都没有留传下来，我们现在只知道他有题敦诚《琵琶行传奇》的两句诗：“白傅诗灵应喜甚，空教蛮素鬼排场。”

　　曹雪芹爱石，也画石。他的挚友敦敏写过一首《题芹圃画石》诗，说他：“傲骨如君世已奇，嶙峋更见此支篱。醉余奋扫如椽笔，写出胸中磈礧时。”《红楼梦》里的“贾宝玉”不就是“无才补天，幻形入世”的一块顽石吗？

　　曹雪芹移居西山以后，好友敦敏、敦诚兄弟，还有张宜泉、于景廉等人，常常去看望他，有时他也进城来会见他们。

　　据说，乾隆二十三年(1758)冬天，曹雪芹曾经应敦敏之邀，到宣武门内太平湖敦敏家里的“槐园”参加过一次宴会。他亲自放起了于景廉带来的风筝。

　　在宴会上，当时的一位社会名流、吏部侍郎兼管皇家画苑的董邦达很欣赏曹雪芹论画的见解，还给《考工志》写了序，十分赞赏他的才艺，钦佩他的人品，还想推荐他到画苑去任职，但是曹雪芹拒绝了。