在右翼宗学，曹雪芹过着暂屈苟安的生活。比起其他衙门、宫廷之类的地方，宗学里少有官场的那些乌烟瘴气、恶态丑形，环境要清静幽雅得多。虽说是政府办学，到底也还是和诗文笔墨相接近的“文化”之地。职位虽低，却有稳定的供给，他的差事并不烦琐，可以充分利用较多的闲暇时间去写作。他利用了这个对他说来已然是十分难得的条件，决意要完成他蓄志已久的小说创作事业。然而，说到底，他那骨子里与生俱来的清高，“断不能为走卒健仆，甘遭庸人驱制驾驭”（注：《红楼梦》首回语）的性格，注定了宗学绝不会成为他的久恋之地，而他在这里的经历也并不如意。右翼宗学本是皇家用以“教化”其族人子弟的机构，学校里特设有稽查官，专门负责考核教师和学员的“纪律”和“成绩”，其实也就包括管理监视的意义。可曹雪芹却是有些放浪不羁，这样一位诗酒狂放的当差者，如何能与宗学的宗旨“教化”相谐调？可以想象的是，曹雪芹在右翼宗学一定不会为宗学主管者所喜悦，就是意料中之事了。所以他最终还是离开了宗学而另觅立锥之地。
在北京城里只能住马厩和“水窝子”的雪芹，终于不得不离开京城，到郊外去另谋生路。传说曹雪芹最先来到了西山山脚之下，开始了他的另一阶段的生活。所谓西山，真大极了，北京的西北是望不尽的层层峰峦，乃是太行山的余脉。人们常说的西山，是指狭义的，即北京西郊离城最近的这一小层小山。西郊是皇帝常到的地方，有几处著名的“御园”，即畅春园、圆明园和以西的“三园”：瓮山（万寿山）的清漪园（今颐和园）、玉泉山的静明园、香山的静宜园。这些宏伟巨丽的皇家御园，各有众多的护军驻卫，又有隶属于内务府的圆明园的管理处，设管理大臣、郎中、主事、库掌、苑丞、笔帖式等；其下人役，又有库守、学习笔贴式、效力柏唐阿、园户头目、园户、园隶、匠役等职务，曹雪芹无论当差或投靠同旗亲友，皆可以至此地一带居住。又有人传说，曹雪芹曾在西山脚下开过一个小酒馆，可他这人并不善经营，没多久酒馆就关闭了。
一路播迁的曹雪芹，最后带着他的儿子以及照顾孩子的侍妾柳蕙兰来到香山的一处山村住了下来。该村因为秋天黄叶堆满地上，人称“黄叶村”。从迹象看，他此后绝大部分岁月就安居于此，直到他离开人世。之所以在这里住得长久，估计是因为这里的环境十分清静美丽，能给他带来许多的灵感罢。在乡亲们的帮忙下，他在这里搭起了三间茅屋，总算安定下来。此时是乾隆十五年（1750）雪芹二十七岁。此年前后迁居北京西郊黄叶村，应是专心创作，“残杯冷炙有德色，不如著书黄叶村”。
西山里的寺庙多极了，号称“七百寺”或者还多，雪芹自小与庙有缘，喜欢寺院中的艺术境界，他闲来常常到这种地方去寻找画境诗材与玄谈哲理的禅侣。除了大大小小的寺庙，他还喜欢去一个地方：樱桃沟。这是一处人踪罕至的奇境。那里有一处泉眼，潺潺不绝，后来文人则写作“水源头”了。“山沟”是谷的俗称，因谷内有数百株樱树，花开时灿若明霞一般美丽，所以就称为“樱桃沟”。谷中成片的竹林和各种古树，地上则布满了无数的奇岩怪石，以致那路径极为难走——竟有“跌死猫”这种有趣而诙谐的俗名。所以肯来玩赏的人极少。雪芹是喜欢这种山村的幽美之境的，但是贫苦之况，却也是不易忍受的，正如他自己所说“富贵不知乐业，贫穷难耐凄凉”。
这时的曹雪芹以何为生？他的收入有两个来源：一个是卖画，一个是当村塾的老师，教一些村童们念书认字，做塾师通常叫做“教馆”。雪芹在城内做西宾，以他的个性与才干，大约就是做先生教书，而不是管案牍的相公。也有传说他在京西蔚县教过馆。那么他在这个山村里，仍然可以靠教馆勉强维持生活。不过在当时，村塾先生的待遇非常之低，雪芹若想喝酒，还得靠卖画的收入才可以。即使每天这样操劳，他依然是一贫如洗的。
曹雪芹的挚交敦敏、敦诚听说他在西郊山下定居之后，便相约带几罐好酒去西山拜访他。在当地人的指引下，他们随着一条曲曲弯弯的山径，费了很大劲才找到他的三间小房子，小屋的四周长满野草，那简陋的房子，让来访的友人为之叹息难过。屋子是用草木对对付付搭架的，起码的家具也没有，雪芹自己说是“茅椽蓬牖，瓦灶绳床”，那种贫困的境地，城里的人是难以想象的。屋虽简陋，环境却非常美，出门一望，门前一片野水，近在目前的碧水青山。早晨黄昏时分，有薄云纱雾，空气十分清新。朋友带酒来访，雪芹却因家贫没有菜，无奈之下竟采摘瓜花做下酒菜，即使这样，三个朋友仍然喝得十分尽兴。这件事令敦诚终生难忘，著有“瓜花饮酒心头乐”句，脍炙人口。
在之后所有的日子里，曹雪芹一直都这样贫困地生活着。他的好友敦家弟兄的诗词为证，因为缺米少粮，说“举家食粥酒常赊”，“日望西山餐暮霞”。前一句引用的是唐代大书法家颜真卿（709～785）的典故，他穷得没米，全家已经多日只喝稀粥了；后一句是借道家不吃饭练气功，比喻雪芹常常没有饭吃，只好眼望西山“吸”那云霞之气。这样文雅有趣的诗句，实际上却是他很贫苦的境况。雪芹喜欢喝酒，他的一笔好画可以卖钱。友人说他“卖画钱来会酒家”，指的是他没钱的时候便向酒铺赊酒喝，等卖了画，再一起还欠下的酒债。就是这样，穷困窘迫一直紧紧跟随着曹雪芹，但他的神思才智反而更加成熟。
