公元前18年，赵飞燕进宫，紧接着妹妹赵合德进宫，后宫四万余美女，包括许皇后都不是赵氏姐妹的对手。赵家姐妹看准机会，散布谣言并向汉成帝刘骜打小报告，一口咬定许皇后和姐姐许谒，还有另一位姬妾班婕妤勾结在一起，用巫蛊诅咒后宫怀孕的宫人和大将军王凤，而且还诅咒刘骜本人。
皇太后王政君把班婕妤比作樊姬，可见非常肯定她的德行，但此时一听说她追随许皇后用巫蛊诅咒，立刻翻脸。巫蛊案是怎么回事呢？
原来，自赵飞燕姐妹入宫后，飞扬跋扈，纵情享乐，将德行稍微有点起色的汉成帝又打回原形。许皇后对赵氏姐妹恨之入骨，无可奈何之余，想出一条下策，在寝宫中设置神坛，晨昏诵经礼拜，祈求皇帝多福多寿，诅咒赵氏姐妹灾祸临门。事情败露以后，赵氏姐妹故意散布谣言说，许皇后不仅咒骂自己，也咒骂皇帝，汉成帝听信谗言，废了许皇后。
赵氏姐妹还想乘胜追击，利用这个机会对她们的主要情敌班婕妤加以打击，于是把她也拉了进去。色令智昏的汉成帝居然信以为真，把班婕妤传来审问。班婕妤从容不迫地说：“我知道人的寿命长短是命中注定的，人的贫富也是上天注定的，非人力所能改变。修正尚且未能得福，为邪还有什么希望？若是鬼神有知，岂肯听信没信念的祈祷？万一神明无知，诅咒有何益处！我非但不敢做，并且不屑做！”汉成帝觉得此话有理，又念在不久之前两人还恩爱非常，于是不予追究，并且厚加赏赐，以弥补心中的愧疚。
班婕妤很清醒，也很智慧，她清楚知道宫中必将是赵飞燕的天下。班婕妤没有像许皇后那样失宠后流露怨言，她也不像许皇后那样有大家族可以依靠。于是她在被迫搬入冷宫之前，写了一封奏章呈递给刘骜，自请到长信宫伺候皇太后王政君。刘骜很快就批准了。班婕妤马上移居长信宫，过起了对景枯坐的退隐生活。
所谓“伺候”，其实并不需要班婕妤亲自动手做什么，无非是面子上的礼节往来而已。况且此时的班婕妤对王政君和王家来说，已经没有了利用价值，仅仅保持一团和气而已。所以，班婕妤在长信宫的生活是无事可做，无聊至极。每日破晓，长信宫门打开，班婕妤就拿着把扫帚开始打扫台阶……
唐代的孟迟专门作了一首《长信宫》来感叹班婕妤的冷遇：“君恩已尽欲何归？犹有残香在舞衣。自恨身轻不如燕，春来还绕御帘飞。”君恩来时浩荡，去得也快，其中的心理落差非亲历者难以体味。班婕妤好在有深厚的文学底子，闲暇时还可以写诗作赋，聊以寄托。在长信宫，班婕妤写了许多自伤的诗歌，结果情坛失意文坛得意，留下了多首留传千年的名诗。比如《怨歌行》写道：
新裂齐纨素，皎洁如霜雪。
裁作合欢扇，团团似明月。
出入君怀袖，动摇微风发。
常恐秋节至，凉飙夺炎热。
弃捐箧笏中，恩情中道绝。
对班婕妤来说，失宠就是失恋。她要承受后半生漫长的痛苦煎熬，每一分钟都无限漫长，只能通过“合欢扇”、明月等物件，通过往昔伴君的美好回忆来消磨时间。最可怕的就是连寄情的物件和回忆都没有了，那就只能困守在冰冷的冬天了。
班婕妤自知，自己如秋后的团扇，再也得不到汉成帝的亲怜密爱了。不久，赵飞燕被册封为皇后，赵合德也成了昭仪，然而这一切在班婕妤看来，似乎都与她毫无关联了，心如止水，形同槁木的她，除了陪侍王太后烧香礼佛之外，长昼无俚，弄筝调笔之余，间以涂涂写写，以抒发心中的感慨，从而为文坛留下了许多诗篇。韩愈在《柳子厚墓志铭》中讲过这样一段话；“然子厚斥不久，穷不极，虽有出于人，其文学辞章必不能自力，以至必传于后于今无疑也。虽使子厚得所愿，为将相于一时，以彼易此，孰得孰失？必有能辨之者。”这话用来讲班婕妤也适合，倘若班婕妤一直得到汉成帝宠幸，她是否会为文坛留下许多优美的诗篇呢？两者相比，孰得孰失，谁又能讲得清呢？
