天禧四年，即1020年6月，真宗接受了寇准的建议，决定让寇准辅政。但是仅仅在数天之内，真宗忽然调转方向，罢免了寇准的宰相职位，以莱国公的封号，将寇准闲置起来。这究竟是真宗无意的疏忽，还是出于其他考虑？寇准第五次被罢相后，真宗并没忘记他，二十五天后，在玉宸殿，君臣二人间有一次亲密的会见，当时在场的还有很多同僚，算是一种比较正式的小型会议。这天，真宗精神还算不错。在这次会议上，寇准心中的委屈肯定有很多，但是碍于人多，没办法说出来。但寇准的政敌们却有些紧张，因为真宗没有主见，在人事任免上总是摇摆不定，今天他会不会忽然又改变主意，让寇准再担当宰相之职，也真的难以预料。现在，中书省只剩下老好人李迪一个要职了，而枢密院却有五个人，官员的配置非常不平衡了。重新调整东西两府的核心官员，使之相对趋于平衡，这是目前急需解决的事情。按理说，这种人事任免是很严肃的，是大事。但是，真宗此次的人事调整却是接二连三地出错误，似乎已经没法改变了。
真宗的意思，是让李迪升宰相，让冯拯来当副宰相。于是，下令召来杨亿，起草合作制书。杨亿来了，觉得这中间有问题。因为按照制度，正宰相的制书应该由翰林学士起草，副宰相的制书应该由知制诰起草。而杨亿是寇准的人，面对这种情况，杨亿什么话也说不出来。真宗问杨亿，在什么情况下，冯拯的制书由你来写。杨亿说，如果任冯拯为名誉宰相，那么制书就可以归我写了。真宗说好吧，那就任冯拯为枢密使兼名誉宰相。不知真宗是真聪明还是假糊涂，总之真宗就这样找个台阶下了。这样一来，枢密院已经有六个人，东西两府官员的配置更加失衡了。这样一来，一些大臣就开始猜测，难道真宗觉得原来的枢密正使配置得不合理？于是，善于揣摩皇帝心思的枢密正使丁谓与曹利用，就提出辞职的请求。
真宗知道自己在人事任免上有过失，考虑得重新调整朝臣安排的格局，要重新发布制书。这次，真宗召来了丁谓的同党钱惟演，钱惟演打的小算盘当然目标明确，就是要趁机把丁谓推向宰相的高位。
钱惟演应召进宫后，先安慰真宗说，冯拯以前当过副宰相，现在提为枢密使，这样安排是合适的，没有什么不妥。接着钱惟演又说，现在的问题是，任命冯拯为枢密使，枢密使的数量就太多了，得从中提拨一个到中书省做宰相。冯拯做宰相当然能力不行，那么就得从丁谓和冯拯二人中选一个当副宰相。钱惟演这话说得滴水不漏，很是巧妙，没有主见的真宗于是就问钱惟演，丁谓和冯拯，谁更合适做宰相呢？其实这根本不用问，丁谓是进士出身，是文官，冯拯是武将，这两人是一文一武。在大宋朝的历史上，从来没有武官当宰相的先例，因此，只能是丁谓到中书省做宰相了。于是，在钱惟演的循循善诱之下，真宗接受了这个建议，任命丁谓为正宰相。其实这个主意是钱惟演的。很快，丁谓就当了宰相。其实，糊涂的真宗也有清醒之处。不管在各种事情的处理上他有多糊涂，真宗唯一的目的都是为了太子能顺利地登基。在这一点上，真宗这个心理都像明镜一般。首先，皇太子是离不开刘皇后的。其次，依寇准的性格，他不可能与刘皇后合作。因此，糊里糊涂的真宗思来想去，就半推半就地罢免了寇准的相位，同时也把丁谓推上了相位。不过，寇准的忠诚果敢，可以在一定程度牵制刘皇后和丁谓二人，所以真宗还是把寇准留在中央，寇准就像一座山岗，威严地耸立在开封府。真宗这一番良苦用心，年老的寇准未必能全部理解，他坚持认为真宗的做法是不妥当的，因此心中存有委屈。丁谓提拔为相后，寇准就单独求见真宗，告了曹利用与丁谓一状，甚至还说到李迪，如果罢免寇准，那么李迪也应该罢免啊。寇准发泄心中的不平和抱怨时，真宗什么话也说不出来，一怒之下，就把李迪把曹利用都外派到地方上。之后，丁谓请求真宗将贬寇准到地方去，真宗没有答应，因为真宗知道寇准的忠诚不二，真宗似乎也预知到，在朝廷未来可能出现的矛盾中，寇准还能发挥自己的作用。但是，寇准的政敌还是千方百计地要赶走寇准，这个机会终于来了。
不久，周怀政谋反政变之事败露，牵连到寇准了。这中间的关系，错综复杂。周怀政也想要胁迫真宗提前退位，而且他在密谋要废刘皇后，杀掉丁谓，让寇准来辅佐太子。周怀政与真宗的关系不同一般，真宗经常失眠，常常要枕着周怀政的大腿睡觉，可见君臣二人之间是很亲密的。周怀政对真宗是忠诚的，他不知道真宗为什么跟刘皇后关系不和。如果刘皇后大权在握，周怀政也不会有好结果。政变的前一天夜里，参与政变的杨崇勋、杨怀吉终于临战倒戈，到丁谓的府上去告密。第二天早上，曹利用带兵进宫，平定叛乱，叛乱还没开始就被平息了，主犯周怀政被抓获，明正典刑，公开处斩。接下来，丁谓利用他剩余价值，挖出伪造天书的朱能，朱能杀人逃跑。后被宋兵包围自杀。寇准上奏的天书是伪造的，寇准还能跑吗？寇准从太子太傅、莱国公，再降为太常卿、知相州，变成了一介地方官，而且勒令即日离京，不许逗留。他的女婿王曙因为和周怀政来往过密也被贬。
刘皇后进行了一次大清洗，寇准受到牵连，真宗也无法保护他了。残酷的政治打击开始了。但是皇后派觉得对寇准的打击还不够。丁谓又告了寇准一状，真宗又派寇准到一个小州做官，当时在场的李迪是听得非常清楚。可是，诏书下来后，丁谓改写成“远小州”，这个处分就严厉多了，意思是发配寇准去更恶劣的偏僻地方。很明显，丁谓已经开始弄权了。李迪说，皇上对寇准的安排，我们在殿堂上已经听得明明白白，你怎么可以在小州前面加一个“远”字呢？丁谓却粗暴地将李迪的话打断了。
寇准离京的那天，悲愤难抑，百姓围观送行，马亦复踖蹙不行。寇准狠狠地挥鞭打马，喝道：“皇令在此，我都不敢逗留，你还敢不走？”马于是跑起来。寇准流着泪，对送行的同事道：“你们有机会问问丁谓，我到底负了他什么事，他竟恨不得整死我！”后来，丁谓也被贬谪到海南，经过道州时，有人谈起寇准的话。丁谓还愣了愣，叹道：“对他不满的人太多了，岂独我一人！”
离京不远，寇准又接到新的命令，贬到了安州，一会儿南，一会儿北，在贬谪的路上来回奔波，历尽艰辛。丁谓觉得这样做还不够解他的心头之恨，“拂须”的心理阴影仍然笼罩着他。刘皇后继续清理周怀政的亲信，因为陕西真的起兵，武装谋反了。刘皇后对与周怀政有关系的官僚的打击加剧了。寇准被贬十八天后，再次接到中央的贬谪令，到湖南道州，官职也成了道州司马，彻底成了闲职。在二十五天的时间里，寇准连续被贬三次，从大州到远小州，再到司马，他就像一只疲惫的倦鸟，在青山绿水之间徘徊飞翔。在这样千里迢迢的奔波下，使得寇准反而有机会接触到黎民百姓。在路过零陵时，途中要翻过一座大山，这时寇准遭到当地土著强人的抢劫。后来酋长一看，被劫掠的人居然是大名鼎鼎的寇准，于是命令手下赶紧将寇准送回去。这件事，让寇准感到了公道自在人心。他虽然遭到了政治迫害，但是天下百姓却没忘记他对国家所做的事，没有忘记他卓著的历史功勋。
其实，不止是老百姓没有忘记寇准，开封府的真宗皇帝也没有忘记他。寇准被贬一年多后，有一天，真宗问随从，“吾目中久不见寇准，何也？”这话问得很奇怪。左右侍从没人敢回答。真宗也不再追究。因为真宗已经重病缠身，面对复杂多变的政治斗争，真宗身心俱疲，已经无力关注别的什么了。太子继位的问题，真宗也抱着随遇而安的态度，由刘皇后来辅佐小皇帝。
有一天，独自呆在深宫中的真宗皇帝忽然对李迪大发脾气，因为刘皇后一班人马去刘家走动，却把真宗一人扔在深宫中。此时的真宗已经到了风烛残年，又是百病缠身，非常害怕孤单，渴望享受天伦之乐和亲情的关爱。那天真宗忽然对李迪大发脾气，应该是这种心情和心理的折射，但是对此李迪却给真宗做了带有政治色彩上的解释。李迪认为，如果刘皇后他们的做法有失体统，为什么不按律处置呢？后来，此话传到刘皇后的耳朵里后，李迪很快就被借故赶走了。
寇准对自己晚年的不幸遭遇，显然是愤愤不平的，他曾在某寺庙前插下几支竹笋，发誓道：“我寇准一生，如有负朝廷，此竹必不生；若不负国家，此枯竹当再生。”后来，枯竹茂盛生长，让他得到些许安慰。
寇准曾作过一首《踏莎行》的闺怨词，描写闺中少妇思念故人，言辞温婉清新，感情沉郁细腻，“红英落尽青梅小”之语，更流露出韶光流失、美人迟暮的惆怅、孤寂之情：
春色将阑，莺声渐老。
红英落尽青梅小。
画堂人静雨濛濛，
屏山半掩馀香袅。
密约沉沉，离情杳杳。
菱花尘满慵将照。
倚楼无语欲销魂，
长空黯淡连芳草。
人生在世如朝露。最难堪，英雄老去，美人迟暮。古代文人用语委婉曲折，常以美人自喻，寇准感慨美人迟暮，是不是借此感慨自己英雄末路、风光难再呢？
乾兴元年（1022年）二月，真宗驾崩，太子即位，这就是宋仁宗。刘皇后升为皇太后，权且处置军国大事，刘皇后开始正式摄政。此时丁谓仍是宰相。这个消息传到道州后，寇准换上素服，为真宗举哀祭祀。
当然，开封府也有一个人无法忘记寇准，他就是丁谓。十天后，丁谓下达再次贬谪令，贬寇准到雷州。副宰相王曾觉得丁谓做事太狠了些。王曾是寇准的学生，甚至曾经借房子给寇准住过，对寇准还是有着恻隐之心。丁谓对王曾说，寇准被贬，你这个房东大人肯定也逃脱不了干系吧？丁谓觉得这样做还不够，就在宦官身上玩起猫腻。
有一天，有人捎口信说，朝廷中有宦官来道州了，恐怕这一次对寇大人多有不利，因为宦官囊中露出了宝剑，道州的官吏都吓白了脸。寇准去见宦官，可是宦官不肯出来相见，大家心中更担心害怕了，也许朝廷要杀掉寇准了。寇准再次求见宦官，要找来官府文件看，宦官无奈，只好拿来文件。原来，官府文件中是说要贬寇准到雷州，不是要杀他。
雷州地处更为遥远，去雷州成了八品官，官服要换成绿袍，寇准没有这样的官服，就借来一件八品官的官服穿上。这件官服很不合身，寇准穿着很不合适。但寇准拜谢了皇恩，继续喝酒逍遥，向雷州而去。穿越南岭路途遥远，没有便道，只能徒步而行。沿途官员为寇准准备了滑竿等行路用具，准备相送，寇准却不接受，一路风尘，步行赶到雷州。
雷州当地官员告诉寇准，雷州距离大海只有十里远。听到这句话，寇准内心的触动非常大。他想起自己年轻时写过的一首诗曾有“到海只十里，过山应万重”之句，今天在垂暮之年，果然到了这里，寇准心中不能不感慨万千。
