休之回到建康，闭门谢客，每天不是在家里饮酒作乐，就是出城游猎，不与朝中诸人来往。元显觉得他是人才，需要安抚，便让朝廷下旨，在平西将军之外，加封他为光禄大夫，这可是天子近臣！可是，用兵不利的王珣等人也各有擢升，就连张法顺也被封为庐江太守，休之不屑与这些人为伍，便上表称病请辞，虽然朝廷不许，他却像已经辞官了一般日日逍遥去了。
元显见此情形，又送给他许多美女，连侍妾月儿也还了回来。休之悉数笑纳，随后将她们全部遣散，并无一语言谢。
谯王生怕他得罪司马元显，忙命人把美女们收拢起来，在别处安置，又替他给元显写信道谢，又劝慰他道：“朝政自古如此，何必耿耿于怀。”
休之内心很痛苦，脸上却云淡风轻，“父亲教训的是，人生苦短，孩儿要及时行乐。”
谯王叹道：“当时你说要为国锄奸，我便告诉过你，此事艰难，不是那么容易的。你这才受了些许委屈，就如此沉沦，若遇上有意加害你的人，你又当如何处之？也罢，你若不愿再插手朝政，倒是我们做父母的福气，将来就做个逍遥王吧。”
休之听了，沉默不语。
眼看秋去冬来，天气一天天冷下来，整整一个冬天，一片雪花都没有，人们纷纷议论，来年必是灾年。建康城内粮米价格暴涨，路边已有饿殍，市井谣言四起，说在位者无德，这是上天示警。
眼看年关将至，朝廷不能让都城里死人太多，便开了些粥棚，赈济灾民，又请天师道做法，祈求来年五谷丰登。好不容易挺过了年关，然而没过几天好日子，正月十四，就传来荆州内讧的消息，桓玄袭占江陵，杀死殷仲堪与杨佺期，尽占荆襄之地。朝廷非但不能问罪，反而忙不迭地下旨册封桓玄领荆州刺史，并都督沿江八郡军事。桓玄坐大，与朝廷划江而治，各郡太守及以下诸多官员皆由他自行任命，连出入仪仗也多有僭越，俨然已是一个小朝廷。
休之每天诗酒放诞，却时刻关心朝局。这天日光惨淡，他在书房拥炉饮酒，听说了这个消息的时候，不禁摔了酒杯，恨道：“八佾舞于庭，是可忍孰不可忍。”
随从们知道他近来性情古怪，都纷纷退下，生怕多劝一句，或是走得慢了，就被他责骂。只有月儿端着一碗参汤，轻轻地走了进来。
“奴婢拜见世子爷。”
休之生气的时候，最讨厌有人在旁边烦他，一怒回头，却见月儿来了。这几个月不见，她越发丰腴美丽，只是穿着侍女的衣服，想起大婚当日的事，心里有些惭愧，语气也柔和下来。“你来何事？”
“世子遣散了美人，王爷可怜奴婢家在京口，无处可去，让奴婢在夫人那里伺候着。今天奉夫人之命，来给世子送参汤，世子趁热喝些吧。”月儿说着，把参汤端给休之。
休之哪有胃口，示意她放在桌上便是。看着月儿，是这个女子牺牲了自己给他换来领兵的机会，他觉得对不起她，可道歉的话却说不出口，只能尽力表现出善意，“我明天派人送你回京口，再给你买一所宅子，给你一些钱，让你可以安稳度日。”
“不！”月儿惊叫一声，扑通跪了下来，“奴婢不想走，世子若要赶走奴婢，奴婢便死在您面前。”
休之一怔，“那你就在府中住下，不会有人为难你的。”
月儿微笑，眼泪却流了下来，“奴婢已伺候过侍中大人，不配再伺候世子了。”
休之看着她这样又哭又笑，不知道说什么好，只得捧起那碗参汤喝着。
正巧吴勋来报：“世子，刘裕从京口派人来送贺礼，世子可要瞧瞧？”他知道，休之一直怀念京口，也许京口来人，能让他高兴些。
休之就像找到个台阶下似的，立刻让月儿退下，命吴勋将人带来，他要亲自见见。月儿还有一肚子话想说，见此情形也只好都忍了下来，以后有机会再说吧。
吴勋见休之终于对诗酒游猎之外的事有了些兴致，不禁大喜，急忙去领了戚大富进来，他们身后还跟着几个小厮，抬着四个大箱子，此外还有一张硬木宝弓和一匹白龙马。
前一阵，刘裕让孟昶准备了礼物，赶在年底前送去建康司马休之府上。正巧戚大富天天求刘裕让他在流民营里当个管事的。刘裕深知他好赌成性，不想用他，又不便一口回绝，便让他带人来送贺礼，只要平安送到，平安返回，就答应他的事。
戚大富想，不过是送东西，刘裕还派了兵马护送，有什么难的？他就答应下来。就这样走了一个多月，到了建康，来给司马休之送礼。
可他没想到司马休之会亲自召见，这时还有点紧张。见到休之，戚大富上前拜倒：“草民戚大富，奉了我家副将军刘裕之命，给……给将军送贺礼，礼、礼单在此，请您过目。”
休之对那宝弓和马很是喜欢，他来到院中，将弓拿在手里掂量了一下，然后试着拉开，只听弓弦嘎吱吱响，弓却没开，休之又加了些力道，低喝一声，将这才将弓拉得如同满月。众人喝彩。休之放下宝弓，又出府来看马。这匹马被拴在府门外的上马石上，毛色雪白鲜亮，膘肥体壮，缰绳被随从拉着，马蹄子不住地刨土。休之摸了摸马背，拿过缰绳，一翻身便上了马，那马嘶鸣一声，剧烈跳动，想把休之甩下来。休之使出全身力气抓紧缰绳，大喊一声“让开”，便打马飞奔，在门前的大街上亲自驯马，跑了起来。几圈下来，那匹马已经十分听话，接受了休之这个新主人。
满街上的人在休之纵马之际，都各自躲开，此刻见休之已经将马驯服了，便都喝彩，街上掌声雷动。
休之在府门前把马带住，对吴勋等人大声传令，“去带了弓箭，点起人马，跟我去城外游猎。我要试一试这宝弓良马。”说完，便打马飞奔，直奔城外去了。吴勋忙传命府中赶紧准备，不一会儿，休之素日的随从便从府中出来，清一色全是骑兵，带着刘裕送来的宝弓和休之平日用的箭，一起朝城外他常去游猎的树林追去。
戚大富在门口看着他们一行人绝尘而去，不住地自言自语，“难怪人人都传说平西将军风采绝世，果然，比刘裕强多了。”
吴勋对他说，世子已命他准备回礼，请戚大富和从人在府中暂住一夜。戚大富连连答应，可他闲不住，便趁着没事出去逛街。
戚大富是呆不住的人，估摸休之不会找他，便上大街闲逛去了。建康城比京口大了几倍，繁华更甚，街道宽敞笔直，开满了各样铺子，卖什么的都有。街上不时有达官显贵车马驶过，也有杂耍的、练把式的吆喝着卖艺。一言以蔽之，建康什么都好，就是吃食太贵。
戚大富心想，这回也算开了眼界了，等我回去好好给娘和云秀讲讲。他想给家里人带点东西回去，就到处找布料铺子，结果一抬头，他竟走到一座赌坊门前。
戚大富在赌坊门口搓手徘徊，久久不能离去。
进还是不进，这他妈的是个问题。“戚大富啊戚大富，你狗改不了吃屎啊！你忘了，你就因为烂赌，差点倾家荡产了，把妹子都赔出去了，还赌！……戚大富啊戚大富，以前你穷，越赌越穷，这回你有钱了，你妹子嫁得也好，小赌两把，无伤大雅。……戚大富啊戚大富，赌赌赌，你就知道赌！那么多怡情的事，你咋不干呢？……戚大富啊戚大富，那么多怡情的事，你不也不会吗？……戚大富啊戚大富，又不是我自己要来的，是天意让我走到这里的……我又不赌，就进去看一眼，怕什么……”
犹豫着，犹豫着，戚大富便进了赌坊，上了赌桌，直到输得身上就剩条裤子了，还不肯下来。
赌坊的打手把他抄起来，他正要抗议，就被一个过肩摔扔到地上。
寒冬腊月，地板又硬又凉，戚大富的脸当时就摔肿了，疼得哇哇大叫，“哪个杂种！瞎了你狗眼，敢摔你老爷！你知道爷是谁吗？我住在谯王府！平西将军亲自留我！你们敢打我，平西将军宰了你们！”
打手往地上啐了一口，“凭你也配提平西将军？我管你是住王府还是住狗洞，输光了给我滚！”
“我还没输光呢！”
“哦，还有条棉裤是吧？你想光着出去呀？哈哈哈。”打手说完，整个赌坊围观的人都哄笑起来。
“爷我押自己！”
“你是个什么东西，全身榨干了也不值几个钱！”
“我是刘裕的大舅子！”
“刘裕是谁？不认识。”
“嘿！不长眼的东西！看拳！”
乒乒乓乓一顿乱打，戚大富被扔到大街上，就这么光着上身，哆哆嗦嗦从地上爬起来，紧抱着胳膊，想赶紧回谯王府。
当天是正月十四，上元节前后三天，建康不禁夜，但今年天气奇冷，百姓们也过得艰难，街面上没什么人游玩，只有富贵人家门前树着孤零零的几盏花灯。
突然，迎面遇上一队巡夜的官差，喝问他：“什么人？”
戚大富才想起来入夜宵禁这回事，他冻得嘴唇发紫，话也说不清楚，“我……我……我回……”
“这小子一看就不是好人！前天那个人命案子，我看就是他！抓起来！”官差们一拥而上把戚大富扑倒。
戚大富便被捆得结结实实，“救、救、救命！救……命！”
官差们如狼似虎，正要将他抓走。好巧不巧，司马休之带人从城外游猎回来，正好路过。戚大富拼尽全身力气大喊一声，“将军！救我！我是……刘裕派来的呀！”
休之听到这话，便命人来看看。一个随从认得戚大富，便向休之回禀。休之打马过来，官差们趴在地上磕头行礼。
“这是怎么回事？”休之问。
为首的一个官差看情况不对，便避重就轻地说：“回将军，这个人，小人们见他有些鬼祟，怕是坏人，想带回衙门细问。”
“你们是哪个衙门的？”
“回将军，小人是建康县衙的，晚上巡更。”建康城虽地属扬州丹阳郡建康县地面，可建康县令就像是神山脚下的土地，满头都是神佛，谁也惹不起，县令大人一贯如此，他手下的官差更是会看人下菜碟，抓人之前要先问问，是不是跟城中哪位达官贵人有关系。今天不怪他们看走了眼，谁能想到，戚大富这光着膀子的样子，竟真的也是谯王府上住着的人。
戚大富快冻死了，“将……将……军，救……。”
休之冲一个随从示意，然后便驱马走了。那随从脱下身上的披风，过去给戚大富穿在身上，把他从官差手中带了过来。官差们趴在地上恭送休之，一动不敢动。
回到王府，戚大富被带下去，灌了两碗姜汤，裹着几床棉被睡了一夜，好不容易才缓了过来。
