很快，消息从前面传来，果然不出潘古所料，刘备抵达襄阳城下后，引发城内变乱，但支持刘备进城的魏延战败，襄阳始终闭门不允刘备进城，刘备只得依诸葛亮的建言，一面派关羽去江夏，找刘表的另一个儿子——刘琦求援，一面带着队伍继续往南投奔江陵。
听到要去数百里外的江陵，百姓当中出现了骚动。一些人想要掉头返回老家，当中就有李老贵。他跟潘古私下说了说，情知此行凶险的潘古也是忧心忡忡，便去试着跟两个随行步卒商议，但王安和韩飞哪里肯放，反而看顾得更紧了。恰在此时，又有传言说曹军前锋已经占据新野，正在屠城，于是人们只得纷纷打消了回家的念头，拿“皇叔仁德”互相安慰着，跟随刘备望江陵方向行去，只是队伍的速度不免放慢了许多。
襄阳往南，一路都是平川，刘备在前，张飞断后，把百姓夹在中间，十余万军民迤逦南行，烟尘滚滚，队伍头尾直拖了二十余里。道路两边都是田地，许多正在劳作的农民放下锄头观看这支壮观的南行队伍，又见兵士每每派赈粮食，便开口询问，待问得这是大汉刘皇叔的队伍，残暴的曹兵很快要杀到，就呼朋唤友一起跟着逃难。于是队伍愈发壮大，两日内又增加了5万余人，都是沿途郡县的百姓。
襄阳之变让潘古确信，现在的局势正在按他记忆里的历史轨迹发展，见到这些茫然不知前路危险的百姓，他心急如焚，不断地试图劝阻那些想要走进队伍的人，但收效甚微。沿途的人们在“大汉皇叔”的光环下迷晕了眼，如同一只只盲目的羔羊，变成这支浩浩荡荡的羊群的一份子，许多人甚至连此行的目的地都不知道。
一个名叫费楚的壮汉带着老婆和一子一女加入了潘古一行，起因是潘古等人随着大队在荆门县歇宿时，李老贵的儿子与费楚的两个孩子玩得熟识了。到第二天出发时，孩子们仍然依依不舍，费楚一拍大腿，“让孩子跟着皇叔见见世面吧！”，背口锅，扛袋米，把屋门一栓，叫上全家就跟着众人往南走了。
三个孩子以前哪曾出过这样的远门，一边跟着大人走路，一边在田边地头玩得不亦乐乎，在人群里窜出窜进。费楚和李老贵看着孩子们哈哈大笑，他们的老婆急得要命，跟在孩子背后追撵，生怕走失了。冬阳透过云层照暖大地、天高气爽，众人在孩子们的欢笑声中仿佛都忘记了眼前的烦恼。潘古最得孩子们的欢心，时时想出些有趣的花样逗着他们玩，王安和韩飞的脸上多了些笑容，连李老贵的娘也似乎痊愈了不少，渐渐能坐起身说说话了。
表面看来轻松，潘古心里却越来越焦急，他眼睁睁地跟着这支羊群一般的队伍一步步走向险境，心里渐渐蒙上一层乌云也似的不祥预感，却始终找不到解困的办法。这些天来，潘古瞅空就找其他人交谈，试图把即将在当阳长坂发生的惨剧告诉他们，还托两个随行步卒把话捎给刘备或张飞。韩飞听后笑笑，并不言语，王安压根不想听潘古的话；费楚当初就不顾劝阻加入南行队伍，现在也是把潘古的话全当玩笑；只有李老贵将信将疑，嘴上称荒谬，但潘古看到他在夜里把米袋偷偷绑在腰间，看来有意逃跑。
潘古也考虑过自己逃跑的可能性，不过那日在汉水边被张飞审问后，王安和韩飞对他看押得更紧了，特别是韩飞，总是一副年轻没有心机的样子，但潘古能感觉到，他看似无意的外表下，对自己的提防比谁都严密。此外，张飞派遣来搜捕探子的骑队每日不停地穿梭于队伍两侧，潘古始终找不到逃跑的机会，
更重要的是，记忆还是没有任何恢复的迹象。潘古每天夜里都会做噩梦，梦到一些支离破碎、离奇古怪、清醒时便全部忘却的记忆碎片。每当他在半夜里被噩梦惊醒时，又会有一种隐约的感觉，似乎有一双无处不在的眼睛从黑暗中窥视着自己，这种感觉让他脊背发凉，汗毛直竖，让他宁愿呆在人群里获取短暂的安全感，而不愿独自逃进人群外那陌生、幽暗的未知荒野。
另一个缠绕在潘古心头的问题是，粮食已经开始不够吃了。
离开襄阳的头三天里，刘备军还是保持了一日两赈的惯例，每日辰时和午时发放足量粮食给百姓，从第四天开始，军粮开始吃紧，便改成了一日一赈，发到每人手上的也不大够吃了。来自新野和樊城两县的百姓大多举家南下，携带的粮食较为充分，军粮不够的部分就吃自己的，倒也自给自足。但襄阳以南加入队伍的百姓却多是以为皇叔管饭的，不少人两手空空就跟着来凑热闹，这下子就不免饿了肚子，怨声也出来了些。幸好刘备在诸葛亮的建议下及时调整了政策，在每日午时一赈的基础上，对那些未携带辎重的百姓另行发放粮食，这才勉强维持住了二十万人的秩序。糜竺是队伍里最焦头烂额的一个，眼看着原本满载的粮车一排一排地空弃，心里对南行的供给越来越没有底，表面上还得撑得一日算一日，挤尽脑汁地调好二十万军民的口，维护主君的声望。
日子一天天过去，发到百姓们手里的粥越来越稀，饼越来越小，队伍中却一反刚离开襄阳城时的悲观失望，竟洋溢起乐观的气氛了。
一方面，这些日子以来曹操的部队大摇大摆地进军，每天就走十里地，动作出奇的缓慢，除此之外赵云派出的斥候也没有发现任何曹操派出的别动队。人们刚开始还担心曹军何时杀到，整天提心吊胆，后来每隔两个时辰都有斥候骑马从队伍旁飞快掠过，高声通报敌情，百姓从斥候嘴里得知了曹军的动向，也就不那么惊慌失措了，看那悠闲的样子，与其说是逃难，不如说是郊游还来得恰当些。
另一方面，作为刘备军每日赈民但至今仍未耗尽军粮储备的原因之一，诸葛亮在汉水南岸的预言并没有完全落空，沿途走来，只要把募粮车往路边一摆，插上“大汉皇叔刘”的旗帜，兵士再这么一吆喝，各地百姓果真就争相献上自家粮食，那热闹感人的场面，不但把刘备乐得嘴都合不上，更无形中增添了军民们胜利的信心，也就不那么计较进不了襄阳城所导致的艰难行军了。
