一个令人震惊的消息在巴爷公务传开了： 日本大间谍化名赵廉前来刺探华侨的情报。
1942年2月4日拂晓，郁达夫乘上一艘破旧不堪的机动船，逃离新加坡。此时，距新加坡沦陷还有十一天。
和郁达夫同船逃难的，共有二十八人。他们中有胡愈之、王任叔、张楚琨、高云览、汪金丁、王纪元、郑楚云、刘道南等。
郁达夫走得很仓促，携带的东西只有一只皮箱，以及一个装着日用杂货的手提包。他无法把自己的藏书带走，这对于一个将书看得比生命还重要的人来说，无疑是十分痛苦的。他苦笑着对朋友们说：“又把万卷藏书丢了，这是第二次了，头一次是杭州‘风雨茅庐’的三万卷藏书。”
在敌机的威胁下，经过一整天的航行，黄昏时分到达荷属小岛巴美吉里汶。由于大多数人没办理合法的入境手续，在岛上滞留了两天。
2月6日晚，郁达夫一行在石叻班让上岸。石叻班让是一个有数千人口的小城，华侨约占一半，他们开着数十家商店、数家制粉工厂和木工场。这里是连接新加坡和苏门答腊内陆的一个中转站，与苏门答腊岛只隔着一条窄窄的海峡。在郁达夫他们停留期间，几乎每天有各种各样的船只，载着华侨领袖、富商，以及教育界、新闻界人士前来避难。
过了几天，郁达夫与胡愈之、沈兹九、邵宗汉、张绿漪、唐伯涛、王纪元一行七人，来到望嘉丽。在这里，他们住进华商商会会馆。郁达夫想到爪哇去找李筱瑛，但荷兰官员拒绝了，不允许他们去爪哇。当时，荷兰虽与中国成为盟国，但荷兰政府对华侨文化界有关人士的入境限制很严。郁达夫他们只好留在望嘉丽，只有在新加坡的时候拿到过荷兰领事馆签证的唐伯涛一人，受到了荷兰官员的优待。
2月15日傍晚，连日来隔着马六甲海峡可以清晰听到的炮声，突然停止了。从联军电台的广播里，人们知道新加坡已经沦陷，英军司令长官帕西巴尔中将已向日军投降。
新加坡一沦陷，一衣带水的望嘉丽就变得十分危险了，日军随时可以登陆。郁达夫等人只好再次去见荷兰地方长官。对方正慌忙准备撤离，已顾不上他们了，说道：“现在你们的行动不受约束了，爱上哪儿就可以上哪儿。”这使他们感到非常愤慨，因为前几天前往苏门答腊内陆的航船还通航着。
在进退两难之际，有一名华侨伸出了救援之手。他们搭船来到保东村，这里是一个很偏僻的村落，居民不多，环境清幽。郁达夫等人在这里住了近两个月的时间。闲来无事，他们开始学印尼语。郁达夫学得最快，不久，他便会说一些日常用语。从这时起，他开始蓄起了胡子。
避难到保东村后，郁达夫每天都要吟一首诗，但只有十一首留存下来，后辑为《乱离杂诗》。
在保东村，他们原计划找机会先到爪哇，再搭船渡印度洋回国。为此，他们四处找船，寻找安全通道。到3月9日，最后一线希望断绝了。他们从收音机里听到了爪哇荷印总督向日军投降的消息。爪哇沦陷了，再去那里也就难以保证安全。他们不得不作长期隐蔽的打算，决定把六个人分成两批，找两处地方隐姓埋名，潜伏起来。过了几天，郁达夫和王纪元第一批出发，来到海边小村彭鹤岭。在当地华侨的帮助下，他们开了一家小杂货店，郁达夫化名赵德清当老板，王纪元化名汪国材当伙计。胡愈之等人则移居沿海的森林采伐工场。从这儿到对岸的彭鹤岭，顺流只需两个小时。因担心发生意外，平时很少来往。
1942年4月，昭南岛（新加坡沦陷后，被改名为昭南岛）政府派人前往石叻班让，招回华侨领袖。有些人的住址被发现了，结果被遣送回去。一到昭南岛，就遭到拘禁，饱尝铁窗之苦。消息传来，胡愈之、郁达夫决定马上离开这里，深入到苏门答腊岛的西部去，因为那一带几乎无人知道，要安全得多。
他们仍然决定分两批。郁达夫和王纪元为第一批。他们出发后，在半路上王纪元突然生病，在一个小镇上停了下来，只有郁达夫独自一人往前赶路。此时，他改名为赵廉。在以后的日子里，他一直使用这一名字，以至于周围极少有人知道他就是郁达夫。
5月初，郁达夫到达苏门答腊西部高原小镇巴爷公务。
巴爷公务位于高原盆地，气候温和。它和武吉丁宜、巴东，都属于苏门答腊十州中的西海岸州。它距武吉丁宜三十六公里，距巴东一百二十八公里。从新加坡到巴东去，途经石叻班让、望嘉丽、卜干峇鲁和武吉丁宜，巴爷公务是必经之地。它是个非常美丽的小市镇，除了两条大街外，就尽是乡村了。远处，米拉比和新架兰两座火山遥遥相对，两山中间都是肥沃的土地。离市镇稍远处，有一座落差二十多米的瀑布，还有一处清澈的涌泉，风景宜人。
郁达夫初到巴爷公务，住在一家广东人开的海天旅馆里。他刚在旅馆住下，一个令人震惊的消息在当地传开了： 日本大间谍化名赵廉来巴爷公务刺探华侨的情报，他就住在海天旅馆。郁达夫一上街，发现所有的华侨都以敌视的眼光看着他，或干脆躲得远远的。他去当地华侨领袖家，人家也都采取了敬而远之的态度。这样，历尽千辛万苦来到巴爷公务的郁达夫，处于孤立无援的境地。他因此很苦闷。他做梦也没想到，自己遭人误会，被当成大间谍了。
事情是这样发生的。
郁达夫途经卜干峇鲁，前往巴爷公务时，乘上了一辆大客车。车上的司机和乘客都是印尼人，只有他一个中国人。他穿了身蓝布衣服，装扮成工人的模样，又不太会印尼语，车上的印尼人都没把他放在眼里。途中，迎面开来一辆军车，挡住去路。军车上的日本军官做着手势，命令公共汽车停下来。待到停下来以后，那军官“哩哩哇哇”说了一通日本话。车上的印尼人没有一个懂日本话，不知道他说的是什么，以为日本人要征用汽车，吓得慌忙下车，纷纷逃跑。日本人十分恼火，拔出枪来，对准乘客。
郁达夫能听懂日本军官的话，知道对方不过是问去卜干峇鲁的路程。他本不想暴露自己会说日本话的，现在眼看形势危险，只好站了出来。他用日本话答复了那个军官。那军官骤然听到流利标准的带有东京味儿的日本话，非常高兴。日军初到苏门答腊，当地能懂日语的非常少，而能说如此好的日本话的，更为罕见。那军官连声道谢，还举手行了一个敬礼，然后车就开走了。
风波平息后，印尼人回到了车上。他们大为吃惊，觉得这个苦力打扮的中国人，竟会说日本话，而且日本军官还向他行礼，那他肯定是日本间谍无疑。因此，一到巴爷公务，郁达夫是日本大间谍的消息就传开了。
郁达夫被蒙在鼓里，他还以为当地的华侨缺少同情心，不肯帮助一个从外地来的孤客。
过了一些日子，胡愈之等人陆续来到，他们向有实力、有影响的华侨解释了其中的缘故，对郁达夫的误会才得以消除。人们才知道赵廉是个地地道道的中国人。随着交往的深入，不少人成了他亲密的朋友，但真正知道赵廉真实身份的，只是有限的几个人。在一般人的眼里，他是一个学问道德兼备的中国人。他在华侨中的威信越来越高。
郁达夫就在巴爷公务居住下来。此后一直到死，他基本上都是在这里度过的。巴爷公务成为他最后的归宿。
