唐肃宗刚在灵武即位的时候，身边的文武官员不满三十人，那个临时建立的朝廷，什么都乱糟糟的。一些武将也不大肯听指挥。唐肃宗要想平定叛乱，多么需要有个能人来帮助他啊。这时候，他想起他当太子的时候的一个好朋友李泌，就派人把他从颍阳接到灵武来。
李泌原是长安人，小时候很聪明，读了不少书。当时的宰相张九龄看到他写的诗文，十分器重他，称赞他是个“神童”唐肃宗当太子的时候，李泌已经长大了，他向唐玄宗上了奏章，对国家大事提了一些意见。唐玄宗看了很欣赏，召见他，想给他一个官职。他推说自己年轻，不愿做官。唐玄宗就要他和太子交个朋友。以后，他经常到东宫去，太子也特别喜欢接近李泌，把他当做老师看待。后来，李泌看不惯杨国忠掌权，曾经写诗讽刺杨国忠。为了这个，他被杨国忠排挤出长安。他看到政局混乱，不愿受这个气，索性跑到颍阳隐居起来。
这一回，唐肃宗来请他，他想到朝廷正遭到困难，就到了灵武。唐肃宗看见李泌，真像得到宝贝一样高兴。那时候的临时朝廷不那么讲究礼节，唐肃宗跟李泌就像年轻时候一样，进进出出，都在一起，大小事情全都跟他商量。李泌有什么主意，唐肃宗没有不听从他的。
唐肃宗想封他当宰相，李泌不大愿意。他说：陛下待我像知心朋友一样，这就比当宰相的地位还贵了，何必非要我挂个名不可呢？
唐肃宗见不能勉强他，也就算了。李泌在乡间隐居的时候穿的是布衣，到了灵武，还是那件旧的布褂子。有一次，李泌陪唐肃宗一起骑着马巡视军队，兵士们在后面，指指点点说：那个穿黄袍的是皇上，穿白褂子的是山里来的隐士。
唐肃宗听到兵士们的议论，觉得这样太显眼了，就给李泌一件紫色的官服，硬要他穿上。李泌没办法，只好穿上。唐肃宗笑着说：你既然穿上了官服，还能没有个官衔？说着，从袖里拿出一份诏书，任命李泌为元帅府行军长史。
李泌还不肯答应，唐肃宗说：现在国家困难，只好暂时委屈你一下，等平定叛乱之后，还是还你自由。
那时候，郭子仪也已经到了灵武。朝廷要指挥全国的战事，军务十分繁忙。四面八方送来的文书，从早到晚没有间歇的时刻。唐肃宗命令把收到的文书一律先送给李泌拆看，有特别紧要的才送给他。宫门的钥匙，由太子李俶和李泌两人掌管。李泌忙得连饭也顾不上吃，觉也没能好好睡。
唐肃宗一心想回长安，问李泌说：敌人这样强大，我们怎么办？
李泌说：安禄山发动叛乱，真心帮他出力的是少数，其余都是被迫参加的。照我的估计，不出两年，就可以把他们消灭。接着，他又给唐肃宗订了一个军事计划，暂缓收复长安，派郭子仪、李光弼分两路进军河北，攻打叛军老巢范阳，叫叛军进退两难，再发动各路官军围攻，把叛军消灭。
第二年春天，叛军发生内讧，安禄山的儿子安庆绪杀了安禄山，自己称帝。要消灭叛军，这本来是个好机会。但是唐肃宗急于回长安，不听李泌的计划，把郭子仪的人马从河东调回，强攻长安，结果打了一个败仗。后来，郭子仪借了回纥的精兵，集中了十五万人马，才把长安攻了下来。接着，又收复了洛阳，叛乱头目安庆绪逃到河北，史思明也被迫投降。唐军收复了长安和洛阳，唐肃宗觉得心满意足，用骏马把李泌接到长安。
唐肃宗的宠妃张良娣和宦官李辅国，嫌李泌权大，早就互相勾结，想把李泌除掉。太子李俶发现张良娣他们想害李泌，就告诉了李泌。李泌说：不打紧。我和皇上有约在先，等收复京城，我就归山，就没有事了。
这回，李泌见唐军收复两京，算是了却了一个心愿，决心离开朝廷。有一天晚上，唐肃宗请李泌喝酒，并且留他一起睡。李泌趁机对唐肃宗说：我已经报答了陛下，请让我回家再做个闲人吧！
唐肃宗说：哎，我和先生共患难了几年，现在正想跟您一起享受安乐，怎么您倒要走了呢？
李泌恳切地说：我和陛下结交太早，陛下太重用我，信任我。就是因为这些缘故，我不能不走。
唐肃宗说：今天先睡吧，隔天再说。
李泌说：今天我跟陛下坐在一个榻上谈话，你不答应我。将来到了公堂上面，就没有我说话的余地了。如果你不让走，那就等于杀我了。
唐肃宗虽然不愿让李泌离开，但是经不住李泌一再请求，只好同意。李泌到了衡山，在山上造个屋子，重新过他的隐居生活。
俗语所云“伴君如伴虎”没有例外。就算唐肃宗现在对他很好，也难保以后不出差错或受怀疑。何况，就算这“虎”不伤人，但虎威风凛凛，身边势能极高，无风三尺浪，一旦风起，嫉妒、排挤、诬陷等即时会随波逐浪，你不知道什么时候什么地方就会起旋涡。叛乱刚平，唐肃宗的宠妃张良娣和宦官李辅国就嫌李泌权大，互相勾结，想把李泌除掉了。
李泌走了以后，唐肃宗身边少了一个正直的大臣，李辅国等一批宦官的权力就大起来了。但这些，李泌也管不了。这也从另一方面证明，他脱身及时，不然，闲居的李泌还不知道自己正处于何种境地呢！
