胡宗南没有派人押送张灵甫，而是由他自己去了南京。从西安到南京，交通很不便利，张灵甫带的路费不多，走到徐州附近就身无分文了。
张灵甫是一个不愿求助别人的人，因他早年练就了一手好字，于是就沿途卖字，继续前行。每到一个城镇，他就帮人家写店名或对联。
到南京报到后，被关进了"模范监狱"。在牢里蒋介石并没有把他当成一个真正的犯人看待，而是出入自由。
他是一个性格特别内向的人，尽管南京城里友人很多，但却不与他们接触。每天在监狱除了吃饭，就是看书写字。就这样他被关了一年多，没有得到蒋介石的指示，有关部门也没有审理过他。
"七七事变"之后，南京政府下令，所有服刑官兵，除政治犯外，一律调服军役，戴罪立功，并保留其原有军衔。
这时王耀武便向蒋介石求情说："张灵甫这个人作战很有本事，现在抗战需要干部，不如也让他出来带兵打仗。"
蒋介石说："那就交给你吧，要好好地教育他，让他重新做人。"
接着张灵甫就被秘密释放，来到王耀武手下任上校候差员。当时虽说他没有具体职务，但对王耀武却感恩不尽，扮演着军事参谋的角色。
淞沪会战时张灵甫被正式任命为74军51师153旅305团团长，随王耀武开赴抗日前线。
当时王耀武命令第151旅旅长唐生海指挥张国献的第302团、张灵甫的第305团、常海德的第306团向已占领了德安的日军l06师团进行反攻，阻止日军南下。
在研究作战方案时，有的团长认为张古山地势险要，易守难攻，我方没有重炮，要从正面进攻，会造成很大的伤亡，很难完成任务。
怎么打，人们众说纷纭，都很悲观。唐生海举旗不定，他望着坐在对面一直低头沉思的张灵甫说道：
"张团长有何高见？"
张灵甫说："谈不上高见，但我认为这个山头并不难打，办法还是有的，就看大家齐不齐心了。"
坐在他右侧一个团长笑着说："张团长这么说，我们是不敢与日军交锋了？"
他说："我不是这个意思。"
"那是什么意思？难道我们都是怕死鬼，就你是英雄好汉？"
他们两人争吵起来，本来这个团长对张灵甫就有意见，张灵甫本人多次对别人说这个团长是草包，根本不会带兵打仗。
会场的气氛紧张了，国民党部队中下级军官开会，当场骂骂咧咧是司空见惯的事，唐旅长站起来，挥手说：
"你们吵什么，我们不团结起来，怎么能战胜敌人呢？"
他们不再争吵，唐旅长向大家每人散了一支烟，然后瞅着张灵甫说："张团长说说你的意见吧。"
张灵甫吸着烟说："面对日军，我们可以效仿《三国》中的邓艾渡阴平进攻西蜀的战法嘛。"
唐旅长睁大眼睛问："眼下怎么效仿？"
他说："我们可以挑选一批精兵组成若干个突击队，从张古口的背部实施突破，实行两面夹击战术，敌人自然会乱方寸的。
人们争论了一番，最后还是通过了张灵甫提出的进攻方案。
他自然成了第一批突击队的负责人。他率领300多名精兵绕到山背后，去偷袭敌人。战斗打响后，其余部队从正面强攻，受到夹击的日军立即调来飞机增援，战斗进行了整整一天一夜，最后两军展开肉搏战，5天过后，张灵甫终于将山上的敌人打败了。
张灵甫名声大震，后任第153旅副旅长。
长沙会战结束后，张灵甫回到陕西探亲，并同西安市的一个名门闺秀高艳玉结婚。随后又重返部队参加南昌战役。
1940年初，张灵甫升任第58师副师长。
同年底，他又升任该师师长。
可以说这个西北汉子在抗战中是有所作为的。抗战结束蒋介石就任命他为第74军副军长。
后来他又就任了这个军的军长。
该军整编为师，在王耀武等人的极力推荐下，他又当上了整编74师师长。1946年内战爆发，蒋介石又将张灵甫部调到苏北与新四军作战。当时张灵甫很是得意，曾对蒋介石说：
"委员长，有我74师在，就无新四军的葬身之地。"
1947年4月，蒋介石又将74师调进山东，与人民解放军华东野战军作战。张灵甫是一个喜欢争功的人，因此他一进驻山东，就趾高气扬，扬言有他的74师，就可以解决大半个中国。
他过早地夸下了海口，没有想到却遇上真的对手。
张灵甫一意孤行，还没有等配合他的部队到位，就大胆地朝坦埠开来，当他站在孟良崮山脚时，还扬言要在三月之内消灭山东境内的所有共军。但他万万没有想到自己已经进入了陈粟大军的腹地，已进入许世友防区。
没有一丝风。身材高大的张灵甫站在高山顶上用望远镜望着高低起伏的群山。没有发现什么情况，山上很静。他跟着脚，在参谋人员的扶持下向上走了几步，然后望着大山，原形毕露地叫喊：
"共匪，你们出来吧，有种就出来与老子交手，躲在山里干什么！"
站在他身旁的一个高参小声说："师座，据悉，对面山上已有共军活动。"
他很不在乎地问："是吗？我军进入山东一月多了，我连他们影子都没有看到，我还以为他们飞了呢，还躲在山里吗？"
"是的，共军是不敢出山的。"
"对面是共军的哪一部分？"他拄着棍子问。
"据查是许世友的第9纵在活动。"那个高参说。
"好嘛，那咱们就先收拾这个许和尚吧！"
"师座，队伍是否继续前进？"
"继续前进，速度要快。"
"我们已进入共军的防区了，是否先派一个旅过去试探一下，看他们究竟是多少兵力，不能冒进啊！"
"这怎么能说是冒进了，共军是逃跑，我们是追击，没有什么可怕的，他们能啃动我们74师吗？"
张灵甫口气很大，所有队伍仍在前进。他站在高山上对参谋说："快给徐州的顾总指挥发电，说我军已发现了共军，已深入到共军的巢穴之中，快让他们派飞机来。"
