1933年，年仅30岁的张灵甫就任国民党军第1师胡宗南部的独立旅1团上校团长；同年冬天，他在四川广元与当地女子吴海兰拜堂成亲、喜结连理，可谓“双喜临门”。不料，仅2年后，胡宗南就在西安对自己的妻子痛下杀手，用手枪将其击毙，制造了轰动一时的“团长古城杀妻案”。
杀妻案轰动全国，张被判刑
吴海兰死后，由于张灵甫是胡宗南的嫡系，而胡又是蒋介石的“头号门生”、“心腹爱将”，当地警察局根本不敢问罪。吴海兰的亲属为了讨回公道，直接找到了少帅张学良的夫人于凤至控诉，于气愤之余找到蒋介石的夫人宋美龄，声称：“王子犯法，庶民同罪，你们要秉公严惩。”
不久，消息传开，各地妇女界都义愤填膺，联合上书要求严惩凶手。蒋介石只得给胡宗南下令，吩咐将人送南京军事法庭查办，最后张灵甫被判处10年徒刑。但1937年初，张就获释出狱，因为当时全面抗战爆发在即，蒋介石下令释放了除政治犯外的所有在押官兵，让他们全部归队，戴罪立功。
全面抗战爆发前夕，出狱戴罪立功
张灵甫也获释出狱，但已无法返回胡宗南部驻扎的西安城，只好去了驻扎汉中的第51师王耀武部，先是担任上校侯差员，后来单任该师153旅305团团长。7月7日卢沟桥事变后，全面抗战爆发，第51师与浙江保安部队改编的第58师合编，在武汉组成第74军，这就是后来覆灭于孟良崮的国民党军头号王牌整编74师的前身。
第74军刚刚成立，就被投入了炮火连天的“八·一三淞沪抗战”前线，张灵甫团作为主力，被部署在战况最激烈的嘉定地区。为了打退日寇的疯狂进攻，张灵甫身先士卒，亲率百余名敢死队员冲杀在前，带领全团连续打退日寇7次冲锋，毙伤800余人。淞沪会战刚结束，张灵甫又率部投入南京保卫战，因表现出色，被晋升为153旅副旅长兼305团团长。
抗日战场上屡屡奇功，不断擢升
1938年4月，51师在黄陂接受军委会校阅，获得优良考评，张灵甫305团的成绩名列全师第一，因此张擢升153旅少将旅长。武汉会战期间，孤军冒进的日寇第106师团被国民党军6个主力师合围在德安附近的万家岭一线，眼看整建制消灭日寇1个师团就摆在眼前，战役总指挥薛岳连续下令发动猛攻，最后将其压缩在万家岭、张古峰两座山头上。
为了首先拿下天险张古峰，孤立设在万家岭的日寇师团部，张灵甫亲自率领突击队，攀爬张鼓峰后山绝壁，最后一举奇袭得手，不但孤立了敌人，还彻底堵死了第106师团的退路。此后，张灵甫又先后率部参加南昌会战、上高会战、第二三次长沙会战、浙赣会战、鄂西会战等，均有不俗表现，职务也水涨船高，先后升任第58师副师长、代理师长等职。
1943年11月，张灵甫率领第58师参加常德会战，重创当年南京大屠杀元凶之一——日寇第13师团，获颁云麾勋章1枚，还被蒋介石夸奖为“模范军人”。1946年，74军部整编成74师，张灵甫被任命为师长。但抗战胜利后，张灵甫立即率部投入了内战战场，最终于1947年5月16日在孟良崮战役中被击毙 ，时年44岁。
