1960年5月23日，阎锡山于台北市病逝，葬于阳明山，结束了他传奇的一生。
阎锡山身上有诸多头衔，他是同盟会元老，辛亥革命的先锋，北洋军阀晋系领袖，国军一级上将，曾担任“行政院长”、“国防部部长”等诸多要职。
在他死后，蒋介石签署发布褒扬令，称赞他“早年追随国父，着籍同盟。辛亥之役，倡举义旗，光复三晋……抗战军兴，任第二战区司令长官，兼山西省政府主席，创兴兵农合一之制，促进生产，增强战力，厥效弥彰……”
然而，这些明面上的表扬不过是虚与委蛇的官方辞令。事实上，阎锡山逃到台湾后，国民党和蒋介石总结失败原因，对他恨得要死，不然阎锡山不可能在阳明山上隐居十年。
阎锡山去世后第6天，台北《民族晚报》就专门发表社论《阎锡山值得国葬吗？》，专门回击了社会上认为应该为阎锡山这个民国元老举办“国葬”的言论。在这篇文章中，作者指责阎锡山认为正是他的“引狼入室”，导致八路军后来在华北地区坐大。
文章指出，全面抗战爆发后，阎锡山采取了“联共抗日”的政策，与薄一波等人合作，成立牺盟会和决死队，“卒使共党实力在山西坐大”。然而，1939年，新军（即决死队）“叛变15万之众，俱投向共匪，成为后来晋察冀区共军主力”，认为此乃阎锡山之“过”。
1936年，在红军改编为八路军之前，曾举兵出山西，进行东征战役，当时阎锡山被打得无力招架。蒋介石的中央军随即趁机进入山西，成立“晋陕绥宁四省边区剿总”，陈诚为总指挥，对阎锡山在山西的统治构成了威胁。蒋介石还积极拉拢晋绥军的高级将领，挖阎锡山的墙角。对此阎锡山愤恨不已，称：“我不亡于共，亦要亡于蒋。”
当时的阎锡山，真可谓危机重重，除了国共双方在此角逐，还有日军虎视眈眈。为了维护自己的地盘，阎锡山审时度势，决定联合八路军一面抗蒋，一面抗日，希望借助八路军在政治工作中的特长优势，为自己培植力量，最后再把八路军挤走。
对于阎锡山来说，和八路军合作无疑是一个有风险的决策，阎锡山说：“但是，不跟共产党合作，又有什么办法呢？现在我只有用共产党的办法，此外都不能抵制日本人和蒋介石。我是用共产党的办法削弱共产党。”
到1939年，山西新军已经发展到了4个决死纵队、一个工兵旅和一个暂编师，共达50个团约五万多人，加上牺盟会发展的游击团、保安旅、政保队等地方武装共10万余人，人数和武器都超过了旧军，尾大难掉。阎锡山于是急忙发动十二月事变，但为时已晚。十二月事变后，薄一波率领决死队加入八路军。
从国民党和蒋介石的角度来看，他们不可能不恨阎锡山：1937年，八路军渡过黄河，前往抗日一线，三个主力师主要活动区域就是在山西，在这一时期，阎锡山试图利用八路军，但弄巧成拙，最终失败，晋察冀军区和晋冀鲁豫军区茁壮成长，不仅为阎锡山的覆灭埋下了种子，也为整个国民党的失败埋下了种子。
阎锡山自然深知自己理亏，来到台湾后就躲到阳明山上隐居了起来，很多人认为这是阎锡山自主的选择，事实上，他是出于无奈和自知之明。隐居10年后，阎锡山病死，其葬礼简陋粗糙，已经全无当年“山西王”的气派。
