胡富国虽然在山西省委书记这一职务上干了5年，却在三晋大地留下了一系列重要的工程和持久的声望。他可能是山西历史上最出名的省委书记，直到今天，各大视频平台出现他的影像，都会引来网友围观，有网友说：“看到胡富国书记，我必点赞。”
胡富国生于1937年，即全面抗战爆发的那一年。他的家乡是山西长子县，该县据说曾是尧的长子丹朱的封地，故名“长子县”，又称“丹城”。
胡富国出生于一个普通的农民家庭，家中有11个兄弟姐妹，由于战火和饥荒，这11个孩子最后只有胡富国和两个妹妹长大成人。胡富国很小的时候母亲就去世了，他兄妹三人由父亲养大。
1957年，20岁的胡富国从初中毕业，随后分配到子长县的一个公社担任会计，后因能力突出，成为公社的团支部书记，之后调往子长县南刘乡政府工作。
1958年，21岁的胡富国被组织送往新成立的潞安矿务局煤校学习，从此之后，他的一生都和“煤”结下了不解之缘。从煤校毕业之后，他又被送往辽宁阜新矿业学院，在该校采煤系地下开采专业进一步学习。
1964年，大学毕业的胡富国被分配到大同矿务局工作，从一个普通的技术员干起，用了10年左右的时间，成为大同矿务局煤峪口矿革委会主任、党委副书记。
1975年，小平同志复出，担任国务院第一副总理，在煤炭、铁路运输、钢铁等领域展开了整顿工作，38岁的胡富国因此调任山西煤炭管理局副局长，到1980年又兼任了山西西山矿务局局长。西山矿务局是中国最大、世界第二大的炼焦煤生产企业，今天的名字是西山煤电集团有限公司。
1980年，余秋里副总理来到山西，根据国家急需煤炭的现状，布置了煤炭行业增产超产的任务。在场的各大矿长没人敢表态，兼任西山矿务局局长的胡富国却立下了突破1000万吨的“军令状”，余秋里听后大喜，把桌子上的茶杯都拍得跳起来了，说：“老胡，你说得好，明年你西山矿务局产量突破了1000万吨，我为你们庆功！”第二年，西山矿局果然完成任务。
因为胡富国真抓实干、业绩突出，1982年，他被提拔为煤炭工业部副部长。这一任命，也和1982年通过的“六五计划”有关系，六五计划提出，要建设以山西为中心，包括蒙西、陕北、宁夏、豫西的煤炭重化工基地。作为在山西煤炭行业工作已经18年的老党员、老干部，胡富国调任副部顺理成章。
在煤炭工业部副部长这个职务上工作6年后，1988年，国务院撤销了煤炭工业部，将其和石油部、核工业部、水利电力部合并为能源部，胡富国继续担任副部长，之后又兼任中国统配煤矿总公司总经理、党组书记。
在国务院工作10年后，1992年，胡富国调回了山西，出任山西省委副书记、代省长，并在1993年正式当选山西省委书记、省长，直到1999年他再次离开家乡。
1993年的山西，财政收入只有76亿，全省119个县有67个县政府无法支付工资。在6年的任期里，胡富国完成了了一系列大型改革，留下了引黄工程、阳城电厂、太旧高速、太原飞机场、太原火车站等重要基础设施，为山西的经济转型打下了良好基础。在这期间发生了动人的故事，比如胡富国给工人唱戏、建造乡村小学，为了争取阳城电厂四处奔波等等。
据《中国煤炭工业改革开放30年大事记》记载，1998年，胡富国率山西省委向全省煤矿企企业发布通告，要求停止向长期拖欠煤款的地区和单位供煤，以催促其还款，此事在当时震动颇大，在中央的出面调停下，欠款才得以偿还。
1996年6月，62岁的胡富国任满离职，调任国务院扶贫开发领导小组副组长。胡富国离开山西的那一天，太原火车站前广场上聚集了数万名前来为他送行的群众，这是三晋父老对他工作最大的认可。
2005年，胡富国退休后，曾担任中国扶贫开发协会会长。
