1973年7月，郭林祥重新工作后，被安排到总后勤部担任政委，此时总后勤部长张宗逊，政委张池明。而总后遗留不少问题，派性严重，打开局面并不容易。
可对于郭林祥来说，越是有困难，越想挑战，可以锻炼人，考验人，不喜欢坐享其成，认为没有意思。因此，十分爽快答应。
总后勤此前是由邱会作负责，从1959年到1971年的12年。尤其在特殊时期，出现的问题很多。九一三后，总后由李先念和余秋里分管，进行整顿。
为更好发展和建设总后勤，调张宗逊为部长，郭林祥为政委。
到任后听取总后的工作，该单位在思想、组织、作风、工作、生产等方面遭到破坏，很多单位和部门无法正常工作。他的感触与后来张震调任第一副部长是一样。
作为政工干部，主要是负责加强政治思想工作建设，消除派性、平反冤假错案，加强领导班子建设等。到任后，很多人找他谈话，白天谈，夜里谈，主要是干部政策落实问题。有派性的找他站队，被拒绝了。
在干部政策落实下，他与个别领导的意见不同，他希望一批批解放老干部，而对方认为一个一个来，害怕犯错误，有思想顾虑等等。这就产生很大阻力，内部不统一，工作展开就难。
后来，他将问题反馈给中央首长，上级是支持他的。情况朝着好的一方面发展，但1974年的一场运动使得总部机关，很快“燃”起了来，总后机关顿时乱了，又一次出现反复。平反冤假错案，落实干部政策等工作受到严重干扰，而且加上内部出现分歧和争议，就中断了。
1975年8月，他被调任去新疆军区当政委。此时不仅仅是他被调离，很多大军区单位政委都在调动，或许是为部队整顿做准备。
对郭林祥来说，想着在总后做出一点成绩，没有预料到一些不可控的因素使得工作出现反复。他离开后，另一位政委张明池也调离。总后只剩下部长与几位副部长和几位副政委。
不过，上级调张震等四人担任副部长、副政委，加强后勤业务领导。此后2年多，总后没有政委，在平反问题上迟滞，1977年派得力干将王平主持工作，与张震搭档从领导班子开始整顿，展开揭查批情况转好。
郭林祥后在新疆军区工作5年，又调南京军区工作5年，1985年调任总政工作5年，正式离休。
