廖汉生中将是在北京军区政委的任上被打倒，并失去自由身的。五年半之后，他解除了“监护”，可以跟外界有交流了。他过了一年多的清闲生活，他在回忆录中说这是“员外”的生活。这样的生活看似清闲，但廖汉生还是感到有种无形压力在肩头。
说是无形，实则是有形。廖汉生住京西宾馆的时候，因为屋里太热，于是就只穿件便衣活动，这被人指责为“对军队不满”；在总政的安排下，到大连疗养，又被人说是“不愿工作”。
这一切都给廖汉生一种“朝不保夕”的感觉，他因此变得十分谨小慎微。1973年11月底，时任军科院院长的老战友宋时轮，来到廖汉生的住所，邀请他到军科院工作。宋时轮向主持军委日常工作的叶剑英汇报后，很快就被调到军科院做政委了。
一年又一个月后，廖汉生又被调到南京军区，出任政委一职。南下上任前，他把所有在京能见的中央首长、老首长、老战友，都拜访请教了一遍，顺带辞行。
1975年2月28日上午，廖汉生乘飞机从北京西郊机场出发，前往南京军区上任。在西郊机场，军科院第一政委粟裕、院长宋时轮，带着军科院领导班子和各部负责人，一起来送行。
另外，在接到调令后不久，江苏省委书记兼南京军区第二政委彭冲和南京军区司令丁盛，都给廖汉生打去电话，欢迎他来南京上任，并希望他能尽快上任。
听说廖汉生到南京军区任职，许多老战友、老同事前来看望（廖曾做过几年的南京军事学院院长）。见面后，有好心的同志劝他：“你要少说话，一开始不要说明自己的态度。”廖汉生也是这么认为的。
廖汉生在南京军区首次亮相发言，就表明自己的态度：“听说过去有这家山头、那家山头。过去的事我不管，从现在开始，我只唯实，谁工作做好了我就表扬，做不好我就批评。我绝对不搞‘廖家山头’！”
廖汉生的讲话博得满堂喝彩，但很快，他就迎来了现实考验。中央决定把驻守浙江的一个军，跟武汉军区的第1军进行对调。第1军的历史悠久，可以追溯到1930年，贺龙在湘鄂西创建的红2军团。第1军正式成立时，廖汉生就是这支部队的政委。
这支部队到南京军区，可以说十分利于廖汉生的工作，但是廖汉生坚决不要，多次提出不同的意见，理由就是自己跟第1军的关系不一般。同时，不少原第1军和红二方面军的老干部，也要到南京军区工作。
其中将上任南京军区参谋长的邓家泰、副参谋长张希钦（二人“靠边站”没工作多年），总政打来电话，征求廖汉生的意见。廖汉生直接说：“他们不来行不行？”打电话的总政干部说：“已经确定了，不来不行。”
廖汉生很担心，担心这样会给人一种“又形成一个新山头”的印象和感觉。其实关于山头，建国前毛主席就说得清楚了：山头和山头主义不一样，山头是一定会有的，但山头主义是绝对不能要的。
关于第1军的到来，廖汉生又打电话到北京，向叶剑英陈述不能调这支部队来的理由，并给出解决方案：可跟沈阳军区的某部对调。叶剑英没有同意：“你不要顾虑这些，中央已经决定了。”廖汉生回：“我保留意见。”
廖汉生在南京军区政委的任上，工作了5年之久，上下都是有口皆碑，没人说他不好。就是在南京养老或赋闲的老同志们，也得到过他许多帮助。
离开南京军区后，廖汉生到沈阳军区担任第一政委，继续发光发热，为军队建设做贡献。
