1945年9月19日，中共中央决定成立冀热辽中央局，李富春任书记。这样一来，李富春就要前往热河省会承德展开工作，他此前担任的中央办公厅主任一职由杨尚昆接任。
李富春离开延安前，把中央书公厅的工作向杨尚昆作了口头交代，他说：“我这里做什么你都清楚，就是这些人、这些事，全交给你吧！我早想找个替身，现在总算找到你了！”
杨尚昆
从此以后，杨尚昆在中央办公厅主任的岗位上干了整整20年，他曾说：“中央办公厅是中央的办事机构，掌握党的全部机密，把我放在这个位子上，体现了毛泽东对我的信任。”
新中国成立后，杨尚昆成了中南海大小事务的总管。中南海里每到周末，就会在位于颐年堂旁的春耦斋举办小型舞会，放映电影，或者请空政文工团来演出，后来每周三也开始举办演出和活动。几乎每场活动，杨尚昆都会在场，罗瑞卿的儿子罗箭觉得他像“阿庆嫂”，总是在忙忙叨叨地张罗，谁家的人来了，谁家没来，他都要清点到。
舞会结束后，杨尚昆通常会宣布：“放电影！”电影放完，通常已近午夜。杨尚昆回家后要继续办公或听汇报，几乎每天都在后半夜才休息。
杨尚昆
杨尚昆在回忆自己中办主任生涯时曾说：
我在建国以后基本上就是起个“听用”的作用。打麻将不是有一张可以当作任意一种牌使用的“听用”吗？办公厅主任的工作也是“听用”，党需要你干什么就干什么。
在中央办公厅待久了以后，杨尚昆觉得压力很大，他曾几次向毛泽东提出调换工作的申请，但毛泽东一直没同意。有一次，毛泽东问杨尚昆：“你不当办公厅主任，让谁当啊？”杨尚昆推荐了胡乔木，毛泽东听后却连连摇头：“他不行，他不行！”
后来胡乔木听说了此事，也对杨尚昆说：“我当不了中央办公厅主任。”
毛泽东和杨尚昆
但在1965年11月，中央突然下令免去杨尚昆的中央办公厅主任一职。11月5日，彭真通知杨尚昆：中央决定调他去广东工作，任广东省委书记处书记，汪东兴任中办主任。杨尚昆后来回忆说：“我虽早有预感要被撤职，但来得这么突然，确实茫茫然。”
11月9日，杨尚昆给毛泽东写信，说自己在中办工作了20年，没有把工作做好，辜负了毛主席和中央同志的期望，心情很沉重，也很惭愧，感谢毛主席和中央这次给他到实际工作中去锻炼和改造的机会，今后一定尽自己的努力，全心全意地把党分配的工作做好。在去广州之前，如果毛主席有空，很希望见见主席，得到主席的批评、指示。
第二天，毛泽东接见了杨尚昆，他说：“你办公厅的工作做得不错嘛！你有什么错误？没有错误。你下去工作一个时期，锻炼锻炼好嘛！”
毛泽东
毛泽东还给杨尚昆布置了两个调查研究的任务：一是看中央和国务院有什么不适合于当地情况的政策、措施，可以写个报告，提点意见；二是了解各条线下达了一些什么东西，同中央和国务院相矛盾的，帮助理顺一下。毛泽东还说：“广东那么热，你到那里去干什么？现在既然已经决定了，你去两年到三年，把这个任务完成。”
杨尚昆听后说：“这个任务是一个很大的任务，我可能完成不了，但会努力去做。”
杨尚昆从毛泽东那里出来后，毛泽东的秘书田家英问他都谈了些什么，杨尚昆如实告之。田家英听后说：“糟了！如果毛主席狠狠地骂你一顿就好了，就没问题了。毛主席这样敷衍你，问题就大了！”
田家英
杨尚昆听后很难受，他又去找周恩来辞行。杨尚昆对周恩来说：“我在中央办公厅20年，虽然工作没有做好，但是没有做过反党的事情，也没有做过有损中央威信的事情。你是最了解我的，将来有可能被开除党籍，如果有一天真的开除我的党籍，我也没有办法，但这是冤枉的，只要你了解我，我心里就踏实了。”
周恩来安慰杨尚昆说：“你放心，不会那样的，你下去以后好好地工作，不要背什么包袱。”最后周恩来一直送杨尚昆走出西花厅，才依依惜别。但杨尚昆万万没有想到，这是他最后一次同周恩来会面。
1965年12月，杨尚昆到达广东，1966年5月，他又改任临汾地委书记处书记。“运动”爆发后，杨尚昆开始经受长达9年的“监护审查”。
