1950年2月，为了适应建国后中央一级党政军机构逐步健全、革命和建设事业不断发展的新形势，中共中央决定，改变过去战争时期党中央和中央军委直属机关统一建立中军直机关党委的体制，组建新的中共中央直属机关委员会，直接领导中共中央各直属机关和各人民团体的全国机关党的工作，任命中央办公厅主任杨尚昆兼任中直机关党委（临时）书记。以后，杨尚昆在中直机关历次党的代表大会上，连续6届当选为书记，直到1961年11月，长达12年之久。1965年9月，中直机关党委被撤销，这时距免去杨尚昆的中央办公厅主任职务只有两个月。
20世纪90年代，杨尚昆为撰写回忆录，同中办一些老同志共忆往事，自然地也回忆起他兼任中直机关党委书记这一段的主要情况。
长期担任中直机关党委书记
中直机关临时党委初建时，只设一个书记，不设副书记，党委机关只设一个综合性的办公室承办日常事务，许多问题都要书记亲自处理，作为中央副秘书长、中央办公厅主任又兼中直机关党委书记的杨尚昆工作十分繁忙。后来，中直机关党委副书记刘火时常讲起这一时期的工作情况，他说：“我们每天上午、下午上两个班，杨主任每天要上三个班，经常工作到凌晨。”“那时我们起草文稿，他和我们边讨论边修改，有时几经修改还不满意，他就自己动手重新起草。”1951年9月，中共中央直属机关第一次代表大会，正式选举中直机关第一届党委，杨尚昆为书记，曾三、邓典桃为副书记。此后，在第二、第三、第四、第五、第六次中直党的代表大会上杨尚昆都当选为中直机关党委书记（按照八大党章规定，第六届中直机关党委设书记处，杨尚昆为党委第一书记）。十余年中，中直机关党组织不断壮大，党的工作不断发展，党委机关建设逐步健全，杨尚昆功不可没。但是，他兼任中直机关党委书记同他任中央办公厅主任一样，历尽坎坷。
20世纪50年代中期，在整风反右运动中，毛泽东认为中直机关党委在领导秘书室的运动中犯了“扶右反左、插黑旗”的路线错误，称之为“黑旗事件”。中直机关党委第一书记杨尚昆，书记曾三、刘华峰都受到了批评或处分。“黑旗事件”后，杨尚昆虽然不再兼任中直机关党委书记，但是作为中央书记处候补书记仍然要指导中直机关和中央国家机关两个党委的工作。1965年秋，根据毛泽东的意见，中直机关党委被撤销。不久，“文化大革命”开始，原中直机关党委的干部绝大多数被编入中央办公厅的“学习班”参加“斗批改”，“揭批”杨尚昆去了，后来又下放到中央办公厅五七干校劳动改造。
十一届三中全会以后，中央决定恢复中直机关党委。1980年2月9日，中央办公厅第一副主任冯文彬在中直机关代表会议上代表中央为原中直机关党委平反，郑重宣布：“原中直党委多年来执行的路线是正确的，中直党委逐步形成的一套工作制度、工作方法、工作作风都是好的，中直党委的领导成员和机关党委干部的绝大多数是好的和比较好的，他们做了大量工作，虽有缺点和错误，但成绩是主要的。在‘文化大革命’初期，林彪、康生、江青等人诬蔑中直党委是‘烂摊子’，‘做了许多坏事’，纯属诬蔑不实之词，应予彻底平反，恢复名誉。”
大力提高干部政治、文化素质
那个时候，中直机关党委除了日常党建、党务工作外，主要抓两件事：组织干部学习和指导政治运动。
建国前后，党组织发展很快，新党员大约占了党员总数的一半左右。同时，党从农村进入城市，一下子变成了执政党。在新形势下，组织党员、干部学习，提高他们的政治、文化素质无疑是头等重要的大事。党委根据中直机关的特点，区分不同对象，组织他们学习不同的课程。对于文化程度较低的同志，强调以补习文化为主，有的单位建立了比较正规的文化学校，如中央办公厅机要处就办了一个中学，机要处处长李质忠请了他的老乡陈伯达为名誉校长。这位校长还真的去机要处和学员们见了面，勉励大家好好学习，可惜他那浓重的福建口音很多人没有听懂。对于新参加工作、文化程度比较高的同志，则针对他们革命热情高，但是在工作中往往好高骛远、脱离实际的特点，组织他们学习中国革命问题，帮助他们学会考虑一切问题必须从中国的实际出发，正确理解党的路线、方针、政策。对于有一定实际工作经验的同志，则以学习理论为主，第一个五年计划开始后，主要学习《联共（布）党史简明教程》有关社会主义经济建设问题的各章；以后又学习苏联科学院编写的《政治经济学教科书》（第三版）等。中直党委充分发挥中央机关特有的人才优势，无论文化课、理论课都聘请在学术上有一定造诣的同志担任教员，如叶蠖生、王惠德讲中国革命问题，很受学员们的欢迎；田家英讲中国历史，旁征博引，趣味盎然，他在香山风雨操场讲课，常常吸引很多过路人驻足旁听。1951年《毛泽东选集》第一卷出版，以后第二、第三卷也相继出版；还有其他党和国家的重要文献如《过渡时期总路线》、《宪法》等，中直机关党委都花费了很大的精力组织学习。
坚持组织干部学习成为中直机关和中央办公厅的优良传统。毛泽东对中直机关组织干部学习和办文化学校曾给予充分肯定。1961年7月，毛泽东在写给江西共产主义劳动大学的一封信中还提到中央办公厅的两个文化学校，他说：“一个是中央警卫团办的，办了六七年了，战士、干部们从初识文字进小学，然后进中学，然后进大学，1960年，他们已进大学部门了……另一个，是去年（1960年）办起的，是中南海党的各种机关办的，同样是半工半读。”他认为党政机关办学校是一件大事，要坚持办下去。
担任“三反”运动中央一级机关总党委第三书记
20世纪50年代的政治运动，主要是抗美援朝、土地改革、镇压反革命三大运动和“三反”、“五反”、整风反右运动。在抗美援朝、土地改革、镇压反革命三大运动中，中直机关党委做了大量、细致的工作，动员广大干部参加运动，使他们受到了深刻的爱国主义教育和阶级教育。在干部、职工中引起较大震动的是“三反”运动和整风反右运动。
1951年12月，中共中央决定在全国范围内大张旗鼓地开展一次“三反”运动。为了统一领导中央直属党政军机关的“三反”运动，12月22日，中央决定成立中央一级机关总党委，任命周恩来为第一书记，安子文为第二书记，杨尚昆为第三书记，萧华为第四书记。这样，杨尚昆除了要抓中直机关的“三反”运动，还要参与指导中央党政军民各机关的“三反”运动。那时毛泽东对“三反”运动抓得很紧，亲自起草指示、批文件，有时一天就批发几个文件。杨尚昆的主要任务是督战。1951年12月31日，中央一级机关总党委召开有党政军群处以上干部几百人参加的扩大会议，杨尚昆在会上讲话，强调要“限期发动”，限1952年1月10日前各单位毫无例外地发动起来，发动不起来的单位，其首长一律撤职。杨尚昆当场宣布撤销军委总参谋部技术部部长的职务，全场为之震动。1952年1月4日，毛泽东在《中共中央关于立即抓紧“三反”斗争的指示》中，肯定了中央总党委召开扩大会议造声势、推动运动的做法，批示“这一经验，供你们参考”。“三反”运动结束时，根据安子文的统计，全国县以上党政机关不包括军队，参加“三反”运动总人数383.6万人，查出贪污分子和犯贪污错误的人120.3万人，占参加“三反”运动总人数的31.4％。这些人中，受到刑事处分的占3.6％，受到行政处分（包括开除公职）的占20.7％，其余75.7％免于处分。在中直机关内，特别是在中央办公厅，运动发展相对稳健。1952年2月25日，中直机关党委向总党委作“打虎”情况报告，强调“打虎”不能只信口供，要算细账，要进行调查核实，对已承认犯罪事实的“老虎”和中小贪污分子要拿出一定力量进行甄别，并进行追赃工作。毛泽东阅后予以肯定，批示：“此件很好，发各同志参考。强调要材料，要证据，普遍推行算大账、算细账，追赃款、追赃物的方法，是目前打虎作战是否能取得完全胜利的关键所在。”
整风反右
杨尚昆说：
1980年，小平同志在一次谈话中指出：“1957年反右派斗争还是要肯定。三大改造完成以后，确实有一股势力、一股思潮是反社会主义的，是资产阶级性质的。反击这股思潮是必要的。我多次说过，那时候有的人确实杀气腾腾，想要否定共产党的领导，扭转社会主义的方向，不反击，我们就不能前进。错误在于扩大化。”在反右斗争开始后，我作为中央书记处候补书记、中直党委书记，也曾应邀到一些单位作过几场报告，阐述党的政策，当然也讲了一些过头的话。后来，全国约有50多万人被划为右派，即使按当时《划分右派分子的标准》，也有许多是错划的。中直机关在右派定案工作中还是比较谨慎的，同“三反”运动中“打虎”一样，中直机关强调实事求是，不事先规定指标，至于具体到人，哪个人该划不该划，中直机关党委以当时高级党校上报的、经中央书记处批准划为右派的一个同志的材料为标杆，对各单位上报的材料逐一反复认真讨论，最后定案。中直机关划定的右派比例，相对来说是比较低的，但是在当时的大气候下，也不可避免地存在错斗、错划现象，伤害了一批同志。
杨尚昆说：
如果评价我这个中直党委书记的工作，也是四平八稳的话，那么，到了1958年，在秘书室整风反右运动中，我被指责为“扶右反左、插黑旗”，就茫茫然了。事后，我辞职未成，但已开始物色适合担任中直党委书记的人选，准备换届交班。