1928年春，上海中国公学发生学潮：学生罢课，要求改革校务，撤换个别教职员，并以实际行动封闭了教室及办公室，包围校长住宅，割断电话线，强迫校长交代，否认董事会等等。校长何鲁无法维持，求救于学校董事会。为此，校董会先后推举董事于右任、蔡元培出任校长，但学生反对。理由是：“于、蔡二位道德学问虽好，可惜兼职太多，恐不能专心办学。”所以风潮未能平息。后来，王云五、朱经农、但懋辛、丁音等人又去找胡适（也是董事之一）商量，请他出任校长，以解中公之危。经过多次洽商，胡适才勉为其难出任校长，学生欢迎，于是学潮才平息下来。关于这件事情的经过，4月30日夜，胡曾有一信给江冬秀说：“我前天做了一件事，你一定怪我。吴淞中国公学是我母校，近来起了风潮，收拾不下来。一班校董、云五、经农、但怒刚等三番五次逼我出来维持此校，我被他们包围，闹得没法子，只得应允出来担任校长两个月，把这个学期完了再说。你一定要笑我，可不是吗？今日去第一次。”
胡适到校任职，全校师生举行欢迎大会，会议由马君武主持。马在致欢迎词时回顾了往事，他说：1906年胡先生考进中公时，我就认定已替中公取了一位好学生；不但成绩好，品行好，风采也很好。果然20年后今天，这位当年的好学生已经成为国际著名的学者了。现在由他回到母校来做校长，是我们中国公学最光荣的事，也是我感到生平最高兴的事。马君武讲完后，胡适也发表了就职演说。在致词中，他介绍了中国公学艰苦创业的历史，其中特别发挥了中国公学“公”字的意义，作为品格最高的目标。学生们听了很受鼓舞。
同年6月，胡适提出辞职，因有言在先，只维持两个月，待学潮平息即可下任，但辞谢不掉，校董会为了照顾他，特设副校长一职，代他住校主持一切。胡适同意这个办法，并推举杨亮功担任此职。这样胡适每星期只去学校一次，其余时间便可在家著书立说了。
胡适正式上任后，对学校进行大改革。首先整顿组织，当时，他鉴于经济困难，学校规模过大等原因裁撤了工学院与法学院，只留下文理学院及社会学院下属的七个学系：原有之商学院，改为社会科学院中的商学系，其余六系为中国文学系、外国文学系、哲学系、数理学系、史学社会系、政治经济系。胡适自兼任文理学院院长，请高一涵任社会学院院长。其次是请著名学者来校任教。当时所聘到教授有：高一涵、杨亮功、刘秉麟、罗隆基、梁实秋、谢循初、刘英士、郑通和、郑振铎、陆侃如、冯沅君、杨鸿烈、蒯叔平、张慰慈、全增嘏、黄凌霜、胡宪生、赵少侯、袁昌英、马宗霍、程仰之、王孝通、李剑华、叶公超、储皖峰、程懋筠、饶孟侃、黄白薇等人。据杨亮功回忆说：“中国公学系胡先生所主持，所以有许多学人很愿意来帮忙。但胡先生对于教授的聘请心目中亦有一定的标准。如关于中国文学教授，胡先生认为必须旧学有根基而对于新知识亦有相当研究者方为合格。”以上所说是一个方面；另方面对于青年有才如沈从文者不拘资历大胆聘用。这件事后来社会上颇得好评：认为胡适敢于破除陈旧观念，爱惜人才，方有真才实学者开道，称得起是当世的伯乐。综上所述，可见胡适在教师方面狠下功夫，保证了教学质量，于是很快扭转了中公在社会上给人不良的印象，一年之间，学生由300人而增至1300余人，这种情况说明改革已初见成效。另方面也说明学校的改革提高教师的质量是关键的一环。胡适一向非常重视这个问题，经验证明这是一条好办法。关于延聘沈从文到校任教一事当时颇有争议。胡适胸有成竹认为是可以胜任的，而一般人却不以为然，说他学历太低，只有高小学历，虽发表过许多文学作品，但哪能登高等学府的讲堂？况且此人又不尚言词。胡适却不这样看问题，他是反对“名教”的人，注重实际经验，所以破例推荐沈到大学去教书。不过从沈从文来说当初还是有点胆怯的。他在给胡的一封信里说：“先生昨为从文谋教书事，思之数日，果于学校方面不至于弄笑话，从文可试一学期。从文其所以不敢作此事，亦只为空虚无物，恐学生失望，先生亦难为情耳。”据说沈开始是闹了一些笑话的，第一次走向讲台时站在课堂上约有10多分钟说不出一句话来，课堂搞得很尴尬，最后，他只得在黑板上写道：“我第一次上课，见你们人多，怕了”。后来实践证明学生是比较欢迎的。那时有个学生名叫刘宇，毕业后到江西去教中学，后来他写信给胡适回顾母校时说：“中国公学我不敢说它好，但我可以说它奇特，为什么呢？思想自由，教职员同心协力，有向上的精神，没腐化的趋势，就凭这点，在全中国可说是找不到的。”并称自己的进步“得感谢您与陆先生（侃如）、沈先生（从文）的思想言论”。从这封信里我们可以看到沈从文以新方法教学，师生关系是比较融洽的。此外，还有这样一个故事：当时26岁的沈先生看中班上一位女学生，他每天写一封情书寄去。这位女同学也不打开来看，将它收藏起来，拿去告校长。胡适温语相劝，略谓：“沈君子也。君子好逑，诗之首也。沈出于真诚，至于接受与否，自己决定，云云。”这位女学生出来后，甚为不满。同学闻之，几起风潮。后来这位女生转学北大，时沈在山东青岛大学任教，仍然如故，情书频传。1933年他们终成百年之好，直至而今。这位女学生便是他的夫人张兆和。后来张生下一个小宝宝，沈从文高兴地写信向胡适报喜。信云：“兆和已于廿日上午四时〇五分得了一个男孩子，小母亲一切满不在乎，当天尚能各处走动，到了医院方知。这是女学生作运动员的好处，只要平时能跳跳蹦蹦，到生产时可大轻便了……”从沈、张的结合，再次可以看出胡适关心他人，且乐于成人之好的思想和性格，给人留下深刻印象。林语堂对此曾有所评论，他在《胡适之》一文里说：“在女子前献殷勤，打招呼，入其室必致候夫人，这是许多学者所不会而是适之的特长。见女生衣薄，必下讲台为之关课室窗户，这是适之的温柔处，但是也不超过盎格罗撒逊‘绅士’的范围。用这种体贴温柔于同辈及少辈，胡大哥之名便成了”。
在对待学生方面，凡是能办到的他都能尽量帮忙。1927年上海大学被国民党政府查封。1928年7月罗尔纲从澳门到上海，拿着该校的文凭到处转学，公私立学校概不收留。最后找到中国公学，胡适收下了。说明中公与其他学校真不一样，不怕戴“红帽子”。还有中公不挂国民党旗，不上纪念周，这都是与其他学校不一样的地方。另外提倡学术，特颁布一种奖学金，鼓励学生上进；每年以全校成绩最优的五名学生入选。其次，学术风气也比较自由，办壁报各派言论都可以发表。有一次出现攻击胡适的大字报，学校方面准备派人撕掉，或是盖上。胡适不赞成，说是要提倡自由风气。事情之由来：因胡适在一次讲话中说，当初共产国际派代表到中国来先是找他，因他有事，介绍去找陈独秀。所以后来陈变成了共产党，而他却不是。此话传开后，有同学贴出壁报批驳他说，若当初找到你，你也变不了共产党。这故事反映出当时中国公学在言论方面是比其他学校稍自由一点，也说明那时国民党的党化教育是非常严厉的。