傅斯年筹建史语所时，曾打算待北伐成功后将研究所一部分留在广州，一部分迁往北平。所以要迁史语所至北平，主要是考虑到北平特殊的地理位置，可以为研究工作提供诸多便利条件。其一，北平是明清都城，保存有大量的图书典籍、档案资料，北平图书馆、北大图书馆和清华图书馆所藏图书文籍，皆非其他地区图书馆之可比。其二，当时傅斯年拟定的搜求新材料的路线有两条，一是京汉铁路沿线，重点是安阳至易州一带，二是由洛阳附近向西延至中亚。北平距这些地区较近，交通亦较便利，人员往返、消息传递及物质运输等均相对方便。其三，20世纪初，北平出现了两个国学研究机构，一是北大研究所国学门，二是清华国学研究院，国内大批学术精英加盟其中，进行了卓有成效的研究工作。史语所成立前夕，北大国学门因政局动荡，经费困难，研究工作陷于停顿。清华国学研究院的研究工作也于l927年王国维沉湖自尽后宣告结束。北大国学门“态度极向新方向走，风气为胡适之等所表率”，而清华研究院在王国维的领导下，“颇成一种质实而不简陋，守旧而不固执的学风。”史语所迁至北平，不仅可以接受这两个研究机构的学术成果，而且能够吸收更多的高水平研究人员，如北大国学门的刘复、朱希祖、徐仲舒、陈垣，清华国学研究所的陈寅恪、赵元任，都是很有成就的学者。将他们吸收到史语所中来，必定能够大大提高史语所的研究水平。
1929年初，北方局势已趋安定。因为广州中山大学原来设有语言历史研究所，所以傅斯年决定将中央研究院历史语言研究所全部迁往北平，广州不再留置分支机构。3月，史语所北迁，6月，入居北海公园之静心斋。
起初，傅斯年准备在史语所中设立9个研究小组：文籍考订组、史料征集组、考古组、人类及民物组、比较艺术组，以上5组属历史类。汉语组、西南语组、中央亚细亚语组、语言学组，以上4组属语言学类。史语所正式建立时，调整为8个组：史料学组、汉语组、文籍校订组、民间文艺组、汉字组、考古学组、人类学民物组、敦煌材料研究组。由于各方面条件的限制，有些组的工作无法正常展开，而且分组过细，不便于协调合作。1929年6月，傅斯年主持历史语言研究所所务会议，决定将相关的学科组加以合并，共保留3个组，即历史组、语言组、考古组，后来人们通常称其为第一组、第二组、第三组。原定的研究内容，除人类与民物组因课题与蔡元培领导的社会科学研究所民族学组重复而取消之外，其余都包括在这3个组里。这时，陈寅恪、赵元任、李济都参加到史语所中来，分别担任历史组、语言组和考古组的主任。
陈寅恪自幼接受传统教育，后来留学于日本、德国、法国、英国、瑞士和美国，1921年再度赴德国，与傅斯年一起在柏林度过了4年同甘共苦的学习生活。他的学问博大精深，素为学术界所推重。陈寅恪先傅斯年一年回国，被清华国学研究院聘请为导师，主讲佛经翻译文学。1928年史语所成立伊始，傅斯年便聘请陈寅恪为史语所兼任研究员。1929年史语所迁北平，当时陈寅恪已被清华学校、北京大学联合聘为教授，且须主持清华研究院工作。尽管如此，傅斯年还是下定决心，务必聘请陈寅恪担任历史组主任。傅斯年慨然应允陈寅恪在清华兼课的要求，陈寅恪无法推托，于是应聘担任了历史组主任。
赵元任是著名的语言学家，在中国音韵学，尤其是少数民族语言的调查研究方面成绩卓著。傅斯年在柏林大学读书时就与赵氏交往。后赵亦被清华研究院聘为导师。1928年傅斯年在中山大学创办语言历史研究所后，赵曾前来参观。次年，傅斯年聘其为语言组主任。
李济出身于士大夫家庭，1911年入清华学堂，后赴美国留学，攻读人类学考古学专业，获人类学博士学位。回国后曾任教于南开大学、清华大学，旋赴欧洲考察。1928年回到香港，顺便到广州游览，在中山大学遇见了庄泽宣，一见面庄泽宣就告诉他：傅斯年正到处找你！这使得李济大吃一惊，因为他一向景慕傅斯年办《新潮》的成就，可从来没与傅见过面，傅斯年会找他做什么呢？傅斯年见到李济，就像见了老朋友一样，给他安排住处，亲自陪同他去香港办理船票的延期手续，坚持留他住了一个星期，参观了历史语言研究所和图书馆，介绍了史语所的研究计划，提出让他主持考古组工作。李济深深地为傅斯年高远的学识、宏大的气魄和坦诚的态度所打动，他即刻接受了傅斯年的聘请，决心致力于中国的考古事业。
史语所迁至北平后，适逢胡适任北京大学文学院院长，到处延聘名流学者讲授中国文史类课程。史语所名家如云，自然成为胡适聘请的重要对象。史语所所址距北大不远，来往甚为方便，史语所的学者们也乐于到北大兼课。但是兼课多了，所中研究工作肯定会受影响，所以傅斯年对史语所研究人员外出兼课严加控制。据李方桂回忆说，当时傅斯年提出一个原则，凡是史语所的专职研究人员都不准在外面兼课。但是陈寅恪、赵元任却坚持要在清华兼课，否则就不接受史语所的聘任。傅斯年为了请到这样两位杰出的人才，只得退一步说：“好！只有你们二位可以在外兼课，别人都不许。”在这样的情况下，陈寅恪和赵元任接受傅斯年的聘请，分别担任了历史组和语言组的主任。通过这件事可以看出，傅斯年做事，既坚持原则，又甚灵活。他的目的是把史语所办成第一流的学术研究机构，只要能达到这个目的，其他的既定条款可以随时修订。
不久，傅斯年放宽了对史语所研究人员外出兼课的限制。史语所的学者中不少人来自高等学校，完全与教学工作脱离，他们感到不大习惯，而教学与研究工作密不可分，对研究水平的提高具有重要的推进作用。另外，高等学校里集中了一批优秀的青年学生，从中可以选拔顶尖人才，充实历史语言研究所的研究队伍。所以傅斯年、董作宾、李济、梁思永等人后来都到北京大学作兼职教授。他们的确从北京大学的优秀毕业生中选拔了不少的杰出人才，如胡厚宣、张政烺、傅乐焕、王祟武、劳干等，都在毕业后被选进了史语所，后来他们当中的不少人成了史语所研究工作的骨干力量。钱穆说过，“凡北大历史系毕业成绩较优者，彼（按：指傅斯年）必网罗以去。”李济则把傅斯年的这种做法称作“拔尖主义”：
历史语言研究所建置的初期，各大学历史系的高材生，每年都被他罗致去了。他的“拔尖主义”（这是他铸造的一个名词），往往使各大学主持历史系的先生们头痛。但是等到他自己办大学的时候，他又设法把这一群人带进去。
1929年秋，傅斯年被聘请为北京大学教授，此后他曾讲授过《史学方法导论》、《中国古代史专题研究》、《秦汉史》、《中国文学史》等课程。据邓广铭回忆说，他到北京大学读书的头一年，北大历史系主任陈受颐决定聘请史语所的学者讲商周史，第一堂课就把傅斯年请了来。但陈受颐没有把讲课的事说明白，傅斯年以为是随便作一次演讲。那一天北大二院的大礼堂里座无虚席，傅斯年走进礼堂，才知道是被请来讲课的，那堂课他讲得杂乱无章。当时有人以为傅斯年是“盛名之下，其实难副”，但后来再去听他的课，才知道他是个通人，其学问之大，一般教授是赶不上的。同学们佩服他的学问，去听课的人很多。
杨向奎先生也回忆说，“本世纪三十年代，北京大学的教授阵营是整齐的，都是一时之选”，他在列举历史系教授时，首先提到的就是傅斯年，说他是“有才华的学者，才气纵横”，说他讲课“大气磅礴，上天下地，无所不及”，“是一位渊博而有开创性的学者。”
杨志玖先生谈到旁听傅斯年讲课的感受时说：
1934—1937年，我在北京大学史学系读书时，曾旁听过傅先生讲先秦史专题课，我虽不能完全领会他讲课的内容，但对他发表的独到见解，对史籍的熟悉，旁征博引，融汇中西的学识以及滔滔不绝的口才，却深感新奇和钦佩。他时而背一段《左传》，时而翻一篇英文文献，中西互证，左右逢源，宛如一位表演艺术家，听他的课也是一种艺术享受。
傅斯年不是只会在讲堂上传经布道的教书匠，他书教得好，行政工作做得也出色。他除主持史语所日常行政工作之外，对北京大学的校务工作亦多所献替。当时任北大校长的蒋梦麟，就把他与胡适视为自己的左膀右臂。蒋氏后来回忆说：
“九·一八”事变后，北平正在多事之秋，我的“参谋”就是适之和孟真两位，事无大小，都就商于两位。他们两位代北大请到多位国内著名的教授，北大在北伐成功以后之复兴，他们两位的功劳，实在是太大了。那个时期，我才知道孟真办事十分细心，考虑十分周密。
“九一八”事变以后，北方局势动荡不安。1933年2月日军侵占热河，华北危急。4月，史语所南迁上海，暂时安置于曹家渡的小万柳堂。是年春，傅斯年受教育部长朱家骅之聘，担任中央博物院筹备主任，他以少得可怜的经费，精心筹划，奠定了博物院的初基。后来因为工作繁忙，不堪重负，乃推荐李济继任此职。同年夏，傅斯年兼任中央研究院社会科学研究所所长职务。不久，中央研究院决定撤销社会科学研究所，经总干事丁文江提议，将社会科学研究所之民族学组归入历史语言研究所。社会科学研究所创立于1927年，其民族学组主要研究我国东北、西南边疆地区少数民族的原始文化，曾先后进行过广西瑶族、台湾番族、东北赫哲族、湘西苗族、浙江畲族的调查工作。该组归入史语所后，乃与史语所第二组中的人类学研究部门合并，列为第四组，聘请著名人类学家吴定良为主任，主要研究方向为文化人类学与体质人类学。
次年12月，中央研究院在南京集中兴建的各研究所房舍相继竣工，史语所由上海再迁南京钦天山北极阁的史语所大厦。
史语所南迁沪、宁，傅斯年未随同前往，仍留居北平，在北京大学兼课。直至1936年春，他才辞去北大教职，移家南京，亲自主持研究所的工作。一年之后，他又不得不离开南京，率领史语所各组开始了飘萍不定的迁徙生活。
抗战时期史语所的迁徙
抗日战争是历史语言研究所发展史上的一个分水岭。自1928年至1937年抗日战争爆发前是史语所迅速发展的时期。在这10年当中，史语所的所址共迁徙3次，每迁一次，研究人员增加一次，研究计划扩充一次。殷墟的15次考古发掘，内阁大库档案的收藏整理，大量的民族学、语言学资料的调查，语言学实验室的建设，都是在这个时期进行的。若不是日本帝国主义侵华战争发生，史语所照此速度发展下去，它在资料搜集整理方面的成绩真是不可限量呢。
“七七事变”以后至1949年的10余年中，史语所先是辗转迁徙于西南地区，后又由南京迁到台湾，所址先后迁徙5次，可谓是颠沛流离，每况愈下。
1936年春，中央研究院院长蔡元培提议，由朱家骅担任中央研究院总干事。不久，朱家骅奉蒋介石之命出任浙江省政府主席。朱氏以封疆大吏坐守东南，无暇顾及这个学术机构。蔡元培身患重病在沪治疗，院中具体事务更无力过问。故中央研究院的大小事务，均由傅斯年代为处理。1937年“七七”事变以后，中央研究院决定南迁。7月，傅斯年部署将院中文物运至南昌及长沙。8月，迁历史语言研究所至长沙，分别安置于韭菜园的圣经学校及南岳的圣经学校。10月，又将存于南昌的文物运到重庆大学。
1938年1月，史语所的工作人员及图书资料仪器设备，一部分经贵州转至昆明，一部分取道广西至桂林，然后绕道越南赶赴昆明。到达昆明后，选定拓明东路与青云街三号为所址。秋，傅斯年移家至昆明。10月，为躲避敌机空袭，将史语所迁至昆明郊外，安置于龙泉镇的响应寺和龙头书场。
1940年，朱家骅继蔡元培之后出任中央研究院院长，乃请傅斯年担任中央研究院总干事。傅斯年重情谊、性豪爽，与朱家骅是多年合作共事的老朋友，朱氏提出此议，他慨然应允。当时，云南边境军事吃紧，昆明常遭敌机轰炸，警报频繁。为安全起见，史语所准备迁往四川。傅斯年决定，要为历史语言研究所选一个在地图上找不到的地方作为新所址。于是他派芮逸夫到四川寻找这样的地方，最终选定了南溪县李庄镇。是年11月，史语所迁到了李庄镇，安置于板栗坳的张家大屋。傅斯年描述当年史语所搬迁工作之艰辛时说：
前年(按：指1940年)秋冬，奉命迁移。彼时交通无办法，竭尽平生之力而谋之。一面跑警报，一面办这些事，故每日有时走三十里，幸而把研究所搬了。
史语所的学者们经历了千辛万苦，辗转迁徙半个中国，最后终于找到了一个看不到弥漫的硝烟，听不见敌机轰炸，可以安心从事学术研究的地方。
抗日战争的爆发打断了史语所蒸蒸日上的正常发展进程，但是没有中断史语所的各项研究工作。学者们带着一千多箱图书、档案、仪器、标本，辗转迁播，席不暇暖，食不果腹，资料缺乏，印刷困难，既定的研究项目大都难以继续进行下去。但他们仍然根据傅斯年确定的研究宗旨，努力创造条件，研究历史文献，进行考古的调查和发掘，进行民族学的调查和研究，撰写出一大批颇有学术价值的著作来。陈寅恪的《唐代政治史述论稿》、《隋唐制度渊源略论稿》，董作宾的《殷历谱》，赵元任的《湖北方言调查报告》等，都是这个时期完成出版的。傅斯年本人的力作《性命古训辨证》，也于辗转迁徙的途中定稿誊清，陆续出版。
在战火弥漫的年代里，学者们过着近乎逃难的日子，而史语所的研究工作却始终没有停顿间断，这固然反映出学者们对学问的执著追求和甘愿为学术而献身的崇高精神，但傅斯年的组织领导之功亦不可埋没。