同年3月，中华民国大学院批准了傅斯年的提议，聘请傅斯年、顾颉刚、杨振声为中央研究院历史语言研究所常务筹备委员。4月10日，国民党政府公布《修正国立中央研究院组织条例》，规定中央研究院“为中华民国最高科学研究机关”，其宗旨为“实行科学研究，并指导、联络、奖励全国研究事业，以谋科学之进步，人类之光明。”11月，国民政府公布《国立中央研究院组织法》，规定中央研究院与中华民国大学院脱离隶属关系，成为独立的研究机构。这一年夏天，傅斯年辞去中山大学教职，专门从事筹建历史语言研究所的工作，筹备处办公地点设在广州中山大学校内。
1928年9月，傅斯年就任中央研究院历史语言研究所所长，10月14日，主持召开研究所第一次会议。21日召开第二次所务会，决定将该所迁至广州市东山恤孤院后街35号柏园，次日，史语所迁至新址。至此，中央研究院历史语言研究所宣告正式成立。11月，傅斯年辞去中山大学语言历史研究所所长职务，该职务由顾颉刚继任。
在短短的两年时间里，傅斯年不仅在中山大学创办了专门从事语言、历史研究的学术组织，而且在此基础上，建立起一个全国性的专业学术研究机构。傅斯年之所以能够这样迅速地推进学术组织的建设，固然与他丰富的阅历、超人的学识和杰出的领导才能有直接关系，更重要的是创办历史语言研究所，发挥集体优势，大规模地进行搜集、整理学术资料的工作，顺应了时代的潮流，是中国历史学、语言学发展的必然产物。
２０世纪20年代初，在“五四”新文化运动的激励下，要求破除传统学术思想束缚，建设中国现代新学术的呼声日益高涨。介绍西方哲学、文学和其他学科的译著大量问世，用新理论、新方法解决中国学术问题的尝试已经开始，这就迫切需要用大量的新颖的研究材料，来说明这些新理论、新办法；迫切需要拿新理论、新方法施用于大量的、新颖的研究材料，作出切合中国实际的新结论来。拿历史学来说吧，当时中国的史料学基本上局限于文献学的范围内，与新史学的发展不相适应，亟待史学家们开拓研究领域，搜集整理新史料。和各种资产阶级史学观点、史学方法相比，马克思主义史学理论的传播广泛得多，迅速得多，但它同样需要建立在发达的史料学基础之上。当时，许多马克思主义史学家只限于一般地介绍历史唯物主义基本原理，或拿来一些散乱的、个别的材料说明这个原理。一旦拿这个基本原理说明、解释中国的全部历史的时候，便遇到了很大的困难，其中主要的问题是材料不足。所以马克思主义史学家一方面认真地研究辩证唯物主义和历史唯物主义的理论，一方面也在认真地做历史资料的搜集整理工作。可见搜集整理学术资料是马克思主义理论和一切资产阶级学术理论的共同要求。正是在这种情况下，傅斯年顺应学术发展的要求，创办了以搜集整理学术资料为工作宗旨的历史语言研究所。
在近代新学术潮流中，一些学者曾对中国传统的考据学进行改造，建立起新的文史考据学，王国维、陈寅恪、陈垣、顾颉刚等便是新考据学派的代表人物。梁启超、胡适虽然以宣扬学术理论、治学方法著称，但对考据学也时常顾盼垂青，表现出异常的热情。许多留学欧美的学者相继回国，他们掌握了西方新的研究方法，开辟了新的研究领域。考古学家李济、语言学家赵元任，皆一时之选。这些优秀的新学问家的出现，为以文史考据、新资料搜集整理为主旨的学术组织的成立提供了必要的条件。史语所成立以前，北京大学国文门、清华研究院都曾集合一些学者进行新史料的整理研究工作，尽管其宗旨不明确，组织不严密，没有充分发挥集体研究的优势，但这标志着建立此类学术机构的条件已经成熟。将优秀的学者集合在一起，建立学术组织，进行集体研究，是时代的要求，是学术发展的趋势，历史语言研究所便是顺应这种要求和趋势而产生的学术组织。
在西方学术理论、方法传入中国的同时，不少外国人组成所谓“科学考察团”、“远征队”来到中国，掠夺中国的历史学、语言学、社会学和自然科学等方面的资料。他们以学术团体的面目出现，用一套“学术”的理由蒙骗中国人。而且，他们所搜集的资料，往往是中国学者所忽视的东西。所以不光政府官僚们对这些“考察团”、“远征队”的性质不甚了了，听任他们到处进行“科学”的考察、访问，即便是一般学者也麻木不仁，安于搞那些早已陈腐的学问，做官样文章，坐看外国人将中国的历史文化资料一批批偷盗了去。唯有那些具有现代学术知识和强烈民族意识的学者对此深感不安，他们也在搜集、整理新材料，但由于设备、技术缺乏，工作经验不足，组织不力，势力单薄，因此无法与外国“考察团”相抗衡。傅斯年决心改变这种局面。他说：
在中国境内语言学和历史学的材料是最多的，欧洲人求之尚难得，我们却坐看他毁坏和亡失，我们着实不满这个状态，着实不服气就是物质的原料以外，即便学问的原料，也被欧洲人搬了去乃至偷了去。我们很想借几个不陈的工具，处治些新获见的材料，所以才有历史语言研究所之设置。
他是怀着“不满”和“不服气”的心情，为避免中国各种学问的原料外流而创办历史语言研究所的。
总之，中国历史学、语言学的发展向人们提出了搜集整理新资料的要求，造就了一批优秀的学问家；外国人对中国历史语言学资料的掠夺激起了中国学者搜集保存新资料的热情，这是史语所创办的客观原因。傅斯年具有深厚的中国传统学问的根底，又精通西方的史料学语言学的理论和方法，具有优秀的领导、组织能力，这是他能够走到这股学术潮流的前列，成功地创办历史语言研究所的主观条件和关键之所在。
抗战前史语所的发展
（一）历史语言研究所工作之旨趣
为了明确历史语言研究所工作的指导思想和学术宗旨，1928年5月，傅斯年撰写了《中央研究院历史语言研究所工作之旨趣》一文，以研究所筹备处的名义刊登在10月出版的《历史语言研究所集刊》第一本第一分上。
在这篇文章中，他首先通过对于欧洲历史学、语言学研究状况的简要介绍，揭示了这两门学科的内容、范围、方法和研究宗旨。他说：
历史学和语言学在欧洲都是很近才发达的。历史学不是著史：著史每多多少少带点古世中世的意味，且每取伦理家的手段，作文章家的本事。近代的历史学只是史料学，利用自然科学供给我们的一切工具，整理一切可逢着的史料，所以近代史学所达到的范域，自地质学以至目下新闻纸，而史学外的达尔文论，正是历史方法之大成。
他说，欧洲的语言学产生于18、19世纪之交，经过几个大学问家的努力，很快发达了起来，不论是综合的系族语言学，还是各种专门的语言学，都已蔚为大观，尤其是实验语音学、方言的研究，成绩更为突出。他说：
本来语言即是思想，一个民族的语言即是这一个民族精神上的富有，所以语言学总是一个大题目，而直到现在的语言学的成就也很能副这一个大题目。
中国的情况又是如何呢？语言学和历史学在中国发达甚早，公元前2世纪的司马迁，传信存疑，别择史料，写作《史记》八书、制作年表，“若干观念比十九世纪的大名家还近代些”。北宋的欧阳修作《集古录》，研究直接材料，“是近代史学的真功夫”。司马光作《资治通鉴》，“遍阅旧史，旁采小说”，和刘颁、刘恕、范祖禹诸人，利用一切可以搜集到的材料，认真比勘考订。到北宋晚年这方面又有长足的进步。如果按照这样的方向发展下去，到了明朝，就应该有当代欧洲的局面了。可是元朝以异族人入主中原，明朝崇尚浮夸，所以历史学、语言学不仅没有进步，反而后退了。明清之际浙东学派开了“一个好端涯”，清初顾炎武的历史考证、音韵学研究，阎若璩的历史地理学及辨伪方面的成就，均为世人所瞩目。“亭林（顾炎武字）、百诗（阎若璩字）这样对付历史学和语言学，是最近代的：这样立点便是不朽的遗训。”但是近百年来中国的历史学和语言学并没有沿着前人开辟的正确方向走下去，也没有因为和西洋人接触而借用其新工具，扩张新材料，而是煞费苦心地在那里修元史、修清史，做官样文章。更有甚者，不仅自己不使用新材料，就连别人正在使用的新材料也加以抹杀，如甲骨文字，外国人都在极力搜求研究，而我们语言学的“大权威”，却将其视为赝品。这在观念上、研究方法上都是一个大倒退。
总之，傅斯年认为，中国的历史学、语言学发达早，有光辉的历史，但近代以来却落伍了。欧洲的历史学、语言学是近几百年才发达起来的，但发展的水平却远远超过了中国。
判定历史学和语言学进步与否的标准是什么?傅斯年说：
第一，“凡能直接研究材料，便进步。凡间接的研究前人所研究或前人所创造之系统，而不繁丰细密的参照所包含的事实，便退步。”前者是所谓“科学的研究”。后者则是所谓“书院学究的研究”。比如仅以《说文解字》为本体去研究文字学，是学究的研究，只把《说文解字》作为一种材料，同时使用甲骨文、金文去研究文字学，乃是科学的研究。按照司马迁的旧公式，去写纪表书传，是“化石的史学”，能利用各种直接材料，大到方志、小到私人日记，远如考古发掘、近到某洋行的贸易册，去把史事条理出来，则是科学的本事。
第二，“凡一种学问能扩张他研究的材料便进步，不能的便退步。”西方人作学问不是去读书，而是“动手动脚到处找新材料，随时扩大旧范围”，所以这学问便不断发展提高。中国古代的文字学研究，从《说文》的研究取代汉简，到阮元的金文研究识破《说文》，再到孙诒让、王国维的甲骨文研究，材料不断扩充，学问一层层进步。在中国历史学的盛时，材料用的也很广泛，“地方上求材料，刻文上抄材料，档库中出材料，传说中辨材料”，可是到了现在，中国的学者不仅不能扩充材料，去搞地下发掘，就是自然送给我们的材料，如敦煌文献、内阁档案等，也坐视其毁灭、外流，却又在那里大谈“整理国故”，这样怎能进步！
第三，“凡一种学问能扩充他作研究时使用的工具的，则进步，不能的，则退步。实验学家之相竞如斗宝一般，不得其器，不成其事，语言学和历史学亦复如此。”中国历来研究音韵学的人很多，但没有突出的成就，原因是缺乏必要的工具。现代的历史学已经成了各种科学方法的汇集，地质、地理、考古、生物、气象、天文等学科，无不供给其研究的工具。没有自然科学的帮助，许多历史问题根本无法解决。
就以上三个标准来看，中国古代的历史学、语言学之所以有“光荣的历史”，是因为古人“能开拓地用材料”，后来这两门学科之所以衰歇式微，“正因为题目固定了，材料不扩充了，工具不添新了。”
依据上述三条标准，傅斯年提出了历史语言研究所工作的三条宗旨：第一是“保持亭林百诗的遗训”。就是“照着材料的分量出货物”，“利用旧的新的材料，客观的处理实在问题，因解决之问题更生新问题，因问题之解决更要求多项的材料。”第二是“扩张研究的材料”。第三是“扩张研究的工具”。
他对以上宗旨作了三点说明。第一，“我们反对‘国故’一个观念”。史语所并不是专门要研究中国的东西，只是因为搜集中国的材料容易些，研究的基础好一些，所以才把研究的重点放在中国的历史学和语言学方面。史语所的目标是扩充材料、扩充工具，一直弄到“不国不故”。他曾打算从洛阳向西寻找材料，直到中亚地区，这样“就脱了纯中国材料的范围了”。第二，“我们反对疏通，我们只是要把材料整理好，则事实自然显明了。一分材料出一分货，十分材料出十分货，没有材料便不出货。”对待材料的态度是“存而不补”、处理材料的方法是“证而不疏”。第三，史语所不做普及性的工作。史语所的工作不是“经国之大业不朽之盛事”，只要一些“书院的学究”把一生的精力用在这个上面就行了，用不着诱导别人爱好它。
在这篇文章中，他拟定了史语所研究工作计划和组织机构，同时对设立史语所的意义进行了说明：
历史学和语言学发展到现在，已经不容易由个人作孤立的研究了，他既靠图书馆或学会供给他材料，靠团体为他寻材料，并且须得在一个研究的环境中，才能大家互相补其所不能，互相引会，互相订正，于是乎孤立的制作渐渐的难，渐渐的无意谓集众的工作渐渐的成一切工作的样式了。
他提出破除“读书就是学问”的风气，公然宣布：
我们不是读书的人，我们只是上穷碧落下黄泉，动手动脚找东西！
最后他提出了三个响亮的口号：
一、把些传统的或自造的“仁义理智”和其他的主观，同历史学和语言学混在一起的人，绝对不是我们的同志！
二、要把历史学语言学建设得和生物学地质学等同样，乃是我们的同志！
三、我们要科学的东方学之正统在中国！
在《历史语言研究所工作之旨趣》发表以后的几十年里，史语所的学者们一直恪守上述几项原则，遵照傅斯年提出的研究方向进行各项研究工作。后来，劳干先生对《历史语言研究所工作之旨趣》一文发表过如下的评论：
这篇里面的内容决定了以后的时期史学研究应当走的路线，至今日还没有重大的修改。
诚然自清末以来，前辈人对于历史学研究的意见,和示范的工作不是毫无一点贡献，只是都比较零碎，而影响比较上也不算最大。只有胡适之先生的北京大学国学季刊发刊词，和傅孟真先生的历史语言研究所工作之旨趣，两篇文字可以说是近来中国历史研究经过上的重要文献，而奠定了中国现代历史学的基础。
时过半个世纪之后，李济先生回顾史语所走过的历程时，也对傅斯年《历史语言研究所工作之旨趣》作出很高的评价：
他告诉研究所的同仁一个原则，要大家找新材料。他说:有新材料才有新问题，有了新问题必须找解决问题的办法；为了解决新问题必须找新材料，新材料又生新问题，如此连环不绝，才有现代科学的发生。他这一原则我想历史语言研究所的同仁到现在还一直遵守的。
李济、劳干都曾长期在史语所从事研究工作，他们对傅斯年及其《历史语言研究所工作之旨趣》的评价未免有过誉之处，只可视为一家之言，但是从字里行间我们不难看到，《旨趣》一文的确是史语所工作的指导思想，是它赖以存在的精神支柱，它对于中国现代史学史上新考据学派、史料学派的发展起到了重大的推动作用。
（二）迁历史语言研究所至北平