佛教传入中国的大概时间是公元1世纪，中国佛教史上有所谓“明帝感梦求法”的说法。不论其说法是否精确，但它却促成了佛寺在中国的传入。史载，东汉明帝有一天小睡，梦见一神人，身穿金甲，头顶射出白色霞光，面带微笑，频频颔首，飞在殿前。梦醒后明帝请群臣解梦，众臣都回答不出，只有太史傅毅禀告说：天竺国有一位得道高人，号称为“佛”，能在空中飞行，而且身上还能发光。这一定是佛显圣托梦于君，预示着王国一定会更加昌盛。明帝恍然大悟，高兴万分，遂决定派羽林郎中蔡愔（yīn）、秦景、博士王遵等18人，前往天竺求取佛经。永平十年（67），他们从大月支请到天竺僧人迦叶摩腾和竺法兰，抄写回佛经《四十二章经》，并带回了佛像，存放在皇帝图书馆兰台石室中。佛教从此传入了中原。明帝以贵宾之礼将迦叶摩腾与竺法兰安置于鸿胪寺。次年，在洛阳雍门外，一座新的僧院建成，名为“白马寺”。这时的人们并不知道他们建造的乃是中国历史上第一座佛教寺院。白马，是为纪念迦叶摩腾和竺法兰以白马为中国驮来了佛经、佛像；“寺”则完全是借用了“鸿胪寺”的称呼。从一开始人们就将佛寺与官署建筑完全等同起来了。
尽管白马寺的出现已经标志着佛寺在中国的正式出现，但由于这时佛教教义在中国的传播及发展尚不完备，中国人的佛教观念还没有形成，人们只是将佛与当时社会上流行的神仙方术和黄老道术等同看待，佛只是自然界中的一个神灵而已。所以，官府只允许为西域僧人立寺，汉人不得出家，更不用说建寺了。严格意义上说，这时的寺院与中国传统意义上的祠堂很相像。《后汉书·襄楷传》引襄楷延熹九年（166）奏议，批评汉桓帝在宫中立“浮屠之祠”，这是我国宫廷设置佛寺的最早记录。东汉时丹阳郡笮融“大起浮屠，上累金盘，下为重楼，又堂阁周回，可容三千许人，作黄金涂像，衣以锦彩”，这是中国历史上有关佛寺具体描述的最早文献记录。
太康元年（280），晋武帝司马炎改变汉魏只有西域僧可立寺的政策，大力弘扬佛教，广建佛寺。据《魏书·释老志》载：“西晋二京合寺一百八十所。”大规模的佛寺建造从此开始。