山西百姓聚居于村镇，房院毗邻地生活在一起。一个标准的村落中，完整的设施应有街巷、院落、房屋（窑洞）、谷场、水井、私塾村学、祠堂、关老爷庙、土地庙、墓地等；一个标准的集镇与村庄的区别在于，集镇多位于当地交通较为便利的坡底平川，有流动生活人口，有定期的贸易集市活动，有庠序乡学，常被称作“旱码头”。山西地形较为复杂，有山地、丘陵、盆地、平原。平原地区的村落多在本村土地中心营建，一般用砖瓦或土坯砌成房屋，是典型的北方平原村落；山区村庄则依山势而错落，房屋多为窑洞，一般窑洞住久后，往往会废弃而另择地重新凿建。村镇的名称多由历史遗迹、民间传说、山水名、地理位置、原居住民大姓氏或边关卫戍功能等而来。
山西民居的主要形式，从建筑材质上看，有砖瓦房、土坯房、土穴房、石板房、草木庵棚等；从形制上看，有平顶房、瓦顶房、楼房、窑洞等。
平顶房是指屋顶平坦的房子，屋顶可用作晒粮场，顶部总体呈后高前低的形状，前面采用木柱式，满面开窗，采光较好，老百姓称其是“一出水”的房子，即雨水从前檐往下流。瓦顶房多是以人字梁起架，上宇下栋式的前后檐“双出水”房子，前面多以砖砌柱，留窗格门洞，多为硬山式结构，一溜顺水压板瓦。另外，比较讲究的是“双出水”悬山式砖瓦房。在晋南、晋东南农村多有“双出水”硬山式二层楼房，二楼较低矮，不设楼梯，只作贮藏物品、粮食之用。有钱人家的楼房则不同，二楼有出厦、立柱、楼梯，雕栏彩绘俱全，常作绣楼使用。
窑洞是古代穴居的演变。山区丘陵地带的人家依向阳山崖挖土窑洞，多为一明两暗形式（即一窑有门窗，内部左右各掏一孔开窗不开门的窑洞）。有纯粹依黄土崖为原材料穿凿的窑洞，有的只用黄泥或白灰抹个门面，也有在土窑前装修砖石门脸。石板房是与窑洞相关联的建筑。山区农村利用片石材料建房，以日积月累挑拣的岩石片、河滩石块，甚至鹅卵石铺地垒墙，用磨合对缝的片石铺设在屋顶上。山区石料采集较方便，但纯粹的石板房是罕见的，大部分是以建石窑为主。建筑石窑时，要夯实地基砌起窑壁，在窑壁之间填满土，把土堆得像囚困于两壁间冒出脊背的卧牛，因此叫堆“土牛”；堆成“土牛”后，就开始以两壁为端点，在“土牛”的半圆形脊背上用片石、条石碹窑顶；确定窑顶碹得结实无缝隙后，再把“土牛”挖出来，然后砌后墙、砌窗台，以灰泥抹光内壁，石窑的主体工程就算完成。如用木架碹顶，则要比堆“土牛”省力得多。堆“土牛”或用木架等碹窑顶的技术运用，使窑洞建筑不再成为山区居民的专利，而使窑洞建筑推广到了平川地带。
草木庵棚又称瓜庵豆棚，完全是用树木和草席等立起的三角形、拱形的窝棚，是农民在自家田地里架设的临时性住宅，用于春、夏、秋三季经营守护瓜田菜地。为遮避风吹、日晒、雨淋及蛇蝎獾猪侵袭，也为登高远瞻，庵棚多建于地面三尺之上，因此，在绿地间如荡漾于碧波中的一只船。
民居建筑自然是要精心设计、精心施工的，四周要熟悉，地下要清楚，地上要结实。开工建房要选择在春季大地回暖解冻、雨水尚少、家事不忙时进行。一些人家还要请风水先生按四时八运、生辰八字来判定施工方位、地点和修筑日期。如果风水先生测定动土方向正是太岁即土地值岁神所在的方位，要躲避或算好在太岁出游时“偷修”，此谓“不敢在太岁头上动土”。
建房先要备料。山西民居的建筑材料，主要有砖瓦、石料、木材、土坯、石灰等，以及椽上封泥的苇栈、木栈，和泥的麦秸、稻草、砂土等。木材作栋、梁、檩、柱、椽，多用红松、榆木、落叶松，门窗多用白松、桦木、柳木、杨木等。石料用来做墙基、砌沿台、立柱础、垒石墙、砌窑洞、砌台阶、铺路等，穷人家拾石垒墙，富户人家会请石匠雕镂，在门口立石狮、石鼓，以示荣耀。砖有小砖、城砖、方砖、巴砖、造型雕砖，瓦分桶瓦、板瓦、滴水瓦、当瓦（瓦当）。土坯即土质预制板，代替砖石砌墙成屋，即先把湿土装入模子，用杵子砸实后扣出，风干后待用；有的人还找一片长草的沼泽地，用方锹像切豆腐一样直接在淤泥中裁出方块，晾干用来垒院墙。石灰有生石灰和熟石灰之分，生石灰淋少许水成石灰粉，拌沙土打基、泥缝、抹墙、压瓦等；熟石灰是用水化成灰浆滤沥去渣，淋入挖好的灰泥坑里，待凝固后垒砖墙用，或加沙成沙灰用。还有的在白灰中搅和麻刀（用刀剁成段的麻絮）、草纸抹灰墙，经抹平压光后的墙洁白锃亮。为保证泥灰充分融和，常要在前一年将石灰与糠一起埋入地下，然后挖出来加沙石等和匀才用。
开工建房之日要面向测定的神祇方向摆香炉、供祭品，在院里挂起一块红布，燃黄表纸叩头，举行告知神灵的仪式，俗称“破土”。破土挖壕后就是打地基。打地基俗称“打夯”、“打硪”，在挖开的壕沟里一层层垫上石灰土，一层层夯实。这是一项力气活，要十来个青壮男子赤胸露背的在悠扬激越的号子声中齐心协力、稳扎稳打，围观者愈多愈能激发领唱者的才华。领唱者要即兴发挥，见人唱人、见事唱事，编的词要通俗生动，既要招围观者喜爱，又要合打夯的节奏，使劳动者激情高昂、步调一致。几里外的人们都可以听到从工地上传来的歌声。
地基打好后，若是木框架结构的平房就要起架上梁，俗称“立架”。人们在打地基之前就请来木工整饰木材，按房间布局尺寸做准备，凿铆开榫。主柱支架固定后，要举行上梁仪式。仪式选在中午举行，利于参照日影鉴正斜，届时请人在中梁画八卦、系红布、捆扎红筷和酒盅等，贴吉祥对联如“竖柱喜逢黄道日，上梁正遇紫微星”，迎门的墙上贴“姜太公在此，诸神退位”，木工大师傅放稳大梁后要烧纸焚香放炮庆贺。其时，亲戚邻居们还要蒸白面花馍、带烧酒、捐黄表纸来扶梁庆贺，主家要设酒席招待匠人、扶梁者及其他襄助者。
“起墙”就是建墙，用砖是砖砌墙，用坯是泥坯墙，用土是版筑墙。砖砌墙时，砖要经清水浸透，以利白灰或沙灰浆黏合对接，有包芯墙、砖面墙，比较富裕的人家讲究从里到外“一砖到顶”。泥坯墙是在砖石基上垒土坯，土坯之间以黄泥黏合，内外再以黄泥抹平，土坯墙下部的几层砖石叫“过河砖”，为的是保护土坯不被雨水浸湿和泛潮。版筑墙则多于建院墙，完全采用土打墙办法，即打好墙基后，四面夹木板（或圆木）形成槽，往内装填湿土，用木杵、木夯打实一层，然后把最下层木板取下接到最上层继续填土打夯。版筑墙的墙头形成一条黄土垄，为防雨水冲刷，有钱的人家在上覆一层砖瓦；没钱的人家墙头就铺层草。版筑墙就地取材，施工节用、快捷，更适合干燥的黄土高原建院墙、堡墙和土围子，但它是一项技术性很强的力气活。商代贤相傅说就是在傅岩（今平陆县境内）从事版筑的奴隶出身，商王武丁任用他治理国政，从此国势强盛。
房屋钉椽，有的地方叫“铺椽”、“贯椽”，就是要用铁匠打制的最坚韧的四棱长钉（利于固定，不旋转），将纵向铺设的椽贯穿到横向的檩上。椽是铺设在檩上的木条或圆木，有前批椽、后批椽之分，前批椽要精细匀称、截面剖面美观。椽摆好位置后，木匠先打钻钉孔（以防钉劈或钉歪），再贯入长钉。众椽头的前面横钉着的一根木条叫“淋檐”，用以固定和保护椽头，否则，出檐的椽头会率先腐烂。
房屋盖顶是钉好椽铺栈帘，在上面用和着麦秸、稻草的泥抹房顶，有的地方叫“按栈”。这“栈”是指泥有盛放的地方。“按栈”是盖房中最紧张的一项工程，因为这是屋的大盖帽即翼展长度，是比房屋建筑面积还要大的一项工程，且必须在日升中天前一气呵成，才敢歇喘、休息和饮食，否则，会形成质地不一的结缝造成房漏。整体铺泥后晾一下午和一夜，翌日清晨还要上房，在没有完全成型前再次踩实拍平。这道工序重在用心细致，谁住此房谁最心切，常是主人全家老幼齐上房，悉心踩踏拍打，技术性倒在其次。待房顶泥干透后，是平房的要再加泥抹灰作防水层，是瓦房的要加引泥压瓦统脊。这样，房建的主体工程就算完成了。