中国民兵有着光辉的历史，在长期革命战争中，毛泽东根据中国特点，把马克思主义关于人民群众是历史创造者的基本原理，具体运用于中国革命战争的实践，形成人民战争思想，创建了人民军队，建立了民兵组织，依靠广大人民群众，开展了轰轰烈烈的武装斗争。
中国民兵是毛泽东人民战争思想的产物，是一支新型的人民群众武装组织，是人民军队的得力助手和强大的后备力量，在中国革命的各个历史时期均发挥了巨大作用。中华人民共和国建立后，民兵成为国家武装力量的组成部分，在保卫和建设社会主义的事业中，作出了新的贡献。
中国共产党1921年诞生后，在领导和开展工农运动中，就注意建立工农武装。1922年1月，在香港海员大罢工中产生了工人纠察队。1924年8月，在广东省广宁县的农民运动中，诞生了农民自卫军。
北伐战争时期
工人纠察队和农民自卫军有很大的发展。1925年1月，中国共产党第四次全国代表大会通过的《对于农民运动的决议案》，提出把组织农民协会，发展农民自卫军作为党的一项重要任务。彭湃、毛泽东、周恩来等共产党人，先后在广州、武汉举办农民运动讲习所，为开展农民运动和建立农民自卫军，培养了大批骨干。
在此期间，中国南方，特别是广东、湖南、湖北、江西等省农民自卫军的发展，迅猛异常，声势浩大。工人纠察队和农民自卫军的兴起和发展，沉重地打击了帝国主义和封建军阀势力，有力地支援了北伐战争。
特别是1927年3月，为配合国民革命军北伐，在周恩来等共产党人领导下，以上海工人纠察队为骨干，举行了上海工人第三次武装起义并一度解放全上海，这是中国工人阶级第一次依靠自己的力量，以革命暴力推翻反动统治，建立人民政权的尝试。
土地革命战争时期
中国共产党把组织群众、武装群众、建立人民武装，作为创建、巩固和发展革命根据地的根本。大革命失败后，毛泽东率领秋收起义的工农武装进军井冈山，在建设红军的同时，广泛发展暴动队、赤卫队、少年先锋队等群众武装组织。毛泽东一再强调，革命战争是群众的战争，只有动员群众才能进行战争，只有依靠群众才能进行战争。
在1929年着名的古田会议上，毛泽东指出红军除了打仗消灭敌人外，还要担负宣传群众、组织群众、武装群众的任务。1931年11月，在江西瑞金举行的全国工农代表大会上通过和颁发的《苏维埃的武装政策》，进一步强调“武装工农是苏维埃的基本任务之一”。
随后，中华苏维埃共和国临时中央政府，陆续颁布了《赤卫军组织法》和《苏区少先队组织条例》，将各个苏区的群众武装统一为赤卫军和少先队，规定赤卫军由23~40岁的青壮年组成，少先队由18~23岁的青少年组成，并规定在赤卫军、少先队之中，挑选部分强壮勇敢分子，组成模范营，作为保卫苏区和参加红军的基本队伍。各苏区的赤卫军和少先队，人数最多时达250万，是当时主力红军的6倍，他们站岗放哨、传递情报、护理伤员，广泛开展游击战争，积极配合红军作战，为粉碎敌人的“围剿”，保卫和扩大红色革命根据地，发挥了重大作用。
赤卫军、少先队也是红军取之不竭的强大后备力量，各苏区坚持实行“经由乡赤卫队、区赤卫大队、县赤卫总队、地方红军直至正规红军”逐步升级的办法，使红军获得了源源不断的补充，许多地方的赤卫队、少先队，常常是整连、整营、整团，乃至整师地参加红军，如江西兴国县组织起来的工人师、模范师和少共国际师就在1933年先后集体参加了红军，全县38万人中，参加红军的达8万多人。
抗日战争时期
中国共产党领导下的各抗日根据地，普遍建立民兵和自卫队，形成了中国民兵制度。在日军全面入侵，中华民族处于生死存亡的关头，中国共产党发表《抗日救国十大纲领》，号召全国人民动员起来，武装起来，参加抗战。
毛泽东在《论新阶段》中提出，“抗日人民自卫队的组织，应成为一切战区与敌人后方的普遍与经常的民兵制度”。1941年，中共中央军事委员会进一步确定主力军、地方军和民兵所组成的武装力量体制，并规定民兵和自卫队都是不脱离生产的群众武装组织，民兵是自卫队的骨干。1945年，各抗日根据地的民兵发展到268万余人，自卫队达1000万人以上。在艰苦卓绝的八年抗战中，广大民兵拿起各种各样的武器，凭借人熟地熟的特长，人自为战，村自为战，活跃在敌后广阔战场上，展开空前规模的人民游击战争，创造出诸如地道战、地雷战、麻雀战、破袭战、围困战等许多巧妙战法，配合八路军、新四军狠狠地打击了日本侵略者。民兵和自卫队还日夜担负着站岗放哨、侦察敌情、传递情报、捉拿汉奸等繁重的战斗勤务，并同人民群众一起，实行坚壁清野，使敌人所到之处，断粮缺水，处于困境，为主力部队歼灭敌人创造了有利条件。
抗战8年，民兵共参加作战29万多次，歼敌10.6万余人，并涌现出许许多多的民兵战斗英雄。闻名全国的爆破英雄李勇、于化虎、赵守福、李明、李念林；杀敌英雄郝庆山、徐顺孩、黄小旦、孙双保；神枪手李殿冰、刘二堂、高运成、陈丙昌；劳武结合模范张初元；智勇双全的女民兵英雄孙玉敏、刘虎成等，就是其中的代表人物。河北省曲阳县尖地角村的民兵队长李殿冰，带领民兵运用麻雀战打击敌人，在3个月的时间里，同敌人作战27次，打死打伤日伪军200多名。被群众誉为“爆破大王”的山东省海阳县赵疃村民兵于化虎、赵守福，运用地雷战大量杀伤敌人，在1945年中的105天时间里，带领本村民兵和邻村民兵，用地雷炸死炸伤日伪军303名。
北岳区阜平县五丈湾村着名爆破英雄李勇和他领导的爆破组，仅在一次反“扫荡”中，就用地雷炸死炸伤日伪军362人，炸毁汽车25辆。1942年，日本侵略军的一个团，多次向河北省清苑县冉庄进犯，冉庄民兵采用地道战与地雷战相结合的战法，仅两次战斗就打死打伤敌人150多名。1942年10月，日本侵略军集中1万多人的兵力侵占太岳抗日根据地沁源县城，沁源人民配合八路军太岳军区，运用围困战与敌人进行了长期艰苦卓绝的斗争。敌人侵占前，全城实行“坚壁清野”；敌人侵占后，民兵与游击队广泛开展游击战，到处袭击、截击敌人。
到1945年4月，经过两年半时间，共作战2700多次，毙伤俘敌4250多人，终于迫使敌人退出了沁源县城。为了袭扰敌人，民兵还经常配合正规军、游击队，向敌人开展破袭战。有时在一夜之间，突然出动几万甚至几十万人，把一个地区的铁路、公路和桥梁破坏，把电线割断，使敌人交通运输和通信联络陷于瘫痪。据晋察冀抗日根据地的不完全统计，1941~1945年，全区民兵共捣毁敌碉堡1141个、炮楼307座、炸毁汽车368辆、火车头46个、破坏公路3.76万公里、桥梁763座。广大民兵的艰苦奋战，对取得“反扫荡”、“反清剿”、“反蚕食”斗争的胜利，粉碎敌人的“三光”政策，巩固与扩大抗日根据地，坚持持久战，起到了巨大作用。
解放战争时期