中国古代乐器的发展经过了漫长的道路，在不同的时期也呈现出了不同的特点，都代表了那一时代国家的发展情况和人们的生活与思想。通常我们会将中国古代乐器的发展分为四个阶段：远古时期（约公元前6000年—公元前1711年）；先秦时期（公元前1711年—公元前256年）；秦汉隋唐时期（公元前221年—公元960年）；宋元明清时期（公元960年—1840年）。
1.远古时期
在艰苦落后的远古时期，人类为了生存，就必须像野兽一样抢夺食物，像野兽一样死于自然灾害或是集体争斗。但是人类并不同于其他动物，他们有智慧，会思索，他们需要更多的表达方式来表现自己丰富的内心感情，动物只会嚎叫，但人类会歌唱，需要聆听，而且还会让石头、泥土、竹子、骨头发出美妙的声音。就这样，乐器诞生了！
专家推测：远古乐器来源于古人的生产生活工具。如磬，一种和石器时代的石犁、锄头形状很相似的乐器，只不过是在石犁、石锄安柄用的圆孔中系上一根绳子，悬挂撞击，能发出“当当当”悦耳的声音。骨哨，是作为一种联络工具用于狩猎中的；把兽皮蒙在空心的陶制器皿上击打，鼓就诞生了；受敲打的陶碗、陶杯能发出清脆声音的启发，便有了陶铃。研究者由此认为，石质乐器的产生，与当时农耕、狩猎活动中石制工具的使用有关；陶制乐器的产生，与陶器文化的整体发展有关；而在生产活动中，一些拟音工具的长期使用，逐渐开发了人的音乐智能，培养了人的音高甚至音程观念。而那时的乐器主要也是为配合其他的活动形式，因为远古的诗歌、音乐、舞蹈三者是一体的。这些古乐器向人们展示了中华民族的智慧和创造力，它们既是表现音乐的工具，又是劳动生产的工具，或是生活用具。
就这样，早在七八千年前的新石器时代，中华民族的祖先们就已能制造了很多乐器了，据考古出土的实物来看，远古最早出现的是吹奏类乐器，其中以1985年在河南舞阳出土的16支竖吹骨笛的年代最为久远，已有8000余年历史，浙江河姆渡出土的160支骨哨距今也有7000余年。
而目前发现最广、最普遍的远古时期乐器当数埙，那时的埙多是陶埙。埙是一种吹奏乐器，形状类似于鸡蛋，上面开孔，由土捏成，于火里烧制而成的。埙的声音凄婉、深邃、空洞，让人们在听到后，不免会在心底涌起一丝淡淡的怅惘，仿佛置身于空旷的原野或忆起了尘封的往事，其意境是众多现代乐器都难以表达的，有很强的震撼力。远古时期的埙最初被怀疑可能是烧制给小孩当玩具的东西，后来才慢慢成为大人也用的乐器。那是因为出土的远古时期的埙确实无论是外形、大小、指孔位置、指孔数都始终带有随意性，很难确定它的音高和音律。
其他远古时期的吹奏类乐器见于传说记载的有龠、管、箫、笙等，其中管可能指的就是浙江河姆渡出土的骨哨，箫也是由骨哨发展而来。远古时期也已经有了击奏类乐器，如磬、鼓。
这一时期的音乐都非常简单，节奏是最基本的因素，但是在乐器制作时已注意到了音高和音色的变化了，出现了基础音阶的萌芽。打击乐器种类较多，占主要地位，其发展途径是由形制不定到定型，种类由少到多，音高也逐渐确定，由只有个别音到有一定的高低音关系的多音阶段。
在乐理上，这些远古乐器在演奏中主要体现了古代以宫、商、角、徵、羽为主的五声音阶，但这并不代表说远古乐器不能表现现在的七声音节。这主要与我们祖先的和谐共生的宇宙观关系密切：从后来的发展看，“宫商角徵羽”变成了“金木水火土”，又变成了“东西南北中”，一切都与古老的“五行”相暗合，这便是中国古代所称的“七声奉五律”，并逐渐形成了一个习惯性的规则。这个规则，也恰好符合中国文化所崇尚的平缓、宁静、相依相存的精神境界，体现在用这些远古时期的中国传统乐器演奏的乐曲上，就尤其显得沉稳典雅、荡气回肠。
2.先秦时期
先秦时期是我国乐器发展史的第一个高峰。公元前8世纪开始，中国进入了春秋战国时代，虽然这一时期战乱不断，各国之间都在不断的兼并融合，但春秋战国也是历史上著名的“百家争鸣”文化大发展的年代。在这一历史背景之下，中国古乐器迎来了其历史上的第一个黄金发展时期。古琴在这时出现，并很快成为一种十分重要的独奏乐器。这一时期乐器种类繁多，但主要是以击奏类为主、钟鼓乐为代表。先秦这段时期乐器制作精美，音乐性能也逐渐完备，从总体上来说无论是在乐器的品质还是数量上都具有前所未有的飞跃。这一时期出土发现的乐器主要有大型编钟、编磬、笙、竽、琴、筝、瑟、排箫、箜篌、建鼓、悬鼓、有柄鼓、扁鼓、铜鼓等等。这一时期最能够集中反映当时的乐器成就、也是最具有代表性的出土乐器，可以说是曾侯乙墓出土乐器。仅从墓葬的规模之大，发现乐器总类之多和殉葬乐队来看，我们就能知道当时乐器发展的繁荣景象。
据统计，先秦时期的乐器，见于文献记载的有近70种。仅在《诗经》一书中提及的就有29种之多。由于当时乐器品种与数量的大大增加，于是在周代时产生了根据制作乐器的不同材料而分为金、石、土、革、丝、木、匏、竹八类，称作“八音”分类法。这也是中国古代首次对乐器的分类，对于后世乐器的发展具有很大的影响。
中国历史上第一次出现乐队的表演形式也是出现在先秦这一时期，常常需要几十人来演奏一曲完整的乐器。最常见的乐队演出形式就是编钟，这也是诸侯王身份地位的象征。但是到了春秋战国末期，旧的礼乐制度受到冲击而濒于崩溃，民间俗乐得到较大的发展，当时的民间俗乐，节奏轻快活泼，表情丰富，与宫庭雅乐的“和平静穆”形成鲜明的对比，不断地流传开来。
随着乐器制造技术的进步，先秦时期代出现了系统关于音阶、调式和转调的理论，即“五声、六律、十二管、旋相为宫也。”传统的五声音阶由宫、商、角、徵、羽加变宫、变徵两音变成了七声音阶，但仍与现代流行的七声音阶不同。“六律”则是指只用一个“变音”的六声音阶。
伟大的儒家创始人孔子就是先秦时代的一个音乐家。在孔子的音乐理论体系中，音乐和礼仪规范处在同等重要的地位，弹奏乐器是培养高尚品德的重要途径。据说，孔子本人非常爱好演奏古琴，还能亲自谱曲。从此，古琴就被赋予了高于乐器本身的意义，它的身影一直萦绕在中国古人的音乐生活中。还有著名的关于古琴高山流水的故事也是发生在先秦时期，可见先秦时期人们对这种乐器的重视。传说在很久以前，一个名叫俞伯牙的樵夫听到了琴师钟子期的琴声，当演绎巍峨的高山时，他感慨道：“多高的山啊！”当表现江流奔涌时，他又大声赞美道：“多么壮阔的江水啊！”钟子期生平第一次遇到能如此懂得欣赏自己音乐的人，十分感动，与俞伯牙结为生死之交，俞伯牙死后，钟子期为了纪念自己的好友，便把琴摔碎，不再弹琴。从此“高山流水”就成了知音的代称，并一代一代流传了下去。
3.秦汉隋唐时期