天下大势，合久必分，分久必合。265年，司马炎称帝建立了晋朝，也就是史上的西晋，三国归晋，终于结束了魏、蜀、吴三国纷争割据、各自为政的局面，实现了国家统一，促进了民族的融合。然而，西晋王朝带来的全国统一，只是一个短暂的安定局面，并没有带来长久的和平与安宁。而后的西晋，经历了武帝、惠帝、怀帝骄奢淫逸、荒淫无度的统治，又遭遇“八王之乱”和“永嘉之乱”的动乱，可谓饱经风霜。在这样的统治下，人民的生活并没有比三国割据的时候好一些，百姓怨声载道，有一些部落开始蠢蠢欲动，意欲趁势而起。316年，北方匈奴攻破长安，俘虏了晋愍帝，西晋就这样灭亡了。
西晋末年的腐败统治使得战争频繁、时局混乱，各路军阀之间相互征战不止。每个首领都胸怀抱负，一心想要统一华夏，历史舞台上，纷争不止，你方唱罢我登场。社会的大动乱，使中国历史进入了分裂割据的时期。
在南方，晋琅玡王司马睿于317年在建康（今江苏南京）称帝，建立了东晋，占据着汉水、淮河以南的大部分地区，凭借得天独厚的地理条件，人口开始迅速增长，力量迅速发展壮大，成为南方最强大的军事集团。
在北方，各少数民族政权纷争迭起。当东晋在江南建国的同时，中国的北方则陷入分裂混战，黄河流域成为匈奴、羯、鲜卑、氐、羌等五个主要少数民族和汉族争杀的战场，并分别建立了自己的国家，相互争霸，不断有国家建立和灭亡。
从304年匈奴贵族刘渊建立汉国、316年灭掉西晋，到439年鲜卑拓跋部统一北方，这一百三十多年里，北方各民族先后建立了前赵（匈奴）、后赵（羯）、前燕（鲜卑）、前凉（汉）、前秦（氐）、后秦（羌）、后燕（鲜卑）、西秦（鲜卑）、后凉（氐）、南凉（鲜卑）、西凉（汉）、北凉（卢水胡）、南燕（鲜卑）、北燕（汉）、夏（匈奴）等十五个政权，连同西南巴氐族建立的成汉，共十六国，和东晋汉族政权长期对峙，史称“五胡十六国”。除十六国之外，还有汉人冉闵建立的魏、丁灵翟氏建立的魏、武都氐帅杨氏建立的仇池国、鲜卑慕容氏建立的西燕、鲜卑拓跋氏建立的代五个政权，先后总计建立了二十一个政权。上述政权中，后赵、前燕、前秦都曾占据过北方的大部分疆域。
许多北方来的少数民族，在相互征战中开始相互融合，学习其他民族的特长和文化，在学习的过程中也借鉴汉人的制度和文化，再凭借军事武力，建立了一个又一个的王朝政权。在这些政权中间，苻氏氐族贵族建立的前秦，由于皇帝苻坚励精图治，成为北方诸多政权中比较强大的一个部族。
这样，在南方，有东晋王朝，在北方，有前秦王朝。东晋和前秦分别成为南北方两支最强大的力量，既相互龃龉，也相互抗衡，暂时也取得一定程度的平衡。虽然两国之间有时小有摩擦，但总体上因为实力相当，也算相安无事。
由氐族人建立的前秦国先后灭掉前燕、代、前凉等割据政权后，统一了黄河流域。以后又于373年攻占了东晋的梁（今陕西汉中）、益（今四川成都）二州，将势力扩展到长江和汉水上游。前秦皇帝苻坚因此踌躇满志，欲图以“疾风之扫秋叶”之势一举荡平偏安江南的东晋，统一南北。