刘渊，子元海，匈奴冒顿单于直系后裔。
东汉末年，羌渠单于被杀后，其子于扶罗自称单于，率几千骑逃入汉地，恰值当时董卓之乱，他就趁机狂掠太原、河东地区，并于河内地区驻屯。于扶罗单于死后，其弟呼厨泉单于得立，以于扶罗单于的儿子刘豹为左贤王，这位左贤王，就是日后大名鼎鼎的刘渊的父亲。
曹操分南匈奴为五部，刘豹得为左部师。在《晋书》中，刘渊以字称，皆为刘元海，这是因为《晋书》是唐朝大臣编撰，为避唐高祖李渊的名讳（另一位羯族皇帝石虎统称石季龙，因为李渊他爸叫李虎，也是避讳）。
刘渊自幼居于汉地，深受汉文化熏陶，从小就刻苦好学，师从上堂名儒崔游，学习《毛诗》、《京氏易》、《司马尚书》等汉族传统典籍。由于出身将种，他还特别喜爱研读《春秋左氏传》、《孙吴兵法》等与征伐相关的权谋兵书。“《史》、《汉》，诸子，无不综览。”可称是高度汉化的匈奴人。“七岁遭母忧，擗踊号叫，哀感旁邻，宗族部落咸共叹赏”。如此“孝道”，也显示出刘渊这些匈奴人的道德礼仪近乎完全汉化。
青年时代，刘渊就有大志，常对同门学习的汉人文士讲：“吾每观书传，常鄙随陆无武（汉朝文臣随何、陆贾），绛灌无文（指汉朝武将周勃和灌婴，周勃曾受封绛侯）。道由人统，一物之不知者，固君子之所耻也。”于是他发奋习武，“妙绝于众，猿臂善射，膂力过人。”本来就是尚武的匈奴王族直系后代，五部又多善骑射之人，刘渊习武，肯定是水到渠成的易事。不仅文采风流，又有一身好武功，才兼文武，刘渊在当时不啻为人中之龙。
晋武帝受禅后，时任晋朝大臣的王浑就不停在晋武帝面前荐举刘渊这个“半老乡”。晋武帝召见刘渊后，“大悦之”，对王浑的儿子、自己的女婿王济说：“刘元海容仪机鉴，虽由余、（金）日?也比不过他啊。”王济应带说：“圣上所言皆是，但刘元海的文武才干远远超出由余和（金）日?两个出身异族、辅佐汉室的古人。陛下如果能派他去平吴国，肯定能马到成功。”（王济这个名字乍看上去很陌生，但如果说“王武子”就有很多人会记起《世说新语》中的诸多故事。据《晋书》记载，王武子“少有逸才，风姿英爽，气盖一时，好弓马，勇力绝人，善《易》、及《庄》、《老》，文辞俊茂，伎艺过人。”他尚晋武帝女儿常山公主，二十岁就拜中书郎。其实最使他出名的还是其几则“豪侈”故事：其一，此人丽服玉食，在洛阳地面最贵的地方买地作马场，以钱围之，号称“金沟”。其二，一次晋武帝去他家赏玩，吃了只味道极其鲜美的乳猪，便问他如何烹制。王武子回答说这只乳猪是由人奶养成，连晋武帝也觉过份，“色甚不平，食未毕而去。”其三，晋武帝母舅王恺（与石崇斗富那位爷）有一只天下第一的快牛名叫“八百里驳”，爱惜非常，平时王恺自己亲自用细布揩拭这只“名牛”的蹄角。王济以一千万钱与王恺打赌，倡议两人比射箭，赢了的活牛归自己，输的话就给王恺一千万。王恺武艺也不错，自恃其能，让王济先射。王济一箭直中靶心，“因据胡床，叱左右速探牛心来，”不听王恺求情，天下名牛的牛心已被掏出，王济吃了一口就弃之而去。其四，王济的姐夫和峤也是当时名宦大族，但本性至吝，其家中有名种李树，晋武帝向他索尝，也“不过数十”。王济趁一次和峤上朝，带着一帮恶少跳入和家果园，“共啖毕，伐树而去”。不仅把李子全吃光，还砍掘了这颗万金“名李”。此外，“自惭形秽”一词也出身此君。虽然王济人长得很漂亮，但与自己的外甥卫玠在一起，他就叹息说：“珍玉在侧，令人自叹形秽！”）
听王浑、王济父子荐举，晋武帝自己又对刘渊有很好的印象，一高兴还真要下旨派这位匈奴去带兵平吴。幸亏当时的大臣孔恂、杨珧很有政治远见，谏说道：“刘元海之才，确实超出常人。陛下如果给兵不多，不足以成事；如果授之以威权，恐怕他平吴之后，肯定自立为王，再也不会北渡了。非我族类，其心必异！如果真的以其匈奴本部交由他统领，凭借朝廷威名外讨，为臣真为陛下寒心！”“帝默然”，没再坚持。由此，刘渊的第一个“好机会“就这样错过了。
后来，关陇一带的氐族酋帅树机能反叛，晋武帝于朝中大臣间访寻谁能胜任平叛的主将。刘渊的另一位山西老乡、上党人李??（时任尚书仆射）就又推荐他。“陛下诚能发匈奴五部之众，授刘元海将军名号，鼓行而西，可指期而定。”大臣孔恂又一次谏阻：“李公之言，只能是一患未平又生一患！”
李??勃然大怒，辩驳说：“以匈奴之劲悍，元海（刘渊）之晓兵，奉宣国威，为什么不能平叛呢！”
孔谏对称，“刘元海果真能斩杀树机能，夺取了凉州，恐怕凉州才是真正面临大祸乱。蛟龙复得云雨，就不会再蜷缩池中了。”
“（武）帝乃止”。刘渊第二次一显身手的机会就又破灭了。
受到这两次沉重打击，刘渊也真的心灰意冷。一次，以游侠著称的东莱人王弥自洛阳返乡（这王弥日后也成晋朝一大祸害），刘渊于九曲之滨为王弥饯行。几巡酒后，刘渊哭着对王弥说：“王浑、李??两位是我的老乡，多次在皇上面前举荐我，却招至谗毁之言。其实我本来就没有当大官的打算，二公好心却成坏事，惟足下（王弥）您深明我心！自今以后，我恐怕要老死于洛阳城内，与君永诀了！”言毕，悲歌慷慨，纵酒长啸，一座之人皆为其这一番“表演”而感动。
刚巧，晋武帝的弟弟齐王司马攸当时也在九曲宴客，听见附近人声喧哗，又歌又哭又叫唤（长啸），便飞马驰近瞧个究竟。刘渊的一番言语表演皆为这位明睿聪明的王爷所睹闻。他回朝后，马上对皇帝大哥司马炎说：“陛下不除掉刘元海，臣恐并州日后不得安宁！”关键时刻，又是刘渊的老乡、晋武帝的儿女亲家王浑出而保奏：“刘元海是个厚道人，我以身家性命担保他不会有异心。我大晋朝现正怀远以德，怎能做出这种杀害匈奴入侍质子之事！”
晋武帝非弘图之君，认为王浑说的有理。刘渊又逃过一劫。