第二年，呼韩邪从五原塞入境，宣帝派车骑都尉韩昌专程迎接，沿途七个郡出动两千多骑兵在大道列队迎送。甘露三年正月一日，呼韩邪在甘泉宫朝见，宣帝做了特殊安排，让他享受诸侯王以上的隆重礼仪，并给予大量赏赐。呼韩邪在长安居留月余后回国，要求率部众驻守光禄塞（今内蒙古包头市西北）附近，一旦有急可以利用汉朝的受降城（今内蒙古乌拉特中旗西北）自保。宣帝派长乐卫尉董忠和韩昌率1.6万骑兵，又征发边郡的数千人马，送单于出塞，董忠等留在那里维护呼韩邪的统治地位，资助的粮食多达3.4万斛。
元帝初元二年（前47年），韩昌与光禄大夫张猛将呼韩邪留在长安的侍子送回，并消除了单于的误会。他们见呼韩邪的部众日益强盛，足以自卫了，不必再畏惧郅支单于，而塞下的资源已满足不了他们的需要，大臣们也劝呼韩邪北归。他们恐怕呼韩邪北归后难以约束，就与单于、大臣们登上诺水（今内蒙古艾不盖河）东山，杀白马，饮血酒立下誓盟：“从今以后，汉与匈奴合为一家，世世代代不得相互欺骗和攻击。有进入对方盗窃的，互相通报，将盗贼杀死后赃物归还对方。一方受到侵略，另一方发兵相助。谁先违背盟约，将受天的惩罚。让子子孙孙都遵守。”不久，呼韩邪单于率部众回到蒙古高原今乌兰巴托一带的单于庭，部众逐渐增加，国内安定。韩昌、张猛回长安后，公卿大臣认为他们与匈奴结盟超出了职权，并且降低了汉朝的地位，损害了国家利益，应该派使者去重新祭天，解除盟约，两人犯了大逆不道的罪，应处死刑。元帝减轻了韩昌、张猛的罪名，只处以罚款，命令维持与匈奴的盟约。
古代扇面竟宁元年（前33年），呼韩邪单于入朝，表示愿意当汉朝的女婿，元帝以后宫宫女嫱（昭君）相赐。呼韩邪十分感激，表示愿意永远替汉朝守卫从上谷至敦煌的边疆，建议撤销边塞，以节省人力物力。元帝让大臣商议，大家都认为可行，只有熟悉边境情况的侯应反对。他向元帝详细说明了十点理由：塞外的阴山有重要的战略地位，如放弃防守就使汉朝失去了屏障；匈奴一旦强大了还会骄横，这是它的本性，要居安思危；中国有礼义刑法，愚民百姓还会犯法，单于难道就能完全约束他的部下？边防并非单为匈奴而设，也为了防止其他属国的降民逃亡；羌人移居塞下，与吏民已有冲突，也需要防止；以往军队中有不少因被俘或投降留在匈奴的人，他们的贫困子孙想去投奔；边疆地区的奴婢想逃亡匈奴；盗贼罪犯往远处躲藏，如能逃亡出境，就不易对付；边防线建设了百余年，所用人力物力不计其数，一旦废弃就再也无法恢复；真的让单于替汉朝守边，他一定会对汉朝居功，不断提出新的要求，要不满足他，后果就不堪设想。
元帝听后，下诏不再讨论此事，并派前任大司马、车骑将军许嘉为特使向单于通报：“单于的好意我毫不怀疑，但中国四方都设置关塞，并不单是防御匈奴，也是为了不使中国内部的罪犯歹徒出来害人，以便严格执行法律，统一民心。”单于表示自己考虑不周，接受了元帝的解释。直到王莽代汉，边境牛羊遍野，人口繁衍，城门经常到很晚才关闭，三代人听不到战争警报，百姓不必再服兵役，汉匈间保持了60年的和平局面。
郅支单于见呼韩邪归附汉朝，无法取胜，于黄龙元年（前49年）西迁坚昆（今俄罗斯叶塞河上游一带），以后又迁至康居，建昭三年（前36年）在康居东部郅支城（今哈萨克斯坦江布尔）被汉将陈汤、甘延寿所杀。
绥和元年（前8年），成帝的舅父王根执政，有人向他建议：“匈奴有一块土地突出，插入张掖郡，出产上等木材，适合制箭杆，如能得到，可以增加边境的财富。国家扩大了领土，您也建了大功，名垂千古。”王根让夏侯藩出使匈奴索取。单于两次推辞，最后上书朝廷报告此事，朝廷只得表明是夏侯藩擅自盗用朝廷名义索要土地，已予处罚。平帝（公元前1～公元5年在位）初，因匈奴接受了西域车师后王等叛逃者，引起汉朝不满，特意颁布了四条规定：匈奴不得接受汉朝、乌孙、西域佩汉朝印绶诸国和乌桓的降人。原来匈奴向乌桓收皮布税，汉朝监护乌桓的官员让乌桓人不要向匈奴纳税，匈奴兴师问罪，俘虏了不少乌桓人。这些都给汉匈关系蒙上了不祥的阴影。
公元8年王莽代汉后，派五威将王骏等出使匈奴，将汉朝颁发给单于的“匈奴单于玺”收回，另发“新匈奴单于章”。他们收回旧印后，因恐怕单于发现印文不同后会索回，当天就用斧头将旧印砸坏。单于认为将“玺”改为“章”是把他的地位降到了诸王一级，大为不满，上书要求恢复旧印。同时以送回乌桓人为名，调集一万骑兵，陈兵朔方塞下。第二年（始建国二年。公元10年），西域车师后王企图逃往匈奴，被汉西域都护但钦所杀，其兄率两千余人投奔匈奴。驻在高昌壁（今新疆吐鲁番市东南）的戊己校尉刁护被部属陈良等人杀死，陈良等劫持吏士和家属两千余人，在匈奴骑兵的接应下到达单于庭。于是王莽下令更名匈奴单于为“降奴服于”，又宣布将匈奴分为15部，派人携带珍宝至塞下招引呼韩邪单于子孙当各部单于。从此，匈奴不断入塞杀掠，雁门和朔方郡的太守、都尉被杀，被掠的牲畜和财物不计其数。王莽派遣12名将军，征集30万军队，准备分10路对匈奴发动全面进攻，为部队筹集的粮食、物资由江淮、海滨运往北部边疆，弄得天下骚动。为了同时出兵，先到的部队驻在边境等待，但等了几年，部队还没有集合起来，搞得边境一片萧条。
东汉初，割据安定的卢芳在匈奴支持下占据五原、朔方、云中、定襄、雁门等郡，使匈奴乘势南侵。光武帝无力对抗，不得不放弃了河套至今山西、河北北部的疆域，将当地行政机构和百姓内迁。建武二十二年（46年），匈奴发生严重旱、蝗灾，赤地数千里，人畜大量死亡。建武二十四年，匈奴南边八部大人共议立呼韩邪单于之孙比为南单于，仍用呼韩邪称号。他们派人至五原塞向东汉表示“愿永为藩蔽，捍御北虏”，得到接受。同年冬，比自立为呼韩邪单于，匈奴分裂为南北二部。建武二十五年，南匈奴袭击并俘虏了北单于之弟左贤王，又攻至北单于帐下，俘获万余人、五千匹马、上万头牛羊，北单于不得不退却了千余里地。南单于的地位初步稳定，汉朝也将内撤的8个郡迁回旧地，汉匈奴边界恢复到西汉后期的态势。南单于派使者去洛阳，寻求汉朝的支持，请求恢复汉宣帝与匈奴的协议。建武二十六年，汉朝中郎将段郴等去南匈奴，立单于庭于五原（今包头市西）西部塞80里处，并允许其部众迁入云中（今内蒙古托克托县一带），朝廷调运去大批粮食和牛羊给予救济，还派了常驻联络官员。由于南匈奴的实力还抵不住北匈奴的攻击，当年冬，又将单于庭南迁至西河郡美稷县（今准噶尔旗西北）一带，段郴和副校尉王郁留驻监护，设立了行政机构，每年由西河郡派2000骑兵和500名由缓刑犯充当的士兵担任卫护。南单于接受汉朝的监护，同时助汉守边，将部属分别派驻在北地、朔方、五原、云中、定襄、雁门、代郡（约自今宁夏、甘肃至河北北部），为当地政府充当耳目，汉朝每年供应南匈奴大量财物、粮食、布帛、牛羊。
风景画鉴赏北匈奴控制着西域，不时侵扰河西和北方边境，掳掠南匈奴和汉人。南匈奴中也有些人与北匈奴勾结。为了断绝南、北匈奴间的交通，汉朝设置度辽将军，在五原曼柏（今内蒙古达拉特旗东南）一带屯兵。永平十六年（73年），汉军分4路出击，窦固、耿忠一路追至天山、蒲类海（今新疆巴里坤湖），夺回伊吾（今哈密市西）。北匈奴四面受敌，南匈奴从南面做正面攻击，丁零在北边抄它的后路，鲜卑和西域各国从东、西两面左右夹击，加上接连发生饥荒和内乱，不断有人南下投汉。
永元元年（89年），汉将窦宪、耿秉率军大破北匈奴，北单于逃遁，降者二十余万，汉军一直推进到燕然山（今蒙古杭爱山），刻石纪功而还。第二年，汉军夺回了由北匈奴据守的伊吾卢，并派兵与南匈奴军一起出鸡鹿塞（在今内蒙古杭锦后旗西），进攻匈奴，北单于受伤后只身逃遁。永元三年，耿夔率汉军围北单于于金微山（今阿尔泰山），单于率一部分部众逃往乌孙，北匈奴彻底溃败，从此离开蒙古高原西迁。4世纪70年代，匈奴出现在欧洲，建立了强大的帝国。
但东汉的北部边境并没有因为北匈奴的溃败和西迁而安宁，另一个游牧民族——鲜卑很快填补了匈奴留下的空白，成为蒙古高原的新主人，他们与汉朝的冲突也随之开始。
从中国有可靠的历史记载开始，中原的农业民族与北方牧业民族之间的冲突从来就没有停止过，所不同的只是激烈程度和冲突范围而已。以往人们往往把冲突的出现归咎于牧业民族的野蛮落后、侵略好战，或者认为是农业民族软弱无能所致，这是相当片面的。
在生产力低下的情况下，牧业民族只能“逐水草而居”，具有很大的流动性。黄河流域一度是东亚大陆最适宜生产和生活的地区，牧业民族曾经与农业民族一样生活在这一地区。但随着农业民族人口的增加和生产能力的提高，牧业民族的生存空间不断被压缩，到战国后期已被挤出了黄河中下游，迁到了秦、赵、燕三国的长城之外。
在正常情况下，牧业民族的迁移范围并不大，所谓“逐水草而居”，主要是季节性的或周期性的。但在发生严重的自然灾害或外敌入侵的条件下，他们的迁移范围必定会扩大。一般说来，要获得了足够的生存条件或有了充分的安全后，他们的迁移才会告一段落。
秦长城秦始皇筑起万里长城以后，匈奴的生存空间被限制在阴山山脉以北的蒙古高原。尽管北方还有大片处女地，但由于气候寒冷，匈奴人不可能扩展到贝加尔湖以北。公元前3至前2世纪开始，气候逐渐变冷，严寒、干旱、大雪、蝗灾成为蒙古高原上的主要灾害。东西向的迁移往往同样难以躲避由北而来的灾害，还会遇到其他游牧民族的抵制，向南方的迁移就成为他们最合理的选择。如果他们的迁移受到限制，殊死的搏斗就不可避免。由于牧业民族的生产技能——为放牧和狩猎需要锻炼出来的骑马和射箭——非常容易转化为军事需要，在与农业民族的战争中他们拥有天然的优势，尤其富有攻击性和机动性，使他们稳操胜券。
在占有农业民族的土地的同时，牧业民族往往也夺得了粮食、纺织品、生产工具、其他物资、妇女和劳动力。这些战利品不仅使他们顺利地度过了灾难，而且使他们轻而易举地提高了生活水平，甚至有了积蓄。这使他们意识到，用武力从南方农业区掠夺物资和人口是趋避灾害、获得财富的最容易的手段。而与其他游牧民族的争夺，付出的代价很大，收获却很少。在这种情况下，只要南方农业区缺乏有力的防卫，牧业民族就会经常性地进行袭击性的掠夺。每当秋高马肥，牧业民族的战斗力最强，又最需要准备过冬的粮食和物资，这类掠夺也最频繁。