王莽天凤三年（公元16年），匈奴重新控制西域，内地与西域交通断绝。东汉初，一些西域国家多次寻求汉朝的保护，请求重建都护府，但光武帝限于实力，一再拒绝，各国只得降服于匈奴。永平十六年（73年），汉将窦固等率军进攻匈奴，打通了与西域的交通线，窦固派班超出使西域。班超仅率吏士36人，但靠着汉朝在西域留下的影响和自己的勇敢智慧，成功地控制了鄯善（今新疆若羌一带）、于阗（今和田市一带）、疏勒（今新疆喀什市一带）等国。第二年，窦固进攻车师。车师前王（都交河城，今吐鲁番市西北）和后王（都务涂谷，今吉木萨尔县南）投降，在断绝了65年以后汉朝重新设置西域都护府，恢复了这一大片疆域。但北匈奴势力依然强大，汉军并没有稳定的优势，焉耆（今新疆焉耆县一带）、龟兹（今库车县一带，匈奴所立）攻灭了西域都护陈睦，匈奴和车师包围了戊己校尉（驻高昌壁，今吐鲁番市东南）。章帝建初元年（76年），撤销了都护府和戊己校尉。当时，汉朝的军队已全部撤回，章帝怕班超孤立无援，下令将他召回。建初三年又撤回了在伊吾（今哈密市西北）的屯田。班超离开疏勒时，举国震恐，都尉黎弁说：“汉朝人使者抛弃了我们，我们必定会重新被龟兹消灭。”接着就拔刀自杀了。班超到达于阗时，王侯以下的人都号啕大哭，抱住他的马腿不让走。班超本来就不愿无功而还，索性返回疏勒，利用汉朝的威望，运用灵活机智的策略，留在西域孤军奋斗，使依附匈奴的国越来越少，基本保持了天山南道的畅通。永元三年（91年），汉军进至金微山（今阿尔泰山），大破北匈奴，北单于逃亡，北匈奴从此西迁。西域都护府再次恢复，驻于它乾城（今新疆新和县西南大望库木旧城），辖境与西汉时大致相同，班超出任都护。10年后，年近70的班超自觉“老病衰困”，思乡心切，请求召回。永元十四年（102年）八月，这位在西域奋战了31年、为维护汉朝疆域立下奇功的英雄回到洛阳，一个月后就因病逝世。
班超回内地时，继任者任尚向他请教治理西域的经验，班超说：“在塞外的官吏和士兵本来就不是孝子顺孙，都是因为犯了罪才被押送来，或有过失才被调来。而本地民族与我们的习性不同，难以管理，容易闹事。你的性情太严过急，水清无大鱼，治理太严格了不能得到下级的拥护，应该放松简易，宽恕小过失，管住大事就行了。”任尚心中不以为然，认为班超“所言平平”，没有接受他的忠告，措置不当，激化了与各国的矛盾，受到各国攻击，永初元年（107年），都护府又不得不撤销，班超之子、军司马班勇与他的哥哥班雄奉命接应都护和驻西域的士兵返回。
汉朝的撤退使残留在阿尔泰山的北匈奴卷土重来，占领伊吾，寇掠河西。一些西域国再次寻求汉朝的庇护，大臣们认为应该关闭玉门关，放弃西域。执政的邓太后召见班勇，经过与大臣的激烈辩论，他恢复西域建置的建议被采纳。延光二年（123年），朝廷任班勇为西域长史，驻柳中（今鄯善县西南），长史府的职能与都护府相同。班勇击退匈奴的残余势力，使汉朝再次恢复了对西域的统治。但与西汉后期相比，汉朝对西域的控制有所削弱。由于乌孙已成为独立政权，葱岭（帕米尔高原）以西地区也脱离了汉朝的统治，汉朝的西北界退到了今天山山脉西段以南。东汉末年，汉朝已无力控制西域，长史府不复存在。
山水画鉴赏经过长期开拓，西汉的疆域向西扩展到了今巴尔喀什湖和帕米尔高原，东至朝鲜半岛中部，西南据有今云贵高原全部和缅甸的一部分，南边达到今越南中部，成为中国历史上疆域范围最大的王朝之一。尽管东汉的疆域比西汉时有所收缩，但经过秦和西汉的开发，边疆地区基本得到稳定。东汉以后，尽管中原王朝的疆域时有盈缩，内部时有分裂，但这一范围始终是中国的主体，说明它的形成符合历史发展的规律。
秦汉疆域的形成是春秋战国以来，各国、各族人民长期交往，经济、文化的交流日益密切的结果；是生产力发展，人们克服地理障碍的能力的加强，交通条件得到不断改善的结果；汉朝强大的军事实力和大力开拓的决策也是不可或缺的因素。汉朝的疆域构成了以后历代中原王朝疆域的主体，成为中国统一的地理基础，这绝不是偶然的。
不可否认，汉朝的开疆拓土主要是以武力征服为手段，以军事实力为后盾的。其中有一部分战争并没有正当的理由，完全可以称为侵略。例如，汉武帝对西南夷和西域的用兵毫无军事上的理由，更没有自卫的需要。关于第二次用兵西南夷、打通往身毒道路的目的，《史记·大宛列传》说得很清楚：一是可以用汉朝的财物换取大宛、大夏、安息等国的“奇物”；二是用金钱买通大月氏、康居等国，以便在军事上牵制匈奴；三是占据西南夷地区，扩大上千里的土地。将各种有不同风俗、操不同语言的民族纳入版图，满足自己“威德遍于四海”的欲望。只有其中的第二点是真正从军事角度考虑的，但却完全是纸上谈兵，想入非非。因为此前张骞第一次到达大月氏时，月氏国王因已占有大夏，土地肥饶，生活安定，不愿再报匈奴之仇了。从地理形势看，这样的设想也是绝对行不通的。攻西南夷的直接用意是通过今云贵高原进入身毒（印度），再从身毒往今阿富汗和中亚。结果是连通身毒都没有成功，更不用说通过身毒到达大月氏和康居了。其实武帝的真意是在第一、三两方面，所以在征西南夷没有达到目的以后，又发动了征大宛之战。
如果说对西南夷的战争还有借口可寻，那么征大宛则是赤裸裸的掠夺。事件的导火线虽是大宛杀了汉使，却是汉使强求大宛宝马（天马）不成辱骂对方而挑起的。而且汉朝的“使者”有不少人是“妄言无行之徒”，是谎报情况企图制造事端以便捞一把的，在西域的名声很差。武帝出兵的另一个原因是因为轻信了假报告，以为大宛不堪一击，所以要把这个美差赏给宠妃李夫人的弟弟李广利，以便他有机会封侯。岂料这支数万人的不义之师受到西域各国的抵抗，两年后只剩下十分之一二的人回到敦煌。武帝大怒，调集六万兵力及不少自愿从军的亡命之徒，十几万头牛马牲畜，由十多万人运送粮食补给，令李广利再次出兵，还派使臣守在玉门关，不获胜不许进关。即使如此，这支大军也未能攻入大宛国都的中城，只剩下万余人获得了千余匹“天马”的战利品进玉门关。这场历时四年、付出了十多万条性命和无数牲畜、粮食等惨重代价的战争，搞得国库空虚，天下骚动。
但历史却对正义和道德做了最大的嘲弄，正是这两场不光彩的战争导致了以后的西域都护府和西南数郡的设置，西域和西南同中原地区属于同一个政权就是这样开始的。要是武帝只满足于抵抗异族入侵，只满足于打击入侵者的有生力量而不乘机扩张，要是武帝真正崇尚正义，爱好和平，尊重其他民族，特别是落后民族的自决权的话，就不会有周边地区的归属，更不会有大汉帝国的极盛疆域。不过，历史也告诉我们另一种结果，要是中国没有汉武帝那样的皇帝的话，当汉武帝式的君主在境外出现时，中国就免不了当年西南夷诸族或大宛国的命运。
显然，我们只能把历史事件置于当时的条件下来认识，而不能用今天通行的国际关系准则和民族关系原则来评判两千多年前的历史。既然这是一个没有国与国之间、民族与民族之间普遍承认的法律和原则的时代，我们就只能根据哪一种制度、哪一种生产方式、哪一个政权、哪一个民族的胜利对当时和长远的发展更有利来作出评判了。所谓先进民族对落后民族的征服具有进步意义，正是针对这样的情况而言的。汉武帝和其他君主的贡献，就在于他们的行动促成了中国疆域和中华民族的逐步形成，使包括华夏（汉）族和其他少数民族在内的各个民族在总体上都得到了进步，而不是他们的个人品质或道德观念。
我们还应该注意到这样的事实，尽管汉朝的大军不止一次越过大漠，登燕然山，封狼居胥，深人中亚，但汉朝从来没有打算在蒙古高原设立政区，就是对西域都护府也只停留在军事监护，而不是设置郡县。对东瓯和闽越还采取了移民弃地的做法，将今浙江南部和整个福建的人口迁走，土地放弃。但另一方面，同样是新获得的土地，河西走廊先后设置了郡县，并且从此再也没有与汉朝分离；而西域却只能建都护府，并且“三通三绝”，这中间汉朝的大臣曾多次提出应该放弃西域，撤销都护府。
其实，原因并不复杂。任何一个民族、一个政权，都不可能将自己的统治完全建立在异族或其他政权的基础之上。在占据了其他民族或政权的地域以后，如果不能够派驻军事和行政人员，不能够实施最低限度的移民，就不可能达到长期占领并进而变为自己领土的目的。但军事和行政人员都需要粮食和物资的供应，如果不能就地生产，运输又非常困难，这样的地点至多只能临时占据，或者只能限于很少的军事据点。否则，政府会不堪负担，官员百姓都会反对。
垂钓《盐铁论》记录了西汉昭帝时一场激烈的争论，其中“文学”、“贤良”（各地推荐到朝廷的有学问、品德高尚的人）对汉武帝用兵匈奴和西域、在边疆设置新的郡县的批评就很说明问题：
边疆的郡县不是设在山上，就是处于谷中，气候不正常，天冷得土地都会冻裂，大风刮得飞沙走石，这样的地势实在没有什么可以利用的。现在离开中原去开拓边疆，扩大的都是寒冷的不毛之地，这等于是放着江河边上的好田不耕，却跑到山上或沼泽地去开垦。用粮仓中的储备和国库中的钱财供应边民，中原人加重了劳役，边民苦于守卫，辛勤耕种却收不到什么粮食，又不能种桑麻，连穿衣服都得靠内地的丝和絮棉。
秦朝用兵够多了，蒙恬扩大领土够远了，而现在已经超过了蒙恬的边塞，把郡县建到了异族那里去了。道路越来越远，百姓越来越辛苦。在朔方以西、长安以北设置新郡和修筑长城的耗费已经不计其数，但还远远不止这些：司马相如和唐蒙开通向西南夷的道路，巴、蜀的百姓不胜重负；横海将军征伐南越，楼船将军出兵东越，荆楚一带为征服瓯、骆而疲于奔命；左将进攻朝鲜，设临屯郡，燕、齐一带要承担对秽、貉的战争的沉重负担；张骞开通了遥远的地方，带回来的都是没有什么用的东西，倒把国库里的钱都流到外国去了。
张骞说大宛有汗血天马，安息有真玉的大鸟，皇帝听了他的话就出动大军攻伐大宛，经过很多年才打下来。行程万里去攻别的国家，还没有打仗人就死了一半，虽然征服大宛得到了宝马，也不是什么好办法。
他们的话自然不无夸大之处，但基本还是事实，也符合当时绝大多数人的真实想法。作为一个农业民族，决定一块地方是否适宜作为自己领土的基本条件，就看是否适合农业生产。在菊花完全依靠人力耕种的条件下，一定数量的人口只能耕种一定数量的耕地，在内地或近地还存在宜农荒地时，当然没有必要舍近求远，舍易就难。正因为如此，汉朝正式设置郡县并能稳定维持的疆域，大致就是当时适宜农业生产的范围。在这范围之外的疆域，如西域，更多的是考虑战略的需要。由于路途遥远，交通困难，本地又不能生产大量粮食，所以难以经常保持大批行政和军事人员，只能采用军事监护的特殊形式。一旦遇到外来的侵略和当地民族的反抗，朝廷又没有足够的人力物力可以支援，就只能放弃。
西汉后期设置郡县的范围约有四百余万平方公里，西域都护府的辖境约二百余万平方公里，奠定了历代中原王朝的基础。统一而辽阔的疆域有利于先进的物质文明和文化的传播，有利于地区开发和经济发展，增强了抵御外敌和维持社会安定的能力，也是多民族国家的形成和民族融合的决定性因素。