仁寿四年（604）七月，隋文帝逝世，其子隋炀帝继位。术士章仇太翼对炀帝说：“陛下是木命，国都长安（今陕西省西安市）地处雍州，是属于金的西部地区的要冲，金克木，不利，不可久居。民间流传着‘修治洛阳还晋家’的谶语，陛下以前是晋王，正好应验。”炀帝认为很有道理，便在十一月巡幸洛阳，下诏营建东京。然而这道诏令却披露了这样的情况：早在二十多年前，文帝刚刚建立隋朝，就萌动过创建东京的意图，只是由于条件限制，及身未能付诸实践。那么，炀帝营建东京，实际上不过是在完成先父的遗愿。
文帝杨坚祖籍弘农郡华阴县（今陕西省华阴县），汉族，祖上几代自北魏时起担任过地方或中央的军政职务。北魏分裂为东魏、西魏，又嬗变为北齐、北周，分别以邺城（今河北省临漳县）和长安为都城，在北方处于东西对峙状态，与南朝并存。北周建德六年（577），周武帝灭掉北齐，统一了北方。杨坚时任大将军，率军作战，立有军功。第二年，武帝逝世，周宣帝继位。为了加强对新征服区的控制，大成元年（579），宣帝巡幸洛阳，下诏以洛阳为东京，设置六府官，征发关东诸州兵士修治洛阳宫。以前被北齐迁至邺城的熹平石经和三体石经，这时由北周重新运回洛阳。宣帝还诏令河阳、幽州、相州、豫州、亳州、青州、徐州七总管，一律接受东京六府的管辖。
大象二年（580）五月，宣帝死。周静帝只有八岁，不能亲理政事。杨坚作为宣帝的岳父，被拜为左大丞相，假黄钺，统领百官，处理朝政。国丧期间，大赦天下，洛阳宫的修建活动停了下来。不久，相州（治所在今河北省临漳县）总管尉迟迥为防止杨坚篡夺北周政权，发动了武装斗争，山东、湖北起而响应。在镇压叛乱的过程中，杨坚以长子杨勇为洛州总管、东京小冢宰，统领北齐故地。
开皇元年（581），隋文帝终于建隋代周。他作为关陇军事贵族的代表，依然把都城设置在关中地区。长安故城自西汉建都以来，已经经历八百年，屡经战乱，破坏很大，而且规模狭小，井水咸涩，不宜居住。文帝于是在其东南修建了新都大兴城，仍称长安。杨勇被立为太子，召回京师，镇守洛阳的任务由杨勇的岳父少冢宰元孝矩替代。东京官因而废除，依然称为洛阳，降为一般性城市。
开皇二年（582），文帝总结出北周同姓诸王微弱而亡国的历史教训，决定由自己的几个儿子分别据守各地区的重镇，代表中央在当地行使统治。于是，他在洛阳设置河南道行台，以第三子秦王杨俊为该行台尚书令兼洛州刺史，统领关东兵；次子晋王杨广为河北道行台（治并州，今山西省太原市）尚书令；四子蜀王杨秀为西南道行台（治益州，今四川省成都市）尚书令。这几个王都还是十余岁的少年，不足以分临方面，文帝因而选拔一些精明能干的官员充当他们的僚佐。这几个地点中，洛阳由于其重要的地理位置和传统的都城地位，所受到的重视程度远在其余几处之上。开皇四年（584），关中遭灾，文帝来洛阳，度过了青黄不接的冬春两季。开皇六年（586），他派太子杨勇镇守洛阳，把杨俊换到山南道行台（治襄州，今湖北省襄樊市）任尚书令，后来又把杨广调到淮南行台（治寿春，今安徽省寿县）任尚书令。这样部署，目的在于平定江南，统一中国，因而开皇九年（589）灭陈后，杨广撤回，淮南行台予以废除。
开皇十四年（594）关中大旱，文帝率领百官和民众又来洛阳就食。文帝北登邙山，陈朝亡国君主陈叔宝偕从侍宴。酒酣耳热之际，陈叔宝眺望四周，赋诗歌颂道：“日月光天德，山河壮帝居。”
炀帝杨广是通过夺嫡当上太子并进而当上皇帝的，这引起了他的小弟汉王杨谅的极度不满。杨谅以并州总管的身份驻守太原，统辖着崤山（在今河南省陕县）以东黄河以北52州之地，遂于炀帝登基之际发动武装叛乱。在平定叛乱的过程中，炀帝看到上述山东地区战火弥漫，很多州县不复由国家控制，而京师僻处关中，鞭长莫及；并州降户迁至河南，国家需要像周迁殷人那样，在当地设立据点，加以监督；特别是平定江南后，统治区扩大到岭南一带，长安作为唯一的都城，已经不再适应形势的需要了。炀帝认为洛阳自古以来便多次作为帝都，三河（黄河、洛河、伊河）环带，四塞坚固，水陆线路，四通八达，远近均衡，是最理想的建都处所。西汉高祖刘邦曾感叹自己到过很多地方，只发现洛阳最好。尽管如此，古代一些帝王却未能建都于洛阳，无非或由于国家分裂，或由于经费不足。而现在条件已经具备，应该营建东京。这样，炀帝就在关陇军事贵族把长安作为全国政治、军事中心的前提下，要把洛阳经营成东方的政治、军事中心，以加强对关东地区的控制。为了确保洛阳的安全，炀帝这次巡幸洛阳，还下令征调数十万丁男开掘长堑。这道长堑从蒲州龙门县（今山西省河津县）经长平郡（治今山西省晋城县）东北，东接汲郡（治今河南省浚县西），从临清关（在今河南省新乡县）南跨黄河，经过浚仪（今河南省开封市）、襄城郡（治今河南省汝州市），抵达上洛郡（治今陕西省商县）。沿着长堑，遍设关防。这样，环绕着洛阳，出现了一道人工屏障，形成拱卫态势，弥补了自然条件的不足。
大业元年（605）三月，炀帝诏令尚书令杨素、纳言杨达和将作大匠宇文恺负责营建东京。宇文恺是杰出的建筑师和工程师，担任具体的规划、组织工作。由于洛阳汉魏故城屡遭战乱破坏，新城址确定在其西18里洛河、伊河汇合地带。每月役使民工筑城多达二百万人。江南的奇材异石源源不断地运至洛阳。运输极其艰辛。宫殿所用的大梁巨柱，须从豫章郡（治今江西省南昌市）采集大树，运来加工。一棵大树两千人才能拖得动，如果用木轮车运送，便会摩擦起火，改用铁轮车，运一二里铁轮便坏，只好由数百人尾随，专门供应铁轮，因而一天不过运送二三十里。一棵大树运到洛阳，不算沿途食宿费用和铁轮车成本，仅脚力一项，即花费数十万工。民工劳累不堪，一半人累死在运输途中。大业二年（606）正月，东京建成。这座规模宏伟的都市，周围五十多里，由宫城、皇城、外郭城三部分组成。宫城是宫殿所在地，在都城的西北角。皇城是中央衙署的所在地，北接宫城，南临洛河。外郭城的主要成分是里坊，分布在洛河南北两边，是居民区。每坊约一里见方，故称为里坊或里，共有132坊。此外，外郭城还有含嘉仓城、三个市场、苑囿等等。为了充实人口，附近居民以及天下富商、工艺户数万家，都奉诏安置到城内居住。四月，炀帝举行了类似后代落成典礼的仪式。他从江都（今江苏省扬州市）返回，到伊阙（龙门）后由仪仗队簇拥，自己乘坐六匹骏马驾引的法驾，百官千乘万骑，鱼贯随从，浩浩荡荡进入城中。然后，炀帝站在皇城南面的端门门楼上，向普天下宣布大赦，免除百姓当年的租赋。宇文恺因筑城有功，进位为开府仪同三司。
大业五年（609）正月，东京改称为东都。