虽然要迁都洛阳，但是实行起来阻力很大。北魏政权的政治统治集团上层的鲜卑贵族，按其态度和倾向分为不同的派别，大致有三派：一派是改革派，以北魏孝文帝及宗室领袖无澄为代表。他们大多从小受到过比较正统的汉文化教育，汉化程度深，迁都和改革的态度坚决。另一派是守旧派，主要代表人物是以太子拓跋恂为首的北魏宗室和功臣元勋之后。他们手握军政大权，害怕北魏孝文帝迁都洛阳以文治代替武治，动摇他们这些武将功臣已获得的军政大权。加之他们已经习惯了平城的气候和生活，不愿南迁。他们还担心南迁洛阳会影响到他们在代北拥有的广大田产。因此他们坚决反对迁都洛阳。第三派是处于改革和保守两派之间的中间派，这一派“乐迁之与恋旧，唯中半耳”，是鲜卑开明分子，但是也反对改革旧的风俗习惯，认为保留旧风并不阻碍与汉族的融合。这部分人是可以争取的。他们“不唱异，即是同”[13]。

面对巨大的阻力，机智、聪慧的北魏孝文帝采取了以南伐齐促南迁定都洛阳的策略。太和十七年（493）八月，北魏孝文帝，以伐齐名义亲率骑百万余人南下，当南伐大军到洛阳后，恰逢阴雨连绵，道路泥泞不堪。北魏孝文帝不顾阴雨，命令大军继续南进，并亲自披挂，执鞭骑马前行。贵族大臣不愿南进，纷纷叩首马前请停南伐，北魏孝文帝乘机提出迁都计划。得到了南安王拓跋桢、任城王拓跋澄等一部分鲜卑贵族的支持。最终正式确定迁都洛阳。

迁都事宜确定之后，北魏孝文帝暂归平城指挥大政。为了顺利迁都，北魏孝文帝做了许多准备工作。他下诏命司空穆亮与尚书李冲，将作大匠董爵营建洛京。北魏孝文帝还派宗室领袖元澄先行返回平城，利用其威望“谕留司百官以迁都之事”[14]。留在平城的鲜卑贵族刚听到迁都消息时，“莫不惊骇”，元澄援引古今，“徐以晓之”，很快稳定了平城的局势。受魏孝文帝的谕示，宗室贵族安定王元休派人将家眷从平城接到洛阳，给宗室树立了榜样。经过这些准备工作，北魏孝文帝于太和十八年（494）二月，正式发布迁都令，并亲自回到平城安排相关事宜。他在太平殿向鲜卑贵族阐述迁都大略，为改革做解释。为了安定边境人心，他还北巡边镇，安抚六镇及留在代北之人。太和十八年（494）十月，北魏孝文帝迁离平城宫，十一月迁抵洛阳。为了防范柔然的威胁和安抚六镇边民，王室、六宫及部分文武官僚仍然继续留在平城，处理一些善后的工作。

北魏建好的洛阳城位于洛阳市白马寺东，洛水北岸邙山南麓，都城东西长20里（1里等于500米），南北宽15里。太和十九年（495）九月北魏六宫及文武尽迁洛阳。

迁都洛阳后，为了安抚人心，争取更多的代北人士支持改革，北魏孝文帝允许部分鲜卑旧臣避寒而南来洛阳，望暖而北还平城。对于中原百姓，北魏孝文帝也注意抚慰、拉拢他们。他先后七次发布诏令赐爵赐粟帛给高年孤寡百姓，还下令给中原百姓减免田租。在政治上，对留在平城的旧臣抚慰的同时，北魏孝文帝努力拉拢一些中原人士进入北魏政权，扩大统治基础。他下诏中原各州郡“诸有士庶经行修敏、文思遒逸，才长吏治、堪干政事者”[15]入洛阳。通过征召，中原地主阶级中的一些精华人才如李彪、高道悦、崔亮等人大量进入北魏政治舞台。通过这些措施，魏教帝稳定了政局，安抚了人心，有利于改革进一步推进。

为了使北魏王朝能够长治久安，更好地学习汉族先进的文化，在汉文化熏陶下长大的北魏孝文帝下决心大刀阔斧地改革旧俗，深入推行汉化政策，加快民族融合。北魏孝文帝从太和十八年至二十年（494—496）推行了六项比较彻底的汉化措施。包括：改穿汉服，改说汉话，定南迁代人籍贯，定度量，胡汉通婚，改姓氏，定姓族，改官制，改礼制等。