自元丰三年（1080），苏轼被谪黄州不久，宋神宗就在琢磨着如何把他召回来。
彼时王安石去位，变法的大旗由宋神宗本人亲自接过，起用的人都是蔡确、王珪这样的逢迎之辈。在他们的操刀下，宋朝的官职体系进行了一次大规模的手术，史称“元丰改制”。
宋神宗为了提高行政效率，做了一个违背祖宗的决定。他采用唐代的三省制，即中书省草旨、门下省审核、尚书省执行，不过宋神宗也怕相权过大，就把侍中、中书令、尚书令这三个首席长官空置，以尚书省左仆射兼门下侍郎、右仆射兼中书侍郎为正宰相，再另设门下侍郎、中书侍郎、尚书左右丞为副宰相。
元丰四年（1081），新官制逐步落实，宋神宗志得意满，希望可以调和新旧两党之间的矛盾，打算召回司马光、苏轼等旧党人士。
比如，在商讨新官职时，宋神宗就把御史中丞留给司马光，把中书舍人、翰林学士留给苏轼，并且在朝议时公开表示：“此诸人虽前此立朝议论不同，然各行其所学，皆是忠于朝廷也，安可尽废？”
当时的宰相是蔡确、王珪之流。尤其蔡确是一个油滑的政客，早年间依附王安石加入新党，在王安石失势后，吴充等人欲趁机废掉新法，但蔡确横插一手，以“萧规曹随”的典故，使得宋神宗在元丰年间继续坚持变法。
蔡确虽是王珪举荐的，但他是个精明的阴谋家，善于揣摩皇帝的心思，所以在元丰年，他的声势很快盖过王珪，成了皇帝之下第一人。而以他恋权的脾性，又怎可能眼睁睁看着司马光等旧党起复，然后夺取他现在所拥有的一切？
为了阻止司马光的归来，蔡确心生一计。他知道宋神宗的梦想是灭掉西夏，而司马光又是坚决反对战争的，于是便授意党羽上《平西夏策》，鼓动皇帝发兵西夏。这样一来，司马光肯定拒不入朝，起复一事遂不了了之。
元丰四年（1081），朝廷议修国史，宋神宗想着司马光暂时不能召回来，那让苏轼回来总是行的吧？于是打算让苏轼当著作郎。此时，宰相王珪面露难色，宋神宗心知苏轼和王珪有隙，现在他还用得上王珪，不好意思扫了对方面子，就改用曾巩。不过曾巩很快就在元丰六年（1083）去世。
到了元丰五年（1082），宋军与西夏作战失利，宋神宗焦头烂额，忙着处理战败事宜，召回苏轼的计划就被搁置了。而后新官制颁行，神宗才想借此机会起用苏轼，但依然被大臣阻止，没能成功。
因王珪阻挠，苏轼的起复一拖再拖。直至元丰七年（1084）春，宋神宗懒得再和他商量，干脆自行其是，以皇帝手札下达恩典，着苏轼量移汝州，官职仍是团练副使，不得签书公事，但总归是挪窝了。
元丰七年（1084）三月，皇帝的特赦令抵达黄州。按照规矩，苏轼得上表谢恩，而这次的《谢量移汝州表》又不出意料地被有心人挑了毛病。
据说，谢表呈达御前，皇帝读后，对侍臣道：“苏轼真乃奇才！”
但有人趁机挑拨：“观轼表中，犹有怨望之语。”
皇帝愕然，问：“怎么讲？”
那人说：“观轼表中，有‘兄弟并列于贤科’与‘惊魂未定，梦游缧绁之中’之语，是说苏家兄弟皆前应直言极谏科，现在又因诗词被贬，那言外之意，是不承认自己有罪，毫无悔过之意。”
皇帝怔了一会儿，才说道：“朕已灼知苏轼衷心，实无他肠也。”
言者语塞，无言以对。
从这里可以看出，宋神宗私心里还是偏爱苏轼的。只是身为皇帝，有太多事情不能自主，为了变法大业，他只好忍痛将苏轼贬谪黄州，而这并非他的本意。
但无论如何，现在有了皇帝的恩旨，苏轼总算可以离开黄州了。
苏轼离去的那天，黄州大大小小的军民百姓皆设宴相送。
大家都心知肚明，苏轼这一走，恐怕此生都不会回到黄州了，于是一个个都赶紧向苏轼乞诗求字，而苏轼并不是那种惜墨如金的文人，遇到向他求诗的人，一向是来者不拒。
但唯独一人，他始终没有题过诗。
那就是黄州的官伎李琪。
