临皋亭的对岸就是樊山。
三国时，东吴孙权曾在这里修建过避暑行宫。赤壁之战时，周瑜的水军就从此经过，到黄州南岸的樊口与刘备会合，一起迎战舳舻千里的曹操大军。
中国人酷爱三国，苏轼也不例外。他居于黄州，时常会泛舟渡江，漂至彼岸的武昌樊山，去打上几尾鲜鱼，一边尝着“东坡鱼”，一边怀古叹今，遥想三国时的风流人物。
元丰五年（1082）七月十六日，苏轼的故友杨世昌从四川赶来看望他。二人一起驾船泛舟，不知不觉，游于赤壁之下，他们一边饮酒对酌，一边吟诵词章，兴起之时，苏轼扣弦唱歌，杨世昌则顺势吹起箫来，余音袅袅，不绝如缕，叫人听了哀哀落泪。
苏轼愀然，正襟危坐，问：“箫声何以如此哀怨？”
杨世昌说：“‘月明星稀，乌鹊南飞’此非曹孟德之诗乎？当年曹操破荆州，下江陵，顺流而东，酾酒临江，横槊赋诗，那是何等的英雄，可如今又身在何处？今天你我渔樵于江渚之上，就像蜉蝣置身于天地之间，像沧海中的一粒粟米，太渺小了！在浩瀚的历史长河中，不论是曹操还是你我，都不过是一个须臾短暂的插曲罢了，所以我真的很羡慕长江，永远没有穷尽。如果可以，我也想得道飞仙，和明月一样长存于世间。但我知道这是不可能的，只能把遗憾寄托在这悲风之中。”
苏轼笑说：“你羡慕长江和明月，可时间的流逝就像江水，并没有真正逝去，而是像月一般时圆时缺，终究没有增减。所以，如果你觉得事物易变，那么天地间万事万物时刻都在变动；如果你觉得事物不变，那么万事万物又都是永恒的。大家其实都一样，又有什么可羡慕的？何况天地之间，万物各有主宰，若不是自己应该拥有的，即使分毫也不应去求取。只有江上清风、山间明月，耳闻便成了声音，入眼便绘出了形色，取之不尽，用之不竭，是大自然恩赐的宝藏，我和你都可以共同享受。”
杨世昌是道士，渴望得道成仙。他看到如曹操那样的一世枭雄，在岁月的洗刷下也依旧成了历史的尘埃，便忍不住哀吾生之须臾，羡长江之无穷，感叹为何人就不能够长生。
但苏轼却告诉他，与其天天想着长生，倒不如好好地活在当下，快乐的一天要比平淡的一年来得更弥足珍贵。只要愿意，不论是江上的清风，还是山间的明月，都可以成为我们快乐的源泉。
我们都知道这篇文叫《赤壁赋》，但其实还有一篇《后赤壁赋》。三个月过后，他们再度游览赤壁，友人捕鱼来吃，苏轼便从家里取来了珍藏的美酒，喝到上头，就一起同登赤壁矶。
苏轼攀岩而上，站在一处险坡，把友人吓得够呛，但他却临危不惧，对着面前的波涛长啸，仿佛是希冀用吼声来将这些日子隐藏的委屈都发泄出来一样。
等到苏轼喊完，被深夜的江风一吹，酒醒了。好吧，现在看着脚下的万丈波涛，终是有些怕了，这才和友人匆匆地回到船上。
他们也不划船，而是任由船只在江面漂泊。
这时，迎面飞来一只白鹤，与他们的船擦身而过。
那晚，苏轼回到家里，倒头便睡。
在梦中，他看到了一名道士，穿着羽毛编织的衣裳，轻快地走过临皋亭，还向他拱手作揖，说：“赤壁之游乐否？”
苏轼问他的姓名，他却低头不答。
过了一会儿，苏轼恍然一拍额头。
哦，对，我知道你是谁了，你不就是晚上边飞边叫着从我这里经过的鹤吗！
道士听了哈哈大笑，摇身而去。
苏轼登时惊醒，一骨碌翻起身，开门一看，却什么人都没有。
这故事听来颇为奇幻，却被苏轼记载于《后赤壁赋》中，后人就干脆说，这白鹤代指的就是杨世昌。其实在苏轼的笔下，他总会幻化出一些仙侠风格的浪漫，就连他的侄孙苏籀都说他：“子瞻诸文皆有奇气。至《赤壁赋》，仿佛屈原、宋玉之作，汉唐诸公皆莫及也。”
苏轼在黄州还有一则奇幻传言，说他刚刚来黄州时，就有个白衣秀才以“赤壁”为题，向他求取诗词。
