此时的王夫之希望自己能像匣中之刀，化作风雨中的长鸣。他哀叹国家之大，却没有像西汉李广那样的飞将出现，因而至今无人北征，使广阔的土地变得更加烟草迷离，荒凉遍野。面对星河西下的夜空，王夫之思绪万千，披衣长叹：“国忧”至今还没有解除，我用什么来慰藉自己的平生呢？

哀哉！清光拂剑碧天秋，情寄一杯浊酒。

然而，末世的动**与威胁，从未给王夫之带来生命的平静。王夫之在肇庆看到的小朝廷同明王朝那些昏聩的皇帝一样糜烂腐败，他心里不由得一阵阵悲凉，一阵阵幻灭。孙可望把持永历朝政之后，将军李定国曾击败清兵，收复衡阳。他想再邀王夫之出山，以挽南明残局。而此时的王夫之，泪已干，心也冷，他婉言谢绝。于续梦庵隐居两年后，再避难于姜耶山。这里，漫山多为野姜。他就像一个浪人，自命姜翁，以野姜充饥。此后，他再度隐姓埋名，化身为一介瑶民，于兵匪浩劫中逃过一命。

王夫之是多么想要倾诉，想要表达，可环顾周遭，何人可诉衷肠？日日陪伴他的，只有老庄、孔孟、程朱，只有《尚书》《春秋》《周易》，只有文明与历史的千百年演绎。兵荒马乱之际，王夫之得到母亲病重的消息，只得离开，赶回家去。一路上，他几次险些被乱兵杀死。途经永福县洛清江上游时，曾幽困于水寨，“卧而绝食者四日”。山路崎岖，泥泞难行，等他赶到家里，母亲早已经离开人世。

这一年是1651年，33岁的王夫之回到家乡。此时国势衰微，王夫之心怀悒郁，四处流亡避居。在这段流亡的日子里，王夫之与隐居在祁、邵之鲤鱼山旁白云庵的明朝旧臣刘惟赞相距不远，时有往来。王夫之这段日子辗转流徙，四处隐藏，最后定居于衡阳金兰乡高节里，他先住茱萸塘败叶庐，继筑观生居，又于湘水西岸建湘西草堂。

1656年，37岁的王夫之终于在耒阳乡下的兴宁寺里找到一张安静的书桌，潜心研索《周易》和《老子》。他的《周易外传》《老子衍》正是这段时间的心得。王夫之在《周易外传》中，借《周易·系辞》关于“形而上者谓之道，形而下者谓之器”的命题，提出了“天下唯器而已矣”“无其器则无其道”的观点。他在《老子衍》的自序中说，对于老子及诸家注释，他要“入其垒，袭其辎，暴其恃，而见其瑕”。也就是说要深入到老子及诸家的内部，像夺取敌人的辎重一样，获得它有用的资料，暴露其根据的虚伪性，指出它的瑕疵。他毫不客气地指出老子哲学的三大缺点：

天下之言道者，激俗而故反之，则不公；偶见而乐持之，则不经；凿慧而数扬之，则不祥。三者之失，老子兼之矣。

王夫之认为，老子哲学的第一个缺点是片面性，老子为了反对世俗见解，矫枉过正，以片面性对片面性（“激俗而故反之”），所以“不公”；老子对真理偶有所见，而洋洋得意，所以“不经”；老子把他的哲学过分地穿凿宣扬，给社会带来不幸的后果，所以“不祥”。

五年之后，他重回金兰乡，筑败叶庐，以读书隐居。在这里，他以为可以找到余生的安宁，哪知道，造化还在弄人。次年，妻子郑氏溘然病逝，经历了太多的死别生离，他老泪纵横，默默地承受了这一切。

继《老子衍》之后，王夫之手不释卷，笔耕不辍。哪怕饥寒交迫，哪怕生死当前，都不曾有一日改变。他相信历史终将回望，也相信在那千年回望里定能看见这未绝的薪火。深沉的忧伤，让刚过不惑之年的王夫之早早地出现了白发，他在《迎秋八首》里慨叹：“青山秋缓缓，白发鬓匆匆。”