到香港后，语罕才知道张发奎已离开香港赴广州，后来张发奎虽派了代表来谈，也毫无结果。睡了一夜，语罕所有在路上得的毛病——泻肚和发热——都好了。
第二天早饭后，中央委员、中共广东省委组织部长阮啸先就来找语罕：“军委要你到我们的机关去住。此地不妥当。”【注释1】
语罕他们离开南京旅社不到一刻钟，主持广东军政的李济深的侦探长就去旅社找语罕。原来，南昌起义兵败，香港当局为防贺龙叶挺余军到港，侦缉极严。
在国民党二大时，语罕与李济深见面的机会很多，有一次经汪精卫介绍与李济深深谈。四一二政变之后，李济深在广州负责清党，语罕的儿子高保玖在黄埔读书，被逮捕下狱，受刑太甚。直到陈铭枢作广东省主席，才把高保玖放出来。【注释2】
语罕住到军委招待所，可巧碰见黄平。黄平原是北京苏俄大使馆的一个工人，俄语说得很好，加入共产党后，在工人运动中很活跃。语罕在广州时，黄平曾请语罕对广州工会作了一次讲演，并自任粤语翻译。黄平请语罕到德辅道尽头一家叫“紫罗兰”的小馆子吃了个饱。
这时，身患疟疾、高烧不退的周恩来在叶挺、聂荣臻的护送下，也从陆丰转移到香港养病。养了半个多月的病，周恩来随后在香港召开一连串的会议，还与广东省委书记张太雷等一起研究起义计划。
语罕在香港无事，常常一个人在马路上逛来逛去。有时到闹市里，有时也去浏览百货，但是荷包里空空如也。面对漠漠的大海，语罕叹息：“香港虽然是南国的风味，却已是深秋的时候了！天气也渐渐地凉上来了！早晚已觉得枕边席上不够温暖了！我现在成了世界上的孤零之人了！在这茫茫的人海里：谁知我的心情而加以体贴呢？谁能给我以安慰呢？我的老母亲在大淮之滨，我的丽立也远在黄埔滩头，看海鸥冲烟破浪飞来飞去多自由，念人生：何事劳劳，海波万里使人愁。”【注释3】
走到一个书店，腰里还有一二十块钱，语罕便买了一部曾国藩的案牍带回去读。这部书是他在前清末年小的时候就读过了的，现在再读时，更觉有趣。
读完书，语罕想，最好找一个僻静的地方去读书，就是庙里也好。关起门来，再读十年书。但是军委招待所人很多，不容他沉静地去思索，只有跑到马路上去，一个人且踱且想。一天他偶然碰见了张太雷的夫人、上海平民女校的学生王一知。
王一知把语罕带到她家里去，又会见许多熟人，男的女的都有。这些女子当中，大半都是上海大学和上海平民女校的学生。有一个学生知道语罕同史叔隐很好，告诉他：“叔隐现在任广州市卫生局长，你写封信，我给转过去，一定会寄钱过来。”
语罕任第四军秘书长时，史叔隐已回国，适在武昌中山大学任教授，语罕遂推荐他任第四军司令部军医处长。史叔隐一直随第四军到广州，改任广州市卫生局长。这时史叔隐本应迅速脱身，但妄想混下去，因此自然不敢和语罕通信，更不敢寄钱。但是不久，史叔隐便被第11军军长兼广州市市长朱晖日枪毙了。
一天，语罕正在街上闲逛的时候，一个人猛地和他打招呼，面貌很熟。
那人怕语罕记不得了，遂自己介绍：“我和匏安是弟兄！我们在广州中央党部时常见面，你记不得了吧？”
原来杨匏安住在澳门海边，很僻静，风景又好。语罕思忖了半天：是即回上海，还是先到澳门住一住？到上海去住，经济上或许容易想办法。但此时正在浪头上，尤其是从香港到上海，很危险。恐怕一到上海，就有被捕的可能。
想来想去，最后语罕还是决定到澳门暂住，遂把自己的意思告诉了军委。征得军委同意后，语罕即写信通知杨匏安。
第二天军委给了一百元川资，语罕即托军委的“交通”帮助购置了毛毯、换洗的衣服和几本书。第三天早上大约七点钟，“交通”就领着语罕坐黄包车到了轮船码头，买了一张头等舱票，坐船到了澳门。
