李清照仅被收押九天就被放出来了，秦会之夫妇也没告诉她实情，她只以为是赵明诚生前的好友綦崇礼帮的忙，还特意前去感谢一番。
绍兴二年八月，秦会之受同为宰相的朱胜飞弹劾，赵构遂找了借口罢免秦会之的相位，任用他为观文殿学士，仅出入侍从备顾问，并无实权，不久又被派去做温州知州。
温州距离宋的首都杭州很近，王季然确很喜欢这里的生活，这处地方集山、江、河、湖、泉之大成，景色美妙，她便时常出去游玩散心，秦会之却抑郁不得志，日日夜夜都想着复官，王季然就强逼他跟着自己去游山玩水，一段时间过后，她一扫往日阴郁，整天眉开眼笑，秦会之的眉头也渐渐舒展。
于他而言，她已经渐渐成为他的一个部分，见她开心，他也畅快起来，只是内心仍存着不平，他不想偏安一隅，而王季然已经开始打起了其他算盘。
之前他们夫妇一直没有自己的孩子，早就想收养一个，受战争影响，这件事才被搁置下来，现在重新有了闲暇时刻，她便想从亲戚朋友那儿领一个孩子养在膝下，正巧打着瞌睡遇到枕头，她的大哥王远刚把外室生的儿子认回来了，想送到温州，记在他夫妇名下。
多年无子，秦会之也习惯了，金营生活的嗟磨使他的内心渐渐变得冰冷麻木，听到这个消息，他的心里并无多大喜意，但见她开心，他也笑着点头，登时让人把秦熺接过来。
秦熺已经十七岁了，倒是知书达理、文质彬彬，到温州后也是日日请安，从不懈怠，王季然却始终与他亲近不起来。
“良人，我给你纳个妾吧。”王季然沉默许久后终于说出这句话，彼时秦会之在看书，闻言用见鬼的眼神看她，她叹气，说道：“从前我只心想着独占你，但现在越大才越明白，你若想走，若想挣扎，我拦不住你。”
“阿婆在世时一直想抱上你的儿子，那么多年过去了，心愿始终无法达成，我也不想看你断了香火，我已经从行老那儿领了一个漂亮娘子，你若是看得上，就收进房里吧。”
他放下书本，朝她招招手，说道：“你过来。”
她走过去，他让她坐到对面，认认真真地端量她好久，又不言语，转身从架子上拿了两幅画，放在书案上，慢慢打开，说道：“这是你当年还未嫁给某时的画像，当年我挂在书房，四哥帮某收好了，前几日刚带过来。”
第一幅画中少女站在梅花树下，指间轻拈花瓣，笑意盈盈，比娇花更美，另一幅的她趴在树干上，笑容天真，看着看着，她掉下泪来，道：“好多年了。”
“这也是你。”他又找了一幅画，打开，画中是她刚回到杭州，坐在船头流泪的情景，画中人长相没什么变化，只是行举姿态多了几分柔弱，王季然捂脸痛哭，被捂住的眼里分明带着郁色。
秦会之搂她入怀中，沉声道：“不是说要霸占某一辈子吗？怎么妥协了？”