四皇子勾起了隆安帝久远的记忆。
隆安帝当年只是一个普通皇子，非嫡非长，虽然出色，但没有外家支持，比起其他皇子来，势力差了许多。
本来，他很难有机会斗得过其他兄弟，但临安王嫡女看上了他，而临安王野心勃勃，也觉得一个没有外家支持的皇子，比那些外家实力雄厚的皇子更好控制，便同意了婚事。
隆安帝当时便知道临安王的野心，但他以为，临安王顶多是想做个权倾朝野的异姓王，故而娶了徐氏。
他与徐氏也曾恩爱过。
徐氏还为他生下了嫡长子。
他的嫡长子陆祁佑，实在是一个很出色的孩子，这个孩子，也让隆安帝的父皇建成帝在选择储君的时候，更加倾向于隆安帝。
隆安帝成为了储君。
建成帝驾崩之前，要求隆安帝防备临安王、削弱临安王，无论如何，不能让临安王压在皇族头上。
隆安帝继位后，一时间，无法奈何临安王，只能徐徐图之，封了徐氏为皇后，陆祁佑为储君。
说真的，无论是三皇子，还是他本身就很宠爱的六皇子，比起陆祁佑，都逊色许多。
陆祁佑，是一个合格的储君，若陆祁佑在，那他也不必费心培养其他儿子了。
只可惜，陆祁佑的外家乃是野心勃勃的异姓郡王临安王，非但拥兵自重，藐视皇权，甚至还悄然安排人，做下巫蛊案，意图诅咒隆安帝。
隆安帝当时甚是宠爱杨楚璎，徐皇后因爱不得生恨，觉得隆安帝在位，不如儿子继位对她有利，配合临安王做下此事。
隆安帝已经知道，但却装作不知――当时他手上力量，还不足以和临安王叫板，只能装作没发现，而后一点一点积攒力量的同时，削弱临安王势力。
至于徐皇后和陆祁佑，他也开始防备。
又过三年，临安王在察觉隆安帝打算削弱临安王的兵权之后，还妄图刺杀隆安帝，让陆祁佑上位称帝。
隆安帝受伤颇重。
他本是在等待时机、以最小代价解决临安王这个隐患，被刺杀后，矛盾激化，双方已经无法再维持原先的表面和平，隆安帝将计就计，他装作受伤昏迷模样，暗里却布下陷阱，在临安王耀武扬威觉得他命不久矣时候，一举拿下临安王。
虽然拿下了临安王，但是当时朝廷方面，也是损失惨重。
徐皇后最终以巫蛊案被废，自尽身亡。
临安王残部闹腾不休，很是让隆安帝头疼几年，他们还联系了陆祁佑，求的陆祁佑庇护的同时，还挑唆陆祁佑，早日自立为王。
陆祁佑虽然没有答应，可是却也听进了那些人的话，觉得隆安帝可能会废掉他，与隆安帝日渐离心。