然而，这无疑是当面羞辱源义朝，令他难以忍受。他当然不敢对幸子发泄怒火，因为他明白此事错不在幸子，而在天皇的不识时务，未能认清权臣的势力。他暗自握紧拳头，目光如炬地盯着后白河，眼中杀意尽显。
一旁的赵桓饶有兴致地目睹这一切，捕捉到源义朝表情的变化，便添油加醋道：“幸子所言极是，在我们大宋，若有人如此不敬君王，那可是重罪，抗旨不遵者，必遭斩首。”
几句话说得源义朝面红耳赤，惶恐不安地连声解释。赵桓却摆手笑道：“在大和国，我们的天皇最为仁慈，性格温和，即便有人指着他的鼻子骂，他多半也不会有何反应。所以，你大可放心行事，天底下除了老天，就数你最大。”
源义朝听罢，哑口无言，不知赵桓是在讥讽他还是夸赞他，话语中褒贬兼具。
后白河天皇却听出了赵桓话中支持他的意味，心中大喜，昂首对源义朝说道：“没错，此事已定，无需再议。”
源义朝猛然转头，冷声质问后白河：“为何藤原道则的话你言听计从，而我的话你却置若罔闻？”
他所提及的藤原道则，又名新西，乃天皇最为信赖的皇室顾问，同时也是源义朝的主要竞争对手。两人多年来在朝堂上针锋相对，皆欲将对方扳倒。
源义朝私下得知，自己的人事任免提议被天皇拖延乃至欲直接驳回，正是这位皇室顾问新西在暗中作梗。他告诫后白河，不应凡事顺从权臣，该拒绝时须坚决说“不”。
他原本就憋了一肚子火，现在更是直接被天皇当着大宋爵爷的面否定，怒气更是无处发泄，差点当场翻脸讨个说法。
天皇刚才得到了幸子和赵桓话语的鼓舞，顿时腰板挺直，胆气也壮了起来。面对源义朝的质问，他毫不客气地回击道：“我是天皇，采纳谁的意见，不采纳谁的意见，似乎可以自己做主，无需征求你的意见。我认为他的话有道理，自然采纳；
认为你的提议无理，自然不采纳，这有何不妥？如果你们说什么我都得听，不能有自己的意见和决定，那我当天皇有何意义？不如你来当好了。”
这句话分量极重，若在大宋，皇帝如此一说，大臣们会吓得屁滚尿流，跪地磕头，因为这已是皇帝极为严厉的敲打。
然而在大和国，权臣与天皇势均力敌，抗衡多年，权臣早已养成一股天下第一的霸气，天皇根本不放在眼里。
如今若天皇能和气相待，双方尚可商议；若硬碰硬，不讲规矩，那源义朝也绝非善茬。但眼下他必须隐忍，因为平清盛这位大将军还在平安京，未离京，必须等这位定海神针离开后再作打算。
于是，他恭敬地作了个揖，说道：“臣失礼了，臣先行告退。”随后，他又向幸子和赵桓分别行礼，然后退了出去。