尽管曹太后为人明达，但也禁不住耳边越来越多的风言风语；再加之赵曙病后，言语举措往往失常，多次触忤太后。为此，翰林学士王珪还面奏赵曙，乞罢太后权同听政，使曹太后渐生猜疑之心，对赵曙产生不满，最后竟不能容忍。嘉祐八年（1063年）十一月，韩琦正在永昭陵主持仁宗葬事，曹太后就派内侍送给韩琦一封信，信中列举了赵曙近期所写的歌词和在宫中的乖常之事。韩琦看完来信后，当着来人将书信烧毁，然后急忙返回京城，与参知政事欧阳修等面见太后。曹太后竟在韩琦诸大臣面前痛哭流涕，诉说赵曙的不是之处，表示已无法容忍，要韩琦做主议决。韩琦等人好言相劝，并以利害谏言，太后怨恨之意才稍稍化解。
其实，赵曙自被召进皇宫，到立为皇子、继承帝位，一直深具忧恐、疑虑之心，左右内侍的谗言更使他的疑心加重。再加上疾患未瘳，他越发不能控制自己。他自己也明显感觉到太后对他的不满。反过来，他对太后垂帘听政也逐渐产生怨念，甚至连一些鸡毛蒜皮的小事，他内心也会感到不舒服。有一次，他拒绝喝药，宰相韩琦和太后进宫亲自劝药。没曾想他反应那么大，居然将药水泼出，弄脏了韩琦的衣服。曹太后见状，立即令人拿来衣服让韩琦更换，韩琦辞让不换。这件事之后，赵曙就更加反感太后，他觉得太后这是在收买人心，对付自己。所以，当他的病稍愈以后，诸大臣反复上表请临朝听政，他则一直坚卧不出。