、郑清之、全子才。后来更与其兄长赵方随从大儒朱熹的弟子李燔学习“有用之学”，名为武将，实为儒臣，以文臣行武事。
奈何文人相轻，他因战功卓着而被任命为右相时，给事中徐清臾驳还诏命，说宰相不是用来赏功的官职，并援引“宰相应当要用读书人”的话作为借口来弹劾他。
众臣交相呼应，对他猛烈攻讦，赵葵被迫辞相，等到获准辞官后，他在谢表中说：“虽然霍光不学无术，本来就难免被众人讥讽；但是皋陶所读的是什么书，敢用这来自我辩解。”“皋、夔、稷、契所读的是什么书”这句话，是赵葵的曾祖赵拚在回答王安石时说的话。
虽说是文官弹劾，可批准的人是理宗皇帝啊。
你既不仁，也不要怪我不义了！
这次密谈，四人对外只字不提，但被厉文翁写在了他的日记里，若干年后，他的日记流露出来，大家这才知道在新朝成立之前，大臣们做过些什么，由于赵葵、贾似道、江万里、厉文翁在新朝建立后都成为相公，此次谈话，即为“四相公清谈”！
他们达成了共识，从而影响了一大片人，造成了强烈的风向，大家一看，连他们都拥戴孟之祥为皇帝，我们跟着他们干，准错不了。
至于武将，更是支持孟之祥，王坚说了跟随孟之祥的好处，一是建功立业，让大家一雪前耻；二是皇帝是武人，从此我们武人扬眉吐气，再不受文官那股鸟气了。
因此，在六月二十日建康府的军政官员和宗室大会上，议立孟之祥为帝的提议得到了一边倒的拥护！