经改嫁了老李家，孔也跟着姓了李，所以没多久就被废掉了。

事情就一直到蒙古南下灭宋之间这段时期，中原是没有衍圣公的，待灭宋后忽必烈就让江南袭衍圣公孔洙入觐欲立其为正统。而这时尚远在琼州的赵昺一气之下不仅将北狩接受蒙元封号的德祐帝及皇亲国戚开除宗籍，连衍圣公一道给废了，且没有另行敕封。

而孔洙可能出于自身考虑，觉得如果接受元朝任命，需要定居曲阜，不能南返，孤身一人在曲阜做衍圣公，肯定会受到北宗孔氏激烈的排挤和刁难，因此他选择了谢绝了衍圣公的封号。忽必烈也被此事搞烦了，索性选择暂时不立衍圣公了，实际上这时衍圣公的封号空缺……