因?yàn)槌嗯_一直是站在窩闊臺這一邊支持窩闊臺，所以引起了托雷等部分皇族成員的不滿，暗中竭力排擠他。

可是因?yàn)樗彩腔首?，而且是親王爵位，也不好太過份，所以最后托雷讓幾個大臣找了個事由問了罪，把他趕到宗人府，任排名第五的右宗人。

赤臺從那以后心灰意冷，再也不愿意管朝里的事情，常年托病在家，不理朝政。

林沖想到：這個赤臺一直是支持窩闊臺，對托雷深懷恨意，現(xiàn)在托雷一黨又和乃馬真一黨斗得你死我活，他這個宗人府的右宗人站在哪一邊就非常重要。