他夫人出身極好，因此跋扈善妒，哪怕生了六個女兒，也不許他納一房侍妾，甚至連個通房都沒有。這也使得他哪怕想要找個伺候的人，都只能在義陽這么偏遠(yuǎn)的地方才敢找，而且，還找得小心翼翼的，因為他夫人時不時會派人來監(jiān)視他。

得知李向榮死了的時候，他之所以沒有抓狂失去理智，就是因為，他在義陽還有一個兒子，這個兒子是外室為他生下的，今年才剛剛五歲。