有一天早朝時(shí)，他曾經(jīng)寫的一首詩(shī)被某位同僚當(dāng)堂翻了出來。那詩(shī)是他還在做秀才時(shí)寫的，表的是山水，他自己都忘記是什么內(nèi)容了，卻被人扭曲成指摘朝政。

皇帝大怒，又計(jì)較起當(dāng)初他拒絕了自己女兒，連個(gè)辯解的機(jī)會(huì)都沒給他，就將他發(fā)落到了盈溪縣，領(lǐng)著病弱的妻子來到這個(gè)荒涼又偏遠(yuǎn)的縣城。

林安之被貶斥后，再不復(fù)當(dāng)年一般意氣風(fēng)發(fā)，做官也變得佛系，得過且過。