據《資治通鑑·卷第一百九十五》記載,太宗因賞識他英勇忠貞,輔佐有功,曾經對敬德說:「朕想將女兒許配與卿爲妻,不知意下如何?敬德叩頭辭謝道:「臣妻雖然淺薄卑陋,但是臣與她共貧賤,歷患難已多年;臣雖不學無術,但曾聽說古人『富不易妻』,臣願效仿古人,不忍離棄老妻。」太宗聽完尉遲敬德的肺腑之言,也就作罷。
與此事蹟相仿的是漢朝宋弘的故事。
據《後漢書·卷二十六》記載,宋弘,字仲子,京兆長安人((今陝西省)。漢光武帝即位以後,官拜太中大夫。後來又做了大司空,被封爲栒邑侯。他把自己所有的田地租稅收入和俸祿,一併用來贍養九族中的人,因此家中並無資產,以清廉的德行而聞名。
當時正逢光武帝的姐姐湖陽公主喪夫寡居,光武帝念及姐弟之情,常請她入宮見面、聊天,也想再爲姐姐找一個丈夫。一天,二人談及朝中大臣。公主說,宋公威容德器,朝中無人能及。光武帝知道姐姐的意思後,就召見宋弘,讓公主坐在一座屏風後面聽他們談話。光武帝對宋弘說:「俗語說:『貴易交,富易妻』。這是人之常情,卿可知朕的心意否?宋弘答道:「我聽說『貧賤之交不可忘,糟糠之妻不下堂』」。聽了這話,光武帝也就明白了宋弘的想法。於是他對公主說:「此事不成。 」