有一次，夏原吉巡视苏州，婉谢了地方官的招待，只在客店里进食。厨师做菜太咸，使他无法入口，他仅吃些白饭充饥，并不说出原因，以免厨师受责。随后，他巡视淮阴，在野外休息的时候，不料马突然跑了，随从追去了好久，都不见回来。夏原吉不免有点担心，适逢有人路过，他便向人问道：“请问，你看见前面有人在追马吗？”话刚说完，没想到那人却怒目对他答道：“谁管你追马追牛？走开！我还要赶路。我看你真像一头笨牛！”这时，随从正好追马回来，一听这话，立刻抓住那人，厉声喝斥，要他跪着向宰相赔礼。可是夏原吉阻止道：“他也许是赶路辛苦了，所以才急不择言。”说完，便笑着把他放走了。
还有一次，一个老仆人弄脏了皇帝赐给他的金缕衣，吓得准备逃跑。夏原吉知道了，便对他说：“衣服弄脏了，可以清洗，跑什么？”又有一次，一个奴婢不小心打破了他心爱的砚台，躲着不敢见他，他便派人安慰她说：“任何东西都有损坏的时候，我并不在意这件事呀！”他的家中不论上下，都很和睦地相处在一起。
当他告老还乡的时候，寄居途中旅馆，一只袜子湿了，他命伙计去烘干。伙计不慎，袜子被火烧坏，伙计不敢报告；过了好久，才托人请罪。他笑着说：“怎么不早告诉我呢？”说着就把剩下的一只袜子也丢进垃圾桶里。他回到家乡以后，每天和农人、樵夫一起谈天说笑，显得非常亲切，不知道的人，谁也看不出他是曾经做过朝廷宰相的人。