时，柳下惠虽然总被罢官，但他本人却十分佛系。有人劝他跳槽去其他国家当官，柳下惠却说：
“我做事秉公执法，刚正不阿，在哪里都会被罢免吧？但如果要事事卑躬屈膝，讨好权贵，又为什么一定要离开生我养我的鲁国呢？”于是坚持留在了鲁国。
59岁时，朝廷想要委派他当官，他干脆不干了。公元前655年，鲁僖公即位后又想启用柳下惠。当时鲁国王室已经衰败，朝政把持在臧文仲等人手中。
掌管刑狱的长官臧文仲很了解柳下惠，知道他太过刚正不徇私情，所以不同意启用他，僖公只好作罢。
后来，连孔子都因此在《论语》里为柳下惠鸣不平，说臧文仲是一个“窃位者”。他明知道柳下惠具有潜能，却不举荐他一起做官，并夸奖柳下惠是“被遗漏的贤人”。
但臧文仲和柳下惠结下梁子，其实是因为一只鸟。公元前661年，鲁国的国都东门飞来一只海鸟，名为爰居，已经停留了两天之久，这引起了臧文仲的注意。
对于鲁人而言，鲁国国境东临东海，隔着面积不小的莒国，海鸟的到来显然算是一种奇观。于是臧文仲命令国人祭祀它，
但柳下惠却说：“臧文仲简直胡来！祭祀应该针对对人民和国家有功劳的人和事物。随随便便祭祀一只鸟，既不仁德又不明智。”
正是因为这种耿直，柳下惠只能成为一名被遗忘的隐士。虽然没有一官半职，但柳下惠却成为了鲁国的金字招牌。
公元前646年，齐国为了索取鲁国的郜鼎，企图攻打鲁国。鲁僖公不想挨打，又舍不得自己的郜鼎，于是就把一只假鼎送到齐国。
但鲁僖公的把戏没有骗过齐侯，齐侯把假鼎退了回来，并派人告诉鲁僖公说：“如果柳下惠说这是郜鼎，我愿意接受。”
鲁僖公向柳下惠求助，柳下惠却爱惜自己的信誉，不愿意帮鲁僖公说谎。最终鲁僖公只好把真的郜鼎送到了齐国。
到了公元前634年，齐孝公继位后又想攻打鲁国。鲁僖公派柳下惠的弟弟展喜去慰劳齐军，以便迎战。展喜来请教哥哥，柳下惠就教授他劝退齐军的办法，让他去见齐孝公。
见到齐孝公后，展喜按照柳下惠教的说：“小人才会害怕，君子是不