退避三舍的故事出自《左传·僖公二十三年》。故事讲的是，晋献公听信谗言，杀了太子申生，并派人捉拿申生的弟弟重耳。重耳闻讯后，逃出了晋国，在外国流亡十几年。在这期间，重耳曾路过楚国的郢都，楚成王认为重耳日后必有大作为，就以国群之礼相迎，待他如上宾。
一天，楚王设宴招待重耳，两人饮酒叙话，气氛十分融洽。忽然楚王问重耳：“你若有一天回晋国当上国君，该怎么报答我呢？”重耳略一思索说：“美女待从、珍宝丝绸，大王您有的是，珍禽羽毛，象牙兽皮，更是楚地的盛产，晋国哪有什么珍奇物品献给大王呢？”
楚王说：“公子过谦了。话虽然这么说，可总该对我有所表示吧？”重耳笑笑回答道：“要是托您的福。果真能回国当政的话，我愿与贵国友好。假如有一天，晋楚国之间发生战争，我一定命令军队先退避三舍（一舍等于三十里），如果还不能得到您的原谅，我再与您交战。”
后来，晋文公为了实现他许下的诺言，下令军队后退九十里，驻扎在城濮。楚军见晋军后退，以为对方害怕了，马上追击。晋军利用楚军骄傲轻敌的弱点，集中兵力，大破楚军，取得了城濮之战的胜利。
