红豆生长南方，树干有一丈多高，叶子和槐树叶很像，开白花，果子像豌豆，呈红色，坚硬而有光泽。相传很久以前，有一对勤劳的年轻夫妇，家里很穷，但他们相亲相爱，日子过得很美满。他们结婚没几个月，边关告急。官府到处抓壮丁，使许多家庭妻离子散、家破人亡。他们也没逃过这种厄运，丈夫被抓走以后，妻子整日以泪洗面，盼着战争结束，丈夫赶快回来。可是没过多久，从边关传来丈夫战死的消息。妻子听后，万念俱灰，最后哭死在一棵树下，化成了红豆。所以后人又把红豆叫做相思子。
据说安史之乱发生以后，唐明皇逃入了四川。宫廷音乐家李龟年也流落到湖南，在一次官僚名士的宴会上，他唱起了“红豆生南国，春来发几枝；劝君多采撷，此物最相思”。歌声委婉、悲切，寄予了他对唐明皇的缅怀和对故国的思念之情，在座的人听完后，无不望着蜀地叹息流涕。
