在衡陽市南有一座山峰名回雁峰，因為每年秋季，成群的大雁就會飛到這裏等待來年春天飛回北方。
唐德宗年間，回雁峰下有一女子名叫王幼玉，她本是名門之後，因黃巢起義，隨家人避難來到衡陽。父母雙亡後，憑著婉轉明亮的歌喉和高雅豔麗的容貌，做起了歌妓。
有一天當地郡守在雁峰寺中設筵款待御史大夫夏公，召來王幼玉助興。王幼玉唱出一曲的“雁歸來”，舉座皆驚，王幼玉頓時名聲大振。洛陽商人柳富，是世家子弟，讀書出身，有錢有學問有修養，他因性情剛烈在家鄉惹了亂子，避亂而來衡陽。他被她高雅的氣質和動人的歌聲深深吸引，而王幼玉也很欣賞他，和他相處了一段時間後，就向他表明心態，肯與他相伴一生。柳富沉吟道：“我南來湘潭時，因與人格鬥，誤傷兩命，被旅店的侍女見到，她強要與我成親，否則就到官府舉發，我無計可施，只好帶她同走。”王幼玉拿出自己的私蓄二百萬錢，終於用金錢和曉以利害，把柳富的女侍妻子打發回了湘潭。
兩人正準備共結百年之好時，柳富的父親去世，柳富只要回家奔喪。臨行之時，二人共同起誓，定要等著對方。但柳富回去料理完喪事，就被族中父老留住，以免他再與歌妓相伴。柳富情急之下打傷了一位年長的族人，被關在獄中。王幼玉等了好久，不見他回來，就派人前來打聽。
來人回去後帶回了柳富被押獄中的消息和他的思念之情，王幼玉決心要等到海枯石爛。等到唐德宗駕崩之時，唐昭宗繼位，大赦天下，柳富獲得了自由。就在他準備南下與心上人團聚之時，藩鎮之間的混戰阻隔了交通，只好先設法輾轉托人給王幼玉捎去一封信，信中附有一闋詞：人間最苦，最苦是分離，伊愛我，我憐伊，青草岸頭人獨立，畫船東去櫓聲遲。楚天低，回望處，兩依依。後回也知俱有願，未知何日是佳期，心下事，亂如絲。好天良夜還虛過，辜負我，兩心知，願伊家，衷腸在，一雙飛。王幼玉收到信後，把闋詞變成歌到酒樓演唱。
然而時光飛逝，歲月空添，南北道路終究受阻。王幼玉越來越絕望，疾病纏身，當她知道來日無多時，她每天都到回雁峰上，一遍一遍地唱著那首闋詞。用盡最後一絲力氣，她倒下了懸崖。只有行行大雁把她的歌聲傳送給南來路上的柳郎。