吳家邸宅早期位於現今故居西側，建有一座磚造祖厝，但昭和6年(1931)新營地區發生了大地震，祖厝慘遭震毀，因此吳晉淮之兄吳振生方著手興建現今故居，於昭和7年(1932)完工。故居以嘉義林通喜古厝為範本，空間格局為傳統三合院；建築裝飾上，以步口木雕與彩繪最為精美，在彩繪與裝飾題材中，則以花鳥、琴棋書畫等人文風格為主，散發出有別於其他民居建築之淡雅與文人風格。整體而言，故居的實用機能性與適度裝飾的性格，正彰顯吳晉淮家族內斂的氣度與大隱隱於市的富麗農居風範。

民國51年（1962年），吳晉淮與妻子高瑜鴻結婚後回柳營補辦婚宴，並將新房設於故居之右次間。到了1980年代，由於都市計劃闢建道路的關係，道路、圍牆、老樹、古井次第遭到拆除，故居逐漸荒蕪傾圮。吳晉淮故居形式典雅，木雕尤為精美，極具建築藝術保存價值，民國94年（2005年）3月18日 原臺南縣政府將吳晉淮故居登錄為歷史建築。民國98年（2009年）莫拉克颱風期間故居受到嚴重損害，市府獲前行政院文化建設委員會文化資產總管理處籌備處（現文化部文化資產局）補助經費後進行修復，於今年4月修復完成。

    文化局指出，吳晉淮故居扮演著見證柳營火燒店聚落歷史發展的角色。從家族史的角度而言，吳家家族的發展，見證了明鄭時期及清康熙時代的土地開發政策；放大到火燒店聚落的形成與發展，則可見證因地理變遷所造成的獨立農村型態，有別於其他地區的計畫性商業模式。從聚落空間形式的觀點來說，火燒店聚落則在鐵路成為區域主要運輸工具後，因位於鐵路沿線外、未獲納入規劃，而得以保留南瀛農村聚落發展的原型，建築本身所體現出的種種價值，輔以吳晉淮先生的音樂成就，方能結晶為此獨一無二的珍貴文化資產。

    吳晉淮故居修復完成後以音樂紀念館的方式重新呈現，期望藉由名人生平留予後世引為美談的重要事蹟，帶動地方文化觀光發展。