大正年代正好是日本大量接受西洋建築觀念的時代，因此當時的建物結構融入許多的「哥德式」及「巴洛克式」風格，與當年普遍的日治公署建築相仿似; 「斗六行啟記念館」創建時建築平面呈現「一」字型，建築地坪面積131.08坪，由中央洋館及兩翼挑高日本間等空間組成，是個典型交誼廳性質的空間格局；建築造型相當樸實，僅以白、紅色油漆搭配洗石子牆面，加上荷蘭式砌磚，採直立大面積的窗戶，通風與採光極佳；磚砌的窗台有防雨水侵入的設計，建築元素簡單卻形制精美；中央主樓為鬼瓦屋頂形式，外牆有「日」字意象裝飾的磚貼；屋後仍保留軍公教福利品中心時期所搭蓋的採光罩做為通廊，使全館動線便捷。

大正12年，當時大正天皇因病，由攝政的皇太子裕仁代替大正天皇於當年4月16日「行啟」台灣，甚至還遠赴澎湖視察，並於4月27日返日，結束為期短暫12天的緊湊行程；斗六郡於日治時期即是雲嘉地區重要的政經及文教中心，只是當年皇太子裕仁巡視台灣行程並未真正下車走訪斗六，只是列車途經並在斗六車站時停下加水及煤後直接駛往台南；皇太子裕仁離台後，各地紛紛以「行啟」之名立碑及設立記念館等，並訂4月16日為「行啟記念日」，皇太子裕仁成為日本統治台灣五十年來唯一到過台灣的「準天皇」，並被認為是日本治理台灣期間最輝煌的盛事。

「斗六行啟記念館」的最早功能是提供給居民聚會的公會堂，民國35年(西元1946年)台灣光復後，產權移至斗六鎮公所，先後租借給美援地下水公司、雲林縣政府工商課、工業策進會、監理所(公路局嘉義監理站斗六分站)、國有財產局等公務機關當為辦公處所，當上述公務機關陸續遷出後，民國64年(西元1975年)也曾借為軍公教福利中心的賣場長達22年，所以現在一般雲林縣民眾的留存印象，就是這裡正是以前的軍公教福利品中心。

直到民國88年(西元1999年)台灣「九二一大地震」發生，因為建築體有安全疑慮而停止使用；民國91年(西元2002年)7月27日，「斗六行啟記念館」以其歷史與藝術的價值，經「雲林縣古蹟歷史建築審議委員會」審定正式登錄為雲林縣歷史建築，雲林縣政府依據文建會「九二一地震災區歷史建築補助獎勵辦法」獲得專款經費補助，開始動工進行修復，於民國95年(西元2006年)完成修繕；「斗六行啟記念館」屬於「機十二用地」之一，民國95年10月，雲林縣長蘇治芬，親自領軍以「機十二用地」為計畫基底-「農業首都「籽」種子公園 AONDERFUL SEED-GARDEN」，參與營建署競爭型的計劃徵選並獲得第四名，並取得中央政府4,000萬的經費補助。