十八世紀初期，大陸福建、廣東兩省的漢人才大量的移入台北淡水流域開墾，隨著漢人社會的建立，中國傳統的文化亦影響本地。胡焯猷是福建省汀州府永定縣的貢生，約在康熙末年來到新莊平原拓墾，與林作哲、胡習隆三人合組「胡林隆」墾號，開墾的土地分佈在今迴龍、丹鳳，經過泰山、新莊，一直至五股。到了乾隆二十八年 (西元1763年)，他年過七十，便將半生辛苦的產業大部份捐獻設立「義學」(取名「明志」，取讀書人志在聖賢，為學先表「明」心「志」之意)，校址就在淡水廳興直堡山腳(即今之泰山)，成為台灣北部第一所最高學府。隔年(乾隆二十九年)，閩浙總督楊廷璋立碑記之(興直堡新建明志書院碑，現鑲於屋內之牆上)，才改封為「書院」。
但當時的淡水廳衙門位於今之新竹，因此在十八年後(乾隆四十六年，1781年)，淡水同知李俊民將其遷至淡水廳城內(新竹的明志書院在日據時期已毀壞)。而泰山明志書院的舊址仍舊收有學生就讀。光緒二十一年，台北知府規定泰山的明志書院只能稱做「新莊山腳義塾」，由於這個義塾，泰山才有「義學」的地名。
所以，泰山明志書院真正存在的時間應在乾隆二十九年立碑至乾隆四十六年新竹明志書院落成(即西元1764~1781)之間的十八年，而後只是泰山地方的義塾。
至日據時期大正十年(1921年，歲次辛酉)，泰山士紳發起募捐重建，但限於經費只建一進三間來供奉朱子及胡焯猷。直至現在明志書院仍於每年國曆九月二十八日來祭祀兩位先賢。
光復後，明志書院曾被政府列為二級古蹟明令保護，但因長期疏於管理保護，在「文化資產保存法」公佈實施後，內政部於民國七十四年派員鑑定，認為它無保存價值因而解除其古蹟身份。而且在民國六十三年管理人胡卯成過世後，書院乏人管理，幾年後明志書院的管理人和信徒發生產權爭執，至今鄉公所的介入仍無法解決，目前則委由隔鄰之李氏家族後人協助管理。

石碑

石匾

牌位

門聯

惜字亭