相傳清水寺創建於清乾隆三十五年（西元一七七０年），有二百多年歷史，寺址位在台南市中西區開山路三巷的一處窄巷之中，巷內頗為幽靜，有日式老街風格，寺前有二棵百年老榕，濃濃綠蔭掩映下，令人暑氣盡消。在清代時，寺前的街道被稱為「清水寺街」，寺旁為枋溪（現已改成地下暗渠）。

 清水寺原是主祀清水祖師之寺廟，相傳在清乾隆年間的某日，一場大雨之後，東安坊有漂流古木，被里人撿起來後雕成觀音像，贈予清水寺，清水寺住持將觀音改為主祀，「流水觀音」之名因此不脛而走，而香客絡繹不絕，使得清水寺香火鼎盛，當時曾被列為府城七寺八廟之一，可見其盛況；至今廟前仍懸有「寶筏渡川」的匾額，極富佛心禪意。

 相傳清水祖師又稱「麻章上人」，閩南一帶多稱為「烏面祖師」，台灣則稱為「祖師公」、「祖師爺」。全省近百座的清水祖師廟中，祖師爺的分身，別稱「三代祖師」、「蓬萊祖師」、「顯應祖師」、「照應祖師」、「輝應祖師」、「普庵祖師」。 相傳清水祖師俗姓陳，名應（一說為陳昭或陳昭應），法名「普足」，宋仁宗慶曆四年正月初六誕生於福建省永春縣小姑鄉。陳應自幼在大雲院出家，因不堪寺院的虐待，於是到高太山結茅築庵，閉關靜坐，後經大靜山明松禪師指點，參讀佛典三年，終於悟道。明松禪師授他衣缽，並告誡他：「我佛最大功德，就是行仁，是故要捨棄萬緣，以利物濟世為職責」，陳應便在麻章施醫濟藥，普救貧病，麻章人士尊他為「麻章上人」。 

 宋神宗元豐六年，清溪（福建安溪）永春一帶大旱，請麻章上人去祈雨，立刻甘霖普降，因此被尊稱為「清水祖師」。清溪人士便在蓬萊山上築一精舍，延請麻章上人居住，並稱此為「清水嚴」。麻章上人在此修行十九年，獨力募化，修橋鋪路，人人稱便，漳州、汀州一帶的人都十分崇信他。宋徽宗靖國九年，五月十三日在說教中端坐而逝，享年六十五歲。地方人士感念其德澤，奉報朝廷，敕賜「昭應大師」封號。圓寂後，原屬於佛教禪宗的清水祖師，逐漸民間化、道教化，被安溪人視為地方最重要的保護神祇。

 　另有一說，相傳清水祖師是北宋京都開封府祥符縣人（今河南開封），曾追隨宋丞相文天祥義舉勤王，英勇抵抗元兵，轉戰大江南北，是抗元扶宋的民族英雄。清水祖師生前隱居於福建清水巖，死後明太祖追念他功在國家，敕封為「護國公」昭命於福建省安溪縣清水巖建立祠堂崇祀，因此福建安溪人稱他為「祖師公」，其廟宇稱為「祖師廟」。

 據了解，隨著安溪移民來台，清水祖師的信仰在台灣也蓬勃發展，在台灣有三峽長福巖祖師廟、艋舺清水巖、淡水清水巖等三大祖師廟，號稱台北三大祖師廟，而大台北地區也是清水祖師信仰最盛之地；南台灣也有清水祖師的信仰，如台南四鯤鯓龍山寺、台南清水寺等等。 台南清水寺近年來有進行整修工程，讓寺廟外觀煥然一新，惟雖然處理建築結構老舊的問題，但樸拙的古早味也因此受到影響，這也是古廟整修難以避免的問題。