瑞芳區早在清光緒年間，北迴鐵路和宜蘭線尚未開設前，先民因當時陸路交通不便，往來於臺北地區的貨運倚靠基隆河水路運送補給。瑞芳對外水運接駁渡口以柑子瀨（Kam-á-luā），就是現在的柑坪里（合稱內瑞芳），已成為臺北地區往返於噶瑪蘭（今之宜蘭縣）之間者的必經之地。後來因為金瓜石及九份山區陸續發現金礦，採金人絡繹不絕。

上山採金必先經由柑子瀨，適時基隆河接駁渡口附近，有一雜貨店，因為開在柑子瀨所以人稱柑仔店，後來柑仔店一詞變成了全台灣雜貨店的代名詞。柑仔店名為「瑞芳」，而其店店貨之日用品，可說是南北雜貨俱備，成為前往山區採金與往返噶瑪蘭中途補給及休息所。由於往來者眾多，都不約而同或口頭相約，都說「去瑞芳」，或「從瑞芳回來」聚集同行，沿襲成名。然而隨著鐵路選於龍潭堵設站，瑞芳的發展中心便移至車站附近。

日治時期設台北州基隆郡瑞芳街，1940年曾發生瑞芳事件，1945年戰後改稱臺北縣瑞芳鎮，至2010年隨著五都升格實施而改制為新北市瑞芳區。