最早起源是1360年代初，朱元璋仍是吳王時代，且更早於稱吳王時代：朱於著名之鄱陽湖水戰鏖戰數月毫髮未傷且箭斃敵首陳友諒，即為此「親軍」（錦衣衛原名）護駕建功；創建親兵衛都指揮使者名賴漢臣,朱元璋在建國後，猜忌多疑，怕大臣對他不忠，因此隨時充滿戒心，要求大臣對他絕對的服從、忠心不貳，要出朝之後也要對他恭恭敬敬，便設法派密探四出巡視。這是錦衣衛以及明朝特務機構的雛形。

後來，朱元璋以親信密探曰「檢校」，負責偵察在京中官吏的大小之事。洪武十三年，發生胡惟庸案，朱元璋對臣下更加不信任，至洪武十五年（1382年），正式建立錦衣衛組織，首任指揮使是楊憲（檢校），後續是毛驤、蔣瓛、紀綱。

爾後在洪武二十六年（1393年），因朱元璋認為此一酷政不可以長期存在，再加上錦衣衛於偵辦藍玉謀反案時「非法凌虐，誅殺為多」，「株連且四萬（人）」；於是下令大削錦衣衛的權力（「詔內外獄無得上錦衣衛，大小咸經法司」）。

到了明成祖朱棣篡位成功後，為了壓制臣民對他的不滿，於是恢復錦衣衛的所有權力並有所加強，如永樂十三年（1415年）《永樂大典》總裁官解縉被紀綱於雪地凍死即為一例。袁彬官至特授勳上柱國、左軍都督、升授光祿大夫，是最顯赫的指揮使。錦衣衛直至李自成起義滅明後，才可說是正式結束長達262年的歷史。

不少電影或電視劇也曾以錦衣衛為主題，如張黎導演的錦衣衛及邵氏電影的錦衣衛，而亞洲電視本港台亦在1988年開播同名電視劇。

2002年台灣相聲瓦舍的馮翊綱、宋少卿、黃士偉有「東廠僅一位」的相聲作品。

2010年甄子丹主演錦衣衛。