自從秦始皇統一六國，建立了中央集權制度，將原本屬於諸侯家臣的宰、相、司馬等官吏地位提升為中央官吏，政治制度為之一變。

秦代丞相為百官之首，擁有『開府』的權力。所謂『開府』就是開設幕府，可以自行任免府中官員作為宰相的私人秘書。丞相的出身大多是從民間而起，率領三公九卿形成『外朝』，與皇帝的『內朝』形成對比。地方官員每年上繳賦稅與回報政績的對象也是宰相，稱之為『上計』。這樣的政治設計的好處是，丞相出身於民間，因此民間的聲音可以傳遞至朝堂之上。且丞相擁有的權利極大，遇到英明神武的皇帝，宰相自然聽命辦事﹔但若是遇到昏庸無能的皇帝，丞相也可以代掌朝政，使國家機器不至於出現問題。正因為丞相的權力極大，若遇皇帝的政策有問題的時候，丞相可以率領百官封駁彈事，拒絕執行，與皇帝形成對抗。於是設立了御史大夫作為監察機關，以監察百官。

御史大夫是由戰國時各國的御史發展而來的。當時在國王身邊主要是記事。秦統一後隨著組織機構的擴大，置御史大夫為眾御史之首，地位『貳於相』，與丞相、太尉一樣擁有『開府』的權力，『銀印青綬，掌副丞相』。由於御史大夫的主要任務在於擔任皇帝與丞相之間的詔書傳送者，故對丞相起監視與制衡作用。加上此職多由皇帝親信出任，其權力有時更超過丞相監督百官。只不過，御史大夫雖然身分尊貴，品秩卻是很低，雖然說地位等同於副丞相，不過在品秩方面卻遠遜於丞相，僅於九卿同為二千石左右，與丞相的萬石不能相比，而御史中丞以下的諸御史官員，品秩更是低微。這樣的設計，最主要是因為御史大夫主要負責彈劾與糾舉百官過失，若是身分不夠尊貴，則無法直接與皇帝溝通，若品秩等同於丞相，則會形成為保地位而不敢盡責糾舉百官過失。另一方面，御史大夫倘若糾舉丞相過失，使丞相因過錯而丟官，御史大夫則可以接替擔任丞相的位置。於是御史大夫在擁有僅次於丞相的身分，卻沒有與身分相同的品秩的情況下，自然會覬覦丞相之位而盡監察之責。丞相在御史大夫的監視下，自然也不會掉以輕心而盡心治國，給予可趁之機。

除了中央設御史以糾舉百官過失外，地方上也設有御史，以執行監察地方官員過失的任務，這便是『行省制度』最初的由來。秦始皇廢除封建制度，將天下劃分為三十六郡，後又增至四十郡，郡下轄縣，郡守與縣令由朝廷統一任命，中國的地方走向郡縣制度。由於郡守、縣令皆直接統轄百姓，主掌地方民政，稍有不當很可能會激起民怨，於是中央便派遣刺史到地方擔任監察官員，刺史受御史中丞統轄，將地方官員的過失直接上報，以加強中央對地方的督察和控制。

西漢武帝元封五年(前106年)，除三輔、三河、弘農外，將全國劃分成十三州部，每部設刺史一人，分管幾個郡國，稱部刺史或州刺史。刺史的主要職務是督察諸侯王、郡守和地方豪族。刺史每年秋冬需到所管的郡國巡察，當時人稱為「行部」，他們通過行部以瞭解下情，年底回京奏事。刺史之秩僅六百石，而所監察的守、相為二千石，成帝時為使其權位及其品秩相符，遂將刺史之秩提高到二千石。東漢時，刺史不必再親自回京報告；有了屬吏，屬吏有從事史、假佐；也有了固定治所，刺史也成為比郡守高一級的行政官員，權責比西漢時有很大的增加。東漢末年，也有些刺史成了地方割據勢力的首領。日後歷朝歷代，對於地方制度的設置都仿效秦漢的制度，只是名稱不同，但實際意義相同，直到元代才正式定名為『行省』，明清皆沿襲元制，設置巡撫擔任行省長官，負責監察省內各縣縣令的施政。不久為了彌補巡撫的不足，因此又設置總督，負責掌管數省之事。

隋唐盛世，由於相權被君權侵蝕的結果，丞相已經由領袖制變為眾議制，丞相的權力也一分為三，御史大夫的責任也開始有所不同。唐代仿西漢之制設立御史台，為中央監察機構，長官為御史大夫，下有御史中丞作為輔佐的官員。此時御史大夫的職掌不再是擔任皇帝與丞相之間的詔書傳送者，而是以刑法典章糾正百官罪惡，直接向皇帝負責。所以唐代御史台又分台院、殿院、察院等，分掌糾彈朝中百僚、殿廷供奉與肅正朝儀，巡察州縣屬僚等事，所掌握的權限更大了。到了宋代，除了御史台之外，另外還設有諫院，以分擔御史台的責任，並且為防大臣專擅，特許諫官可以『風聞彈事』，也就是只要聽聞某人有過錯，就可以隨時彈劾執政而不加罪譴，使宰相處事受掣肘。

由於宋代中葉，台臣與諫官的職責逐漸劃分不清，於是元代又將御史台與諫院合而為一。明太祖朱元璋藉口左丞相胡惟庸謀反，取消中書省，廢除宰相一職，將六部提升為中央政府之最高行政機構，直接向皇帝負責，由皇帝總理全國政務，實行高度的君主獨裁，相權被完全取代，中國正式走入專制皇朝的時代，御史的角色又再度為之一變。朱元璋改御史臺為都察院，作為皇帝耳目，專門監察百官，又使刑部、大理寺和都察院分典刑獄，互相牽制，合稱『三法司』。另有六科給事中、掌侍從、規諫、補闕、拾遺及稽查六部百司之事。此外又設立錦衣衛刺探臣民隱私，『廠衛』的設立將糾舉的對象擴大到一般百姓身上，使政治空氣益形恐怖。清代將都察院左右都御史的品秩提高為一品文官，但御史地位並未因此而全面提高，督察院左右副都御史以下御史官員，皆在三品以下。

孫中山倡行『五權憲法』，雖說是擷取歐美三權分立制度，與中國御史諫官制度及考試制度之優點，於行政、立法、司法三權之外，另增監察、考試兩權。然而民國成立之初，北京政府仍照歐美三權分立原則，以彈劾權歸屬於國會。民國十七年北代完成，全國統一，國民政府始實行五權分治。民國十七年二月設審計院，二十年二月成立監察院，並將審計院撤銷，依法改部，隸屬監察院，此為國民政府最高監察機關，行使彈劾及審計權，二十六年對日抗戰後，復行使糾舉及建議二權。一直到民國三十六年（西元一九四七年）十二月廿五日施行憲法，並依憲法規定，由各省市議會、蒙古西藏地方議會及華僑團體選舉出第一屆監察委員，並於民國三十七年六月五日正式成立行憲後之監察院。

民國八十一年五月第二屆國民大會集會，通過憲法增修條文，規定監察院設監察委員二十九人，並以其中一人為院長，一人為副院長，任期六年，由總統提名，經國民大會同意任命之。將監察委員之產生，改由總統提名，經國民大會同意任命之，不再由地方議會選舉產生。第二屆監察委員依此一規定，由總統提名，經國民大會同意任命後，自民國八十二年二月一日開始行使職權。第三屆仍照第二屆方式辦理。民國八十九年四月，第三屆國民大會第五次會議，再次修正憲法增修條文，將監察院監察委員、院長、副院長任命之同意權，移立法院立法委員行使，即監察院監察委員、院長、副院長，將由總統提名，經立法院同意任命之。

中國的監察制度經過兩千多年的演變，如今已經與監察制度大不相同。一般來說，中國歷代的御史品秩皆低於行政官員，主要的就是讓御史不會為保權位而有所顧忌，這跟現代法官擁有終身職的道理是一樣的，為的就是讓處事者無後顧之憂。此外，古代御史多為年紀較輕的官員擔任，這些年輕的官員多為平民出身，對於民間疾苦之事較為清楚，可說具有某種程度民間代表性，加上本身較無負累，又因為年輕氣盛，血氣方剛，對於問題比較勇於出面彈劾，所彈劾的對象甚至包括皇帝本身，因此較能發揮監察的功能。同時，因為御史品秩較低，但身分尊貴，同時又有可能擔任『堂官』，所以擔任御史者多半自重身分，發揮清議成為百官表率。

如今的監察院，院長地位尊貴，監察委員則是由總統提名，經立法院同意後任命之。不像過去是由地方議會的議員中遴選出來，具有民意基礎，同時又因為由總統任命，雖說資歷與經驗皆有某種程度的基礎，但是卻也因為擁有資歷與經驗，為人便過於老成持重，而且擔任監察委員後就沒有其他出路，活像一間養老院。於是對上，因為是總統任命，所以為保權位，不敢針對總統之失進行彈劾﹔對下，因為老成持重，所以遇事因循苟且，不敢放手去幹。於是乎，如間的監察院既不能做到彈劾百官，也不能做到官員表率，這樣的監察院，無怪乎整天有人想將他廢除。

監察院若要真正有所作為，除了在提名與任用方面要有所改變外，在成員的挑選上更要重新洗牌，不能再只是當作『社會清流』的歸屬，更不可以再只是當作政治酬庸，必須真正授與實際權力，並許給監察委員們一個未來，讓監察院不再是養老院。比如，台灣一直很想設立的『廉政公署』，就應該設立在監察權之中，而非設立在行政權。因為架設在行政權下的『廉政公署』，很難能夠真正對於行政官員的貪瀆進行查緝。若是這樣的『廉政公署』能有所發揮的話，那原有的『政風處』就已經可以發揮功用了，又何須再設立『廉政公署』呢？

總之，唯有充滿朝氣的監察院，才能真正做到『糾正百官罪惡』的任務。