中国历史上的改革，涉及机构精简者颇多，北宋的庆历新政与王安石变法，精简都是其重要内容。对于任何政权机构而言，精简问题的核心就是一个行政效率与政治稳定间的平衡。而政府机构精简的真正实行，有赖于经济的近代化、市场体系的建立与完善，有赖于在此基础之上的政治民主化。
效忠原则与权力平衡
但凡有点作为的君主，都很痛恨行政效率低下和办事拖沓、推诿与层层扯皮的官僚习气，常常会在整饬吏治的诏书中加以痛诋。但是奇怪的是，传统官制的设置与安排，却恰恰与提高效率的要求相反，首先考虑的是效忠原则和防止专权及叛离倾向的权力平衡，为了能够维持体系的稳定，宁愿牺牲效率。只有在少数的情况下，效率才会与效忠并列被重视，如战争年景或者像战国那种高度竞争的时期。而在传统社会的常态（即所谓太平年景），官制上的一职多官，多头负责，相互牵制的现象几乎可以说是普遍性的。秦与西汉为政尚简，但相权已由三公分享，东汉已明显地出现三公与尚书台的分立，中枢相权再度分散，以凸现皇权的分量。魏晋南北朝时期，中书省与门下省与尚书台三足鼎立，分掌中枢，原来的三公九卿成为虚衔，三省的地位较卑的长官及属曹，成为围绕皇权的决策与行政实施的官员，三者之间的相互牵制，使大权旁落成为更加困难的事。
隋唐制度，进一步完善了三省体制，具体分工的六部出现。但是原来作为与君权起平衡作用的相权继续被削弱，原来作为宰相的三省长官如不加“中书门下三品”衔，就不算宰相，而非三省长官，倒有可能行宰相之职，宰相之多寡，全由皇帝之意，多的时候可能有十余人，少的时候就一两人而已。
宋代将这种集权宰相制与中央政府的相互牵制机能发展到极致，政出多门，冗官冗吏成为一大痼疾。而且，鉴于唐代藩镇割据的教训，“杯酒释兵权”之后，中央禁军分设枢密院与三衙来管理统辖，三衙有统兵之权但无调动之权，而调兵之权则由皇帝认可后由枢密院发出。枢密院长官有多人，而三衙（殿前司、侍卫马军司、侍卫步兵司）职权也相互参差，各自内部也有牵制功能。
地方军制以文官为经略安抚使掌军，以武将总管、钤辖、都监等职实际管理军队，实行文武相互牵制。结果，终宋之世，大权旁落和地方割据之事是消失了。但行政机构臃肿、军队无战斗力，使得北宋以积弱积贫闻名后世，在北方少数民族的入侵打击下，只有招架之功而无还手之力，最后连招架之功都丧失了。
明清两代官制设置上有意制造牵制效果的现象仍然十分严重，其总的指导思想就是不容许除皇帝之外另有一个哪怕只管处理日常事务的权力中心，中央与地方的政府机构对政府事务均没有决定权，职权的交叉与渗透使得政出多门，谁也负不了责，干不成事，一切均须取决于皇帝的裁决调配。为此自明代开始取消相权，代之以名不副实，实际上只起咨询参谋作用的内阁，而内阁又受制于太监当家的司礼监。由于内阁并无法定的“相权”，六部直接对皇帝负责，所以六部与内阁之间又形成牵制。地方官制取消元代中书行省制度，代之以布政司、按察使司与都司三司并立的格局，三司职能交叉，上面又缺乏一个统一的协调机构，结果三司只有相互牵制而无相互协调，很快就暴露出事权不一，运转不灵，效率低下的弊端，又不得已派出临时、监督性的巡抚与总督去协调。
清承明制，相互牵制的机能甚至过之。开始决策机构以内阁与议政王大臣会议并列，后来设军机处，但内阁仍存。而军机处设在内宫，其作用类似明代的司礼监，不过主事者不是太监而已。六部分设满汉尚书各一，满汉侍郎各二，而侍郎并非尚书的副职，各自对皇帝负责，均有单独奏事权。地方上也一样，设总督、巡抚主管一省之政，但同时设布政司（藩司）、按察司（臬司）、提督、学政等军政省级官员，分管一方事务，各无统屑，他们的品级虽然低于督抚，但并非督抚之下属，各有独立的奏事权，直接对皇帝负责。兵制也类似之，总督巡抚与提督、总兵有统兵之权，但无调兵之权，调兵之令由兵部出，另外还有八旗兵分镇各地以监视绿营。
在这样一种体制下，政权的中心问题变成了能否保证一姓统治的稳固，所以要尽可能地利用体制结构来防止大权旁落和叛离倾向。即使有了制度上的保证还嫌不够，在选拔官吏的时候，首要考虑的是效忠原则，官吏的忠诚可靠成了必要和首选的条件，才能只是第二、三位的因素。明、清两代之所以坚持以八股取士，其核心就是八股以程式化的方式贯彻理学精神，不仅强调对君主的无条件忠诚，而且贯穿以“代圣贤立言”的揣摩风习，保障了取中之士，即进入仕途的后备官宦的听话、顺旨与可靠，根本没有胆气反叛朝廷。既然从一级级的科考中就学会了如何揣摩“圣意”，如何顺从听话，那么做了官以后也就只好当个“维持会”的太平官了。
而且，更为令人气闷的是，官职实际上成为皇帝对臣子忠诚与效劳的恩赏。任高官享厚禄者，多半不是由于其才华出众，而是由于任官多年没有差错熬来的，就是说尽管你什么本事没有，只要不生二心，也会熬到公卿之位。甚至于官员的贪污腐化，只要不搞得过分，皇帝有时也会容忍。能以腐化换取忠诚，在特定情形下也是合算的。秦将王翦出征楚国，屡次故意表现出贪财好色，这样才能令秦王放心，汉相萧何也有过类似的表现。他们这些人并非真的贪婪之辈，但他们知道只有表现出贪婪腐化，广置良田美宅以“自”才会使君主觉得此人无野心，也就是说只有如此胡来才会使君主相信他们的忠心。
由于在传统政治体系里官职不仅仅是办事的，也意味着社会地位和实际利益及荣耀，成为皇帝的一种恩赐。所以冗官浮吏现象的存在尽管损害行政效率，但皇帝不一定都有消灭它的积极性。有时为了安置人员，还有意保留一些闲衙与虚职，明代至成祖朱棣已将首都迁到了北京，可南京仍然保留一套没有用处的中央政府机构。清代也如此，入关之后，也在盛京保存了一个微型的六部体系。清朝不立太子，但作为东宫属官机构的太子詹事府却依旧存在。乾隆说得好：“储贰未建，其官原可不设，第以翰林叙进之阶，姑留以备词臣迁转地耳。”为了安置人员，官僚体系往往毫无必要地增设新衙门，添加新官职。明代弘治年间，仅半年工夫，为新开设的衙门开铸印信、关印、铜牌已有八十余个，而且“似此增设，无岁无之”。新设的官员随便加上“抚民、督粮、兵备、水利、理刑、提学、管屯、管矿、劝农”等名目，实际上根本无事可做，新增衙门，添加冗员，皂隶与胥吏也得相应增加，明代参政一员例用皂隶十员，但实际多用至三四十个。光养闲人这一项，就使得官僚体系臃肿不堪，这些散衙冗员虽无事可办，但搅乱却有余，平白添加了行政的混乱与无序。
现在我们可以明白了，对于传统王朝来说，政治稳定是政治的首要目标，维持一姓世袭的传承，保持皇室的地位，是设置官位和官职首先必须满足的条件。而担任各种官职的人，也必须将稳固皇权视为首要任务，既不需要过分地勤政，追求政治效果，更不需要有什么创新意识。
尽管反复强化三纲五常的效忠意识，完善了以儒家文化为主体的传统伦理体系，统治者依然不敢轻易将未来交给受这种教育的士大夫，中国传统政治中的权力制衡机制与其说是防止权力的失衡，以便监督，倒不如说是预先给图谋不轨者制造障碍，使权力的失控在制度上就成为不可能。除了在职务设置上的相互牵制而外，还有专门的监察机构以及特务机构（东西厂与锦衣卫）和特务手段（密折制度）加以防范。愈是到封建时代的晚期，皇权就愈尊，而对臣子的防范就愈严，行政效率也就愈不讲求。当然，效果也是十分明显的，有宋一代，从没有出现过地方割据的现象，明清两代，除了清初的三藩（这是在原有体系之外军事集团）之乱而外，内无叛臣而外无叛将。纵然像明代魏忠贤那样权倾朝野的人物，只要皇帝出面，搞掉他也就是吹灰之力。
有人认为，中国古代官僚体系还是相当精干的，说是以清代为例，统治几亿人民和一千多万平方公里的土地只用了四万左右的官员，实在堪称世界上的奇迹。当然，说这话的大多为并不十分了解中国情况的外国人，他们不知道中国传统政治制度中的“猫腻”，不清楚除去正式官员之外，还存在着几倍于正式官员之外的吏，甚至还有算不上吏的“师爷”和地位较高的幕僚及地位下贱的皂隶。这些人不论地位高低，都是行政体系须臾不可或离的组成部分，缺了这批几倍乃至十几倍于正式官员的人，统治机器连一天也运转不起来。对于中世纪相对来说十分简单的行政任务而言，这样一支由正式官员加上吏胥，再加幕僚和师爷以及皂隶的行政队伍，应该说不能算“精干”。况且，中国传统社会的农村，一向有乡村自治的传统，在野的士绅，实际承担了编外行政队伍的责任。
黑幕之政与无为之治
庞大臃肿低效能的官僚机器能够运转起来而且存活下去，有赖于两种伴生机制，一是黑幕之政，二是无为之治。前者显示了臃肿机体的运作奥秘，后者则作为一种前提保障了这一机体的生存。
黑幕之政是中国传统政治运作的特有机制，其特征就是政治运作过程从收集信息、谋划、决策到实施都不透明，而且有意强化其秘密性与神秘性，在运作过程中渗透着无穷无尽的阴谋。
政治的不透明首先是针对老百姓的。“民可使由之，不可使知之”虽然是老子的名言，但却为历代独尊儒术的统治者所遵行着。“天高皇帝远”，真正与老百姓打交道的是县级行政组织，所谓的“亲民之官”。一般来讲，县级政府组织的所有行政运作，从刑政、徭役征发、赋税征收到一般政务处理，老百姓是不清楚也无法搞清其奥秘的。县级长官（一般叫县令或者知县）一般有县尉、典史一类的佐杂官来帮忙，但真正对政务起作用的却是另两套班子，一套是胥吏系统的与中央六部对应的吏、户、礼、兵、刑、工六房胥吏，他们一般不随官员升迁调动，自有自己的传承体系，一县具体的事务，如钱粮征收，刑事勘察，凶犯缉拿等均由他们会同皂隶实施，他们熟悉当地的情况，各乡田地广狭，户口多寡他们都烂熟于心，是活的“鱼鳞册”，他们有自己的一套运作规矩和方式，绝对地不传之秘，胥吏之间交任时，下任需花钱从上任手里买出来，或者干脆就是祖传世袭的，传子不传女。不光是钱粮征收，刑事案件的处理县令要依靠他们，就是官员的送往迎来的馈赠，年节打点上司的礼钱，都需靠这些人“点拨”和操办，否则干不了多久就会被上司参掉。
师爷是作县令的必须从自家荷包里掏钱雇用的“幕僚”（雇用费不会很多，因为只要将他们带到任上，他们自然会有办法装满自家的腰包），一般有专管往来文稿的文案师爷、主管刑名的刑名师爷和管钱粮征收的钱粮师爷。这些师爷，据说在明清两代多出在绍兴，因此又被称为“绍兴师爷”，师爷有自己的传承，有自己的一套秘不示人的处世规矩和办事秘诀，其中的三昧外人是不可能窥透的。他们文化程度较高，智慧程度和玩弄阴谋权术的功夫也高，几乎每个县令都要雇用他们，而且必须给予他们相当的尊敬和礼遇。师爷中除了文案专门在文牍上糊弄应付上司而外，其余的师爷必须与胥吏打交道，两者在斗智斗法中达成交易，再与当地士绅勾串，也达成某种交易，从而在几乎每件政务中上下其手，既要满足国家基本的钱粮的征收，徭役征发任务，也要让县令有所满足，还要使师爷与胥吏乃至皂隶都有所分润。其具体的操作过程，操作秘诀，不仅外人不知，就连身在其中的县令也不知其详，稍微书生气足一点的县令往往就会成为他们手中的玩物，不仅好处都让这些人占了去，而且自家还会落得个贪酷的声名而丢掉乌纱乃至脑袋。不过这种极端情形并不多见，如果碰到冬烘的县官大老爷，师爷与胥吏通常的做法是好处自己占大头，小头也会让给那冬烘，而且还会让他官当得说得过去——这就是他们的职业道德，留有余地，不赶尽杀绝、不竭泽而渔（不光地方政府，中央政府也存大量的胥吏，诸如供事、书办、经承等等，六部分管各事，但实际业务往往一切委之于胥吏，因此正式官员往往也受胥吏的欺蒙与玩弄）。
政治的不透明性的表现，第二层就在于重大决策和立法过程的不透明。这里连中下级官员也不叫参与。比如清制，中枢决策一般连六部尚书都不得而知，只有皇帝和军机处那几个人知道，所以地方督抚往往不惜花重金收买太监和军机处的中低级官员为之打探，以便事先有所准备，尤其是在重大人事调配时，揣测“圣意”是十分关键的。碰到关系全局的重大决策，议政范围会扩大到六部、翰林院长官、詹事府长官和御史以及地方督抚，但中下级官员也只有知晓已成定局之事的权力，连上书言事之权也限于几百个高级官员身上。当然，涉及国家机密，决策秘密进行是可以理解的，但所有立法和决策都在黑幕中进行，就成为中国传统政治的一种特色了（官方的邸报都是官样文章），它使传统的权术学有无限的用武之地，阴谋和诡计始终伴随每一件法令的产生，每项人事的任免、每一件重大决策，君主在玩弄权术，臣子们也在玩弄权术。后来曾担任过袁世凯政治顾问的英国记者莫里循初到中国，最大的感慨就是发现官员们个个都像阴谋家。
黑幕之政在传统的分工不明确，职责不清，权力交叉，相互牵制的官僚体系中找到了它最合适的土壤。只有这种权、责、利都不清晰的官制才方便上下其手，从中牟利，才可以欺下瞒上，施展阴谋，很巧妙地对决策施加影响而皇帝又不容易识破其阴谋（决策秘密，圈子狭小的必然结果，因为无从听取各方的意见，即使有人看破了，由于权责不清，也不一定去多事）。越是机构臃肿，越是职责不分，政治的透明度就越低，这几乎成了一种规律（当然，小道消息加上谣言会满天飞），水不浑就无法摸鱼，政不乱则无从上下其手。办一件事经历的环节越多，能管得着的衙门越多，个中奥妙就越难为外人知晓，事情成功与否就越是取决于背后的黑幕交易，因此社会上居然出现了专门或半专门的经办这类事情的人员，一些熟门老吏和讼棍也就大有市场。
无为而治是老子为其小国寡民理想境界设计的配套为政方针。自西汉以来，虽然独尊儒术成为国策，但黄老的统治风格却从未真正消失过。其原因，半是由于汉武帝之后的儒家已经变成融合儒道法的杂烩，半是由于官僚政治本身的低效率与低效能，无法应付复杂烦琐的政事要求。