政府问责的基础是责任与权力的统一性，需要得到法律的确定。只有在法律法规上设定合理的、明示的责任，才能避免权力边界的模糊性和任意扩张。具有法律保障的责任才能以国家司法力量为后盾对失职渎职行为进行追究，运用法律遏制权力的滥用，使权力严格限制在合法的范围，如果权力越出合法的范围，相应的责任追究就是权力越界的必然代价。责任与权力的相关共存性为责任制约权力提供了规则依据，法治下的政府权力都应该有相应的法律责任，责任政府的权力意味着权力的规范化、明晰化和有限性。
责任与权力共存的规则成为政府问责制的基本依据。政府问责制包含两个重要方面的内容：一方面，权力在行使的每一过程中，只要越轨，就会被责任所制约，从而责任成为抵制权力扩张的一种手段；另一方面，通过对权力的制约与保护，使权力更加正当、合理并真正服务于公共利益。
因此，政府问责制是政府得以有效监督的制度保障，政府的权力一旦逾越了责任的边界，政府问责制就应该启动对政府权力越界的惩罚。政府问责制对政府权力的监督制约，主要表现为对政府行为的校正和心理上的警示。在这里，责任体现了权力滥用所带来的代价，就是说，政府在行使权力时滥用权力或失职渎职就会招致责任的追究。这时责任对政府权力的制约必然形成一种内在的力量，这种力量既是政府有效运行的驱动力，也是防止政府滥用权力的制动力。当政府视责任为政治使命时，责任就成为政府行动的方向和政府内在的推动力量。当政府将责任视为外部的一种制约，责任就会成为遏制政府滥用权力的内在制约力量。
有效的政府问责制建立在民主监督制度之上，而民主监督制度又依赖于完善的民主政治。民主的基础是人民主权，一切国家权力属于人民。但是，人民作为一种整体是不可能真正直接行使权力的，必须将权力授予特定的人来行使。代议制民主就是通过权力委托与权力监督的制度安排来解决国家权力这一矛盾，运用授予和制约并举的途径使由少数人行使的权力能为公共服务。
这一民主政治制度的前提是，一方面公民必须服从政府的合法统治与管理，因为如果有人可以破坏或蔑视政府的合法权威，公共生活的秩序就难以维持，政治社会也就会在冲突中走向混乱；另一方面，人民是权力的所有者，政府应该处于人民的监督之下，政府的政策和行为应该以人的意志为依归，对人民负责。正如萨托利所说的：“只有当受治者的关系遵循国家服务于公民而不是公民服从国家，政府为人民而存在而不是相反这样的原则时，才有民主制度存在。”实践表明，只有在高度的民主政治体制下，才有可能建立有效的政府问责制，民主政治的制度安排为政府问责的确立起到了重要的推动作用。
“在民主国家中，人们可以通过两条途径来要求落实责任性：
通过公民社会的行动，以及通过代议制的结构。不过，除了选举之外，保障责任性最为正式的是代议制。最重要的则是司法、立法和行政之间的制衡以及专业化的和独立的监督机构。”从世界民主政治的实践来看，确立代议机关的监督地位，实行政府的选举制与任期制对政府问责制的建立具有重要意义。
代议机关的职能经过历史的演变，正逐步在监督方面发挥愈来愈重要的作用。在民主与法治社会，政治组织首先要解决决策、执行与监督三种不同责任的分置，然后进行相应的决策权、执行权与监督权三种权力的配置。代议制民主就内含着政府与公民之间存在着委托责任关系这一价值理念，这一理念成为责任政府的制度基础。在代议制民主中，代议机关的组织形式是一个有效的立法决策机构，但不是有效的执行机构，因此立法与行政分离并行使不同的职责是合理的制度安排。在当代历史条件下，代议机关的适当职能是政治监督，各国议会都加强了这方面的工作。代议机关监督职能的确立，对政府构成了制度化的制约力量，形成了“以权力制约权力”的政治体制，于是，为政府问责制提供了制度性的力量。
选举制事实上确立了公民定期对政府与政府官员履责情况进行全面审视和监督，并使公民具有决定政府和政府官员政治命运的权力。公民只要掌握这种权力，就能形成强有力的政治监督力量，迫使政府和官员们切实履行政府责任，重视和尊重公民的意愿与要求，从而达到政府对公民负责，实现责任政府。选举制是对政府履责情况的考核，公民不会让一个不负责任的政府继续连任。政府要谋取连任，只有在任期内对公民负责，才能获得公民的信任。任期制使这种监督定期化和制度化，使政府的权力不至于成为一个不可移易的力量，不至于成为永久地凌驾于公民之上的官僚机构。
政府问责制不仅需要通过代议制与选举制等政治制度的构建得以实现，而且还要加强对政府的法律监督，促使政府依法行政。责任政府与法制是紧密联系在一起的，健全的法律体制必然促使政府切实履行宪法和法律赋予政府的职责。以法律监督政府，就是要通过法律对政府权力及其行使者设定各种制约机制，以充分体现权力制约权力的原则。法律对权力的有效监督作用建立在法律至上的原则之上。法律至上意味着：对于政府及其官员而言，只有法律明文规定或允许的才可以作为。它还意味着任何政府官员不得凌驾于法律之上，任何政府官员的行为都必须经得起法律的检验，一旦其逾越规范，民主政治的权力机制会迫使政府官员向法律就范。
责任追究制度是政府问责制的基本形式。责任追究制度主要包括责任确定机制和责任奖惩机制，它与政府官员的晋升任用制度和物质利益分配政策紧密结合在一起。从经济学的角度来看，责任政府就是为了保证政府权力的行使者努力为公共利益服务，保障公共利益不因政府权力的行使者不负责的行为蒙受重大损失，而建立起来的责任追究制度。这种制度要使权力行使者的损失尽可能趋近权力授予者所受到的损失，或者使权力行使者的损失达到足以使他对自己不负责的行为引起足够重视的水平，从而制约权力行使者不负责的行为的发生。
特里·库珀把官员责任区分为客观责任和主观责任。他把客观责任分为三层关系：首先，官员要对他们组织的上级负责并贯彻上级的指示，同时官员作为领导也要为他们下属的行为负责。其次，官员要对民选官员负责，把他们的意志融入公共政策中去。最后，官员要对公民负责，洞察、理解和权衡他们的喜好、要求和其他利益。客观责任源于对法律、组织机构、社会对官员的要求。但主观责任却是根植于官员对忠诚、良知、认同的信仰，不是由于上级或法律的要求，而是信仰、价值观这样一些内在力量驱使的结果。客观责任是外界对责任主体所提出的行为要求和权力限制，客观责任只有引起责任主体思想上的高度重视，内化为责任主体的行为原则，外在的要求和限制才会变成责任主体自觉的内在要求，变成一种责任主体发自内心的强烈愿望。
因此，政府问责主要依靠制度的力量，但也要依靠道德的教化作用。在这种情况下，政府官员对政务的负责精神与政府官员的从政道德具有密切的联系，政府官员政德的自觉性，对于政府官员忠实履责具有极为重要的意义。对于政府官员来说，责任是一种经过精神处理而内化了的任务表现形式，是政府官员对自身所提出的一种任务要求，它意味着政府官员承担了压力与风险。
这时责任就转化为“责任心”、“责任感”，此时的责任是内在于政府官员的一种存在形式，是与政府官员的内心世界有着不可分割的内在联系的任务表现形式，在政府官员的内心世界，责任心与从政道德紧密联系在一起了。具有崇高政德的官员总是负责任的官员，政府官员的道德水准深刻地影响着政府的负责态度，因此，责任政府的建设与政府官员从政道德的建设应该有机统一起来。
哈耶克曾指出，“欲使责任有效，责任必须是明确且有限度的”，“欲使责任有效，责任还必须是个人的责任。”责任只有落实到个人，才能防止责任虚置。政府是一个组织，政府对社会和公民的责任不仅表现为组织的整体性责任，同时也必须将责任落实到个人身上，尤其要明确政府领导的责任。政府是一个组织，对政府的问责最终应该落实到具体的政府官员。为了明确政府的政治责任，政府实行首长责任制，行政首长对政府的组织行为负有总的政治责任，组织行为不管具体由谁所为，组织的行政首长都负有连带的政治责任。因此，对政府责任的追究最终都会涉及对政府各级领导人的追究。一旦组织中出现问题，不管是谁所为，领导都要承担相应的政治责任。领导责任制是政府组织的凝聚剂，是组织领导的推动力。对领导责任的问责能推动领导加强对政府的组织领导，从而使政府成为一个能承担组织责任的有机整体，强化政府领导责任的问责对于健全政府领导责任制具有重要意义。
政府根据承担责任的领导的人数不同分为两种体制，一是首长责任制，二是委员会制。我国政府实行行政首长责任制，其实质在于建立领导连带责任制度，强化领导责任关系。组织领导的另一类型是委员会制，这种类型的领导不是一个个人，而是一个集体，即委员会。我国执政党——中国共产党的领导体制就属于委员会制。在这种组织中，委员会集体要对组织的行为负总的政治责任。不管领导是以个人形式还是以集体的形式存在，领导对组织的行为都负有领导责任。领导责任制是一种责任连带制度。
在组织中，领导（个人或集体）有权指挥、命令和规范组织成员的行为，也就是说，组织成员的组织行为要服从领导的安排和指挥；相应地，领导对他们的职位行为也负有政治连带责任，一旦组织中出现失职渎职现象，不管是谁所为，领导都要承担相应的政治责任。政府责任本位不仅体现在制度性的责权关系上，还体现在每位政府官员尤其是政府各级领导的身上。领导对责任的认识和敬畏不仅需要崇高的从政道德，更基于制度性的领导责任追究制上。在我国政治生活中，领导责任的缺失是较为普遍的现象，政治生活中的重大失责现象频频发生，但对相关领导的责任往往没有进行严格的追究。其中的原因是复杂的，但与我国公共管理的结构具有密切的联系。我国公共管理是由执政党管理与国家管理共同组成的二元体制。在执政党的体制中，实行的是党委集体领导方式，重大决定须集体表决通过。集体领导体制相对应的是集体责任制，也就是说，一旦集体的决定是错误的，集体应该承担相应的责任，而不是哪位领导。集体责任追究的基本方式是撤换整个领导集体。但是，我国执政党是法定的不可替代的执政党，很难通过对集体的撤换来追究集体的政治责任。在我国政府管理体制中，宪法规定政府实行首长责任制，政府管理中出现重大失误的责任主体是清晰的。但是，我国各级政府是在党委领导下开展工作的，政府往往是执行党委的决定，因此政府管理中出现的许多重大失误根源于党委的决定，如果不顾这一事实只追究政府首长的责任显然有失公正。所以，由于我国公共管理体制的结构性原因，导致了政治生活中一些重大失误的责任难以得到追究。因此，政府问责制的完善不仅仅关涉政府体制改革，还与执政党建设有着密切的关系。
综上所述，责任政府作为一种理想的政府形态，其根本特征是政府遵循责任本位的逻辑安排权力与责任的关系，从而彻底颠覆了传统政府组织以权力为本位的政治逻辑。责任政府的组织建设从责任开始，根据政府履责的需要决定政府权力的配置，以责任勘定政府权力的约束边界，按照履责的需要建构组织机构和配备人员编制。因此，责任政府的建立实现了政府与公民关系向民主政治的根本回归。政府的三项基本组织活动——决策、执行与监督适度分离、协调与制约有利于政府高效地履责，也有利于对政府有效地问责。责任政府应该实现决策责任、执行责任与监督责任的分置与协调，同时建立决策权、执行权与监督权的分立与制约体系。政府问责制作为责任政府得以实现的关键机制，在于建立领导责任追究制度，通过领导责任追究制度，使各级领导真正成为各级政府履责的核心力量，推动责任政府建设，因此，责任政府建设的关键又在于政府问责制的确立。从制度构建路径来说，从决策责任、执行责任与监督责任三责分置出发，设置相应的决策权、执行权与监督权是构建责任政府责权关系的合理路径。三责分置与三权分立为政府有效履责与防止权力的滥用提供了有效的制度保障。但责任与权力最终都落实到政府官员的个人身上，尤其是行政领导的身上，因此，责任政府与政府问责制又最终通过政府官员尤其是各级领导的有效履责才能得以实现。
