閣議決定が強い政治的重みを持つ根拠は、日本国憲法第66条第3項の規定にある。同条は「内閣は、行政権の行使について、国会に対し連帯して責任を負ふ」と定めており、閣議で決まった方針にはすべての閣僚が連帯して政治責任を負わなければならない。
法的拘束力の観点から見ると、閣議決定はあくまで行政内部に対する最高規範である。中央省庁の官僚や地方出先機関は閣議決定に反する行政運営を行うことができず、これに基づいて具体的な行政処分や許認可、行政指導の運用基準が定められる。公務員組織にとっては絶対的な行動規範として作用する。
ただし、閣議決定そのものが国民に対して直接新たな権利を制限したり、義務を課したりする法的効力は持たない。国民を法的に直接拘束するためには、国会で可決された法律、あるいは法律の委任を受けた政令や省令という形式を経る必要がある。