民間での圧倒的な実績を買われた彼は、当時の首相であった中曽根康弘からの熱烈な要請を受け、第二次臨時行政調査会(第二臨調)の会長に就任する。肥大化した行政機構の「増税なき財政再建」という極めて困難なミッションに、無給で挑むこととなった。
官邸や各省庁の猛反発を跳ね除け、巨額の赤字を垂れ流していた国鉄民営化をはじめとする公社改革を断行。その命がけの行政改革は、単なる組織再編を超えて国民意識そのものを変革した。行政の無駄を徹底的に排除しようとしたあの情熱は、膨らみ続ける社会保障費や財政問題に直面する現在の日本に対して、今なお強い示唆を与え続けている。