図越利一の後半生における極めて重要なテーマが、組織の血脈と継承問題でした。
昭和61年（1986年）、図越利一は自らが築き上げた三代目の座を退き、実子である図越利次（ずこし としつぐ）を四代目会津小鉄会会長に据えます。日本の裏社会において実の親子によるトップ継承は決して多くなく、実子への権力移譲は組織内外で大きな注目を集めました。
図越利次が率いる四代目体制下では、平成4年（1992年）の暴力団対策法（暴対法）施行という歴史的転換点を迎えました。会津小鉄会は指定暴力団の指定を巡って法廷闘争を展開するなど、国家権力との新たな摩擦に直面します。この激動の時代にあっても、利一は「初代総裁」として重石の役割を果たし、組織の内部崩壊や外部からの切り崩しを防ぎ続けました。
そして2001年（平成13年）7月7日、図越利一は京都市内の病院で息を引き取りました。享年87歳。死因は高齢に伴う病死（衰弱・心不全等）と伝えられています。数々の修羅場をくぐり抜けながらも抗争による凶弾に倒れることなく、87歳という高齢で天寿を全うした最期は、昭和の首領（ドン）たちの中でも極めて稀有な結末でした。
