北斎の住環境の荒廃に拍車をかけたのが、三女である娘のお栄（画号：葛飾応為）の存在です。お栄自身も卓越した画力を持つ浮世絵師であり、一度は絵師の家に嫁いだものの、夫の描いた絵の拙さを鼻で笑って離縁されたという強烈なエピソードの持ち主でした。
実家に戻ったお栄は、晩年の北斎の助手兼介護役として同居を始めます。しかし、お栄もまた父親に輪をかけた「家事嫌い・片付け嫌い」でした。親子揃って料理も掃除も一切せず、食事はすべて近所の店から取り寄せる出前や貰い物の惣菜で済ませていたと記録されています。
絵の具とゴミに埋もれた部屋で、互いに煙管（キセル）をくゆらせながら黙々と筆を走らせる父と娘。部屋がゴミ屋敷と化せば二人でふらりと次の長屋へ移り住むという、世間体とは無縁のストイックで奇妙な共同生活を送っていました。
