営業を終えた今なお桑之屋が語り継がれる最大の理由は、圧倒的な温泉の質の高さにありました。かつて寄せられた筑後川温泉 桑之屋の口コミや宿泊客の生の声を集約すると、華美な設備はなくとも本物の湯を愛する人々から熱狂的な支持を集めていた実態が浮かび上がります。
実際に宿泊した利用者の手記やレビューでは、「まるで化粧水に浸かっているかのようなトロトロ感」「湯上がり後も肌が吸い付くようにしっとりする」といった筑後川温泉の泉質と効能を絶賛する意見が大多数を占めていました。筑後川温泉は「単純温泉」および「弱アルカリ性硫黄温泉」が中心で、湧出温度が高く、硫黄のほのかな香りと高いメタケイ酸含有量を誇る美肌の湯として知られています。
一方で、筑後川温泉 桑之屋の評判の中には「建物が古く昭和の民宿の趣」「バリアフリーではないため足腰の弱い人には厳しい」といった設備の年季を指摘する声もありました。豪華なリゾートホテルを期待する層と、鄙びた風情と泉質至上主義を求める湯治客との間で評価が分かれていた点も、リアルな実態と言えます。