名字の成り立ちを裏付けるもうひとつの重要な鍵が「家紋」です。桐木家の多くが掲げているのは、その名が示す通り「五三桐（ごさんのきり）」をはじめとする桐紋一族の意匠です。
桐は古代中国の伝説において「鳳凰が宿る神聖な木」と尊ばれ、日本でも嵯峨天皇の時代から皇室の象徴として愛されてきました。のちに足利尊氏や豊臣秀吉など天下人に下賜され、やがて有力武将から庶民に至るまで吉祥文様（縁起の良い柄）として広く普及していきました。桐木姓の人々が五三桐を定紋として用いた背景には、自身の名字に対する誇りと、瑞祥を招き入れる願いが込められています。
一方で、現地の菩提寺に眠る墓碑を丹念に調査すると、すべての桐木家が単一の桐紋を用いているわけではない事実に行き当たります。延岡藩士の系譜を引く家系では、主君への忠義や武功を意味する植物紋である「抱き茗荷（だきみょうが）」や、弓矢の象徴である「鷹の羽（たかのは）」を代々の定紋とし、桐紋を副紋（控えの紋）として使い分けていた形跡が存在します。名前の「桐」という字面に安直に頼るのではなく、武功や氏神への信仰を優先させた痕跡であり、武家としての誇り高さを行動様式の中に留めていた証左と言えます。
