町の中心部にある髙井鴻山記念館には、北斎が鴻山を訪ねたときに2人がいろいろと相談し合った2階建ての建物があります。それは「翛(ゆう)然(ぜん)楼(ろう)」と呼ばれる書斎兼サロンで、鴻山は、様々な芸術家や思想家たちをここに招いていました。中でも佐久間 象山とは、鴻山が愛用していた火鉢を囲んで熱論を交わし、その様子は火鉢を押し合うほど激しいものだった、と言われています。

この「翛然楼」では、鴻山と北斎の親密な関係を感じることができます。例えば1階縁側に当たる場所。鴻山と話し終えた北斎がアトリエ「碧(へき)漪(い)軒(けん)」に戻る際、鴻山が北斎の草履を整えたところ、北斎が「旦那様、もったいない」と自ら草履を直して「碧漪軒」に帰って行ったのだとか。「鴻山は北斎のことを＂先生＂と仰ぎ、一方、北斎は鴻山のことを＂旦那様＂と呼ぶ間柄だったんですよ。」と金田さん。また、「翛然楼」の廊下からは、小布施を象徴する雁田山が望めます。「時代は変わっても雁田山の景色は変わりません。この廊下も当時のままだから、北斎さんもここからあの山を見ていたのではないでしょうか。」