松斎は、いつのころか不明であるが、雅楽を広めるために江戸に下った。江戸での雅楽伝播活動は意の如くならず、たちまち困窮することとなった。松斎は自ら楽器を作る器用さがあり、同様に料理もできたようで、当時、江戸で著名な料理屋八百やお善ぜんの板場で料理人として身を寄せることになった。
当時、八百善は漢学者で狂歌作家・戯作者として知られる大田蜀山人しょくさんじんや絵師で俳人として著名な酒井抱一ほういつ、儒学者で書家の亀田鵬斎ほうさいなどの文人墨客が集う高級サロンでもあった。またペリー来航の際の饗応料理も担い、徳川将軍家代々の御成りも仰ぎ、江戸随一の名声を得ていた。多くの客の中に、出雲松江藩主で茶の湯に格別造詣の深い松平不昧ふまいもそうした客の一人であった。松斎は八百善に不昧が訪れた際、不昧の専属の料理人となったのである。