在歸隱期間，嚴(yán)嵩還廣結(jié)名流，跟李夢陽、王守仁、何景明、王廷相等人都有交往。這些人不僅學(xué)問淵博，而且還都曾是敢與閹黨作斗爭的仁人志士，頗有名望。嚴(yán)嵩與他們把酒論詩，剖經(jīng)析義，既提高了自身的文學(xué)聲望，也擴(kuò)大了社會(huì)影響。正德七年（1512），嚴(yán)嵩還應(yīng)袁州府太守之請(qǐng)，修《袁州府志》。嚴(yán)嵩經(jīng)過三年努力，于正德九年（1514）將《袁州府志》纂修完畢。該志體例頗有獨(dú)到之處，嚴(yán)嵩因之聲望日隆。