王阳明终于得到朝廷的同意，返回故乡越中地方。后来，返乡的王阳明在家乡四明山南侧挖掘了一个洞穴，称作阳明洞，常日里在此修养仙术。这里风景雅致，山清水秀，王阳明非常喜爱这里，于是他选择在此隐居。后世因此称王阳明为阳明先生。
王阳明说：“我曾经在结婚当夜访道铁柱宫，一直将仙道的教谕谨记心中。所以要在此修炼神仙导引的养生术。”
周围的人纷纷传说王阳明修炼的地方是神仙们聚会的场所，这其实也是王阳明为了躲避那些人世间的迎来送往的故为之事。王阳明在此修身养性，整日里练习静坐养气。
这在当时的中国是极为普遍的。由于中国独特的地理环境，很多厌世之人都能寻找到一块属于自己的静谧场所，遁隐山林，与世外隔绝，不相往来。对于王阳明而言，此时他遁隐的心思还没有那么强烈，有朝一日他是否会重新回到凡尘中去呢？此时这还是不能确定的事情。
