王阳明如同被一种看不见的恐惧所捕获，他知道自己无法改变这些人的命运，正如他在多年的圣学探索中找不到出路一样。他唯一能做的事就是按自己良心，能做一件是一件。
有一天，他看到大牢里的狱吏抬着一个大桶，绕到大牢后面去了。他小心翼翼地跟踪，发现大牢后面是一个猪圈，狱吏正把大桶里的食物倒进猪槽中。王阳明很奇怪，以主事的身份询问情况。狱吏告诉他，这群猪是刑部养的，食物是犯人的。
王阳明大为恼火，问：“你把犯人的食物喂了猪，犯人吃什么？”
被问的人回答：“他们少吃点，不会饿死。再说这些人迟早都要死，吃那么多做什么？把这群猪喂肥了，可以杀了吃肉。”
王阳明七窍生烟，通过雷厉风行的手段废掉了这一不知已延续多少年的潜规则。这解决不了根本问题，王阳明只是让自己的良心稍稍宽慰一些。但繁杂琐碎、沉沦理想的政务根本释放不了那颗向往圣人的心。
王阳明渐渐明白，他的人生价值不可能在这烦琐无趣的仕途上实现。1501年，在刑部工作不到两年，他已身心俱疲。这年秋天，他请了一个漫长的假期，上了九华山。这预示了王阳明在之后几年中的行事轨迹：当他对现实失望时，就会转身跳到世外。