更令人遗憾的是，高才的身体不太好，隆庆三年年中，他便不得不主动请辞，致仕回乡了。当然，看这个时间节点就知道，其实这里面还有一个重要原因：当时高拱被迫致仕，某些人为了讨好徐阶，上疏参劾高才，说在他的管理下，某些卫所军籍混乱不堪，多有缺额。

    说得好，这的确是事实。但问题在于，此时的大明，哪个卫所不是这样？

    再说，卫所军籍混乱，所编多有缺额，这是他高才区区一个管理公文、档案的经历所能导致的吗？有本事你全国普查试试，看看那些世袭勋贵要不要跟你拼命！

    别说都督府，到时候连兵部，甚至多半连内阁都兜不住！

    无非是墙倒众人推罢了——高拱倒了，他兄弟岂能安然无恙？也就是高务实的便宜老爸高揀走运，他在中都凤阳为官，离得远了些，人不在京师，徐阶的众舔狗一时没想起他来，要不然也一定得吃弹劾。

    后来高拱起复，到了京师之后，高才还曾在给他的家书中谈及火器的重要性，希望高拱不要忽视。这甚至也是后来高务实表示要插手火器军工生产之时，高拱没有直接拒绝的原因之一。