调解人可以作为证人，但如果只有一个证人的证言，一般来说，这样的证据是不充分的。
按照法律规定，农村村民之间是可以调换土地的。虽然你们是口头协议，但是已经实际履行了这么多年，法律会保持一个稳定的状态，不会要求解除协议的。如果对方再闹，您可以选择报警。然后也可以起诉到法院，要求对方停止侵权。
