您已经按照法定程序取得了房产证，并且您的围墙建设符合法律规定和规范，因此无需理会村民的无理要求。您可以坚持自己的立场，拒绝修改围墙尺寸的要求。如果村民们不接受您的决定并采取进一步行动，您可以考虑寻求当地政府部门的帮助或者向人民法院提起诉讼以保护自己的合法权益。在处理此类纠纷时，请确保遵守当地的法律法规，尊重他人的权利，同时维护自身的权益。