根据我国《土地管理法》的规定，未经批准或者采取欺骗手段骗取批准，非法占用耕地建住宅的行为是违法的。如果您认为自己没有违反法律规定，在耕地上建房居住是合理的，可以向当地国土资源管理部门申请确认该房屋的合法性。 如果您的邻居对您建造的房子有异议，并且影响到了他们的权益，您可以考虑通过协商或诉讼的方式解决争议。具体而言，可以通过调解、仲裁或者直接向法院提起民事诉讼等方式来解决问题。 请注意，以上信息仅供参考，具体情况可能需要结合当地的法律法规和实际情况进行分析。建议您在处理相关事宜前，先咨询专业的律师以获得更准确的信息和建议。