您好，根据您所描述的情况，如果您认为您的房屋修建行为符合法律规定，并且没有违反相关法律法规的规定，则您可以拒绝政府要求拆除的要求。不过，由于具体情况较为复杂，建议您咨询专业的律师或法律顾问，以获取更准确和详细的法律意见。 同时，您也可以尝试与当地政府相关部门进行沟通，了解相关政策规定，并寻求合法合理的解决方案。如果需要帮助，请及时联系我，我会尽力提供支持和协助。