在离婚协议中明确约定房屋归子女所有，并且未提及子女的继承权或抚养权。根据法律规定，父母对未成年子女有抚养教育的权利和义务，因此如果双方同意将房产留给子女并由子女抚养，则该房产属于子女的个人财产。 然而，在实际操作中，如果一方坚持要求拆除房屋的行为可能涉及侵犯另一方的权益。例如，如果对方不同意将房产留给子女或者不愿意承担抚养责任，那么一方有权拒绝其要求，维护自己的合法权益。此外，如果拆除行为导致了房屋结构受损或其他损失，还可能导致法律责任。 在这种情况下，建议您与对方进行协商，寻找一种既能满足双方需求又能妥善处理争议的方式。如果无法达成一致，可以考虑寻求第三方调解或法院裁决来解决争端。同时，也提醒您遵守相关法律法规，保护自身权益不受侵害。