尊敬的用户，根据我国法律规定，您有权在自己合法范围内进行房屋建设，并且可以要求子女归还。但是，如果您在建房时没有征得所有人的同意，或者存在其他违法行为，可能会导致您的权益受到损害。 首先，建议您收集证据证明您的权利和义务。这包括但不限于建设过程中是否得到所有人的同意，是否有违反法律法规的行为等。 其次，您可以考虑通过法律途径解决争议。例如，您可以向法院提起诉讼，要求子女归还房屋或赔偿损失。 最后，无论采取何种方式解决问题，都应遵循公正、公平的原则，避免激化矛盾，影响家庭和谐。希望以上信息对您有所帮助。