根据《中华人民共和国城市房地产管理法》的规定，房屋的所有权应当由房屋所有人依法享有，并且不得擅自转让给他人。因此，如果房屋所有人的子女翻脸不认账，要求返还房屋，您应该及时与他们沟通协商解决，以保护自己的合法权益。在协商无果的情况下，您可以考虑通过法律途径来解决问题，如申请法院诉讼或者请求相关部门调解等。同时，也可以寻求专业的房产律师的帮助，以便更好地维护您的权益。