根据我国法律规定，离婚时，夫妻双方对共同财产的处理有约定的，应当按照其约定。如果离婚协议中明确约定了房产归属和子女抚养权等事项，并且没有违反法律法规的规定，则应按约定执行。 在您提供的情况下，虽然原协议中规定了房产属于您一方所有，但同时又指明两个孩子归您抚养，这意味着即使房产归属变更，孩子的抚养权也不会改变。因此，您可以要求对方退还该房产，并要求法院确认您的抚养权。 另外，在处理此类案件时，建议您寻求专业的法律顾问帮助，以便更好地维护自己的权益。此外，为了避免未来可能发生的纠纷，建议在签订任何协议或合同之前，详细阅读并理解其中的内容，确保自己完全了解协议条款的含义和后果。