您好，根据我国相关法律规定，子女抚养权的归属应当以有利于子女健康成长为原则进行判决。在您的情况下，您与前妻协议约定儿子归您扶养，女儿归其抚养，并且双方对房产进行了分割。如果您认为该协议合理合法，您可以依据协议处理相关事宜。 如果对方主张要回儿子和房屋，建议您与对方协商并寻求法律帮助，以便更好地维护自己的合法权益。同时，可以考虑聘请专业的法律顾问，以便更全面地了解相关的法律法规和诉讼程序，从而更好地保护自己的权益。