根据《中华人民共和国民法典》等相关法律规定，如果双方已签订离婚协议并办理了离婚登记手续，且协议中明确约定房屋归一方所有，则该房屋属于个人财产，另一方无权要求分割。因此，在没有证据证明房产属于共同财产的情况下，对方主张要回房产的请求不会得到支持。 然而，具体情况还需结合具体案件事实进行分析，建议您向有资质的律师进行详细咨询和指导，以确保您的权益得到有效保护。