根据法律规定，离婚后，夫妻双方对共同财产的分割存在争议时，可以协商解决。如果双方能够达成一致意见，则可以按照协议约定处理房产等共同财产。但如果无法达成一致意见，且一方坚持主张自己的权利，另一方则可以选择通过诉讼的方式来解决问题。 在您所描述的情况下，您和前妻已经就这套房子达成了口头协议，并且口头协议中明确表示房子归对方所有。因此，在这种情况下，即使离婚协议上明确表示房子归对方所有，也并不意味着您无需承担任何责任或义务。在这种情况下，如果您拒绝签署房屋出售的合同，可能需要考虑采取其他措施来维护自己的权益。 建议您与前妻进行沟通，尝试寻找一种解决方案，以避免将来的纠纷。如果无法达成一致，您可以考虑聘请一位专业的律师帮助您处理相关事宜。在诉讼过程中，您的律师可能会提出证据证明您对于房屋拥有一定的所有权或者请求法院判决您对房屋享有某种权利。这取决于具体的案件情况和当地法律法规的规定。