尊敬的用户，您好！根据我国《民法典》的规定，您和您的伴侣在买房时签订了购房合同，并且支付了首付。如果您们之间的感情出现了矛盾，对方擅自将房屋退还，这可能违反了合同约定或损害了您的权益。 首先，建议您尽快与对方沟通解决这个问题，可以通过协商或者调解的方式解决问题。如果无法自行解决，您可以考虑聘请律师帮助处理相关事宜。 其次，在处理此事的过程中，应确保自己的合法权益不受侵犯。可以保留相关的证据，如购房合同、付款凭证等，以便在必要时作为证据使用。 最后，为了避免类似情况的发生，建议在签订购房合同时明确双方的权利义务，以及关于退房的具体规定，以避免未来可能出现的问题。 希望以上信息对您有所帮助，如有其他疑问，请随时联系我。