根据您提供的信息，您可以采取以下步骤来维护您的权益。 首先，建议您尽快与对方沟通，并明确告知其房产是您和女友共同购买的事实。同时，要求对方提供相应的证据证明他们只是想要使用该房产。 其次，如果对方仍然拒绝归还首付或首付款，您可以考虑向法院提起诉讼，请求确认房产的所有权归属您一方，并要求对方承担相应的法律责任。 此外，您也可以尝试通过协商解决纠纷，寻求双方能够接受的解决方案。在达成一致后，可以签订书面协议，以保护自己的合法权益。 最后，如果您认为对方的行为已经构成欺诈或者违约，建议您聘请专业的律师协助处理相关事宜，以确保您的权益得到最大限度的保障。