首先，根据法律规定，您有权要求退还您的购房款，并且在必要时可以采取法律行动来保护自己的权益。其次，如果房产证上只有男方的名字，但你们共同支付了款项，则可能需要证明你们之间的关系以支持您的主张。最后，建议您尽快与对方沟通并寻求专业的法律帮助，以便更好地维护自己的合法权益。