首先，您需要保留所有的相关证据，包括但不限于购房合同、首付发票和银行贷款证明等。其次，您可以考虑向当地房地产管理部门或消费者协会投诉，以维护自己的合法权益。如果开发商仍然拒绝履行退款义务，您可以寻求法律帮助，通过诉讼途径解决纠纷。在处理此类问题时，建议您尽量保持冷静，并收集充分的证据支持您的主张。