您好，根据我国《民法典》的规定，交付定金后，无论买卖双方是否履行合同，都应当返还定金。因此，在您已经支付了1万元的情况下，剩余的4万元需要按照约定支付给对方。如果您不想继续履行合同，则应该在收到对方退还的定金后及时通知对方并解除合同，以避免承担违约责任。同时，建议您详细阅读合同条款，并确保自己完全理解合同内容后再进行交易。