根据您提供的信息，如果您与卖方签署了合同，并且已经支付了首付款和第二期房贷金额，那么按照合同约定，卖方有权要求您支付剩余的房贷金额。如果合同中明确约定了逾期付款的罚款比例，您可以根据此比例来决定是否立即支付剩余的房贷金额。在支付之前，建议您联系专业的法律顾问进行详细咨询，以确保您的权益得到保护。同时，如果可能的话，可以考虑与卖方协商解决方案，例如分期付款或减少剩余房贷金额等。