在签订借款合同时，应明确约定违约责任和支付方式。如果合同中明确规定了违约金的数额，并且借款人已经按照约定的时间和金额支付了第一笔款项（即4000元），那么通常情况下，后续的违约金条款可能不再适用。 然而，具体到您的情况，由于您没有提供完整的合同文本，我无法给出具体的建议。如果您认为合同中的违约金条款不合理或不公正，您可以考虑与对方协商修改或者要求重新签订一份公平合理的合同。如果您需要进一步的帮助，请提供详细的合同文本和相关背景信息，以便我能为您提供更准确的建议。