您与他人发生交通事故后，需要根据事故责任比例确定赔偿责任。如果您的行为导致了事故的发生，并且承担了主要责任，则可能需要向对方支付更多的赔偿金。但是，在这种情况下，如果您已经先行垫付了4万元的损失，您可以要求对方退还这笔钱。 关于具体的退款金额，建议您与对方进行协商或通过法律途径解决。在处理此类纠纷时，应当遵循公平合理的原则，避免损害他人的合法权益。同时，建议您保留好相关的证据和证明材料，以便在必要时作为支持证明。