在处理此类纠纷时，重要的是确保所有的行动都是合法且公正的。根据中国法律规定，在婚姻关系存续期间，一方出轨导致家庭矛盾升级，并造成对方身体伤害的情况，通常被认为是夫妻双方共同的责任。因此，即使双方已经同意私了并达成协议，也不能将这一责任简单地归咎于某一方。 关于赔偿金的问题，首先应当明确的是，这种情况下，男方家人的行为是违反社会道德和法律规定的。私家人的行为不应该影响到法院对案件的审理和判决结果。因此，对于男方家人的行为，建议采取法律手段来追究其法律责任。 至于20万元医药费是否需要女方偿还的问题，需要具体情况具体分析。如果这是通过私了方式解决的，那么可能涉及一些经济补偿或者债务问题。在这种情况下，应该由双方协商确定具体的还款方案，而不是直接要求女方承担这笔费用。 总之，处理这类纠纷的关键在于尊重法律程序，遵守相关法规，以及维护当事人的合法权益。希望您能够妥善处理此事，避免不必要的法律风险。