我与前妻协议离婚，协议里约定全部财产（包括三套房产）归女方，大儿子跟女方，我支付每月两千元抚养费，小儿子跟我，不要女方负担任何费用（小二子患先天基因缺陷疾病），同时支付每年5万合计50万赔偿金。现在我每月按时支付2000元的大儿子抚养金，但是没有能力支付赔偿金。前妻已经起诉，要求支付赔偿金。请问，我会被判必须支付赔偿金吗？