如果一方对子女有严重虐待的行为，另一方可以根据法律规定申请变更抚养权。在实践中，通常会要求提供证据证明对方存在虐待行为，并且需要符合一定的法定条件和程序。因此，在考虑是否向法院起诉时，建议先收集相关证据，并咨询专业的法律人士以确保自己的权益得到充分保护。