在处理家庭财产纠纷时，我建议您首先考虑的是孩子的最佳利益。根据法律规定，子女的抚养权应由双方协商决定或通过法院判决确定。 关于父亲的非法集资行为，这可能会影响他与孩子之间的关系和对子女教育的影响。如果您的情况复杂或者需要更专业的法律帮助，请寻求当地律师的帮助，他们可以为您提供更具体的法律意见和指导。同时，在任何情况下，确保保护好自己的权益是非常重要的。