您好！在您的情况下，确实存在一些复杂的情况需要考虑。首先，您需要确定丈夫是否确实在外与他人有不正当的联系，并且这些行为对家庭造成了严重的伤害。其次，您需要确认丈夫是否有能力支付孩子的抚养费和生活费用。 根据中国法律规定，如果夫妻双方因感情不合而协议离婚，一方无固定收入或者收入不稳定时，另一方有权要求对方按照月总收入的一半支付抚养费。此外，如果您已经为孩子提供了足够的经济支持，那么您也有权请求对方支付适当的赡养费。 因此，在考虑起诉离婚之前，建议您先收集证据证明丈夫的行为，并寻求专业的法律帮助以确保自己的权益得到保护。同时，也可以考虑通过调解或和解的方式解决纠纷，避免将自己置于不利境地。