您的情况涉及复杂的个人关系和法律规定的问题。首先，您与那个男人共同拥有一名子女的事实并不构成婚姻关系或法定的父母子女关系，因此您没有义务抚养这个孩子。 其次，根据中国法律，任何人不得因为其配偶存在其他家庭成员而对其实施不适当的行为，如暴力、虐待等。如果您认为他的行为对您的孩子造成了伤害或者威胁到他们的安全，您可以考虑向法院申请保护令，以确保孩子的安全。 在处理此类纠纷时，建议寻求专业的法律帮助，以便了解适用的具体法律条款，并采取适当的措施来维护自己的权益。同时，也请注意尊重他人的权利和隐私，避免因情绪激动而做出可能加剧矛盾的行为。