女方起诉我离婚。有一次因为她引起家里人的矛盾和我吵架，我用扫把打了她两下！隔天她报警做记录，但是派出所没有叫我去做笔录，只是电话调解。过了两个月这次因为吵架没有动手。她就离家出走丢下两个孩子，去起诉我离婚。这样对我很不利吗？