我和一个男人同处了一年，但是没有拿结婚证，他的前妻留下三个孩子，两个儿子，一个女儿，女儿在四个月就带过来我带，刚开始一月，男人还有负责孩子的生活，之后就一直没有负责过。孩子跟我至今，前天他因为出去躲债做工，又带了一个女人同居一个月后。因为事情的捅破，他干脆带回家来，甚至把跟了我一年的女儿给抱走了，请问我该怎么办？