2013年离婚，离婚协议写着，孩子五岁孩子抚养权是男方，女方不支付抚养费，女方有探视权，所有债务归男方，夫妻双方共同一处房子归孩子，男方有居住权没有买卖权，孩子一直是男方抚养，2017年初女方偷着把孩子抢走，男方怕对孩子心理造成伤害没去把孩子抢回来，想着不管不问不给钱女方带够了就送回来了，现在女方起诉以孩子为名义想要房子，还说男方对孩子不管不拿抚养费，请问男方会败诉吗？