当初因为房子，我和老公办了离婚，当时协议是孩子归我，别的都归男方，离婚后我和孩子分到一套房子，一直到现在都没复婚，现在房子是我和孩子的，现在男方要孩子的抚养权，我想问，这个房子男方有没有权处理