我是女方，我们没有结婚证，但是我们共同有一个四岁的女儿，他之前有一笔债，共同还完，后来共同建了一套别墅，共同种了几亩橘子，男方家三番五次赶我出门，前几天房子做酒需要面子喊我回去，我没时间回去，现在不让我看孩子也不让我孩子接电话，孩子三岁前一直是我一个人带，我是否有权利带走孩子