婚姻中共同买有一期房，当初购房合同中只写有女方一人，贷款是男女双方，离婚后写的协议房产归男方，现在房子下来了，男方持合同和离婚协议去物业拿钥匙，物业说必须女方过来才行，但是女方不来签字，我该怎么办