根据法律规定，如果一方拒绝搬离共同财产，另一方可以向法院申请强制执行。在离婚协议中明确约定房产属于女方所有，并且已经得到了有效的证明和证据支持，那么法院会依法判决男方必须搬离共同财产。同时，也可以考虑通过诉讼途径解决这一问题，以维护自己的合法权益。