如果男方不搬离，女方可以起诉。根据《民事诉讼法》第二百五十条 强制迁出房屋或者强制退出土地，由院长签发公告，责令被执行人在指定期间履行。被执行人逾期不履行的，由执行员强制执行。