根据离婚协议，8间房屋男女各半，未明文规定哪几间属于女方，离婚三年后，女方发现男方擅自挪用女方的四间房至今半年左右。现女方因住处拆迁想住回去，给男方一周清理房屋。请问如果男方坚持拒绝归还房屋使用权，例如他支付了房屋装修费、或者以其中两间是公共房间，在这种情况下，男方的理由是否成立？这种违约行为是否可以申请民事调解、法律援助或相关机构保护？