双方离婚之后，如果已经约定房产所有权归属问题的，在房屋所有权归男方所有的情况下，男方可以通过起诉的方式要求对方离开，因为对方没有居住权。但是如果确实存在暴力行为，是需要支付。