根据我国相关法律规定，如果夫妻双方已经协议离婚或法院判决离婚，并且约定由一方支付另一方生活费的，那么在离婚后的一段时间内，该费用应当按照约定的时间和金额支付。如果一方拒绝履行上述义务，可能构成违约行为。 然而，是否属于违法行为需要具体情况具体分析。如果您是原告，可以向人民法院提起诉讼要求对方支付相应的抚养费；如果是被告，则需要证明自己没有能力或者不愿意支付抚养费。同时，您也可以考虑通过调解等方式解决纠纷，以避免不必要的法律程序和费用。 总之，关于离婚后男方不给钱女方搬回男方住的问题，建议先尝试协商解决问题，如果无法达成一致，可以通过法律途径来维护自己的合法权益。