您好！根据法律规定，如果双方已经达成协议并办理了离婚手续，那么子女的抚养权应当按照协议约定执行。在协议中明确指明儿子归男方抚养，并且仅限于探视权的情况下，女方不可以擅自将孩子接回家住。 此外，在实践中，法院通常会考虑孩子的最佳利益来决定是否允许母亲接回孩子居住。如果法院认为这种行为对孩子的身心健康和成长不利，可能会裁定不允许母亲带孩子回家。 因此，建议您尽快联系专业的法律顾问或婚姻家庭律师，以获取更详细的法律意见和指导。