根据您描述的情况，如果双方已经就孩子的监护权和抚养权达成了一致，并在协议中明确了由女方负责照顾孩子，那么男方应该遵守这一约定。如果男方没有履行其应尽的义务，例如未能支付必要的子女抚养费或未能提供足够的物质支持，可能需要考虑采取法律措施来保护自己的权益。 此外，如果女方认为自己遭受了经济上的不公平待遇或者男方的行为影响到了孩子的身心健康，她也可以寻求法律帮助来维护自己的合法权益。在处理此类纠纷时，建议寻求专业的法律援助，以确保您的权益得到充分保障。