根据《中华人民共和国民法典》第三十六条的规定，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。父母对于子女仍有抚养和教育的权利和义务。因此，即使在离婚协议中约定小孩由女方抚养，但事实上仍由男方抚养，该协议仍然有效。 不过，在实践中，如果一方确实无法照顾孩子或者存在其他不可抗力的情况导致难以继续抚养孩子的，另一方有权要求变更抚养权。在这种情况下，法院可能会考虑孩子的最佳利益，对抚养权进行重新分配。所以，建议您咨询专业的法律顾问，以获取更具体的法律意见。