根据《中华人民共和国民法典》第三十六条的规定，离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。因此，在您的情况下，如果女方要求将孩子要回，并且符合法律规定的情况下，您作为父亲可以行使探视权。但是需要注意的是，探视权的具体安排需要双方协商一致，以确保对孩子的最佳利益为出发点。 如果您认为自己在探视权方面没有得到应有的照顾，或者存在其他争议，建议您与对方进行沟通，寻求调解或通过诉讼解决。同时，也可以考虑聘请专业的家庭事务律师帮助处理相关事宜。