根据《中华人民共和国民法典》和相关司法解释的规定，离婚时对夫妻共同财产的处理应当遵循公平原则，即双方在离婚时应平等地分割夫妻共同财产。如果一方主张所有财产都属于另一方，则需要提供充分证据证明该说法的真实性。 在此情况下，由于离婚协议书中明确约定财产全部归女方，且对方已将5万元取走，这可能意味着这部分财产不属于夫妻共同财产，而是属于个人财产。因此，在这种情况下，你有权要求对方返还这5万元。 如果你有确凿的证据表明这5万元属于夫妻共同财产的一部分，你可以考虑通过诉讼途径解决这一争议。在诉讼过程中，你可以提交相关的证据来支持你的主张，并请求法院判决确认这5万元为夫妻共同财产的一部分，从而要求对方返还。 请注意，上述建议仅适用于一般情况下的理解，具体情况可能会有所不同。在进行任何法律活动之前，建议寻求专业的法律意见或咨询律师以获得更准确的指导。