在离婚案件中，夫妻双方对共同财产的分割存在争议时，法院通常会根据法律规定和实际情况进行处理。如果离婚协议中明确约定债权归属于女方，并且该约定未违反法律强制性规定或公序良俗，则女方有权基于该约定主张其对相关债权的所有权。 然而，在实际操作中，法院可能会审查双方是否存在恶意串通的情况，以确保协议的真实性和公平性。因此，在这种情况下，男方可以考虑收集证据证明自己在离婚前已经将债务偿还完毕，或者提供其他能够证明自己并非恶意侵占对方财产的证据。 最终能否要回存款需要具体情况具体分析，建议咨询专业的律师以便获得更准确的法律意见。