在婚姻期间给配偶的财产，在离婚时通常被视为共同财产。因此，如果这笔钱是夫妻双方共同持有的，则不应归还。 然而，如果该笔款项属于一方婚前个人财产或赠予，且在结婚后没有被用于家庭开支，那么这部分财产可能属于个人财产，不包括在共同财产中。在这种情况下，你有权要求这部分财产的返还。 具体是否能够要回需要根据实际情况进行判断，建议咨询专业的法律人士以获得更准确的答案。