根据法律规定，继承人可以依法取得遗产，并有权要求分割共同财产。在您的情况下，您作为被继承人的儿子，有权继承父亲遗留的存款。 但是，在这种情况下，如果存款已经被您提取并转移到了您的名下，那么该笔存款属于您的个人财产，而非家庭共有财产。因此，即使您的弟弟向您索要存款，您也没有义务将其归还给他。 此外，如果您认为存款是您的私人财产，您可以拒绝将存款退还给您的弟弟。但请注意，这需要遵循相应的法律规定和程序，以确保您的权益得到保护。