依据我国刑事诉讼法的规定，对违法所得进行退赔是退给被害人的，所以退赔的钱是不会打到人民法院银行卡中的，而是让被害人认领。
根据《中华人民共和国刑法》第六十四条规定：犯罪分子违法所得的一切财物，应当予以追缴或者责令退赔；对被害人的合法财产，应当及时返还；违禁品和供犯罪所用的本人财物，应当予以没收。没收的财物和罚金，一律上缴国库，不得挪用和自行处理。