尊敬的客户，根据您的描述，您与对方就股份转让达成了一致，并且约定在特定时间支付剩余款项。然而，在支付期限到来后，对方拒绝履行合同义务，导致股份被收回。在此情况下，如果按照法律规定和合同条款，应该退还已支付的款项。建议您及时联系相关法律机构或法律顾问进行详细咨询和处理，以维护自己的合法权益。