您好，根据我国相关法律规定，当事人在订立合同时有选择是否支付定金的权利。如果您已经决定解除合同，并且已向对方退还了所有款项，则无需再退还定金。因此，您不必担心需要退还定金的问题。