我与一家做微商时代的公司签订五年合同，我履行了一年决定单方面解除合同关系，她们要求我偿还这期间的服务费，我接受了，可他们说要按当时加盟费的百分之二十来索取违约金，我该赔偿对方违约金吗，可合同并没有明确规定偿还违约金或违约金多少，期间我并没有说带给贵公司什么损失，我该怎么办