根据我国《劳动合同法》的规定，只有两种情形用人单位可以与劳动者约定违约金，即：1、用人单位为劳动者提供专项培训费用，对其进行职业技术培训的，可以与劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。2、对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。你这种情形不属于上述两种中的任何一种，因此用人单位要求你支付违约金是违法的。另外也应当依法支付。