您好，我想咨询的是我家楼下有个门面，19号我爸和别人签了合同，租金也收了，当时乙方说的是干按摩。后来我担心是干非正当营业，又找他过来，反复追问下是的。我就不想租给他了，他说加租金我也没同意，当天因太晚了，钱没退。可是过了两天了叫他过来退钱，他怎么也不来。找各种理由推。合同的时间写的是26号开始生效，我这样退是否要违约金，他不来我到26号之后是否可以开始扣租金了。这样一直不来我该怎么办。