在租赁合同中明确约定使用特定材料的限制条款是常见的做法。如果一方违反了这一条款，另一方有权要求其赔偿损失并解除合同。 在这个案例中，由于对方表示不使用油漆，这可能构成了违约行为。根据租赁合同的规定，如果一方未按照约定用途使用财产，则另一方可以要求解除合同，并且有权要求对方赔偿因此而遭受的所有损失。 在这种情况下，如果对方拒绝退还定金，那么该定金将被视为对损害赔偿请求的一部分，除非有其他协议规定。建议您与对方进行协商以解决这个问题，或者考虑聘请一位法律顾问来帮助您处理此事。