在合同中明确约定违约责任是保护双方权益的重要手段。根据您的描述，您与对方之间存在劳动关系，因此可以要求对方返还定金。如果您不想去该工作岗位，请及时通知对方并告知原因，以避免产生不必要的纠纷。同时，建议保留好相关证据，以便在必要时采取法律行动。