首先，您应该与对方协商解决这个问题。您可以尝试与对方沟通，解释您的立场和需求，并要求退还定金和剩余的费用。如果对方坚持不退定金或剩余费用，您可以考虑向当地劳动仲裁委员会申请仲裁，以保护自己的权益。同时，您也可以寻求律师的帮助，以便更好地了解您的权利和义务。