在签订安置协议时，双方应当明确约定违约责任。如果一方违反协议约定，可能需要承担相应的法律责任。如果您想将定金退还给对方，建议您首先与对方协商，看看是否可以达成一致。如果没有达成一致，您可以考虑向当地法院提起诉讼，以解决争议。请注意，在处理此类纠纷时，应当遵循当地的法律规定和司法程序。