根据法律规定，如果您的行为不构成犯罪，您可能需要与对方协商解决。您可以要求对方退还已收取的款项，并向法院提起诉讼以追讨剩余款项。在处理此类纠纷时，建议寻求专业的法律帮助，以便更好地保护自己的权益。同时，您也可以考虑通过调解或和解的方式解决纠纷，以避免不必要的纷争和损失。