亲戚开办加工厂，找我合伙，我拿了二十万，签了合同，干了两年没有给我分红，合同写的退出返本金，然后去年退出了，多次要求返本金，但是打电话给他就说给然后就是不给，想问他这属于非法集资吗？打官司告他非法集资行不行，除了本金可以要求他赔偿损失吗？