我和朋友一起做生意，因为我手上资金比较紧张，所以叫他借了五万元（说好一个月给他两千元利息），和他一起开了一个服装加工厂，最近因两人意见不一，要分开或是一个退出，但他不愿和我分，说我五万元没还给他没有资格和他分厂里的利润，这样合理吗？我要怎么做才能拿回我的一份利润。