我在今年4月份捐了4万5千元给教会买教堂，但现在发现牧师在滥用大家的捐款，所以我不在放心把辛辛苦苦挣来钱拿给她去挥霍，我想要回我的捐款，这可以吗？一开始牧师让我垫资6万并出了借条，但我到银行查到我的存款只有4万5千元，所以就把这钱给了牧师，并告诉她和教会这是我的捐款，所以这张借条还在我这里