大概在6.7年前，因为老公的哥哥做生意要问家里哪20万元。当初父母明确说明这20万是给兄弟两一人一半，以后要还弟弟的，他当初也是同意的。现在哥哥不认账，也不还钱。在这期间只还了1万元，我们也多次讨要，都无果。因为当初钱是从父母手上拿出去的，没有欠条。请问我们有理由要回原本属于我们剩下的9万元吗，