如果您的哥哥在借款时没有征得您的同意，那么您可能需要承担部分责任。根据法律规定，债务人应当对其债务承担责任，除非债权人能够证明债务是基于欺诈、胁迫或者重大误解等非正当理由而订立的。 然而，在这种情况下，如果您的哥哥已经偿还了大部分债务，并且还款数额远低于他应偿还的金额，那么您可能不需要对剩余的债务负责。此外，如果您认为自己没有过错或不当，可以考虑向法院申请撤销该债务。 建议您先与哥哥进行沟通，了解他的具体情况和还款情况。同时，您可以考虑寻求法律顾问的帮助，以便更好地保护自己的权益。