智障现在被人骗去贷款 就是在不知道的情况下，然后现在带他去的人不承认了，因为去之前带他去的那个人，没说是贷款，就说是他朋友，但是那个那个在特殊学校上学的，什么都不知道 怎么办？他在合同签字了，贷款公司，现在责任在于谁？