我和老公2013年结的婚，现在我们有两个小孩了一儿一女，今年4月份的时候吵架我就出来上班了，平时休息的时候就回去看看小孩。最近这次去看孩子的时候发现他还带了一个女的直接住在家里面了，我们现在要准备离婚了，但是去年的时候他家因为要买出租车给我这边的家里借了十万块钱一起买的出租车，平时出租车赚的钱都是他妈妈管，因为要还债嘛，就全部交给他妈妈了，而且这个出租车现在还贷了五万元出来，贷款是为了还他在外面欠的赌债6万3.家里拿了一万三。他这个钱我们全家都是不知道的，但是都是一家人当时就答应用车贷款帮他还这个赌债。因为贷款要夫妻签字所以就我和他签字了，现在他要我跟他一起还这五万。请问我该怎么办？