您好！根据法律规定，如果您的配偶存在您所描述的债务未偿还以及与他人有不正当关系的情况，您可以向法院提起诉讼要求离婚，并请求分割共同财产和抚养权。在起诉前，建议收集相关证据证明这些事实，如借款凭证、证人证言等。同时，也可以考虑聘请律师帮助处理案件，以更好地维护自己的合法权益。