夫妻婚前共同签署一份二手房买卖合同，首付和房贷都由公婆出资，现房被男方偷卖给第三人，但房贷留给了自己一方，男方因诈骗现在属服刑期间，现夫妻都同意离婚，公婆不愿再还贷款，请问房贷可以把女方摘出来让男方一人承担吗？