根据《中华人民共和国民法典》的规定，夫妻应当互相忠实、相互尊重、互相关爱、互相帮助。一方有赌博等不良嗜好，并且影响家庭生活的正常进行，另一方有权要求其改正或者离婚。在您的情况下，您儿子因为赌博导致经济困难，因此他的妻子和岳母有权要求他偿还借款。如果他拒绝还款，您可以考虑向法院提起诉讼，请求法院判决他必须履行债务。同时，您也可以寻求心理咨询师的帮助，以期改善家庭关系，避免进一步恶化。