您的描述中提到的父亲行为可能涉及到家庭暴力。根据我国《中华人民共和国反家庭暴力法》规定，家庭成员之间实施家庭暴力的，受害人有权提出请求，居民委员会、村民委员会以及所在单位应当予以劝阻、调解。如果家庭暴力情节严重或者造成严重后果，受害人可以向人民法院申请人身安全保护令，防止施暴人再次实施家庭暴力。 在您所描述的情况下，孩子的母亲试图离开并要求孩子父亲照顾孩子，但被父亲大怒地用衣服威胁，这表明孩子父亲的行为已经超出了正常的父母管教范畴，对孩子的安全构成了威胁。因此，从法律角度来看，孩子的父亲应该承担相应的法律责任，包括但不限于赔偿损失和道歉等。 同时，建议您及时寻求专业的心理咨询或法律援助，以帮助您处理这一情况，并确保自己和家人的安全。如果您需要进一步的帮助，请联系当地的社会服务机构或法律机构。