根据我国相关法律规定，对于未成年人和精神病人等无法表达自己意愿的人的财产，应当由其监护人或者法定代理人代为管理。因此，在这种情况下，养女及其婆家的行为已经构成了对聋哑人的违法行为，侵犯了他们的财产权益。 此外，如果借款行为发生在没有合法依据的情况下，也可能构成非法占有他人财物罪或者其他相应的犯罪。建议您尽快联系当地公安机关或司法机关进行调查处理，以维护您的合法权益不受侵害。同时，也可以考虑委托专业的法律顾问协助解决这一问题。