您有权要求对方返还保险金并承担相应的赔偿责任。根据我国《民法典》及相关法律规定，如果夫妻一方擅自处分共有财产，另一方有权请求损害赔偿。在本案例中，由于您和孩子的保险单被对方用于贷款，这可能构成对您的财产权益的侵害。因此，您可以向法院提起诉讼，要求对方返还保险金，并赔偿由此给您造成的损失。同时，建议您与对方进行协商，以寻求双方都能接受的解决方案。