离婚时孩子的抚养权通常会根据双方的实际情况和孩子的利益来决定。在您所描述的情况下，如果您的对象在婚姻期间有外遇，并且在外借了大量的高利贷，这可能会对孩子的成长造成负面影响。因此，在考虑离婚时，您可以考虑是否需要为孩子提供更多的关注和支持。 如果您决定离婚，建议首先与对方进行充分的沟通，了解彼此的想法和需求。然后，可以考虑聘请专业的家庭法顾问帮助制定一个有利于孩子发展的抚养方案。在选择抚养方式时，应考虑到孩子的年龄、健康状况、教育背景等因素，以及双方的具体情况。 此外，关于高利贷的问题，建议您寻求专业的法律意见，以确保自己的权益得到保护。同时，也建议您与对方协商解决债务问题，避免给子女带来额外的压力或伤害。最后，无论结果如何，作为父母的责任是共同培养好孩子，让孩子健康成长。