根据法律规定，如果双方已经结婚并共同生活多年，且子女已经成年，那么前男友和现任丈夫之间不存在抚养关系。因此，即使前任丈夫提出离婚，也不会因为之前曾与您有过交往而影响到您的婚姻。 然而，如果您的现任丈夫坚持要离婚，并认为您应该赔偿他的损失，这可能涉及到财产分割和损害赔偿的问题。在这种情况下，您可以考虑寻求法律帮助来解决这个问题。建议您咨询一位专业的家庭法律师，以获取更具体的建议和指导。