在离婚案件中，双方共同拥有或共有的财产通常需要进行分割。如果您和前夫之间的房产协议明确约定将房产归您所有，并且没有提及任何关于禁止前任配偶与第三方同居的条款，则您可以依据该协议主张您的权益。 然而，在实践中，具体情况可能会有所不同。例如，如果前任配偶的行为对您的生活造成了实质性的干扰，如频繁出入您的住所或其他地方，或者影响了您的人身安全，这可能构成对您的侵权行为，您有权寻求司法途径来保护自己的合法权益。 在这种情况下，建议您首先与前任配偶沟通，尝试解决问题。如果沟通无效，可以考虑向法院提起诉讼，要求前任配偶停止侵害您的权益并采取必要的措施保障您的安全。 请记住，每个案件的具体情况都是不同的，因此在处理此类问题时，请务必咨询专业的法律顾问以获取个性化的法律建议。