我是小三，在我离婚若干年后认识了现在这个男人，认识他到在一起已经七八年了，他有家庭，但我从没想过破坏他家庭，他有钱，但我一分钱也没花过他的，连我来到他生活的城市五年，我的房租都是自己付的，他也从没带我见过他的朋友，他说这样不好，他做企业的，有损形象。但现在我被她的另外一个女人找上门，闹得很不开心，这男人就想把我踹掉，我很不甘心，怎么办