你好。我现在和一个离异男士在一起生活，但是她前妻三番五次闹要来打我，还曾经闹过自杀，说我是小三。说她和他丈夫是假离婚的。她们现在都是由于我。我这样构成非法同居吗？我现在想结束这一段恋情，要回男士在我这借的钱，有借条为证据，一共十万，能要回吗？