你好！我想问一下，我跟我对象处了快六年了，今年七月份他给我买了房子，买完房子他家人联系到我，我才知道他有家庭，六年前他给我说他是离异的，然后我们就在一起了差不多六年了，现在她们家人逼着我要把房子拿回去，我本来已经让我对象去法院起诉我自己了，但是期间他父母居然跑到我前夫家闹去了，我让她们道歉然后我在去法院签字同意，但是他父母拒绝我说的意思，还要威胁我，请问我该怎么办？