我的母亲和父亲之前离了婚，离婚时父亲同意将房子留给我和我的母亲，并答应我和母亲一同生活。但是后来父亲却改口，说房子有他的一半，无权让他离开家庭。现在也是赖在家里不离开。之前未离婚前父亲曾对母亲有言语威胁，现在双方因矛盾激化无法沟通，本人也怀疑父亲会对母亲做出极端的事。如何才能让父亲离开不再回来而保证他不会对母亲进行报复？