您好！我和老公于2018年9月从熟人那借款15万，约定2分利息给对方，并以住房作抵押。无奈条件有限，去年已还利息1万元。本想今年一次性将本金15万筹齐还清，再适当给部分利息。无奈对方不同意，并扬言要收走我的房子。我有两个孩子要抚养，有且仅有眼下这套房子。想咨询一下如果我把本金还给了他，他有权利收走我的房子吗？