您好，我在三年前向民间个人借款五万，期间还款3.5万，最近的一次还款在一个月前，还款四千元，沟通过程中对方的话很难听，而我从没有提过一句不还款，现在债务人上门骚扰我家人，请问这合法吗？