首先，你们的协议只是对你们双方有效，对于你们之外的第三人不发生法律效力。其次，对方去骚扰的，你可以报警处理，至于是否需要偿还，需要看您是否嗯呢哥哥举证证明该财产是否用于夫妻共同生活。建议收集相应的证据，或者是直接向法院起诉建议您直接致电*******106，将有专职律师免费为您服务。