我有一个老房子需要装修，装修的很大一部分原因也是楼下反映卫生间漏水。但现在这个楼下邻居强烈反对我们装修，说是造成了噪音，影响他们生活。我的装修时间是上午9点到11点半，下午3点到六点。我也提出了经济赔偿，但是对方依旧不同意。在这种情况下，如果我坚持装修，给对方造成了身体或者心理上的责任，我需要负责吗？