你好，我这边的墙体设计之前在2020年时与一位师傅联系过他发来了他的设计图但因为其他原因我们没有合作，但是参考了他的颜色，图形上没有相似。2021年这位师傅发消息来说我们用了他的设计图也没有再继续说下去。到今天2022年他发来图片说我们侵犯了他的权利要我们对他进行赔偿以及起诉，我想问这种情况下我们该如何处理。