我在乡下建二层房子，后面是山，本来是建三层的，但还有一层没建，房屋后面有座坟墓，坟墓在我二层楼平恒的地方，离楼面有三十米左右，坟墓是人家的，说我不能升三层，升了三层会躲他的风水，要我出钱移开坟墓，这事合理吗？