你好，我想像你咨询下，这个合同，当时我考虑的不周全急忙就把钱付了，后来我就在想他如果做一天不做一天我也不知道，如果没有我想要的，就可以不付尾款，可是我都去了一半了，这个对我没保障。他现在还没有开始做，可以让他退款吗？我跟他说过退款，他说正常情况下是不退的，他现在可以退我一半。这合理吗？我该怎么做把损失降到最低？