和厂家有一个销售协议，协议内容要求我们买满5万件货，否则有权不退还预付款，我们交了预付款5万。后来，我们购了3千件出售，发现客户对质量不满意，销不动。我们就不想再拉剩余的4.7万件货了。但交了预付款，现在厂家不给退还？ 这种情况，法院判决不退还，合理吗？