您好！根据您的描述，您与对方于2016年10月签订了合同，并支付了施工押金和材料保证金共计5万元。然而，您提到至今未进行实际施工工作。如果您认为该款项属于预付款性质的，则建议您可以考虑通过协商解决，或者向相关仲裁机构申请仲裁；如果该款项属于定金性质，则建议您及时采取措施追回。在处理此类案件时，建议您提供更多的证据支持自己的主张，如转账记录、收据等。同时，为了避免类似纠纷的发生，建议双方在签订合同时明确约定具体的付款方式、违约责任等条款。