首先，您需要了解的是，在中国，贪污是指利用职务上的便利，非法占有公共财物的行为。您的行为是否构成贪污，取决于具体的情况和证据。 根据法律规定，如果您的行为确实存在侵占公款或者挪用公款的行为，并且数额较大，则可能构成贪污罪。此外，如果您作为法定代表人或负责人，对于工程款项的支付有直接责任，那么也可能涉及渎职罪或者其他相关刑事犯罪。 其次，关于您提到的“挂靠单位把打款给我”的情况，这可能涉及到诈骗罪或其他相关罪名。如果该单位确实涉嫌诈骗，您可能会被追究相应的刑事责任。 最后，虽然您已经将施工费退还给挂靠单位，但是由于您未及时向工人支付剩余款项，这同样可能导致您面临一定的民事赔偿责任。 综上所述，建议您尽快委托专业的法律顾问进行详细的法律分析和指导，以便确定自己的法律责任和应采取的措施。同时，保持良好的沟通和合作态度也是非常重要的。