根据《中华人民共和国民法典》的规定，建筑物、构筑物或者其他设施及其搁置物、悬挂物发生脱落、坠落造成他人损害的，由所有人或者管理人承担民事责任。但是，能够证明自己没有过错的除外。 在这种情况下，如果该工人是您家雇佣的工人工资员，且在工作期间死亡，那么您需要承担一定的责任，因为您作为雇主应当确保雇员的人身安全。不过，具体的责任大小需要根据事故的具体情况和您的过错程度来判断。 如果您认为存在其他可能影响责任大小的因素，例如是否有过失行为等，请提供更多的信息以便进行更详细的分析和评估。同时，建议您及时联系专业的法律顾问以获取更加准确的法律意见。