您好，根据您所描述的情况，您与工厂老板达成的协议可能涉及到劳动关系和施工合同。在这样的情况下，如果双方未签订正式的劳动合同或施工合同，那么您的权利保护可能会受到限制。 首先，建议您尽快收集相关的证据，包括但不限于合同文本、录音录像等，以证明双方之间的存在劳动关系和施工合同关系。其次，您可以向当地劳动监察部门投诉，要求对您的权益进行保护，并依法解决纠纷。 此外，如果您已经受到了人身伤害，建议及时寻求医疗救助，并向相关部门报告，以便得到必要的赔偿。 最后，由于涉及具体的法律问题，建议您咨询专业的法律顾问，以获取更准确的法律意见和帮助。