在您描述的情况下，如果工人确实从脚手架上掉落并受伤，那么他应当对他的行为承担责任。根据侵权法的规定，雇主和雇员之间的关系通常被视为一种雇佣关系。在这种情况下，雇主（即脚手架上的建筑公司或业主）可能需要承担部分赔偿责任。 然而，在这种情况下，由于工人没有及时下来并选择留在脚手架上，这可能会增加雇主的责任。因为雇主有义务确保其雇员的安全，并且工人应该遵守安全操作规程来避免此类事故的发生。因此，雇主可能需要承担更多的责任，以弥补工人的伤害。 此外，考虑到您的情况，您已经支付了所有医疗费用，这是基于您作为雇主的职责。如果您认为该工人存在过错导致受伤，您可以考虑向法院提起诉讼，要求工人就他的损害进行赔偿。请注意，具体的法律程序和责任分配将取决于当地法律法规以及您与工人的合同条款。建议寻求专业的法律意见以获得更详细的指导。