根据您的描述，您和两名村民共同修建了一栋房屋。在这过程中，一名工人在搭建脚手架的过程中不慎摔倒受伤。在这种情况下，关于责任的认定可能会涉及多个因素。 首先，由于你们双方并未签订正式的合同，因此按照我国《民法典》的规定，对于建筑物的建造费用以及由此产生的损害，通常应当由施工方自行承担。然而，在这个案例中，您们确实同意了为工人提供必要的安全保障措施，并且在此过程中也发生了事故，所以从这一点来看，可能需要考虑是否可以要求工人或其雇主承担责任。 其次，如果您认为工人及其雇主存在过错或者疏忽大意，导致事故发生，那么您可以通过向法院提起诉讼来追究他们的责任。例如，如果工人未佩戴适当的防护装备或未遵守相应的操作规程，那么他们可能需要对此负有一定的责任。 最后，关于工人是否购买了社会保险的问题，这个问题并不直接影响责任的认定。根据《中华人民共和国社会保险法》，参加社会保险是每个公民的权利，也是义务。但是，是否参加了社会保险并不能直接证明工人是否有过错，因为工伤保险和其他社会保险制度都有一定的免责条款。 综上所述，虽然您们未能与工人签署书面协议，但在该事件中发生的损失应主要由您们自行承担。同时，如果有必要，您可以考虑通过法律途径追索工人的责任。至于您提到的医疗费问题，如果您已经支付了超出工程款项的部分，并且对方拒绝支付剩余部分，建议您先尝试协商解决，如果协商不成，可以选择采取法律手段进行维权。