农村里建房子，有个人摔死了，死者家属把我家人起诉了，死者家属说我的家人是长期包活的，但是这个活我的家人没有参与，是死者和另外一个人接的，我的家人只是干活的，像这种情况我们该怎么做，用承担法律责任吗