建筑工人在自家正在盖的房子摔伤，现在还住院，不过摔的时间已经到了下班时间，也就是下班的时候自己不小心弄到的，主人家也多次口头强调不可以在房子里面住，但他们仍然在临时居住，所以才导致这样的结果。请问主人家该负什么责任吗？