你好，我弟弟出车祸在医院需要人照顾，他有一个女儿和前妻和在一起生活，我的母亲一直是我在照顾，弟弟一直没有尽一点照顾母亲的义务，再加上我自己经济也很困难，实在帮不了他，现在他的前妻要告我请问我有义务照顾他吗