我的姐姐智力障碍，我的父亲85岁而我才26岁，母亲也是智力障碍，哥哥也是智力障碍，受家庭影响至今未婚，眼看我父亲年龄大了没办法抚养他们，我也只是一个打工仔，抚养他们无法工作，也是死路一条，现在已经陷入绝境，请问我可以不抚养智障的姐姐吗