可以的。根据《民法总则》第三十六条规定，符合三种情形之一的，有关个人或者组织可以申请撤销监护人的资格，即你的母亲或者村委、居委等组织可以申请撤销。《民法总则》第三十六条规定：“监护人有下列情形之一的，人民法院根据有关个人或者组织的申请，撤销其监护人资格，安排必要的临时监护措施，并按照最有利于被监护人的原则依法指定监护人（一） 实施严重损害被监护人身心健康行为的；（二） 怠于履行监护职责，或者无法履行监护职责并且拒绝将监护职责部分或者全部委托给他人，导致被监护人处于危困状态的；（三） 实施严重侵害被监护人合法权益的其他行为的。