根据《中华人民共和国民法典》的规定，集体所有土地使用权的取得和转让应当遵循自愿原则，并且应当依法办理登记手续。如果你认为你的自留地和责任地被非法剥夺了，你可以向人民法院提起诉讼，要求确认你对这些土地的所有权，并请求法院判决解除侵权行为。 在起诉之前，你可以先与对方进行协商，看是否有调解的可能性。如果双方无法达成一致，那么你需要准备相关的证据材料，包括但不限于村委会出具的证明、土地使用证等，然后向有管辖权的人民法院提起民事诉讼。 请注意，在整个过程中，一定要注意保护自己的合法权益，同时也要遵守相关法律法规，避免因为处理不当而造成更大的损失。