您好，关于您家庄基剩余部分的归属问题，建议您可以与村委会进行沟通协商，了解具体情况后再作决定。如果您认为自己的权益受到侵犯，可以向当地人民政府或相关政府部门反映情况，并寻求帮助解决。 同时，对于家族成员强行使用您的庄基用于建造家属庙的问题，建议您积极维权，保护自己的合法权益不受侵害。在处理此类争议时，应当遵守相关的法律法规和道德准则，确保行为合法合规。