首先，关于房屋产权归属的问题，您和您的兄弟之间存在共同拥有关系。如果该房屋是在你们一起生活期间修建的，并且你们已经通过协议或口头约定明确表示对该房屋的所有权，那么根据我国法律规定，这属于共有财产。 其次，在此情况下，你弟弟没有过错，因此不需要承担任何责任。如果邻居认为你的行为造成了损害，可以向法院提起诉讼要求赔偿，但在此之前，你弟弟不需要为此承担责任。 最后，如果邻居执意要赔偿，你可以考虑与对方进行协商解决，或者寻求法律帮助以保护自己的权益。同时，为了避免类似情况再次发生，建议双方签订书面协议，明确规定各自的权利义务，避免纠纷。