我老公他弟兄两个，他是老大，家里穷，他第一个媳妇给人家做了上门女婿，后来离婚了，两年前我们走在一起了，当时他们家人也没说他上门，我也没要一分钱彩礼，我们就租房在县城里打工，现在我们生了孩子了，他弟弟要分家，让我们出钱才能要祖宅，才能给我们看孩子。家里有外债，但是那都是给他弟弟娶媳妇借了的钱，他们现在还的还有点一万，我们愿意给他出一万，他们要5万，我们该怎么办？