您好，根据我国相关法律规定，子女对父母有赡养扶助的义务，包括提供必要的生活费用和照顾老年人的生活需要。如果老人在世时未尽到赡养义务，那么在其去世后，其子女应承担一定的责任。关于您提到的哥哥不愿意腾出房子并拒绝支付遗产的情况，建议您可以考虑通过协商或者诉讼等方式解决纠纷，以维护自己的合法权益。同时，也可以寻求法律帮助，以便更好地了解您的权利和义务，并采取适当的行动来保护自己。