您好！我有一套房屋三年前由于租客的原因失火，当时房屋安全鉴定中心鉴定，房屋的结构安全未受影响。后来我们对房屋重新装修（保留了部分未受影响的设施，所以能看得出失火过）。最近房屋完成了出售，出售时是中介带买房去看的房子（钥匙放在中介那里），因为是学区房，价格也比较合理，所以挂牌两天就成交了，目前交易已完成。现在买家告诉我当时她不知道房子着火过（中介应该是知道的），担心房屋的安全，提出索赔。请问我可以拒绝吗？