我拆迁分了2套房，和我哥达成协议，他自己产权一半归我，我拆迁的2套分一套给他，这套房子属于安置房，没有房产证，还没过户给他，现在他起诉我拿回签的协议这套房，他说他那一半你到时也起诉他拿回，可我不想这么做，我能直接拒绝履行协议我这一半不给他，他那一半我也不要么