我有公证书方式转让一套住房，对方原定在拿公证书后给我全款，但是由于资金不够，又重新签署协议，约定今年7月20日支付全款，但是对方在7月15日口头以我已经办理好的公证书需要修改为由拒绝付款。9月15日告知我，他通过关系公证书又可以了，我是否有权力申请对方违约，或是对方支付剩余房款的2个月的贷款利息作为罚金。