首先，需要明确你们之间的协议内容，特别是关于在对方房产上加盖楼层的条款。如果协议中明确了你们有权在对方房产上加盖楼层，并且对方同意了这一行为，那么对方起诉你们违章建筑可能缺乏法律依据。 其次，即便对方现在反悔，你们也可以依据协议中的约定来抗辩。在法律上，合同一旦签订，双方应当遵守约定，除非有法定的解除或变更合同的情形。如果对方没有合理的理由单方面违反合同，你们可以要求对方继续履行合同或者承担违约责任。 再者，关于违章建筑的问题，通常需要由当地的城乡规划部门或者建设管理部门来认定。如果你们在加盖楼层时已经取得了必要的建设许可和规划许可，那么对方以违章建筑为由起诉可能不会得到支持。 最后，建议你们收集和整理所有相关的证据材料，包括但不限于借款协议、加盖楼层的协议、建设许可文件等，以便在法律程序中使用。如果对方已经提起诉讼，你们应当及时聘请律师，准备应诉，并在法庭上充分表达你们的立场和理由。