您的情况涉及到多方面的复杂因素，建议您采取以下措施。 保存所有相关证据，包括但不限于火灾现场照片、消防部门出具的责任认定书、双方签署的协议书、承诺书等。 联系专业的法律机构或律师，寻求他们的意见和帮助，以了解您的权利和可能的法律救济途径。 在必要时，考虑向当地人民法院提起诉讼，要求对方履行其在责任书中所承诺的义务，并要求赔偿因火灾造成的损失。 如果您认为自己受到人身伤害或其他形式的侵害，请及时联系当地公安机关报案。 请注意，以上建议仅供参考，具体操作应根据实际情况和法律法规来决定。希望您能够尽快得到妥善解决。