您与对方发生交通事故后，双方协商一致同意由交警处理事故，并且互换驾驶证和行驶证。这表明双方已经达成了谅解，并且同意按照交警的意见进行处理。 根据《中华人民共和国道路交通安全法》的规定，机动车驾驶人在发生交通事故后应当及时报警，并协助交警进行现场勘查和事故认定。如果您拒绝归还对方的行车证，可能涉嫌违反了交通法规中的“肇事逃逸”行为。 请注意，是否构成犯罪需要考虑具体情节和法律规定。建议您详细了解相关法律法规，并寻求专业的法律意见。同时，遵守交通规则，避免类似的违法行为再次发生。