在您的情况下，根据我国刑法的规定，如果行为人没有实施任何犯罪行为，并且未对您造成任何损害，那么您是不需要追究其刑事责任的。但是，如果您认为对方的行为可能构成违法行为（如盗窃），并且对方已经离开现场，建议您立即向当地公安机关报案，以便警方进行调查并采取相应的措施。 至于能否通过目击者或物证来确定对方是否为罪犯，这主要取决于具体情况。例如，如果有其他目击者或者监控视频可以提供有关对方的详细信息，那么这些证据可能会有助于确认对方的身份和行为性质。然而，在没有其他确凿证据的情况下，仅凭一个人的陈述或目击情况并不能完全排除对方并非罪犯的可能性。 因此，无论您是否有足够的证据证明对方是罪犯，都应尽快报警，并配合警方的调查工作。同时，也提醒您注意保护好自己的财产安全和个人隐私，避免不必要的风险。