在您将钱包归还后，如果对方表示愿意接受您的还款并承认是自己遗失了钱包，并且双方能够达成一致的协议，那么您可以根据双方约定进行退款。在此情况下，即使当时没有及时告知警方，也不影响双方之间的合同关系和财物返还。 然而，如果您发现钱包内有其他人的财物或者存在其他疑点，建议尽快联系当地的公安机关或报警中心，以便警方能够进一步调查核实钱包的具体来源和归属权，以确保您和他人都不会受到不必要的损失或困扰。 此外，为了保护自己的权益，建议在任何情况下都保留好相关证据，包括但不限于与对方的对话记录、视频、照片等，这些都有助于证明钱包的所有权归属以及交易的真实性。同时，在遇到类似事件时，应保持冷静，遵循法律程序，避免因情绪激动而做出不理智的行为。