在没有书面证据的情况下，要回买彩票的钱可能会比较困难。根据合同法的相关规定，合同的成立需要有明确的要约和承诺，并且双方当事人都应当有相应的证据来证明合同的存在和履行情况。由于你们之间没有书面合同或者任何形式的证据来证明这一约定，因此，如果对方不承认这一约定，你很难通过法律途径来要求对方履行。 不过，你可以尝试通过和对方进行沟通协商来解决问题。如果能够通过友好的方式达成一致，那么问题可能会更容易解决。如果协商无效，你可以考虑收集其他可能的证据，比如短信、聊天记录、证人证言等，这些间接证据可能有助于证明你们之间的约定。但请注意，这些证据的证明力可能相对较弱，且需要法院根据具体情况进行判断。在实际操作中，如果金额不大，可能需要权衡诉讼的成本和可能的结果。