根据我国《民法典》的规定，除非自行车的所有人明确表示同意转让或放弃所有权，否则自行车的所有权属于所有人。因此，在这种情况下，你有权要求对方归还自行车。 至于对方是否应该支付购买自行车的钱，这取决于双方的协议。如果你们之间存在合同关系，并且对方已经支付了相应的款项，那么他就有权利要求对方支付这部分费用。但如果不存在这样的合同关系，或者对方没有支付款项，则他无权要求你返还自行车和支付款项。 总之，你应该要求对方归还自行车，并且可以考虑通过协商解决这个问题，或者向法院提起诉讼来维护自己的合法权益。