和对方交朋友时送了一个价值100元的礼物，后来分手，我把礼物收回来了，过了两个月后，对方又来电要那个礼物，我有权利不给他吗？因为这个礼物是我花钱买的，我认为对方无理取闹，请问这个礼物的归属权属于谁？