根据《民法典》第796条的规定。“债权人有权请求债务人履行债务或者提供担保。债权人与债务人应当在合同中约定，债权人留置财产后，债务人应当在合理期限内履行债务；债务人逾期仍不履行的，债权人可以依法以留置物折价或者以拍卖、变卖该留置物所得的价款优先受偿。”因此，在您的情况下，如果您是债权人，您有权要求债务人（即朋友）偿还剩余的3500元，并且如果对方拒绝还款，则您可以行使留置权，将朋友的手机作为留置物来抵扣剩余的欠款。