您好！如果对方在不知情的情况下留有您的手机号码，并且没有明确表示您需要承担任何责任，那么通常情况下，您不需要对这个行为承担责任。但是，在某些情况下，如您与对方之间存在合同关系或法律纠纷时，可能会涉及到法律责任。因此，建议您详细了解相关情况并寻求专业的法律意见。