在您的情况下，拒绝接听警方的电话是可能被视作违反法律规定的行为。根据中国《治安管理处罚法》第42条的规定，“有下列行为之一的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。 （一）写恐吓信或者以其他方法威胁他人人身安全的； （二）公然侮辱他人或者捏造事实诽谤他人的； （三）捏造事实诬告陷害他人，企图使他人受到刑事追究或者受到治安管理处罚的； （四）对证人及其近亲属进行威胁、侮辱、殴打或者打击报复的； （五）多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的； （六）偷窥、偷拍、窃听、散布他人隐私的。”因此，在您的情况下，如果警方频繁骚扰您，您可以考虑报警处理，寻求法律帮助。 同时，建议您与警方沟通，表达您的意愿和担忧，并尽量提供一些具体的证据证明您的立场，以便警方能够更好地理解您的情况，并采取相应的措施。