您好，根据您描述的情况，确实存在一些证据表明该男子可能有不忠行为。首先，如果该男子在晚上使用该男性手机与您联系，并且这些通信涉及骚扰或威胁，那么这可能会被认定为一种不道德的行为。其次，如果该男子在您的住所附近活动，这可能表明他在尝试接近您或者您的家庭。 然而，需要明确的是，没有足够的证据来确定某人是否真的出轨了。通常情况下，要确认某人是否有外遇，需要进行深入调查，包括收集其他人的证言，查看通信记录，以及对被告的隐私进行搜索等。此外，即使被告承认了某种行为，也不能保证这种行为是非法的或违背道德的。 因此，在处理类似情况时，建议寻求专业的法律帮助，以确保自己的权益得到保护。同时，也可以考虑聘请一位私人侦探来获取更全面的信息。请记住，无论何时，都不能采取任何行动来侵犯他人的隐私权。