根据中国相关法律规定，您有权拒绝他的要求，并采取必要措施保护自己的权益。首先，您可以向当地公安机关报案，以防止该情况继续恶化。其次，可以考虑与您的妻子协商解决这一问题，例如提出离婚或重新安排家庭生活。如果协商不成，您可以寻求专业的法律帮助，由律师进行调解或者起诉处理。 在处理过程中，确保所有行为都符合当地的法律法规和道德规范。如果您需要具体的法律建议，请咨询专业的法律顾问。