您的情况涉及家庭暴力和治安管理处罚的问题。根据我国相关法律规定，如果一方在面临可能危及自身安全的情况下使用适当的力量反击，且该行为符合自卫原则，则可以视为正当防卫。 然而，在本案中，您提到您和您的丈夫一直在回避对方，并未直接参与冲突。此外，您的丈夫也明确表示自己是被动攻击方，并没有主动挑起争端或实施暴力行为。因此，按照一般的逻辑推理，您的丈夫不应该被认定为有责任的人身伤害。 另外，根据《中华人民共和国治安管理处罚法》第43条的规定，针对家庭成员之间的虐待行为，如殴打等，应当受到相应的行政处罚。但请注意，这些规定并不适用于家庭暴力案件中的正当防卫情况。 综上所述，建议您与警方沟通，详细说明您和您的丈夫的行为及其背景，以获得更准确的理解和支持。同时，考虑寻求专业的法律援助，以便更好地保护自己的权益。