是的，您可以向法院提起诉讼，要求对方赔偿您的损失。在起诉时，您需要提供相关证据证明该财物是属于五保户的，并且被告有故意或过失导致该财物受损的行为。同时，您也需要考虑是否还有其他途径来解决问题，例如与对方协商解决或者寻求第三方调解等。请务必注意保护自己的合法权益，避免不必要的纠纷和损失。