根据我国《刑法》第二百六十六条的规定，诈骗罪是指以非法占有为目的，用虚构事实或者隐瞒真相的方法，骗取数额较大的公私财物的行为。在您的情况下，如果双方之间的约定是合法的，并且没有违反法律规定，那么您不应该被认定为诈骗。 然而，如果您认为对方有欺诈行为，可以考虑向有关部门进行举报或投诉。同时，建议您保留好所有与彩礼相关的证据，以便在必要时作为证明材料使用。