遗弃罪是指故意不履行对未成年人的抚养义务，造成其生活困难或者死亡的行为。在您的情况下，您和孩子的母亲已经离婚，并且孩子由您抚养。根据法律规定，如果孩子的生活确实因您的原因而受到影响或处于困境中，您可以要求对方支付适当的经济补偿或抚养费用来弥补这种损失。 然而，仅仅因为对方没有按照约定的时间去看望孩子就认为这是一种遗弃行为是不够充分的。遗弃罪通常需要有严重的后果，比如孩子的生活受到严重影响，甚至死亡。在这种情况下，您应该提供确凿证据证明对方的行为导致了孩子的生活状况恶化，以及这种状态持续存在。 如果您怀疑对方的行为构成遗弃罪，建议您与当地公安机关联系，寻求专业的帮助。同时，也建议您考虑通过法律途径解决这个问题，以便保护自己的合法权益。