根据您提供的信息，您的行为在法律上不构成诈骗。首先，您并没有明确表示自己已经结婚，并且您也并未实施任何欺骗行为来获取对方的钱财。其次，虽然您和对方在网上建立了恋爱关系，但这种关系并不足以构成诈骗罪。最后，即使您确实存在不当的行为，例如未能告知对方您的婚姻状况，这也不应被认定为诈骗罪。 因此，在这种情况下，您可以拒绝归还对方的钱，并保留自己的权益不受侵害。如果您需要进一步的帮助或建议，请考虑寻求专业的法律帮助。