在中华人民共和国境内，如果行为人没有实施任何犯罪行为，而是仅仅因为他人侮辱、诽谤自己而被他人纠集起来进行报复，此时的行为并不构成犯罪。这种情况下，行为人可能面临民事赔偿责任，但不会构成刑法上的犯罪。 然而，在某些特殊情况下，如行为人的行为具有明显的挑衅性或者不适当，导致对方采取了过激的反应，并造成严重后果时，也可能构成故意伤害罪或者其他相关罪名。因此，具体情况需要根据案件的具体情节和法律规定来判断是否构成犯罪。建议您咨询专业的法律人士以获得更准确的答案。