您好，根据我国法律规定，如果您没有违反相关法律法规或者约定，拒绝对方的邀请并不构成违法行为。因此，您不需要担心会被追究法律责任。 不过，建议您在处理此类情况时，保持冷静和理智，避免因为一时冲动而做出可能引起纠纷的行为。如果对方持续纠缠或威胁，您可以考虑寻求法律帮助，向有关机构投诉或报警解决。同时，也建议您与对方进行沟通，明确表达自己的立场和意愿，并寻找双方都可以接受的解决方案。