您好！根据您提供的信息，如果您的同事不愿回单位工作，并且您没有强迫他们回来，那么这种情况可能不构成犯罪。然而，建议您尽快与您的同事进行沟通和协商，了解他们的想法和担忧，并寻求双方都能接受的解决方案。 此外，如果您担心自己的安全或权益受到威胁，可以考虑向当地公安机关报案，以便获得帮助和支持。同时，也建议您在处理此类情况时，保持冷静，避免情绪化的反应，以免给对方留下不良印象。 最后，希望您能妥善处理此事，维护自身的合法权益。