根据法律规定，您与该男子之间的关系不构成婚姻关系，因此在法律上不存在责任问题。然而，如果该男子未能按照合同约定偿还借款，则可能面临违约责任。建议您收集相关证据，并考虑通过法律途径解决债务纠纷。同时，您可以向当地公安机关报警，以防止债务纠纷引发不必要的矛盾和冲突。