在大多数情况下，如果已婚男人与您已经分手，并且他们认为他们有权收回转账给您的款项，他们可能有权利这样做。然而，这取决于许多因素，包括是否存在明确的书面协议或约定以及被告是否有足够的证据证明他们有权要求退款。 此外，如果您的丈夫持有您的妻子的授权委托书，那么他可能会被认为有权代表她的利益并要求退款。在这种情况下，如果您认为您应该有权保留这些款项，请考虑寻求法律建议，以确保您的权益得到保护。