根据我国刑法规定，强奸罪是指以暴力、胁迫或者其他手段，强行与妇女发生性交的行为。如果男子基于自愿同意或没有意识到对方的拒绝而实施了行为，则不构成强奸。 然而，在您的描述中，女子声称自己有性功能障碍，要求男子离开。在这种情况下，男子是否需要承担刑事责任取决于他是否知道女子的真实情况，并且是否有实际侵犯行为。如果男子不知道女子的真实情况，或者只是因为误解而误以为女子愿意发生性行为，那么他可能不需要承担责任。但是，如果男子明知女子患有性功能障碍却仍然实施了行为，那么他就构成了强奸罪。 至于您提到的是否应该支付剩余款项的问题，通常来说，这种行为并不违法，但具体情况还需要考虑双方之间的合同约定以及当地的法律规定。如果您认为自己受到了不当对待，建议及时寻求法律帮助，以便维护自己的合法权益。