您好！根据我国相关法律规定，您自行销售剩余的工厂库存服装的行为并不违反法律。但是需要注意的是，如果您的行为是为了获取利润而进行的商业活动，并且没有得到合法授权或许可，则可能涉及侵权和不正当竞争的问题。因此，在进行此类商业活动时，建议您首先确认是否有获得任何授权或许可，以及是否符合相关的法律法规规定。同时，也可以考虑寻求专业人士的帮助来确保自己的权益不受侵犯。