A Photoroom, plataforma de edição de fotos com tecnologia de IA que processa mais de sete bilhões de imagens por ano, anunciou nesta terça-feira, 24, o lançamento do PRX, seu modelo de texto para imagem desenvolvido internamente e treinado do zero em GPUs NVIDIA Hopper. Ao contrário da maioria dos lançamentos de modelos que divulgam apenas os pesos finais, a Photoroom está publicando todo o processo de treinamento, incluindo decisões de arquitetura, métodos de aceleração, compromissos de desempenho e técnicas pós-treinamento, tornando o treinamento de difusão de alta resolução mais transparente e reproduzível para equipes de engenharia que trabalham em grande escala.
Segundo o CEO e cofundador da Photoroom, Matt Rouif, trata-se de reduzir as barreiras para a criação e compreensão de modelos de texto para imagem de alta qualidade. “Ao disponibilizar o PRX como código aberto e publicar todo o processo de treinamento, estamos oferecendo aos engenheiros uma referência prática com a qual eles podem aprender e se basear, desde escolhas de arquitetura e eficiência de treinamento até o custo de inferência na infraestrutura e no software de IA da NVIDIA. Muitas vezes, as equipes obtêm os pesos finais, mas não as decisões que os moldaram. Estamos tornando essas decisões visíveis para que o PRX possa servir tanto como um modelo aberto robusto quanto como um manual prático para o treinamento e a implantação de sistemas de texto para imagem de alta resolução”.
O PRX foi treinado do zero, em vez de ser ajustado a partir de um modelo básico existente. A Photoroom, membro do programa NVIDIA Inception para startups, treinou o atual checkpoint de 1,3 bilhão de parâmetros para 1,7 milhão de etapas em cerca de 15 dias em 32 GPUs NVIDIA Hopper, com documentação detalhando a arquitetura, a otimização e as decisões de dimensionamento por trás do lançamento.
Além do treinamento em escala real, a Photoroom realizou experimentos de 24 horas, alcançando uma produção de 1 megapixel a um custo de computação de aproximadamente US$1.500, demonstrando como os experimentos de difusão de alta resolução podem ser estruturados para reduzir as barreiras de infraestrutura para as equipes de pesquisa.
Como a maioria dos sistemas de difusão modernos depende de autoencoders variacionais para comprimir imagens antes do treinamento, o PRX inclui experimentos que reduzem a dependência dessa etapa de compressão, testando abordagens de previsão mais diretas em nível de pixel, permitindo a análise de como a estabilidade, a fidelidade visual e a eficiência computacional mudam quando a compressão é minimizada.
Um dos primeiros exemplos da acessibilidade da PRX vem de Steve Anderson, fundador da Lighthouse Software, que utilizou o modelo de código aberto para criar um explicador visual interativo que mostra como os modelos de difusão geram imagens passo a passo, incluindo a progressão da redução de ruído, a mistura rápida e os ajustes da escala de orientação.
“A possibilidade de executar o PRX localmente no meu MacBook e gerar todos os exemplos sem depender de GPUs na nuvem tornou possível experimentar diretamente e demonstrar como o modelo navega do ruído à imagem de uma forma transparente e prática”, afirmou Steve. “O acesso a um modelo aberto como o PRX permitiu-me analisar como estes sistemas se comportam internamente sem necessitar de infraestrutura especializada”.
O desempenho da inferência também foi avaliado na infraestrutura de IA da NVIDIA e otimizado usando NVIDIA TensorRT e NVIDIA Dynamo-Triton, com melhorias na latência e na taxa de transferência reduzindo diretamente o custo de geração por imagem em escala.
O modelo suporta prompts multilíngues, incorporando capacidade linguística na fase de codificação de texto, para que a geração de imagens não se limite a fluxos de trabalho apenas em inglês.
Além de liberar pesos sob uma licença Apache 2.0, a Photoroom está publicando comparações de arquitetura entre variantes de transformadores de difusão, técnicas de aceleração de treinamento, experimentos de hiperparâmetros e métodos pós-treinamento como parte de uma série de pesquisas em andamento, posicionando o PRX como uma linha de pesquisa aberta contínua, em vez de um único lançamento de ponto de verificação.
Sobre a Photoroom
Fundada em 2019, a Photoroom tornou-se uma das plataformas de edição e design de fotos com tecnologia de IA mais utilizadas, especializada em imagens para comércio eletrônico. Com mais de 300 milhões de downloads em mais de 180 países, a Photoroom está entre os produtos de IA generativa mais utilizados globalmente.
Disponível em dispositivos móveis, web e API, a Photoroom oferece suporte a pequenas e médias empresas, equipes corporativas e prosumidores, permitindo uma produção visual rápida, precisa e consistente, incluindo remoção de fundo, edição em lote e ferramentas de IA generativa, como fundos de IA, imagens de IA e sombras de IA.
Processando mais de sete bilhões de imagens por ano, a Photoroom oferece uma solução escalável para a criação de imagens de produtos, ajudando as empresas a melhorar a visibilidade, operar com mais eficiência e converter a demanda de forma mais eficaz.
