Redes de computação descentralizadas na otimização de modelos de IA

Download

Para competir nos próximos anos, as empresas que desejam se transformar digitalmente — e acompanhar concorrentes que já reconheceram e abraçaram a oportunidade que tinham diante de si — precisarão dar um grande passo à frente, e adotar o status quo. O que quero dizer com isto?  

Em uma época em que Inteligência Artificial é considerada o motor que impulsionará não só a Web3, mas a próxima era do progresso humano, deixar de participar não é mais uma opção de negócios viável. 

No entanto, embora seja evidente que as iniciativas de IA são prioridade máxima para Transformação Digital, bem como um impulsionador de resultados comerciais importantes, é preciso superar alguns desafios que barram a entrada ou impedem a própria indústria de Inteligência Artificial de maximizar suas vantagens competitivas. 

Eixos impulsionadores da evolução da Inteligência Artificial 

Assim como nós, humanos, as tecnologias estão em constante aprimoramento, em direção a uma coevolução entre humanos e tecnologia. 

Tendo isto em conta e o que já vivemos hoje, os sistemas automatizados impulsionados pela Inteligência Artificial já estão melhorando muitas dimensões de nosso trabalho, lazer e vida doméstica. 

Mas para que isso continue nas próximas décadas, é preciso preservar os eixos que impulsionam a evolução da Inteligência Artificial. 

Todos os subcampos da IA utilizam grandes conjuntos de dados no treinamento de seus modelos. 

O treinamento de modelos IA, por sua vez, exige grandes quantidades de poder computacional para processar esses grandes conjuntos de dados. 

A análise desses conjuntos de dados, processados através de poder computacional pelos modelos de IA, exigem o constante desenvolvimento de novos algoritmos e técnicas para cálculos complexos. 

Assim, podemos concluir que dados, algoritmos e poder computacional são os eixos que sustentam os avanços da Inteligência Artificial – isto é, são responsáveis tanto pelo seu progresso, quanto pela sua desaceleração. 

Não à toa, os atuais obstáculos que a indústria precisa superar para que a IA continue a avançar possuem relação direta com seus eixos de desenvolvimento.  

Os desafios da indústria à contínua expansão da Inteligência Artificial 

Dois obstáculos precisam ser superados para que a indústria de IA continue se expandindo: 

1) A crescente demanda por poder computacional 

É necessário o uso de um grande número de GPUs por longos períodos de tempo para o treinamento de modelos de Machine Learning — campo da Inteligência Artificial dedicado à compreensão e construção de sistemas que “aprendem”, isto é, aproveitam os dados para melhorar o desempenho em algumas tarefas.  

E o Machine Learning também está associado a vários outros subcampos de Inteligência Artificial, como Redes Neurais e Deep Learning. 

Pois bem, a demanda por poder computacional em modelos de Machine Learning, Deep Learning e Redes Neurais nos leva ao primeiro obstáculo à expansão da Inteligência Artificial. 

Os cálculos exigidos por tais modelos de IA estão aumentando em uma progressão geométrica e o fornecimento de recursos computacionais não está acompanhando as exigências da indústria – segundo dados de estudo publicado em novembro de 2020.  

Para se ter uma ideia do tamanho da demanda computacional que estamos falando, veja aqui [Figura 1]. 

Desde 1959, a demanda por poder computacional no campo da Inteligência Artificial duplicou a cada dois anos. No entanto, a partir de 2012, essa tendência se acentuou, com o desempenho computacional exigido dobrando a cada 3,4 meses. 

2) Os altos custos para treinamento de modelos de IA em larga escala:  

Conforme estudo publicado no início de 2023, os custos para o treinamento de modelos de IA em larga escala aumentaram durante a última década em torno de 3100% ao ano. Veja aqui [Figura 2]. 

Por conta disso, as empresas com foco em Inteligência Artificial geralmente precisam enfrentar uma dura escolha: ou investem no desenvolvimento de seu próprio hardware ou, devido à alta demanda, pagam preços salgados para provedores de clouds.  

As grandes empresas podem se dar ao luxo de escolher fornecedores de cloud, empresas menores podem não ter esta opção. Ora, isto gera dois impactos fundamentais na indústria: 

• Os pequenos laboratórios de pesquisa ML já começam em desvantagem 
• O desenvolvimento de IA fica concentrado em poucas empresas de tecnologia.  

Lembra da carta aberta assinada por líderes mundiais para uma pausa em IA?  

Você acha que o único motivo é porque a “centralização” no desenvolvimento de IA — segmentada por poucos conglomerados de tecnologia — é considerada antiética e um enorme risco à sociedade., ou é para conter as empresas que largaram na frente?  

Como projetos de redes de computação podem ajudar a indústria de IA a superar tais obstáculos e continuar se expandindo? 

Redes de computação descentralizadas (RCD) 

Conceito 

Redes Computacionais Descentralizadas conectam entidades que buscam recursos computacionais a sistemas com capacidade ociosa de computação, incentivando a contribuição de recursos de processamento para a rede.  

Porque as RCDs são importantes? 

A sinergia entre RCD e Inteligência Artificial 

Essas redes de computação descentralizadas (RCD) podem oferecer preços mais baixos em comparação com os provedores tradicionais centralizados, o que ajuda a contornar o obstáculo dos altos custos para treinamento de modelos em larga escala, e a democratizar o desenvolvimento da IA. 

Tipos 

Redes de computação descentralizadas “de propósito geral” operam como uma nuvem descentralizada, provendo recursos de computação para uma variedade de aplicações.  

Já redes de computação descentralizadas “para fins específicos” são destinadas a casos de uso específicos como, por exemplo, para a “paralelização” ou a verificação de uma parte do treinamento de ML. 

— RCD específica para “paralelização” 

Como o treinamento desses modelos depende do estado atual do cálculo, é muito complexo alavancar uma rede distribuída geral de GPUs.  

Nesse caso, uma boa solução para treinar modelos de Deep Learning e ML é usar uma RCD especificamente projetada para realizar parte do treinamento em paralelo. 

— RCD específica para “paralelização” 

Geralmente, para treinar um modelo ML é preciso encontrar uma maneira de verificar o trabalho computacional sem repetir todo o cálculo – o que ocasionaria um desperdício de tempo e recursos.  

Por isso, uma boa solução é utilizar uma rede de computação descentralizada projetada “apenas” para verificação do trabalho computacional. 

Agora que você já sabe o que são redes computacionais descentralizadas, seus tipos e como elas podem ajudar empresas a superar os desafios aos avanços da IA, como nada melhor que um exemplo para compreender algo, vamos ver tudo isto na prática. 

Exemplos da sinergia IA e entre Redes Computacionais Descentralizadas  

Bittensor 

O Bittensor é um protocolo de código aberto que alimenta uma rede descentralizada de ML baseada em blockchain. Ele transforma a forma como os pesquisadores colaboram, através de incentivos à produção de conhecimento em uma rede de código aberto com uma codificação padronizada de entradas e saídas para a interoperabilidade de modelos de Machine Learning. 

Como? 

Através do Treinamento colaborativo de modelos ML, e de recompensa aos participantes através do token nativo da rede – TAO. Basicamente, os participantes desta RCD são pagos pelas informações que trocam com outros usuários, além de acelerar seu aprendizado.  A rede TAO também concede acesso externo, permitindo que os usuários extraiam informações da rede enquanto ajustam suas atividades às suas necessidades. Ou seja, o objetivo é criar um marketplace de IA, uma arena incentivada na qual consumidores e produtores podem interagir em contexto aberto e transparente. 

Dessa forma, a rede da Bittensor possibilita: 

• Uma estratégia nova e otimizada para o desenvolvimento e distribuição de tecnologia de Inteligência Artificial. Isto facilita o acesso aberto/propriedade, governança descentralizada, e a capacidade de aproveitar recursos distribuídos de poder computacional global, além de possibilitar a inovação dentro de uma estrutura incentivada. 
• Um repositório de código aberto de inteligência de máquina, acessível a qualquer pessoa, em qualquer lugar. Isto cria as condições para inovação aberta e sem permissão em escala global. 
• Distribuição de recompensas e propriedade da rede aos usuários em proporção direta ao valor que eles agregaram à rede. 

Gensyn 

Gensyn é uma blockchain de Layer 1 não permissionada.  

Dito de outro forma, é uma rede de computação descentralizada específica de Machine Learning, que traz uma solução para os problemas de paralelização e verificação no treinamento de modelos de IA de forma descentralizada e distribuída. 

Seu protocolo utiliza a paralelização para dividir cargas de trabalho computacional maiores em tarefas, e as empurra de forma assíncrona para a rede. Para resolver o problema de verificação, o Gensyn usa prova de aprendizagem probabilística, um protocolo de pontos de referência baseado em gráficos, e um sistema de design de incentivos ao estilo Truebit. 

Apesar de ainda não esteja ativa, a equipe prevê que o custo em horas para uma GPU equivalente ao V100 será de aproximadamente US$ 0,40, tendo como base desta estimativa os mineradores Ethereum que ganhavam de US $0,20 a US $0,35 por hora com uma GPU semelhante “antes” do the Merge.  

Bem por isso, os custos de computação na Gensyn serão severamente “menores” que os serviços sob demanda ofertados pela AWS e GCP. 

Por fim, como último exemplo temos um exemplo de RCD de propósito geral. 

Render Network 

Ela é uma plataforma de computação GPU distribuída peer-to-peer em blockchain que democratiza a computação e o poder de renderização, disponibilizando fácil acesso a ferramentas de realidade aumentada para que criadores de conteúdo possam criar arte digital em ambientes 3D. 

Seu funcionamento é projetado para conectar os usuários que procuram realizar trabalhos de renderização com pessoas ou empresas que possuem GPUs ociosas para processar os renderizadores.  

Os proprietários conectam suas GPUs à Render Network para receber e realizar os trabalhos de renderização usando OctaneRender. Em troca, os usuários enviam o tokens “RNDR” para o indivíduo que executar o trabalho de renderização. 

Quando os fornecedores da capacidade computacional registram suas GPUs ociosas na Rede de Renderização, eles se tornam “Operadores de Nós” e ganha, tokens  RNDR (ERC-20) pelo trabalho realizado. E os usuários que necessitam de renderização — os “Criadores” — enviam seus arquivos para a Render Network, que os atribui aos Operadores.  

A fim de manter a rede e facilitar a transação, a Render Network recebe uma pequena porcentagem dos tokens RNDR pagos. 

Takeaway 

As Redes Computacionais Descentralizadas podem trazer melhoria e eficiência no treinamento de IA. 

Elas possibilitam o agrupamento de recursos e a abertura de oportunidades para que mais pessoas contribuam para modelos de IA em larga escala. 

Tais protocolos descentralizados ainda estão em seus estágios iniciais, mas podem ser uma luz no fim do túnel para os desafios ao progresso da Inteligência Artificial. 

Mas e você? Tinha ideia dos obstáculos enfrentados pela indústria de Inteligência Artificial? Já tinha ouvido falar de redes de computação descentralizadas com foco em otimizar modelos de IA em larga escala?