Minha Visão

OpenAI Encontra Aprendizado de Máquina, a Eficiência É Superando a Lei de Moore

OpenAI Encontra Aprendizado de Máquina, a Eficiência É Superando a Lei de Moore
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


Oito anos atrás, um algoritmo de aprendizado de máquina aprenderam a identificar um gato e ele surpreendeu o mundo. Alguns anos mais tarde, AI poderia traduzir com precisão línguas e derrubar o campeão do mundo de Ir para os jogadores. Agora, aprendizado de máquina, começou a excel no complexo multiplayer de vídeo jogos como Starcraft e Dota 2 e sutil jogos como o poker. AI, parece, está melhorando rapidamente.

Mas o quão rápido é rápido, e o que dirige o ritmo? Enquanto melhor chips de computador são a chave, AI organização de pesquisa OpenAI acha que devemos medir o ritmo de melhoria da máquina real algoritmos de aprendizado também.

Em um post de blog e papel—de autoria do OpenAI Danny Hernandez e Tom Brown e publicado no arXiv, em um repositório aberto de pré-impressão (ou não-ainda-peer-reviewed) estudos—os investigadores dizem ter começado a registar uma nova medida para aprendizado de máquina de eficiência (ou seja, fazer mais com menos). Usando essa medida, eles mostram AI foi ficando mais eficiente em um ímpio ritmo.

Para quantificar o progresso, os pesquisadores escolheram uma imagem de referência de reconhecimento do algoritmo (AlexNet) a partir de 2012 e controladas quanto o poder de computação algoritmos mais recentes demorou para igualar ou exceder o benchmark. Eles encontraram de algoritmos eficiência dobrou a cada 16 meses, superando a Lei de Moore. Reconhecimento de imagem AI em 2019 necessários 44 vezes mais poder de processamento para alcançar AlexNet a performance.

OpenAI Encontra Aprendizado de Máquina, a Eficiência É Superando a Lei de Moore 1
Quantidade Total de computação em teraflops/s-dias usados para treinar para AlexNet nível de desempenho. Menor de computação de pontos em qualquer momento mostrado em azul. Todos os pontos medidos mostradas em cinza. Imagem e legenda: OpenAI

Que há menos pontos de dados, os autores encontraram ainda mais rápido das taxas de melhoria ao longo de períodos mais curtos em outras popular capacidades, tais como a tradução e o jogo.

O Transformador de algoritmo, por exemplo, teve 61 vezes menos poder de processamento para superar o seq2seq o algoritmo de tradução inglês para francês três anos mais tarde. DeepMind do AlphaZero necessários oito vezes menos de computação para corresponder AlphaGoZero no jogo do Go, apenas um ano mais tarde. E OpenaAI Cinco execute Novamente usada cinco vezes menos poder de processamento para ultrapassar o mundo-campeão-batendo OpenAI Cinco no Dota 2, apenas três meses depois.

Uma Lei de Moore para Machine Learning

Por faixa de algoritmos eficiência? Os autores dizem que três entradas unidade progresso no aprendizado de máquina: disponível poder de computação, de dados e de algoritmos de inovação. Poder de computação é mais fácil de controlar, mas as melhorias nos algoritmos são um pouco mais escorregadio.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Há uma espécie de algoritmos a Lei de Moore em aprendizado de máquina? Talvez. Mas não há informações suficientes para dizer ainda, de acordo com os autores.

Seu trabalho inclui apenas alguns pontos de dados (o original da Lei de Moore gráfico da mesma forma, tinha algumas observações). Assim, qualquer extrapolação é puramente especulativa. Além disso, o artigo concentra-se em apenas um punhado de populares capacidades e as melhores programas. Não está claro se as tendências observadas pode ser generalizada de forma mais ampla.

Dito isso, os autores afirmam que a medida, na verdade, pode subestimar o progresso, em parte, porque ele esconde o salto inicial da impraticável para a prática. O poder de computação levaríamos para chegar a um valor de referência inicial da capacidade de, digamos, AlexNet no reconhecimento de imagem—para antes de abordagens teria sido tão grande quanto a de ser impraticável. Os ganhos de eficiência basicamente para ir de zero a um, então, seria impressionante, mas não são contabilizados aqui.

Os autores também apontam outras medidas já existentes para melhoria de algoritmos pode ser útil, dependendo o que você está esperando para aprender. No geral, eles dizem, acompanhamento de várias medidas, incluindo aqueles em hardware pode pintar uma imagem mais completa do progresso e ajudar a determinar onde o futuro esforço e o investimento será mais eficaz.

READ  Molecular analyser is 100 times faster

O Futuro da inteligência artificial

Vale a pena mencionar o estudo centra-se na profunda algoritmos de aprendizagem, o dominante AI abordagem no momento. Se uma aprendizagem mais profunda continua a fazer tal progresso dramático é uma fonte de debate na comunidade AI. Alguns dos seus investigadores de topo pergunta aprendizagem profunda do potencial de longo prazo para resolver o campo de maiores desafios.

Em um artigo anterior, OpenAI mostrou o mais recente manchete-agarrando AIs requerem um choque bastante grande quantidade de poder de processamento para treinar, e que os recursos necessários estão a crescer a um ritmo tórrido. Considerando que o crescimento na quantidade de poder computacional utilizado por AI programas antes de 2012 em grande parte controladas a Lei de Moore, o poder de computação utilizado por algoritmos de aprendizado, desde 2012, tem vindo a crescer sete vezes mais rápido que a Lei de Moore.

É por isso que OpenAI está interessado em acompanhar o progresso. Se algoritmos de aprendizado estão ficando mais caros para fazer, por exemplo, é importante para aumentar o financiamento para os pesquisadores de forma a acompanhar com esforços privados. E se a eficiência tendências provar consistente, vai ser mais fácil de antecipar o futuro de custos e plano de investimentos de acordo.

Se o progresso continua inabalável, de Moore-Direito-como, por anos para vir, logo atinge uma parede continua a ser visto. Mas, como observam os autores, se essas tendências continuam para o futuro, AI vai ficar muito mais poderoso, ainda, e talvez mais cedo do que pensamos.

Crédito da imagem: Frankie Lopez / Unsplash

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *