iPhone, iPad, Mac e Apple TV se beneficiam de um mecanismo de processamento neural especializado chamado Apple Neural Engine (ANE), que fornece uma maneira mais rápida e com maior eficiência de energia para executar a partir de uma CPU ou GPU.
O Neural Engine da Apple permite recursos avançados no dispositivo, como processamento de linguagem natural e análise de imagem, sem tirar proveito da computação em nuvem ou usar energia excessiva. Verificar O que é uma rede neural convolucional (CNN) e como ela funciona?
Vamos explorar como o Neural Engine funciona e sua evolução, incluindo o raciocínio e a inteligência que ele fornece nas plataformas da Apple e como os desenvolvedores podem usá-lo em aplicativos de terceiros.
Links Rápidos
O que é o Motor Neural (ANE)?
O Neural Engine da Apple é um nome de marketing para um conjunto de núcleos de computação altamente especializados que são otimizados para a implementação eficiente de energia de redes neurais profundas em dispositivos Apple. Ele acelera os algoritmos de aprendizado de máquina (ML) e inteligência artificial (IA), oferecendo grande velocidade, memória e vantagens de energia em relação a uma CPU ou GPU principal.
O Neural Engine é uma grande parte do motivo pelo qual os iPhones, iPads, Macs e Apple TVs mais recentes são mais responsivos e não esquentam durante o processamento estressante de computação de ML e AI. Infelizmente, nem todos os dispositivos da Apple têm o Neural Engine - o Apple Watch, os Macs baseados em Intel e os dispositivos anteriores a 2016 não o possuem.
O Neural Engine apareceu pela primeira vez dentro do chip Apple A11 no iPhone X de 2017 e era poderoso o suficiente para suportar Face ID e Animoji. Em comparação, o mais recente Neural Engine no chip A15 Bionic é 26 vezes mais rápido que a primeira versão. Atualmente, o ANE habilita recursos como o Siri no modo offline, e os desenvolvedores podem usá-lo para executar modelos de ML pré-treinados, liberando recursos de CPU e GPU para se concentrar nas tarefas que funcionam melhor para eles. Verificar Comparação entre Samsung Galaxy S23 Ultra e iPhone 14 Pro Max: Qual é melhor?
Como funciona o Neural Engine?
O ANE fornece lógica e controle computacional ideais para executar operações de computação intensiva, como multiplicação e acumulação, e é comumente usado em algoritmos de ML e AI, como classificação de imagem, análise de mídia, tradução automática e muito mais.
De acordo Patente da Apple Intitulado "Multi-Mode Planar Engine for Neural Processor", o ANE consiste em vários núcleos de mecanismo neural e um ou mais circuitos multimodo planar.
O design é otimizado para computação paralela, onde muitas operações, como multiplicações de matrizes executadas em trilhões de iterações, devem ser executadas simultaneamente.
Para acelerar a inferência em algoritmos de IA, a ANE usa modelos preditivos. Além disso, o ANE possui seu próprio cache e suporta apenas alguns tipos de dados, o que ajuda a maximizar o desempenho.
Recursos de IA alimentados pelo Neural Engine
Aqui estão alguns dos recursos do dispositivo com os quais você pode estar familiarizado e que o ANE permite.
- processamento de linguagem natural: reconhecimento de voz mais rápido e confiável para ditado e resposta com Siri; aprendizado de linguagem natural aprimorado no aplicativo de tradução e em todo o sistema; Tradução instantânea de texto em Fotos, Câmera e outros aplicativos do iPhone.
- visão computacional: pesquise coisas em fotos como pontos de referência, animais de estimação, plantas, livros e flores usando o aplicativo Fotos ou a pesquisa do Spotlight; Obtenha informações adicionais sobre objetos reconhecidos usando a pesquisa visual em locais como Safari, Mail e Mensagens. Verificar Lesões realistas ao jogar videogame e como evitá-las.
- Realidade aumentada: Adicionando muitos elementos e rastreamento de movimento em aplicativos AR.
- análise de vídeo: detecte rostos e objetos em vídeo em aplicativos como o Final Cut Pro.
- Efeitos de câmera: corte automático usando o Center Stage; Desfoque o fundo durante chamadas de vídeo do FaceTime.
- os jogosEfeitos fotorrealistas em videogames 3D.
- texto direto: Forneça reconhecimento óptico de caracteres (OCR) na câmera e nas fotos, permitindo que você copie facilmente manuscritos ou textos como senha de Wi-Fi ou endereço de fotos.
- Imagem computacional: Deep Fusion analisa pixels para melhor redução de ruído, maior faixa dinâmica, melhor exposição automática e balanço de branco e aproveita o Smart HDR quando apropriado; fotografar com uma profundidade de campo rasa, incluindo tirar fotos no modo noturno; Ajuste o nível de desfoque do fundo usando o recurso Controle de profundidade.
- Recordações: ANE também é usado para estilos de fotografia no aplicativo Câmera, organização de memórias e efeitos estilísticos em fotos, recomendações personalizadas como sugestões de plano de fundo, anotações em fotos no VoiceOver, localização de fotos duplicadas em Fotos e assim por diante.
Alguns dos recursos mencionados acima, como o reconhecimento de imagem, também funcionam sem o ANE, mas serão muito mais lentos e esgotarão a bateria do seu dispositivo.
Uma Breve História do Neural Engine: Do iPhone X ao Mac habilitado para M2
Em 2017, a Apple implantou seu primeiro mecanismo ANE na forma de dois núcleos especializados dentro do chip A11 do iPhone X. Pelos padrões atuais, ele era relativamente lento, gerenciando apenas 600 bilhões de operações por segundo.
O ANE de segunda geração dentro do chip A12 estreou em 2018, com quatro vezes mais núcleos. Avaliado em cinco trilhões de operações por segundo, o ANE era cerca de nove vezes mais rápido e usava um décimo da potência de seu antecessor.
O chip A13 2019 tem o mesmo mecanismo ANE de 15 núcleos, mas funciona um quinto mais rápido com 7% menos uso de energia e é o produto do nó semicondutor aprimorado de XNUMX nm da TSMC. A TSMC (Taiwanese Semiconductor Manufacturing Corporation) fabrica chipsets projetados pela Apple.
Evolução do Motor Neural
No ano seguinte, o chip Apple A14 quase dobrou o desempenho do ANE para 11 trilhões de operações por segundo, o que foi alcançado aumentando o número de núcleos ANE de 8 para 16. Em 2021, o A15 Bionic aproveitou o processo de 5nm de segunda geração da TSMC. , aumentando ainda mais o ANE, trazendo o desempenho para 15.8 trilhões de operações por segundo sem adicionar mais núcleos.
Os primeiros chips M1, M1 Pro e M1 Max vinculados ao Mac tinham o mesmo mecanismo ANE do A14, trazendo ML e IA avançados e acelerados por hardware para a plataforma macOS pela primeira vez.
Em 2022, o M1 Ultra combina dois chips M1 Max em um único pacote usando uma conexão personalizada da Apple chamada UltraFusion. Com o dobro de núcleos ANE (32), o M1 Ultra dobrou o desempenho ANE para 22 trilhões de operações por segundo.
O Apple A16 em 2022 foi construído usando o nó N4 aprimorado da TSMC, resultando em desempenho ANE 8% mais rápido (17 trilhões de operações por segundo) do que o chip A15.
Os primeiros iPads com o mecanismo ANE foram o iPad mini de quinta geração (2019), o iPad Air de terceira geração (2019) e o iPad de oitava geração (2020). Todos os iPads lançados desde então têm ANE. Verificar As opções que tornam o Mac mini com M1 o melhor Mac para iniciantes.
Como os desenvolvedores podem usar o ANE em aplicativos?
Muitos aplicativos de terceiros usam o mecanismo ANE para recursos que não seriam úteis de outra forma. Por exemplo, o editor de fotos Pixelmator Pro oferece ferramentas como ML Super Resolution e ML Enhance. E no Djay Pro, o ANE separa batidas, instrumentais e faixas vocais da gravação.
No entanto, desenvolvedores de terceiros não obtêm acesso de baixo nível ao ANE. Em vez disso, todas as chamadas ANE devem passar pela estrutura de aprendizado de máquina da Apple, Core ML. Com o Core ML, os desenvolvedores podem criar, treinar e executar seus modelos de ML diretamente no dispositivo. Esse modelo é então usado para fazer previsões com base nos novos dados de entrada.
“Depois que o modelo está na máquina do usuário, você pode usar o Core ML para retreiná-lo ou ajustá-lo na máquina, usando os dados desse usuário”, de acordo com a perspectiva do Core ML sobre Site da Apple.
Para acelerar os algoritmos de ML e IA, o Core ML aproveita não apenas o ANE, mas também a CPU e a GPU. Isso permite que o Core ML execute um modelo mesmo quando o ANE não está disponível. Mas com o ANE, o Core ML funcionará mais rápido e a bateria não descarregará tão rápido. Verificar Como criar um modelo de aprendizado de máquina usando o Microsoft Lobe.
Muitos recursos da Apple não funcionariam sem o ANE
Muitos recursos do dispositivo não seriam possíveis sem o processamento rápido de algoritmos de IA e aprendizado de máquina e a redução no tamanho da memória e no consumo de energia que o ANE traz para a lista. A mágica da Apple está em ter um coprocessador dedicado a executar redes neurais de forma privada no dispositivo, em vez de descarregar essas tarefas em servidores na nuvem.
Com o ANE, tanto a Apple quanto os desenvolvedores podem implementar redes neurais profundas e colher os benefícios do aprendizado de máquina acelerado para vários modelos preditivos, como tradução automática, detecção de objetos, classificação de imagens e assim por diante. Você pode ver agora Como se tornar um engenheiro de aprendizado de máquina e IA: um guia para iniciantes.