Overcoming technological barriers in ReRAM based neural networks by addressing scalability and complexity challenges

Abstract

As Artificial Intelligence techniques gain popularity, researchers are working to make Neural Networks (NNs) more energy-efficient, addressing challenges posed by limited device resources. One promising solution is using analog Resistive Random Access Memory (ReRAM) for Matrix-Vector Multiplication (MVM) with O(1) time complex ity, which offers better performance and lower energy consumption. However, current ReRAM technology faces barriers. Its size is limited to a few megabytes, which is in sufficient for modern NNs with billions of parameters, revealing a gap size issue. While ReRAMexcels at MVM, it struggles with the diversity of nonlinearities needed for com plex NNs, creating a complexity issue. To overcome these barriers, this thesis presents a framework that addresses both the gap size and complexity issues symbiotically. To solve the gap size issue, we used a GPU-ReRAM architecture to optimally select NN layers for ReRAMacceleration, reducing energy consumption and making ReRAM scalable for deeper NNs. We also introduced a technique to reduce NN model size by adding time dependent features and serializing dot-product operations. To address the complexity is sue, we reprogrammed ReRAMs to compute not only MVMbutalso activation functions, softmax, and pooling layers, enhancing energy efficiency in complex NNs and providing greater flexibility than Field-Programmable devices. As a result, this framework effec tively enhances the scalability and versatility of ReRAM technology, making it a viable solution for energy-efficient and complex NN applications.

À medida que técnicas de Inteligência Artificial ganham destaque, pesquisadores buscam aprimorar a eficiência energética das Redes Neurais (NNs) diante de dispositivos de hardware com recursos limitados. Uma abordagem promissora é o uso da Memória Resistiva de Acesso Randômico (ReRAM), que realiza operações de Multiplicação de Matriz-Vetor (MVM)em complexidade de tempoO(1). Isso oferece melhor desempenho e menor consumo de energia em comparação com métodos convencionais. No entanto, a tecnologia ReRAM enfrenta barreiras. Sua escalabilidade é limitada a alguns megabytes, insuficiente para NNs com bilhões de parâmetros, criando uma incompatibilidade de tamanho. Além disso, ReRAMs não cobrem a diversidade de cálculos não lineares em NNs com plexas, gerando um problema de complexidade. Para resolver essas barreiras, esta tese apresenta um framework que aborda os problemas de complexidade e incompatibilidade de tamanho de forma integrada. Para resolver a incompatibilidade de tamanho, apresentamos uma arquitetura GPU-ReRAM com heurísticas de mapeamento, selecionando camadas ótimas de NNs para serem aceleradas com ReRAM, tornando-as escaláveis para NNs mais profundas e reduzindo o consumo de energia. Também introduzimos uma técnica para reduzir o tamanho das NNs, adicionando dependência temporal e serializando as operações de MVM. Para lidar com o problema de complexidade, reprogramamos ReRAMs para calcular não apenas MVM, mas também funções de ativação, softmax e pooling, reduzindo o consumo de energia em NNscomplexas. Esse método oferece versatilidade para explorar novos layouts de NNs, alcançando melhor eficiência energética em comparação com dispositivos programáveis. Como resultado, este framework melhora a escalabilidade e a versatilidade da tecnologia ReRAM, tornando-a uma solução viável para aplicações de redes neurais complexas e energeticamente eficientes.