Efficient caching with history-based preemptive bypassing

Abstract

Cache memories can account for more than half of the area and energy consumption on modern processors, which will only increase with the current trend of bigger on-die mem ories. Although these components are very effective when the access pattern is cache friendly, cache memories incur extra and unnecessary latencies when they cannot serve the data, which adds to significant energy wastes when data that is never reused is placed on them. This work introduces HBPB, a mechanism that detects whether a memory access is cache friendly or not, allowing the bypass of the cache for accesses that are not known to be cache-friendly. Our approach allows the processor to quickly detect when caching ac cesses is inadequate, improving overall access latency and reducing energy waste and cache pollution. The presented solution achieves reductions of up to 75% in energy consumption and 35% in latency for a controlled microbenchmark and improvements in power and performance across various workloads.

As memórias cache podem responder por mais da metade da área e do consumo de energia em processadores modernos, o que só aumentará com a tendência atual de memórias maiores dentro dos chips. Embora esses componentes sejam muito eficazes quando o padrão de acesso é amigável à cache, as memórias cache ocasionam latências extras e desnecessárias quando não podem fornecer os dados, o que aumenta o desperdício de energia significativamente quando dados que nunca são reutilizados são colocados nelas. Este trabalho apresenta o HBPB, um mecanismo que detecta se um acesso à memória é amigável à cache ou não, permitindo ser feito bypass da cache para acessos que não são reconhecidamente como amigáveis às caches. Nossa abordagem permite que o pro cessador detecte rapidamente quando utilizar a cache não é adequado para um acesso, melhorando de forma geral a latência de acesso à memória e reduzindo o desperdício de energia e a poluição do cache. A solução apresentada alcança reduções de até 75% no consumo de energia e 35% na latência para um microbenchmark customizado e melhorias de energia e desempenho em uma plenitude de aplicações diferentes.