Para tirar proveito do princípio da localidade, as memórias em um computador são organizadas em uma hierarquia. A ideia é colocar memórias mais rápidas (e menores) mais próximas do processador e tornar seu acesso mais frequente, enquanto as memórias de maior capacidade (e mais lentas) são colocadas longe do processador e acessadas com menos frequência.
Com essa disposição das memórias é possível otimizar o uso das memórias mais rápidas sem aumentar significativamente o custo de hardware.
