Oi Eduardo!!
Fizemos vários testes, em diferentes redes, com diferentes provedores. O site teve um desempenho razoável em todas. Também perguntamos a alguns usuários em relação à velocidade e também não obtivemos retornos negativos.
Há pouco mais de um mês atrás tivemos um problema no servidor principal que, realmente, estava causando lentidão e até mesmo erros de conexão. Fizemos uma reconfiguração total e incluímos o dobro de memória na máquina, que pulou de 4 para 8GB. É memória pra cacilda !

Isso causou uma melhoria geral na performance do site.
Estou triste que você ainda esteja com dificuldades, mas desconfio que seja por conta de algum código errado em seu cache. Vou enviar instruções na sua página de recados.
Abraço!