Quanta latência de rede é "típica" para a costa leste-oeste dos EUA?

106

No momento, estamos tentando decidir se movemos nosso datacenter da costa oeste para a costa leste.

No entanto, estou vendo alguns números de latência perturbadores do meu local da costa oeste até a costa leste. Aqui está um exemplo de resultado, recuperando um pequeno arquivo de logotipo .png no Google Chrome e usando as ferramentas de desenvolvimento para ver quanto tempo a solicitação leva:

  • Costa oeste para costa leste:
    latência de 215 ms, tempo de transferência de 46 ms, total de 261 ms
  • Costa oeste a costa oeste:
    latência de 114 ms, tempo de transferência de 41 ms, total de 155 ms

Faz sentido que Corvallis, OR esteja geograficamente mais próximo da minha localização em Berkeley, CA, por isso espero que a conexão seja um pouco mais rápida. servidor. Isso parece .. excessivo para mim. Especialmente porque o tempo gasto na transferência dos dados reais aumentou apenas 10%, mas a latência aumentou 100%!

Isso parece ... errado ... para mim.

Encontrei aqui alguns links que foram úteis (pelo Google, não menos!) ...

... mas nada autoritário.

Então, isso é normal? Não parece normal. Qual é a latência "típica" que devo esperar ao mover pacotes de rede da costa leste <--> costa oeste dos EUA?

Jeff Atwood
fonte
10
Qualquer medida nas redes que você não controla parece quase inútil. Muitas vezes, nesses tipos de discussões em rede, parece que esquecemos que há um componente temporal associado a cada pacote. Se você executou o teste repetidamente 24 x 7 e chegou a alguma conclusão, isso é uma coisa. Se você executou o teste duas vezes, sugiro que execute um pouco mais. E para aqueles que defendem o uso do ping como uma medida de desempenho, não. Em todas as principais redes em que trabalhei, definimos o tráfego ICMP com a menor prioridade. Ping significa apenas uma coisa, e não é;) sobre desempenho.
dbasnett
De onde eu moro, Jefferson City, MO, os tempos são semelhantes.
Dbnetnet
4
Como uma observação lateral: a própria luz leva ~ 14ms para viajar de NY para SF em linha reta (considerando a fibra por todo o caminho).
Shadok 16/07/12
A luz na fibra viaja com um fator de velocidade de 0,67 (equivalente ao índice de refração) ~ 201.000 km / s, portanto são pelo menos 20 ms.
precisa saber é o seguinte

Respostas:

114

Velocidade da Luz:
Você não vai superar a velocidade da luz como um ponto acadêmico interessante. Este link funciona de Stanford a Boston no ~ 40ms no melhor tempo possível. Quando essa pessoa fez o cálculo, ele decidiu que a Internet opera aproximadamente "dentro de um fator de duas vezes a velocidade da luz"; portanto, há cerca de ~ 85ms de tempo de transferência.

Tamanho da janela TCP:
Se você estiver com problemas na velocidade de transferência, talvez seja necessário aumentar o tamanho do TCP da janela de recebimento. Também pode ser necessário ativar o dimensionamento da janela se for uma conexão de alta largura de banda e alta latência (chamada de "Long Fat Pipe"). Portanto, se você estiver transferindo um arquivo grande, precisará de uma janela de recebimento grande o suficiente para encher o tubo sem ter que esperar pelas atualizações da janela. Entrei em alguns detalhes sobre como calcular isso na minha resposta Tuning an Elephant .

Geografia e latência:
um ponto de falha de algumas CDNs (redes de distribuição de conteúdo) é que elas equivalem a latência e geografia. O Google fez muitas pesquisas com sua rede e encontrou falhas nisso; eles publicaram os resultados no white paper Indo além das informações de caminho de ponta a ponta para otimizar o desempenho da CDN :

Primeiro, mesmo que a maioria dos clientes seja atendida por um nó CDN geograficamente próximo, uma fração considerável de clientes experimenta latências várias dezenas de milissegundos a mais do que outros clientes na mesma região. Segundo, descobrimos que os atrasos nas filas geralmente substituem os benefícios de um cliente interagindo com um servidor próximo.

Pares de BGP:
Além disso, se você começar a estudar o BGP (protocolo principal de roteamento da Internet) e como os ISPs escolhem pares, você encontrará muitas vezes mais sobre finanças e política; portanto, nem sempre você pode obter o melhor caminho para determinadas localizações geográficas, dependendo no seu ISP. Você pode ver como o seu IP está conectado a outros ISPs (Sistemas Autônomos) usando um roteador de espelho . Você também pode usar um serviço whois especial :

whois -h v4-peer.whois.cymru.com "69.59.196.212"
PEER_AS | IP               | AS Name
25899   | 69.59.196.212    | LSNET - LS Networks
32869   | 69.59.196.212    | SILVERSTAR-NET - Silver Star Telecom, LLC

Também é divertido explorá-los como pares com uma ferramenta de interface gráfica como o linkrank , que fornece uma imagem da Internet ao seu redor.

Kyle Brandt
fonte
Concordo, a velocidade da luz enquanto o corvo voa é o melhor que você pode fazer. Resposta realmente excelente, a propósito, é exatamente isso que eu estava procurando. Obrigado.
quer
4
Para os curiosos a matemática real é: 3000 mi / c = 16.1ms
tylerl
15
No vácuo, um fóton pode percorrer o equador em aproximadamente 134 ms. O mesmo fóton no vidro levaria cerca de 200 ms. Um pedaço de fibra de 3.000 milhas tem 24 ms. de atraso sem nenhum dispositivo.
Dbnetnet
11
Isso me lembra o caso do email de 500 milhas .
bahamat
42

Este site sugere que uma latência de 70 a 80ms entre a costa leste / oeste dos EUA é típica (de São Francisco a Nova York, por exemplo).

Caminho Transatlântico
NY 78 London
Wash 87 Frankfurt
Caminho Transpacífico
SF 147 Hong Kong
Caminho Trans-EUA
SF 72 NY

latência da rede por pares de cidades do mundo

Aqui estão meus horários (estou em Londres, Inglaterra, então meus tempos na costa oeste são mais altos que o leste). Recebo uma diferença de latência de 74ms, que parece suportar o valor desse site.

NY - 108ms latency, 61ms transfer, 169 total
OR - 182ms latency, 71ms transfer, 253 total

Eles foram medidos usando as ferramentas de desenvolvimento do Google Chrome.

Rich Adams
fonte
2
gráfico legal! NY para SF está atualmente 71 msnele, então você está certo - não podemos esperar fazer melhor do que isso.
quer
Obrigado. Isto me ajudou bastante. Esta é outra fonte para procurar latência de rede entre diferentes lugares do mundo - dotcom-monitor.com/WebTools/network_latency.aspx
Sajib Mahmood
10

Meça primeiro com o ICMP, se possível. Os testes ICMP normalmente usam uma carga útil muito pequena por padrão, não usam um handshake de três vias e não precisam interagir com outro aplicativo na pilha como o HTTP. Seja qual for o caso, é da maior importância que os resultados HTTP não se misturem aos resultados do ICMP. São maçãs e laranjas.

Seguindo a resposta de Rich Adams e usando o site que ele recomendou, você pode ver que no backbone da AT&T, são necessários 72 ms para o tráfego ICMP se mover entre os pontos de extremidade de SF e NY. Esse é um número razoável, mas você deve ter em mente que esta é uma rede totalmente controlada pela AT&T. Não leva em consideração a transição para sua rede doméstica ou do escritório.

Se você executar um ping no careers.stackoverflow.com da sua rede de origem, verá algo não muito distante de 72 ms (talvez +/- 20 ms). Se for esse o caso, provavelmente você pode supor que o caminho de rede entre vocês dois está bom e funcionando dentro dos intervalos normais. Caso contrário, não entre em pânico e meça de alguns outros lugares. Pode ser o seu ISP.

Supondo que isso foi aprovado, sua próxima etapa é abordar a camada de aplicativo e determinar se há algo errado com a sobrecarga adicional que você está vendo com suas solicitações HTTP. Isso pode variar de aplicativo para aplicativo devido ao hardware, SO e pilha de aplicativos, mas como você tem equipamentos praticamente idênticos nas costas leste e oeste, você pode fazer com que os usuários da costa leste atinjam os servidores da costa oeste e os usuários da costa oeste atinjam o leste costa. Se os dois sites estiverem configurados corretamente, esperaria que todos os números fossem menos iguais e, portanto, demonstrasse que o que você está vendo é praticamente o mesmo para os grosseiros.

Se esses tempos de HTTP tiverem uma grande variação, não ficaria surpreso se houvesse um problema de configuração no site com desempenho mais lento.

Agora, quando você estiver nesse ponto, poderá tentar uma otimização mais agressiva no lado do aplicativo para ver se esses números podem ser reduzidos. Por exemplo, se você estiver usando o IIS 7, está aproveitando seus recursos de cache, etc.? Talvez você possa ganhar algo lá, talvez não. Quando se trata de ajustar itens de baixo nível, como janelas TCP, sou muito cético quanto ao impacto de algo como Stack Overflow. Mas ei - você não saberá até experimentar e medir.

Michael Gorsuch
fonte
7

Várias das respostas aqui estão usando ping e traceroute para suas explicações. Essas ferramentas têm seu lugar, mas não são confiáveis ​​para a medição do desempenho da rede.

Em particular, (pelo menos alguns) os roteadores Juniper enviam o processamento de eventos ICMP para o plano de controle do roteador. Isso é MUITO mais lento que o plano de encaminhamento, especialmente em um roteador de backbone.

Há outras circunstâncias em que a resposta do ICMP pode ser muito mais lenta que o desempenho real de encaminhamento de um roteador. Por exemplo, imagine um roteador com todos os softwares (sem hardware de encaminhamento especializado) com 99% da capacidade da CPU, mas ainda assim movendo bem o tráfego. Deseja gastar muitos ciclos processando respostas de traceroute ou encaminhando tráfego? Portanto, processar a resposta é uma prioridade super baixa.

Como resultado, o ping / traceroute oferece limites superiores razoáveis - as coisas estão indo pelo menos tão rapidamente - mas eles realmente não informam a velocidade do tráfego real.

Em qualquer evento -

Aqui está um exemplo de traceroute da Universidade de Michigan (EUA central) até Stanford (costa oeste dos EUA). (Ele passa por Washington, DC (costa leste dos EUA), que fica a 800 quilômetros na direção "errada".)

% traceroute -w 2 www.stanford.edu
traceroute to www-v6.stanford.edu (171.67.215.200), 64 hops max, 52 byte packets
 1  * * *
 2  * * *
 3  v-vfw-cc-clusta-l3-outside.r-seb.umnet.umich.edu (141.211.81.130)  3.808 ms  4.225 ms  2.223 ms
 4  l3-bseb-rseb.r-bin-seb.umnet.umich.edu (192.12.80.131)  1.372 ms  1.281 ms  1.485 ms
 5  l3-barb-bseb-1.r-bin-arbl.umnet.umich.edu (192.12.80.8)  1.784 ms  0.874 ms  0.900 ms
 6  v-bin-arbl-i2-wsu5.wsu5.mich.net (192.12.80.69)  2.443 ms  2.412 ms  2.957 ms
 7  v0x1004.rtr.wash.net.internet2.edu (192.122.183.10)  107.269 ms  61.849 ms  47.859 ms
 8  ae-8.10.rtr.atla.net.internet2.edu (64.57.28.6)  28.267 ms  28.756 ms  28.938 ms
 9  xe-1-0-0.0.rtr.hous.net.internet2.edu (64.57.28.112)  52.075 ms  52.156 ms  88.596 ms
10  * * ge-6-1-0.0.rtr.losa.net.internet2.edu (64.57.28.96)  496.838 ms
11  hpr-lax-hpr--i2-newnet.cenic.net (137.164.26.133)  76.537 ms  78.948 ms  75.010 ms
12  svl-hpr2--lax-hpr2-10g.cenic.net (137.164.25.38)  82.151 ms  82.304 ms  82.208 ms
13  hpr-stanford--svl-hpr2-10ge.cenic.net (137.164.27.62)  82.504 ms  82.295 ms  82.884 ms
14  boundarya-rtr.stanford.edu (171.66.0.34)  82.859 ms  82.888 ms  82.930 ms
15  * * *
16  * * *
17  www-v6.stanford.edu (171.67.215.200)  83.136 ms  83.288 ms  83.089 ms

Observe, em particular, a diferença horária entre os resultados do traceroute do roteador de lavagem e do roteador atla (saltos 7 e 8). o caminho da rede vai primeiro para lavar e depois para o atla. lavagem leva 50-100ms para responder, atla leva cerca de 28ms. Claramente o atla está mais distante, mas seus resultados no traceroute sugerem que está mais próximo.

Consulte http://www.internet2.edu/performance/ para obter muitas informações sobre medição de rede. (aviso legal, eu costumava trabalhar para internet2). Veja também: https://fasterdata.es.net/

Para adicionar alguma relevância específica à pergunta original ... Como você pode ver, eu tive um tempo de ping de 83 ms em ida e volta para Stanford, então sabemos que a rede pode ir pelo menos tão rápido.

Observe que o caminho da rede de pesquisa e educação que eu tomei nesse traceroute provavelmente será mais rápido do que o caminho da Internet para commodities. As redes de pesquisa e desenvolvimento geralmente superprovisionam suas conexões, o que torna improvável o buffer em cada roteador. Observe também o longo caminho físico, mais longo que costa a costa, embora claramente representativo do tráfego real.

michigan-> washington, dc-> atlanta-> houston-> los angeles-> stanford

Dan Pritts
fonte
6

Estou vendo diferenças consistentes e estou sentado na Noruega:

serverfault       careers
  509ms            282ms
  511ms            304ms
  488ms            295ms
  480ms            274ms
  498ms            278ms

Isso foi medido com o método científico preciso e comprovado de usar a visualização de recursos do Google Chrome e atualizar repetidamente cada link.

Traceroute para serverfault

Tracing route to serverfault.com [69.59.196.212]
over a maximum of 30 hops:

  1    <1 ms     1 ms    <1 ms  81.27.47.1
  2     2 ms     1 ms     1 ms  qos-1.webhuset.no [81.27.32.17]
  3     1 ms     1 ms     1 ms  81.27.32.10
  4     1 ms     2 ms     1 ms  201.82-134-26.bkkb.no [82.134.26.201]
  5    14 ms    14 ms    14 ms  193.28.236.253
  6    13 ms    13 ms    14 ms  TenGigabitEthernet8-4.ar1.OSL2.gblx.net [64.209.94.125]
  7    22 ms    21 ms    21 ms  te7-1-10G.ar3.cph1.gblx.net [67.16.161.93]
  8    21 ms    20 ms    20 ms  sprint-1.ar3.CPH1.gblx.net [64.212.107.18]
  9    21 ms    21 ms    20 ms  sl-bb20-cop-15-0-0.sprintlink.net [80.77.64.33]
 10   107 ms   107 ms   107 ms  144.232.24.12
 11   107 ms   106 ms   105 ms  sl-bb20-msq-15-0-0.sprintlink.net [144.232.9.109]
 12   106 ms   106 ms   107 ms  sl-crs2-nyc-0-2-5-0.sprintlink.net [144.232.20.75]
 13   129 ms   135 ms   134 ms  sl-crs2-chi-0-15-0-0.sprintlink.net [144.232.24.208]
 14   183 ms   183 ms   184 ms  sl-crs2-chi-0-10-3-0.sprintlink.net [144.232.20.85]
 15   189 ms   189 ms   189 ms  sl-gw12-sea-2-0-0.sprintlink.net [144.232.6.120]
 16   193 ms   189 ms   189 ms  204.181.35.194
 17   181 ms   181 ms   180 ms  core2-gi61-to-core1-gi63.silverstartelecom.com [74.85.240.14]
 18   182 ms   182 ms   182 ms  sst-6509b-gi51-2-gsr2-gi63.silverstartelecom.com [74.85.242.6]
 19   195 ms   195 ms   194 ms  sst-6509-peak-p2p-gi13.silverstartelecom.com [12.111.189.106]
 20   197 ms   197 ms   197 ms  ge-0-0-2-cvo-br1.peak.org [69.59.218.2]
 21   188 ms   187 ms   189 ms  ge-1-0-0-cvo-core2.peak.org [69.59.218.193]
 22   198 ms   198 ms   198 ms  vlan5-cvo-colo2.peak.org [69.59.218.226]
 23   198 ms   197 ms   197 ms  stackoverflow.com [69.59.196.212]

Trace complete.

Traceroute para carreiras

Tracing route to careers.stackoverflow.com [64.34.80.176]
over a maximum of 30 hops:

  1     1 ms     1 ms     1 ms  81.27.47.1
  2     2 ms     1 ms    <1 ms  qos-1.webhuset.no [81.27.32.17]
  3     1 ms     1 ms     1 ms  81.27.32.10
  4     1 ms     1 ms     2 ms  201.82-134-26.bkkb.no [82.134.26.201]
  5    12 ms    13 ms    13 ms  193.28.236.253
  6    13 ms    14 ms    14 ms  TenGigabitEthernet8-4.ar1.OSL2.gblx.net [64.209.94.125]
  7    21 ms    21 ms    21 ms  ge7-1-10G.ar1.ARN3.gblx.net [67.17.109.89]
  8    21 ms    20 ms    20 ms  tiscali-1.ar1.ARN3.gblx.net [64.208.110.130]
  9   116 ms   117 ms   122 ms  xe-4-2-0.nyc20.ip4.tinet.net [89.149.184.142]
 10   121 ms   122 ms   121 ms  peer1-gw.ip4.tinet.net [77.67.70.194]
 11     *        *        *     Request timed out.

Infelizmente, agora ele começa a entrar em loop ou não, e continua dando estrelas e tempo limite até 30 saltos e depois termina.

Observe que os traceroutes são de um host diferente dos horários no início; tive que fazer RDP no meu servidor hospedado para executá-los

Lasse Vågsæther Karlsen
fonte
1
certo, espera-se que o datacenter da costa leste seja mais amigável para o público europeu - você está vendo mais ou menos 200ms para atravessar a largura dos EUA. Deve ser apenas ~ 80ms pelas outras respostas?
quer
parece que é consistente em cerca de 200 ms, eu já atualizei cerca de 20 a 30 vezes em ambas (embora não ao mesmo tempo), e o site de falha do servidor parece pairar em torno de 200 ms +/- mais do que o outro . Eu tentei um traceroute, mas ele aparece com estrelas em tudo, então talvez nossos administradores de TI tenham bloqueado algo.
Lasse Vågsæther Karlsen
2

Vejo aproximadamente 80-90ms de latência em ligações bem geridas e bem medidas entre as costas leste e oeste.

Seria interessante ver onde você está obtendo latência - tente uma ferramenta como o traceroute da camada quatro (lft). As chances são muitas delas obtidas na "última milha" (ou seja, no seu provedor de banda larga local).

É de se esperar que o tempo de transferência tenha sido impactado apenas levemente - perda de pacotes e instabilidade são medidas mais úteis quando se investigar diferenças de tempo de transferência entre dois locais.

BrianEss
fonte
2

Só por diversão, quando joguei o jogo on-line Lineage 2 NA na Europa:

Response time to east coast servers: ~110-120ms
Response time to west coast servers: ~190-220ms

A diferença parece confirmar que até 100ms está dentro do razoável, considerando a natureza imprevisível da Internet.

Usando o aclamado teste de atualização do Chrome, recebo um tempo de carregamento de documentos que varia aproximadamente 130ms.

Oskar Duveborn
fonte
2

todo mundo aqui tem algum ponto realmente bom. e estão corretos em seu próprio ponto de vista.

E tudo se resume a que não há uma resposta exata exata aqui, porque existem tantas variáveis ​​que qualquer resposta dada sempre pode ser provada errada apenas mudando uma das cem variáveis.

Assim como a latência de 72 ms de NY para SF, é a latência de PoP para PoP de uma portadora de um pacote. Isso não leva em consideração nenhum dos outros pontos importantes apontados aqui sobre congestionamento, perda de pacotes, qualidade de serviço, pacotes fora de ordem ou tamanho de pacote ou redirecionamento de rede apenas entre o mundo perfeito de PoP para PoP .

E então, quando você adiciona a última milha (geralmente muitas milhas) do PoP à sua localização real nas duas cidades onde todas essas variáveis ​​se tornam muito mais fluidas, começam a aumentar exponencialmente a capacidade de adivinhação razoável!

Como exemplo, realizei um teste entre a cidade de NY e a SF no decorrer de um dia útil. Fiz isso em um dia, caso não houvesse "incidentes" importantes em todo o mundo que causassem um aumento no tráfego. Então talvez isso não tenha sido mediano no mundo de hoje! Mas, no entanto, foi o meu teste. Na verdade, eu medi de um local comercial para outro durante esse período e durante o horário comercial normal de cada costa.

Ao mesmo tempo, monitorei os números dos provedores de circuitos na web.

Os resultados foram números de latência entre 88 e 100 ms de porta em porta nos locais de negócios. Isso não inclui nenhum número de latência da rede entre escritórios.

A latência das redes do provedor de serviços variou entre 70 e 80 ms. Significando que a latência da última milha poderia ter variado entre 18 e 30 ms. Não correlacionei os altos e baixos exatos entre os dois ambientes.

jim adcox
fonte
1

Horários de Nova York:

NY     OR
109ms  271ms
72ms   227ms
30ms   225ms
33ms   114ms
34ms   224ms

Usando o Chrome, em uma conexão residencial.

Usando o lft de um VPS em um datacenter em Newark, Nova Jersey:

terracidal ~ # lft careers.stackoverflow.com -V
Layer Four Traceroute (LFT) version 3.0
Using device eth0, members.linode.com (97.107.139.108):53
TTL LFT trace to 64.34.80.176:80/tcp
 1  207.192.75.2 0.4/0.5ms
 2  vlan804.tbr2.mmu.nac.net (209.123.10.13) 0.4/0.3ms
 3  0.e1-1.tbr2.tl9.nac.net (209.123.10.78) 1.3/1.5ms
 4  nyiix.Peer1.net (198.32.160.65) 1.4/1.4ms
 5  oc48-po3-0.nyc-75bre-dis-1.peer1.net (216.187.115.134) 1.6/1.5ms
 6  216.187.115.145 2.7/2.2ms
 7  64.34.60.28 2.3/1.8ms
 8  [target open] 64.34.80.176:80 2.5ms

terracidal ~ # lft serverfault.com -V
Layer Four Traceroute (LFT) version 3.0
Using device eth0, members.linode.com (97.107.139.108):53
TTL LFT trace to stackoverflow.com (69.59.196.212):80/tcp
 1  207.192.75.2 36.4/0.6ms
 2  vlan803.tbr1.mmu.nac.net (209.123.10.29) 0.4/0.4ms
 3  0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.3/1.4ms
 4  nyk-b3-link.telia.net (213.248.99.89) 1.6/1.4ms
 5  nyk-bb2-link.telia.net (80.91.250.94) 1.9/84.8ms
 6  nyk-b5-link.telia.net (80.91.253.106) 1.7/1.7ms
 7  192.205.34.53 2.1/2.1ms
 8  cr1.n54ny.ip.att.net (12.122.81.106) 83.5/83.6ms
 9  cr2.cgcil.ip.att.net (12.122.1.2) 82.7/83.1ms
10  cr2.st6wa.ip.att.net (12.122.31.130) 83.4/83.5ms
11  cr2.ptdor.ip.att.net (12.122.30.149) 82.7/82.7ms
12  gar1.ptdor.ip.att.net (12.123.157.65) 82.2/82.3ms
13  12.118.177.74 82.9/82.8ms
14  sst-6509b-gi51-2-gsr2-gi63.silverstartelecom.com (74.85.242.6) 84.1/84.0ms
15  sst-6509-peak-p2p-gi13.silverstartelecom.com (12.111.189.106) 83.3/83.4ms
16  ge-0-0-2-cvo-br1.peak.org (69.59.218.2) 86.3/86.2ms
**  [neglected] no reply packets received from TTLs 17 through 18
19  [target closed] stackoverflow.com (69.59.196.212):80 86.3/86.3ms
Tom Ritter
fonte