Five Years at the Edge: Watching Internet From the ISP Network

Abstract

The Internet and the way people use it are constantly changing. Knowing traffic is crucial for operating the network, understanding users' need, and ultimately improving applications. Here, we provide an in-depth longitudinal view of Internet traffic in the last 5 years (from 2013 to 2017). We take the point of the view of a national-wide ISP and analyze flow-level rich measurements to pinpoint and quantify trends. We evaluate the providers' costs in terms of traffic consumption by users and services. We show that an ordinary broadband subscriber nowadays downloads more than twice as much as they used to do 5 years ago. Bandwidth hungry video services drive this change, while social messaging applications boom (and vanish) at incredible pace. We study how protocols and service infrastructures evolve over time, highlighting unpredictable events that may hamper traffic management policies. In the rush to bring servers closer and closer to users, we witness the birth of the sub-millisecond Internet, with caches located directly at ISP edges. The picture we take shows a lively Internet that always evolves and suddenly changes.

An Empirical View on Content Provider Fairness

“…Since then, the Internet landscape has drastically changed, end-users use the Internet with increasing access speeds [5] and content such as videos is causing a substantial fraction of Internet traffic [6], [7]. These increasing demands have led to a logical centralization of the content-serving Internet where a few big players serve the majority of the content [8], [9].…”

Improving Performance of QUIC in WiFi

“…However, we will show that the performance gains in the WiFi environment are high and can potentially overshadow other effects. Moreover, in real-world scenarios service providers are increasingly deploying caches and CDN nodes closer to end-users [15]. Thus, the scenario tested in the following is already popular and tends to become widespread as more servers are deployed closer to users.…”

Descobrindo perfis de tráfego de usuários: uma abordagem não supervisionada

“…Técnicas de aprendizado de máquina têm sido usadas para analisar a grande quantidade de dados coletada por ferramentas de monitoramento [Fumo et al 2017]. Trabalhos anteriores focam principalmente na inspeção profunda de pacotes (DPI) e/ou consideram padrões predeterminados para classificar fluxos de tráfego em aplicações específicas [Trevisan et al 2018]. A literatura sobre técnicas de aprendizado de máquina não supervisionadas para dados coletados sem DPI aindaé escassa, talvez devidoàs dificuldades para acessar medições reais de usuários residenciais [Crovella and Krishnamurthy 2006].…”

“…Esta nãoé a primeira vez que uma coleta de dados desse tipoé realizada com tal granularidade na borda da rede. No trabalho recente de [Trevisan et al 2018] foram analisados dados similares aos nossos, reunidos por um período de cinco anos em um ISP na Itália. Porém, diferente do nosso estudo, [Trevisan et al 2018] realiza uma investigação macro do acesso a rede; um dos seus objetivos foi examinar as mudanças que ocorreram no tráfego agregado dos usuários ao longo desses cinco anos.…”

“…No trabalho recente de [Trevisan et al 2018] foram analisados dados similares aos nossos, reunidos por um período de cinco anos em um ISP na Itália. Porém, diferente do nosso estudo, [Trevisan et al 2018] realiza uma investigação macro do acesso a rede; um dos seus objetivos foi examinar as mudanças que ocorreram no tráfego agregado dos usuários ao longo desses cinco anos. Diferentemente de [Trevisan et al 2018], realizamos uma análise micro do acessò a rede doméstica, respondendo as seguintes questões: (1) Como extrair com eficiência características relevantes do nosso conjunto de dados, sem pré-rotular esses dados e preservando a privacidade dos usuários (por exemplo, assumindo que o tráfegoé totalmente criptografado)?…”