Characterizing QoE in Large-Scale Live Streaming

Abstract

Understanding the impact of performance degradation on users' QoE during live Internet streaming is key to maximize the audience and increase content providers' revenues. It is known that some problems have a strong correlation with low QoE-e.g., users experiencing video stalls tend to leave video sessions earlier. It is however mostly unknown whether such observations hold for live streaming of large-scale events (e.g., the FIFA World Cup). Such events are particular due to the attractiveness of the streamed content, reaching an impressively high audience worldwide. We study whether and to what extent performance degradation during live streaming of large-scale events affects users' QoE. We leverage a unique dataset collected from a major content provider in South America during the 2014 World Cup. We first extract performance metrics from the logs: stream bitrate and bitrate switches, playback stalls, and playback startup latency. We then correlate these performance metrics with session duration, which we use as a QoE indicator. We confirm the strong correlations between the metrics and QoE indicators; in particular, frequent stalls are often accompanied by higher probability of early session termination. Moreover, we quantify how such correlations vary according to broadcasted matches and client terminals. Some of our findings challenge intuition -e.g., we find that PC users seem more tolerant to problems than users on mobile terminals. Our results and dataset are an important step towards models to predict users' QoE in large-scale events.

Evolução do Comportamento do Usuário em Eventos de Larga Escala na Internet

“…Os dados de sessão avaliados não apresentam identificadorúnico. Dessa maneira, utilizamos metodologia semelhante a trabalhos anteriores [Santos et al 2016, Guarnieri et al 2017 onde o endereço IP e o texto de user agent são usados para identificar de maneiraúnica um cliente. Ainda assim, essa metodologia pode subestimar o número de sessõesúnicas.…”

Um Modelo Sensível a Adaptação para Previsão de QoE na Transmissão de Vídeos ao Vivo

“…Um cliente pode, a qualquer momento, trocar de representação, sendo essa troca gerenciada pelo algoritmo de adaptação do cliente. Geralmente o adaptador escolhe uma representação que minimiza a possibilidade de esvaziamento de buffer, fenômeno que levaà interrupção da reprodução ou stall, visto que sua ocorrência gera um impacto mais negativo na QoE do que a baixa qualidade em si [Seufert et al 2015, Guarnieri et al 2017.…”

“…A partir dessas novas métricas, diversos trabalhos têm investigado as correlações existentes entre as métricas de desempenho e o engajamento [Dobrian et al 2011, Krishnan andSitaraman 2013]. Em nosso trabalho anterior [Guarnieri et al 2017] nós exploramos a correlação entre a duração de sessão (i.e. engajamento), normalizada pelo tempo restante de exibição, e as métricas mais comuns de desempenho (delay de inicialização, bitrate médio, taxa de stalls e taxa de adaptações) para 4 jogos do mesmo conjunto de dados apresentado na Seção 2.2.…”

“…Em nosso recente trabalho [Guarnieri et al 2017], nós mostramos que 1 interrupção por minuto já provoca a redução de engajamento para menos de 40% do tempo restante de transmissão em clientes desktop e 20% em clientes móveis. Existem também trabalhos, como [Seufert et al 2015], que se dedicam a analisar exaustivamente todas as métricas de desempenho e suas relações com QoE, evidenciando que, por exemplo, não somente a taxa de interrupções diminui engajamento, como também sua duração e intervalo entre ocorrências sucessivas.…”

“…No entanto, existe ainda uma parcela significativa de clientes que sofre interrupções frequentes na reprodução e baixa qualidade. Por exemplo, 23% dos clientes experimentam bitrate abaixo de 500 Kbps, um valor insuficiente para o padrão de alta definição das transmissões atuais [Guarnieri et al 2017].…”