Оценка качества потокового видео в сетях мобильной связи

Популярность просмотра видео на экране мобильного устройства (телефона, планшета или ноутбука) стремительно растет в настоящее время. Значительное расширение технических возможностей сетей мобильной связи и абонентских устройств позволяет воспроизводить видео в формате UHD (4K, разрешение 3840x2160 пикселей) и выше. При этом реальное восприятие абонентом качества на экране устройства зависит от множества факторов. Для своевременного выявления фактов снижения качества воспроизведения видео необходимо постоянно контролировать соответствующие характеристики предоставляемой услуги.

Качество изображения на экране характеризует сохранность (целостность) оригинальных свойств передаваемого контента и является субъективной характеристикой, поскольку зависит от восприятия абонента. Целостность услуги связи отражает возможность доставить контент потребителю без искажений или с приемлемым уровнем искажений с учетом характеристик абонентского устройства и дисплея. Для количественной оценки целостности такой услуги используется показатель качества воспроизведения видео в баллах.

Методы и алгоритмы оценки

Существует два подхода к оценке качества воспроизведения видео – субъективный и объективный. Субъективный подход предполагает просмотр и визуальную оценку экспертами контента, воспроизводимого на экране дисплея (Rec. ITU-T P.910). Участие человека заметно усложняет процесс оценки и ограничивает области применения субъективных методов. В частности, такие методы невозможно использовать для масштабного тестирования в реальном времени. Объективные методы основаны на специальных алгоритмах автоматизированной оценки качества видео.

Существует три способа реализации алгоритмов объективной оценки:

1. на основе тестовой видеозаписи, используемой в качестве опорного образца (полная информация об исходном видеосигнале, FR – Full Reference) для сравнения с контентом, поступающим из сети и расчета оценки;
2. без использования контента исходного образца видео, но с учетом технических параметров, характеризующих тестовую видеозапись (частичная информация, RR – Reduced Reference);
3. на основе только видеоконтента, поступающего из сети в реальном времени, при полном отсутствии информации об исходной тестовой видеозаписи (без информации об исходном видеосигнале, NR – No Reference).

Метод на основе опорного образца (Full Reference) обеспечивает наилучший результат в части точности оценки. Использование при расчете показателя исходного видеоконтента для сравнения с принятым с помощью математического алгоритма позволяет получать оценки, наиболее близкие к результатам субъективных тестов с участием экспертов. Для автоматизированной объективной оценки качества видео в реальном времени в современных сетях мобильной связи наиболее широко используется алгоритм PEVQ-S (Rec. ITU-T J.343.5).

Алгоритм PEVQ-S

Алгоритм PEVQ-S построен на основе анализа большого массива экспертных оценок по результатам просмотров тестового видеоконтента, качество которого изменяется в широком диапазоне. Алгоритм PEVQ-S обеспечивает высокую корреляцию результатов расчета и субъективных экспертных оценок восприятия качества соответствующих образцов видеоконтента.

Показатель качества видео рассчитывается в соответствии с рекомендациями по применению алгоритма PEVQ-S Rec. ITU-T J.247 и Rec. ITU-T J.343.5. Результат расчета отображается согласно пятибалльной шкале MOS оценок качества в соответствии с рекомендациями ITU-T P.800. Пятибалльная шкала субъективных оценок алгоритма PEVQ-S, по существу, отражает степень удовлетворенности абонента качеством видеоконтента, воспринимаемого визуально.

В таблице 1 приводится шкала дискретных значений оценок по пятибалльной шкале MOS.

Таблица 1. Соответствие оценок уровню качества видео

Квалификация уровня качества	Шкала дискретных значений оценок MOS	Искажения
Отлично	5	Не заметны
Хорошо	4	Заметны, но не мешают просмотру
Удовлетворительно	3	Заметны, немного мешают просмотру
Приемлемо	2	Мешают просмотру, но допустимо
Плохо	1	Очень мешают просмотру, неприемлемо

Алгоритм PEVQ-S позволяет прогнозировать влияние искажений, возникающих в канале передачи данных, на субъективное восприятие качества видео абонентом. Основные области применения алгоритма – мультимедиа и мобильные приложения, используемые для просмотра контента, поступающего из интернета. Специальные возможности алгоритма PEVQ-S:

• временное выравнивание входных последовательностей, на основе многомерного корреляционного анализа характеристик, включая длительность отсечки (clipping), “замирания” (frame freezing) и пропуски кадров (frame skipping);
• полнокадровое пространственное выравнивание;
• алгоритм цветового выравнивания;
• обнаружение и корректное взвешивание “замираний” кадров и пропущенных кадров;
• оценка восприятия деградаций;
• деградация, обусловленная потерей пакетов и битовыми ошибками, возникающими при передаче потока;
• поддержка шифрованных и не шифрованных потоков данных.

Для контроля качества видео используется 5 индикаторов. Эти индикаторы определены на основе анализа функций системы визуального восприятия человека (Human visual system, HVS). Особенности маскировки восприятия системой HVS человека моделируются на нескольких этапах алгоритма. Итоговые значения индикаторов объединяются на основе особого алгоритма пространственной и временной агрегации.

На первом этапе накапливается информация необходимая для выравнивания в части монохромных и «замерших» или пропущенных кадров. На втором этапе кадры синхронизируются в пространственной, временной и цветовой областях, затем следует сравнение визуальных различий по яркости и цветности, с учетом эффектов маскирования и движения. Дополнительно к сравнению изображений анализируется поток передаваемых данных на наличие ошибок на уровне транспортной сети (потери пакетов, задержки и др.). Все перечисленные этапы (шаги) приводят в результате к набору индикаторов, каждый из которых отражает соответствующий аспект качества.

На завершающем этапе выполняется агрегация индикаторов с помощью нелинейной функции для расчета итоговой оценки по шкале MOS

Благодаря небольшому количеству индикаторов и, соответственно, малой степени свободы модель лишена избыточности и очень устойчива. Это позволяет эффективно внедрять алгоритм PEVQ-S и обеспечивать высокую точность оценки.

На рисунке 2 показана функциональная схема, отражающая основную идею алгоритма PEVQ-S (см. Rec. ITU-T J.343.5.). Расчет оценки PEVQ-S выполняется на основе гибридного алгоритма с использованием опорного образца видео (Hybrid-FR – Hybrid Full Reference). Для расчета используются три источника данных: опорный (исходный) поток неискаженных данных (SRC, S – Source reference channel), обработанная последовательность видеокадров (PVS, P – Processed Video Sequence) и накапливаемый на приемной стороне файл битового потока B (PCAP).

Схема включает два основных модуля: модуль анализа битового потока и модуль анализа на основе пикселей изображения. Модуль анализа битового потока определяет наличие потерь пакетов битового потока B (PCAP), поступающего на вход блока предварительной обработки (Preprocessing) и формирует на выходе блока агрегации (Agregation) индикатор (Bitstream indicator), характеризующий временные и пространственные искажения.

В модуле анализа на основе пикселей выполняется детальный анализ искажений на основе распакованных опорной SRC и преобразованной PVS видео последовательностей. Последовательности SRC и PVS поступают на вход блока предварительной обработки (Preprocessing). Выравнивание в пространстве, по времени и цвету выполняется в блоке полного выравнивания последовательности (Detailed sequence alignment). На выходе модуля в блоке анализа пространственных искажений (Spatial distortion analysis) регистрируются индикаторы, отражающие интенсивность искажений, в части длительности (Temporal), охвата поля изображения (Field), яркости (Luminance) и цветности (Chrominance).

На завершающем этапе 5 рассчитанных индикаторов взвешиваются и агрегируются в блоке преобразования (Mapping to DMOS) для расчета показателя DMOS (Difference Mean Opinion Score – дифференциальная оценка качества) и, соответственно, финального значения оценки PEVQ-S в баллах (см. ITU-T P.910). Итоговая оценка PEVQ-S обеспечивает высокую корреляцию с оценками субъективных тестов по шкале MOS.

Специальное программное обеспечение позволяет реализовать алгоритм PEVQ-S на современных типовых абонентских устройствах (смартфонах, планшетах и ноутбуках) и проводить автоматизированный контроль качества потокового видео, предоставляемого абонентам при пользовании мультимедийными приложениями и устройствами в сетях связи.

Технология выполнения тестов на основе алгоритма PEVQ-S

Воспроизведение видео на мобильных устройствах относится к категории сервисов, доставляющих видеоконтент через Интернет. Поскольку доставка контента потребителю реализуется с помощью платформы, которая является внешней по отношению к оператору связи, такой сервис называют сервисом OTT («over the top»).

Технические возможности современной версии алгоритма PEVQ-S позволяют отражать повышение качества видео, обусловленное внедрением новейших технологий и режимов в сетях связи. Кроме того, текущая версия алгоритма демонстрирует возможность эффективно оценивать влияние факторов, характеризующих разные участки OTT-процесса доставки контента на абонентское устройство. Основные субъекты процесса доставки и преобразования контента: владелец контента, провайдер OTT-сервиса, оператор сети связи и производитель абонентского устройства. Каждый субъект обеспечивает качество на соответствующем участке. Основные участки и технические элементы процесса:

1. Качество контента (владелец контента):
   — 4K, HD, SD, частота кадров;
   — Кодирование, распаковка.
2. Качество кодированного контента (провайдер OTT-сервиса):
   — Кодирование, декодирование, скорость передачи данных;
   — Кодек H.264, H.265.
3. Качество доставки контента по каналу передачи данных (обеспечивает оператор сети связи):
   — адаптивный протокол потока данных;
   — полоса пропускания, потери пакетов, формат качества (разрешение), размещение данных в памяти для ускоренного доступа (кэширование).
4. Качество отображения на экране (обеспечивает производитель абонентского устройства):
   — матрица (экран), операционная система, приложение (плейер);
   — устройство (телевизор, ноутбук, смартфон).

Для наглядности на рисунке 2 приводится последовательность этапов преобразования видеоконтента на каждом участке процесса OTT.

Технология тестирования качества потокового видео основана на имитации поведения реального абонента. Для оценки качества видео автоматически выполняются повторяющиеся циклы загрузки и воспроизведения контента, размещенного, например, на платформе YouTube. В качестве тестового контента используется эталонный образец видео (видеоклип) высокого качества, который обычно включается в состав комплекта поставки измерительного оборудования или приобретается дополнительно и обеспечивает корректные оценки в соответствии с алгоритмом PEVQ-S. Качество принимаемого образца видео оценивается по пятибалльной шкале MOS, характеризующей восприятие просматриваемого видеоклипа абонентом.

Пример результатов тестов

В качестве примера рассмотрим изменение оценок качества воспроизведения видеоклипа, зарегистрированных с помощью тестового мобильного телефона. Оценки по шкале MOS получены на основе результатов последовательности тестов, выполненных в действующей сети мобильной связи с помощью программно-аппаратного комплекса Nemo Invex и Nemo Analyze производства компании Keysight Technologies. Каждый тест реализует воспроизведение эталонного видеоклипа длительностью 60 секунд.

В таблице 2 для справки приводятся форматы качества изображения, зарегистрированные в сети.

Таблица 2. Качество изображения в соответствии с форматами разрешения.

Качество изображения	Формат разрешения
Стандартное (SD)	256х144
Стандартное (SD)	426х240
Стандартное (SD)	640х360
Стандартное (SD)	854х480
Высокое (HD)	1280х720
Высокое (Full HD)	1920х1080

Снижение оценок обусловлено влиянием негативных факторов, которые приводят к искажениям изображения на экране абонентского устройства. Важно учитывать, что характер искажений определяется ошибками преобразования и доставки контента, которые могут возникать на любом участке процесса OTT. Такие ошибки приводят к нарушению целостности изображения как во времени, так и в пространстве.

Возможные проявления временных искажений:

• мерцание яркости или цвета (Flickering), особенно заметно мелкозернистое и крупнозернистое мерцание;
• затуманивание и/или мерцание на резких границах переднего и заднего планов (Mosquito noise);
• кажущееся движение переднего плана относительно заднего (Floating);
• дрожание изображения, обусловленное дискретизацией кадров (Jerkiness).

Примеры проявления пространственных искажений:

• «размытие» деталей, обычно на резких краях изображений (Blurring);
• ореол или шлейф на резких границах изображений (Ringing);
• «просачивание» и наложение цветов на краях объектов изображения (Color bleeding);
• шум в виде ступенек на диагональных и искривленных краях объектов изображения (Staircase noise).

Алгоритм PEVQ-S обладает высокой чувствительностью к подобным артефактам, что проявляется в снижении оценок по шкале MOS.

Надежность и скорость передачи данных по каналу сети связи влияют, в частности, на стабильность и скорость доставки информации для воспроизведения видеопотока в реальном времени. Заметное уменьшении скорости потока данных (bitrate) может приводить к ухудшению разрешения и «замираниям» (stalling, freezing) и/или пропускам фрагментов изображения.

Далее на рисунке 2 наглядно показано влияние скорости доставки контента на непрерывность воспроизведения клипа и на формат разрешения изображения на экране абонентского устройства. Рассматриваются две последовательные сессии воспроизведения видео V0 и V1.

В верхней части рисунка 3 слева приводятся графики изменения оценок качества видео PEVQ-S по шкале MOS (Video quality MOS — оранжевый цвет) и длительности повторной буферизации (YouTube video rebuffering time [ms] – зеленый цвет). В нижней части рисунка 2 слева на графике I показаны изменения мгновенных значений скорости передачи данных Application throughput downlink (регистрируются примерно каждую секунду), на графике II – средние значений скорости для каждой сессии воспроизведения Application throughput downlink per file transfer. В правой части рисунка 3 в таблицах отражено изменение форматов разрешения для сессий V0 (в рамке зеленого цвета) и V1 (в рамке синего цвета). Графики и таблицы визуализируют динамику изменения скорости передачи данных, форматов разрешения, а также соответствующих оценок качества изображения. Графики и таблицы отражают последовательность и длительность процедур первичной буферизации, повторной буферизации и смены форматов разрешения.

Маркеры S0 и S1 отмечают начало (старт) сессий воспроизведения V0 и V1, соответственно, а также моменты инициализации первичной буферизации потоковых данных. Маркер M установлен в точке, соответствующей инициализации повторной буферизации (buffering) данных сессии V1.

Сессия V0 выполнена успешно в штатном режиме. Скорости передачи данных не ниже 1,2 Mbit/s, при этом средняя скорость для сессии составляет около 2,6 Mbit/s, формат разрешения на начальном этапе устанавливается 426х240, затем повышается до HD (1280х720) и удерживается в течение примерно 25 секунд, далее качество изображения улучшается до Full HD и сохраняется в течение примерно 25 секунд до конца сессии воспроизведения. Оценка качества при воспроизведении в форматах HD и Full HD не опускалась ниже значения 4,2 баллов по шкале MOS («хорошо»).

На примере сессии V1 можно наблюдать влияние существенного и продолжительного снижения скорости (до 1000 bit/s) на качество изображения. При этом средняя скорость для сессии составляет около 1,0 Mbit/s. На графиках и в таблице символом F красного цвета отмечен интервал времени (около 18,5 секунд), в течение которого происходило повторное заполнение буфера, что привело к «замиранию» (freezing) изображения на экране, поскольку воспроизведение сессии V1 было остановлено. Непосредственно перед остановкой оценка качества составляла около 4,4 MOS («хорошо»). Во время остановки оценка качества составляла 1,1 MOS или «плохо», т.е. неприемлемое для просмотра изображение.

Важно отметить, что после перерыва воспроизведение продолжалось с сохранением качества Full HD и без потери кадров клипа с момента остановки. Затем формат изображения быстро ухудшился с уровня Full HD до SD 256х144 и сохранялся в течение примерно 19 секунд до окончания воспроизведения. Оценка качества PEVQ-S по шкале MOS также быстро понизилась со значения около 4,4 MOS («хорошо») до значений 3,3 MOS («удовлетворительно»), 2,1 MOS («приемлемо») и ниже, вплоть до невозможности продолжать просмотр.

Применение результатов оценки качества видео

Технические возможности современной версии алгоритма PEVQ-S (Rec. ITU-T J.343.5 (11/2014)) позволяют эффективно оценивать качество услуг потокового видео, которое операторы сетей связи предоставляют абонентам. Анализ распределения оценок качества воспроизведения эталонного видеоклипа на разных маршрутах и точках объекта исследования позволяет определить наличие и масштаб проблем в части качества потокового видео. Предметный анализ распределения оценок на маршруте драйв-теста, с учетом характеристик качества радиопокрытия, используемых технических ресурсов и сетевой статистики позволяет локализовать участки, определить возможные причины снижения качества видео и планировать действия по улучшению качества совместно с участниками процесса OTT.