Интегральный показатель качества услуг связи – часть 2

В первой части рассматривается порядок расчета и примеры использования интегральных показателей SSI и SQI для оценки степени удовлетворенности абонента качеством услуг связи. Агрегация оценок качества отдельной услуги или совокупности услуг в пределах одного объекта исследования ограничивает возможные применения рассматриваемого подхода.

Масштабные проекты часто предполагают исследование на общей территории различных, географически неоднородных объектов (крупные города, небольшие населенные пункты, федеральные транспортные магистрали, автомобильные дороги местного значения, железнодорожный транспорт, включая здания вокзалов, аэропорты и др.). Кроме того, такое исследование обычно включает различные категории услуг (телефония, передача данных), для количественной оценки качества которых используется множество показателей.

Расчет интегрального показателя

Далее рассматривается комплексный подход, значительно расширяющий возможные применения интегральных оценок SSI и SQI. Данный подход включает в себя взвешивание и агрегацию показателей на разных уровнях (тип теста, категории услуг, география). Рекомендации по процедуре расчета оценок на разных уровнях агрегации приводятся в отчете ETSI TR 103 559. На рисунке 1 показаны уровни агрегации показателей качества услуг при расчете единой комплексной оценки качества QoE (клиентского опыта) сети отдельного оператора. На первом уровне для простоты указаны метрики, отражающие качество услуги просмотра потокового видео. Кроме того, перечислены типы тестов на основе популярных услуг и приложений, которые обычно реализуются в тестовых сценариях для оценки качества услуг телефонии и передачи данных.

В качестве исходных данных используются совокупности характеристик (метрик), которые объединяются в группы в соответствии с типами тестов. Метрики (KPI) составляют первый или начальный уровень агрегации.

Каждый показатель KPI нормируется и взвешивается для последующего суммирования и расчета интегральных оценок SSI. Полученные оценки SSI, рассчитанные для каждого типа тестов, объединяются в группы в соответствии с категориями услуг мобильной связи и составляют второй уровень агрегации. Порядок расчета оценок SSI описан в части 1.

Для расчета значений KPI используются результаты многократно повторяющихся тестов, имитирующих характерное поведение абонента. Для каждой услуги разрабатываются сценарии, реализующие автоматическое повторение тестов. В состав сценария обычно входят различные типы тестов:

• голосовая связь;
• просмотр видео;
• отправка данных в Интернет;
• загрузка данных из Интернет;
• просмотр WEB-страниц;
• общение в социальных сетях;
• обмен сообщениями в мессенджерах.

Кроме того, в состав сценария при необходимости включаются специальные тесты, которые позволяют объективно оценивать в целом возможности сети мобильной связи для успешного предоставления услуг (например, тесты FDTT).

Услуги, предоставляемые абонентам, можно разделить на две основные категории: телефония и передача данных. Телефония обычно включает голосовые коммуникации (например, “мобильный - мобильный”, “мобильный - фиксированный” и “фиксированный - мобильный”). Тесты передачи данных включают в себя, как правило, передачу файлов в направлениях Downlink и Uplink, загрузку WEB страниц (статических и динамических), просмотр видео и т.д. Порядок расчета интегральных оценок SSI для услуг связи описан в части 1.

Оценки SSI второго уровня в баллах используются для взвешивания и расчета единого показателя SQI для каждой категории услуг (телефония, передача данных) и составляют третий уровень агрегации.

На четвертом уровне агрегации выполняется взвешивание и суммирование оценок SQI каждой категории услуг для расчета единого показателя SQI для каждого исследуемого географического объекта.

Пятый (высший или обобщающий) уровень агрегации позволяет оценить качество услуг мобильной связи на всей исследуемой территории обслуживания. Оценки, полученные на различных географических территориях и объектах, также взвешиваются и агрегируются. Взвешенная агрегация оценок географических территорий используется для расчета общей интегральной оценки SQI в баллах, которую часто приводят в качестве показателя Network Performance Score (NPS), характеризующего сеть оператора в целом. Единая оценка NPS в баллах позволяет сравнивать качество услуг (бенчмаркинг), предоставляемых в целом на исследуемой территории в сетях разных операторов в разные периоды времени.

На эффективность оценок на каждом уровне агрегации влияют критерии выбора и значения весовых коэффициентов. На этапе нормирования используются наименьшее KPImin и наибольшее KPImax значения показателя, которые также влияют на объективность оценки SSI, поскольку задают диапазон актуальных значений. Кроме того, на результат оценки влияет количество категорий объектов (видов услуг, территорий административного деления и др.) на каждом уровне агрегации. Важно учитывать также количество и активность абонентов, популярность услуг, социальную значимость объекта и др. Весовые коэффициенты, как правило, рассчитываются с учетом коммерческой эффективности отдельных услуг и/или территорий обслуживания.

География проекта зависит от масштаба исследования и может включать объекты разных категорий и детализации:

• города – областные центры, региональные центры, районные центры, небольшие населённые пункты;
• дороги – международные автомагистрали (категория M), федеральные трассы, региональные трассы (категория Р), автомобильные дороги местного значения;
• маршруты железнодорожного транспорта;
• дополнительные объекты – метро, аэропорты, железнодорожные вокзалы, парки, хот-споты, торговые центры и др.

Каждому объекту присваивается весовой коэффициент в соответствии с категорией и учитывается в процессе агрегации оценок. В результате взвешивания и суммирования получается единая итоговая интегральная оценка SQI в баллах, которая характеризует качество услуг на исследуемой территории (пятый уровень).

Расчет оценки SQI на каждом из уровней 3, 4 и 5 осуществляется на основе взвешивания и суммирования оценок SQI каждой категории услуг или объектов предыдущего уровня.

Формула:

Определения:

• SQI — итоговый интегральный (единый) показатель качества;
• SQI_j — j-й интегральный показатель качества оцениваемой категории услуг или объектов;
• weight_j — значение весового коэффициента j-го интегрального показателя SQIj;
• m — общее количество интегральных показателей SQIj (категорий услуг или объектов).

На рисунке 2 приводится условная карта территории, на которой проводится исследование и оценка качества услуг мобильной связи. Представлены объекты различных категорий: автодороги международного и регионального уровня, города разных категорий (крупные и средние населенные пункты) и аэропорты.

В качестве примера рассматривается порядок расчета единого показателя SQI последовательно, на каждом уровне агрегации, для территории обслуживания, показанной на рисунке 2. Далее приводится краткое описание исходных показателей качества (первый уровень), используемых при расчете оценок SQI.

Показатели качества (метрики)

Ниже перечислены основные показатели качества для отдельных типов услуг на основе рекомендаций ETSI TS 102 250-2, ITU-T P.863.1, ETSI TR 101 578, ETSI TR 102 678, TR 102 505. Данные показатели рассматриваются в качестве примера и могут использоваться для расчета интегральной оценки качества.

Телефония

Голосовая связь по коммутируемым каналам

Качество услуги телефонной связи в целом определяется возможностью быстро и успешно дозвониться до собеседника, слышать разборчивую речь без искажений и завершить телефонный разговор без обрыва. Для количественной оценки качества используются соответствующие числовые показатели:

• Telephony Service Non-Accessibility, % – доля неуспешных попыток установления голосового соединения;
• Cut-off Call Ratio, % – доля обрывов установленных голосовых соединений;
• Telephony Speech Quality on Sample Basis < 1,6, % – доля значений показателя качества передачи речи ниже приемлемого порога, равного 1,6 MOS;
• Telephony Setup Time < 8 s, % – доля значений показателя времени установления голосового соединения ниже порога равного 8 секундам.

Перечисленные показатели, взвешенные в соответствии со вкладом в восприятие качества, формируют итоговую оценку для услуг телефонии. Сумма всех весовых коэффициентов соответственно равна 100%.

Передача данных

Воспроизведение видео

Качество воспроизведения видео определяется возможностью быстро и успешно подключиться к ресурсу Интернет, воспроизвести на экране абонентского устройства запрошенный контент в реальном времени, без искажений, в полном объеме и без неожиданной остановки. Перечисленные ниже показатели характеризуют качество воспроизведения видео:

• Video Session Success Ratio, % – доля успешных сессий просмотра видео;
• Video MOS, [MOS] – значение показателя качества передачи видео;
• HD Resolution Ratio, % - доля времени воспроизведения видео в формате HD;
• Impairment Free Video Session Ratio, % – доля успешно завершенных сессий воспроизведения видео без искажений;
• Video Access Time < 5 s, % – доля значений показателя времени до начала воспроизведения видео ниже порога, равного 5 секундам.

Передача файлов

Оценка качества передачи данных реализована на основе показателей, характеризующих возможность быстро и успешно подключиться к ресурсу Интернет, быстро (или в реальном времени) загрузить запрошенный контент без искажений и без неожиданной остановки. Перечисленные ниже показатели характеризуют качество передачи данных:

• HTTP DL/UL Session Success Ratio, % – доля успешных сессий загрузок файла с сервера или на сервер FTP/HTTP;
• HTTP Mean User Data Rate DL/UL, Mbps – средняя скорость загрузки данных в направлении DL или UL;
• 10th percentile of HTTP Mean User Data Rate DL/UL – 10-й перцентиль средней скорости загрузки данных в направлении DL или UL;
• 90th percentile of HTTP Mean User Data Rate DL/UL – 90-й перцентиль средней скорости загрузки данных в направлении DL или UL.

Просмотр WEB-страниц

Качество WEB-серфинга (просмотра WEB-страниц) определяется возможностью быстро и успешно загрузить контент с указанного в URL ресурса для просмотра на экране абонентского устройства без искажений и без неожиданной остановки. Перечисленные ниже показатели характеризуют качество WEB серфинга:

• WEB Browsing Session Success Ratio, % – доля успешных сессий загрузок WEB-страниц;
• WEB Browsing Session Time < 6 s, % – доля значений показателя времени загрузки WEB-страницы ниже порога равного 6 секундам.

Пример расчета

В таблице 1 в качестве примера представлены результаты расчета исходных метрик KPI и диапазоны значений показателей, а также весовые коэффициенты для одного объекта (Большой город). Значения показателей и весовых коэффициентов отражают возможности реальных сетей на территории России и стран СНГ. В таблице приводятся все необходимые для расчета количественные данные первого уровня (KPI), а также результирующие значения показателей SSI в баллах для каждого типа тестов, включая нормированные и взвешенные значения каждого показателя. Описание порядка расчета приводится в части 1.

Важно учитывать, что существуют два типа исходных показателей. В таблице 1 типам показателей для краткости присвоены следующие обозначения:

• KPI min - best – минимальное значение показателя соответствует наилучшему результату;
• KPI max - best – максимальное значение показателя соответствует наилучшему результату.

Для разных типов исходных показателей процедура нормирования выполняется по-разному (см. часть 1).

Таблица 1. Исходные метрики KPI, диапазоны значений и типы показателей, а также весовые коэффициенты для одного объекта (Крупный город)

Крупный город
Название показателя (KPI)	Weight	KPImin	KPImax	Тип показателя	KPI	normalized KPI value	weighted KPI value	SSI
Voice								SSI voice
Telephony Service Non-Accessibility, %	30%	0	5	KPI min – best	0,51	89,80	26,94	90
Cut-off Call Ratio, %	30%	0	5	KPI min – best	0,25	95,00	28,50
Telephony Speech Quality on Sample Basis < 1.6 [MOS], %	35%	0	10	KPI min – best	1,50	85,00	29,75
Telephony Setup Time < 8 s, %	5%	80	100	KPI max – best	98,28	91,40	4,57
Video								SSI video
Video Session Success Ratio, %	25%	80	100	KPI max – best	99,73	98,65	24,66	71
Video MOS, [MOS]	30%	1	5	KPI max – best	4,26	81,50	24,45
HD Resolution Ratio, %	35%	70	100	KPI max – best	85,01	50,03	17,51
Impairment Free Video Session Ratio, %	5%	80	100	KPI min – best	96,05	80,25	4,01
Video Access Time < 5 s, %	5%	80	100	KPI max – best	55,45	0	0
Data								SSI http
HTTP DL Session Success Ratio, %	20%	80	100	KPI max – best	99,73	98,65	19,73	67
HTTP UL Session Success Ratio, %	20%	80	100	KPI max – best	99,44	97,20	19,44
HTTP Mean User Data Rate DL, Mbps	25%	5	100	KPI max – best	38,98	38,36	9,59
HTTP Mean User Data Rate UL, Mbps	15%	1	50	KPI max – best	23,50	46,46	6,97
10th percentile of HTTP Mean User Data Rate DL	5%	1	30	KPI max – best	29,00	96,55	4,83
10th percentile of HTTP Mean User Data Rate UL	5%	0,5	5	KPI max – best	1,90	31,11	1,56
90th percentile of HTTP Mean User Data Rate DL	5%	10	100	KPI max – best	64,04	60,04	3,00
90th percentile of HTTP Mean User Data Rate UL	5%	5	50	KPI max – best	25,50	45,56	2,28
Web								SSI web
WEB Browsing Session Success Ratio, %	60%	80	100	KPI max – best	99,50	97,50	58,50	84
WEB Browsing Session Time < 6 s, %	40%	80	100	KPI max – best	92,50	62,50	25,00

В таблице 2 для наглядности представлены результаты расчета оценок SSI в баллах из предыдущей таблицы, а также оценки SQI в баллах и весовые коэффициенты для различных типов тестов, категорий услуг и географических объектов.

Таблица 2. Результаты расчета итогового значения показателя NPS и промежуточных значений показателя SQI для пяти объектов (уровни 3,4 и 5)

Объект	Телефония		Передача данных						Передача данных		SQI voice and data	Weight	NPS
	Типы тестов		Типы тестов						Итог
Крупный город	90	40%	71	35%	67	40%	84	25%	73	60%	79	45%	79
Средние города	87	50%	58	35%	62	40%	61	25%	60	50%	73	25%
Трассы категории М	91	50%	54	30%	39	35%	50	35%	48	50%	69	15%
Трассы категории Р	81	60%	39	25%	33	40%	27	35%	32	40%	61	10%
Аэропорты	98	30%	65	40%	62	30%	68	30%	65	70%	75	5%

Диаграмма на рисунке 3 иллюстрирует порядок действий при агрегации значений KPI, отражающих качество конкретных услуг связи. Диаграмма включает все уровни агрегации, реализуемые при расчете общей интегральной оценки SQI в баллах. Такая оценка часто используется в качестве единого показателя Network Performance Score (NPS), характеризует сеть оператора в целом.