+7 495 748-46-58

Интегральный показатель качества услуг связи – часть 1

Удовлетворенность абонента качеством услуг связи, прежде всего, зависит от наличия условий для успешной коммуникации в реальном времени. В качестве универсальной количественной оценки степени удовлетворенности абонента или меры клиентского опыта (QoE) на практике часто используется единый интегральный показатель качества. Расчет единого интегрального показателя выполняется с учетом многих факторов, влияющих на возможность успешно пользоваться услугами мобильной связи, в частности доступности и стабильности коммуникации, а также сохранности оригинальных свойств передаваемой информации.

Единый, интегральный показатель позволяет наглядно отображать результаты комплексной оценки и сравнения качества услуг связи при выполнении масштабных проектов на больших территориях. Интегральный показатель или балл значительно сокращает количество отдельных показателей качества (QoS), максимально приближает оценку к уровню QoE, отражающему реальный клиентский опыт и рассчитывается на основе совокупности всех тестов, выполненных на территории разных географических объектов. Рейтинговые агентства, сервисные компании и операторы используют различные подходы при решении данной задачи. Как правило, методология получения интегральной оценки не раскрывается. В качестве примеров можно привести P3 Score и оценки, выставляемые немецким журналом CHIP по результатам ежегодных сравнительных кампаний в Германии. Для понимания достоверности, объективности и степени соответствия таких оценок собственным критериям читателю важно знать порядок расчета интегрального показателя. В данной статье кратко рассматриваются типовые подходы на основе рекомендаций и стандартов, разработанных международными организациями.

В целом, если говорить о документированных подходах к расчету интегрального показателя качества, то можно отметить две методологии:

  • GSM A IR.42 – двухступенчатый подход, включающий в себя нормирование и взвешивание исходных показателей качества;
  • ETSI TR 103 559 – комплексный подход, включающий в себя взвешивание и агрегацию показателей в различных плоскостях (тип теста, тип услуги, география).

В первой части настоящей статьи рассматривается подход, который был впервые официально представлен в рекомендации GSM Association IR.42. В частности, данный подход часто применяется в нашей компании для расчета интегральной оценки по результатам сравнительных тестов.

Расчет интегрального показателя в соответствии с GSM A IR.42

Для оценки в целом качества отдельной услуги или совокупности услуг используются следующие интегральные показатели:

  • Single Service Indicator (SSI) — интегральный показатель для услуги, качество которой оценивается по совокупности отдельных показателей, на основе нормирования и взвешивания значения каждого исходного показателя.
  • Single Quality Indicator (SQI) — обобщающий интегральный показатель качества для совокупности услуг на основе взвешивания значения интегрального показателя SSI для каждой услуги. Обобщающий интегральный показатель SQI представляет единую оценку качества совокупности услуг связи в баллах.

Single Service Indicator (SSI)

Принцип расчета SSI наглядно представлен на диаграмме ниже. Сначала выбираются наиболее важные показатели, отражающие качество того или иного сервиса (например, услуги телефонной связи), которые затем нормируются и взвешиваются в соответствии с тем вкладом, которые они оказывают на итоговое восприятие качества данного сервиса.

Расчет интегрального показателя включает два этапа: нормирование и взвешивание.

Нормирование

Нормирование выполняется для отображения диапазона расчетных значений исходных показателей, имеющих различные единицы измерений (%, Mbps и др.) и (или) диапазоны изменения на шкалу оценки от 0 до 100 баллов. После выполнения процедуры нормирования максимальное значение показателя соответствует наилучшему качеству (результату).

Существуют два типа исходных показателей:

  • показатели, максимальное значение которых соответствует наилучшему результату (например, скорость передачи данных или успешность просмотра видео);
  • показатели, минимальное значение которых соответствует наилучшему результату (например, процент неуспешных попыток установить голосовое соединение).

Для каждого типа исходных показателей процедура нормирования выполняется на основе разных формул:

Максимальное значение показателя соответствует наилучшему результату:

  • значение исходного показателя ниже минимального предела равно 0 баллов;
  • значение исходного показателя выше максимального предела равно 100 баллам;
  • значение исходного показателя в интервале между максимальным и минимальным пределами, включая границы интервала, рассчитывается по формуле:

Определения:

  • normalized value — нормированное значение показателя;
  • KPI value — текущее значение исходного показателя;
  • lower limit — минимальное значение исходного показателя;
  • higher limit — максимальное значение исходного показателя.

Минимальное значение показателя соответствует наилучшему результату:

  • значение исходного показателя выше максимального предела равно 0 баллов;
  • значение исходного показателя ниже минимального предела равно 100 баллам;
  • значение исходного показателя в интервале между максимальным и минимальным пределами, включая границы интервала, рассчитывается по формуле:

Определения:

  • normalized value — нормированное значение показателя;
  • KPI value — текущее значение исходного показателя;
  • lower limit — минимальное значение исходного показателя;
  • higher limit — максимальное значение исходного показателя.

Взвешивание

Весовой коэффициент определяется степенью важности исходного показателя качества в составе оцениваемого интегрального показателя SSI. Весовой коэффициент устанавливает степень влияния оцениваемого интегрального показателя на результирующее значение SSI. Назначение весового коэффициента равного 0 баллов временно исключает из расчета соответствующий исходный показатель.

Формула для расчета SSI:

Определения:

  • SSI — интегральный показатель качества услуги;
  • normalized KPIi — нормированное значение i-го исходного показателя;
  • weighti — значение весового коэффициента i-го исходного показателя;
  • n — общее количество исходных показателей.

Пример

В качестве примера рассмотрим порядок расчета интегрального показателя SSI для голосовых услуг. Удовлетворенность абонента в целом качеством услуг голосовой связи определяется возможностью быстро и успешно дозвониться до собеседника, слышать разборчивую речь без искажений и завершить телефонный разговор без обрыва. Поэтому для расчета единого показателя SSI выбраны отдельные показатели, отражающие влияние соответствующих факторов на клиентский опыт при пользовании услугой телефонной связи:

  • Telephony Service Non-Accessibility, % - доля неуспешных попыток установления голосового соединения;
  • Cut-off Call Ratio, % - доля обрывов установленных голосовых соединений;
  • Telephony Speech Quality on Sample Basis < 1.6, % - доля значений показателя качества передачи речи ниже приемлемого порога, равного 1.6 [MOS];
  • Telephony Setup Time < 8 s, % - доля значений показателя времени установления голосового соединения ниже порога равного 8 секунд.

В таблице представлены диапазоны значений показателей и весовые коэффициенты, отражающие возможности реальных сетей на территории России и стран СНГ.

Название показателя (KPI) Весовой коэффициент (Weight) Минимальное значение исходного показателя Максимальное значение исходного показателя Тип показателя Значение показателя
Telephony Service Non-Accessibility, % 30% 0 5 Минимальное значение показателя соответствует наилучшему результат 0,6%
Cut-off Call Ratio, % 30% 0 5 Минимальное значение показателя соответствует наилучшему результату 1,2%
Telephony Speech Quality on Sample Basis < 1.6 [MOS], % 35% 0 15 Минимальное значение показателя соответствует наилучшему результату5 4,6%
Telephony Setup Time < 8 s, % 5% 50 90 Максимальное значение показателя соответствует наилучшему результату 84%

После выполнения нормирования получаем следующие значения показателей:

Название показателя (KPI) Нормированное значение показателя
Telephony Service Non-Accessibility, % 88
Cut-off Call Ratio, % 76
Telephony Speech Quality on Sample Basis < 1.6, % 69,3
Telephony Setup Time < 8 s, % 85

И, наконец, выполняем взвешивание каждого показателя с использованием индивидуальных весовых коэффициентов и получаем в результате значение интегральной оценки SSI для голосовых услуг — 78 баллов.

Single Quality Indicator (SQI)

Расчет показателя SQI осуществляется на основе взвешивания значения интегрального показателя SSI для каждой услуги, входящей в совокупность итоговой оценки.

Формула:

Определения:

  • SQI — интегральный (единый) показатель качества совокупности оцениваемых услуг;
  • SSIj — j-й интегральный показатель качества услуги;
  • normalized KPI — нормированное значение j-го интегрального показателя SSI;
  • weightj — значение весового коэффициента j-го интегрального показателя SSI;
  • m — общее количество интегральных показателей SSI (оцениваемых услуг).

Ниже на диаграмме приводятся примеры показателей, участвующих в расчете интегральной оценки SQI, и весовые коэффициенты для каждого типа сервиса.

Пример

Рассмотрим предыдущий пример. Интегральная оценка для голосового сервиса (SSI) составляет 78 баллов. После взвешивания полученной оценки с учетом дополнительного весового коэффициента 25% (см. диаграмму выше) получаем вклад голосового сервиса в итоговую оценку SQI – 19,5 баллов.

Предположим, что мы получили следующие значения интегральных оценок (SSI) для тестов видео и передачи данных в режимах 2G/3>G и 4G:

Тип теста Значение оценки SSI Весовой коэффициент Взвешенное значение оценки
Voice 78 25% 19.5
Video 85 25% 21.25
Data 2G/3G 60 25% 15.0
Data 4G 70 25% 17.5

Суммируем полученные взвешенные оценки SSI для каждого типа тестов (сервиса) и получаем итоговую интегральную оценку качества для совокупности всех услуг – 73,25 балла из 100 возможных. При этом стоит отметить, что итоговую оценку можно приводить к любому удобному значению, например, к 1000.

Описанный в рекомендации GSM A IR.42 подход, позволяет наглядно, в формате единой меры клиентского опыта (QoE), представлять результаты оценки качества услуг связи по результатам совокупности тестов, выполненных в рамках одной тестовой кампании. Важно учитывать, что субъективность восприятия качества и критериев выбора весовых коэффициентов ограничивают масштаб применения интегрального показателя. Согласованность таких критериев позволяет объективно сравнивать универсальные обобщающие оценки, полученные на разных территориях и объектах в разное время. К недостаткам данного метода можно отнести невозможность дополнительной агрегации в случае выполнения масштабных проектов, охватывающих неоднородные объекты – в городах с различной плотностью населения, на дорогах различного назначения, в пешеходных зонах и в помещениях, а также на маршрутах следования железнодорожного и общественного транспорта. Кроме того, данный метод не позволяет учитывать влияние отдельных составляющих структуры сервисной модели. Указанные недостатки от части учтены при разработке рекомендации ETSI TR 103 559, которая будет рассмотрена в следующей публикации.

Продолжение следует…