Интегральный показатель качества услуг связи – часть 1
Удовлетворенность абонента качеством услуг связи, прежде всего, зависит от наличия условий для успешной коммуникации в реальном времени. В качестве универсальной количественной оценки степени удовлетворенности абонента или меры клиентского опыта (QoE) на практике часто используется единый интегральный показатель качества. Расчет единого интегрального показателя выполняется с учетом многих факторов, влияющих на возможность успешно пользоваться услугами мобильной связи, в частности доступности и стабильности коммуникации, а также сохранности оригинальных свойств передаваемой информации.
Единый, интегральный показатель позволяет наглядно отображать результаты комплексной оценки и сравнения качества услуг связи при выполнении масштабных проектов на больших территориях. Интегральный показатель или балл значительно сокращает количество отдельных показателей качества (QoS), максимально приближает оценку к уровню QoE, отражающему реальный клиентский опыт и рассчитывается на основе совокупности всех тестов, выполненных на территории разных географических объектов. Рейтинговые агентства, сервисные компании и операторы используют различные подходы при решении данной задачи. Как правило, методология получения интегральной оценки не раскрывается. В качестве примеров можно привести P3 Score и оценки, выставляемые немецким журналом CHIP по результатам ежегодных сравнительных кампаний в Германии. Для понимания достоверности, объективности и степени соответствия таких оценок собственным критериям читателю важно знать порядок расчета интегрального показателя. В данной статье кратко рассматриваются типовые подходы на основе рекомендаций и стандартов, разработанных международными организациями.
В целом, если говорить о документированных подходах к расчету интегрального показателя качества, то можно отметить две методологии:
- GSM A IR.42 – двухступенчатый подход, включающий в себя нормирование и взвешивание исходных показателей качества;
- ETSI TR 103 559 – комплексный подход, включающий в себя взвешивание и агрегацию показателей в различных плоскостях (тип теста, тип услуги, география).
В первой части настоящей статьи рассматривается подход, который был впервые официально представлен в рекомендации GSM Association IR.42. В частности, данный подход часто применяется в нашей компании для расчета интегральной оценки по результатам сравнительных тестов.
Расчет интегрального показателя в соответствии с GSM A IR.42
Для оценки в целом качества отдельной услуги или совокупности услуг используются следующие интегральные показатели:
- Single Service Indicator (SSI) — интегральный показатель для услуги, качество которой оценивается по совокупности отдельных показателей, на основе нормирования и взвешивания значения каждого исходного показателя.
- Single Quality Indicator (SQI) — обобщающий интегральный показатель качества для совокупности услуг на основе взвешивания значения интегрального показателя SSI для каждой услуги. Обобщающий интегральный показатель SQI представляет единую оценку качества совокупности услуг связи в баллах.
Single Service Indicator (SSI)
Принцип расчета SSI наглядно представлен на диаграмме ниже. Сначала выбираются наиболее важные показатели, отражающие качество того или иного сервиса (например, услуги телефонной связи), которые затем нормируются и взвешиваются в соответствии с тем вкладом, которые они оказывают на итоговое восприятие качества данного сервиса.
Расчет интегрального показателя включает два этапа: нормирование и взвешивание.
Нормирование
Нормирование выполняется для отображения диапазона расчетных значений исходных показателей, имеющих различные единицы измерений (%, Mbps и др.) и (или) диапазоны изменения на шкалу оценки от 0 до 100 баллов. После выполнения процедуры нормирования максимальное значение показателя соответствует наилучшему качеству (результату).
Существуют два типа исходных показателей:
- показатели, максимальное значение которых соответствует наилучшему результату (например, скорость передачи данных или успешность просмотра видео);
- показатели, минимальное значение которых соответствует наилучшему результату (например, процент неуспешных попыток установить голосовое соединение).
Для каждого типа исходных показателей процедура нормирования выполняется на основе разных формул:
Максимальное значение показателя соответствует наилучшему результату:
- значение исходного показателя ниже минимального предела равно 0 баллов;
- значение исходного показателя выше максимального предела равно 100 баллам;
- значение исходного показателя в интервале между максимальным и минимальным пределами, включая границы интервала, рассчитывается по формуле:
Определения:
- normalized value — нормированное значение показателя;
- KPI value — текущее значение исходного показателя;
- lower limit — минимальное значение исходного показателя;
- higher limit — максимальное значение исходного показателя.
Минимальное значение показателя соответствует наилучшему результату:
- значение исходного показателя выше максимального предела равно 0 баллов;
- значение исходного показателя ниже минимального предела равно 100 баллам;
- значение исходного показателя в интервале между максимальным и минимальным пределами, включая границы интервала, рассчитывается по формуле:
Определения:
- normalized value — нормированное значение показателя;
- KPI value — текущее значение исходного показателя;
- lower limit — минимальное значение исходного показателя;
- higher limit — максимальное значение исходного показателя.
Взвешивание
Весовой коэффициент определяется степенью важности исходного показателя качества в составе оцениваемого интегрального показателя SSI. Весовой коэффициент устанавливает степень влияния оцениваемого интегрального показателя на результирующее значение SSI. Назначение весового коэффициента равного 0 баллов временно исключает из расчета соответствующий исходный показатель.
Формула для расчета SSI:
Определения:
- SSI — интегральный показатель качества услуги;
- normalized KPIi — нормированное значение i-го исходного показателя;
- weighti — значение весового коэффициента i-го исходного показателя;
- n — общее количество исходных показателей.
Пример
В качестве примера рассмотрим порядок расчета интегрального показателя SSI для голосовых услуг. Удовлетворенность абонента в целом качеством услуг голосовой связи определяется возможностью быстро и успешно дозвониться до собеседника, слышать разборчивую речь без искажений и завершить телефонный разговор без обрыва. Поэтому для расчета единого показателя SSI выбраны отдельные показатели, отражающие влияние соответствующих факторов на клиентский опыт при пользовании услугой телефонной связи:
- Telephony Service Non-Accessibility, % - доля неуспешных попыток установления голосового соединения;
- Cut-off Call Ratio, % - доля обрывов установленных голосовых соединений;
- Telephony Speech Quality on Sample Basis < 1.6, % - доля значений показателя качества передачи речи ниже приемлемого порога, равного 1.6 [MOS];
- Telephony Setup Time < 8 s, % - доля значений показателя времени установления голосового соединения ниже порога равного 8 секунд.
В таблице представлены диапазоны значений показателей и весовые коэффициенты, отражающие возможности реальных сетей на территории России и стран СНГ.
| Название показателя (KPI) | Весовой коэффициент (Weight) | Минимальное значение исходного показателя | Максимальное значение исходного показателя | Тип показателя | Значение показателя |
|---|---|---|---|---|---|
| Telephony Service Non-Accessibility, % | 30% | 0 | 5 | Минимальное значение показателя соответствует наилучшему результат | 0,6% |
| Cut-off Call Ratio, % | 30% | 0 | 5 | Минимальное значение показателя соответствует наилучшему результату | 1,2% |
| Telephony Speech Quality on Sample Basis < 1.6 [MOS], % | 35% | 0 | 15 | Минимальное значение показателя соответствует наилучшему результату5 | 4,6% |
| Telephony Setup Time < 8 s, % | 5% | 50 | 90 | Максимальное значение показателя соответствует наилучшему результату | 84% |
После выполнения нормирования получаем следующие значения показателей:
| Название показателя (KPI) | Нормированное значение показателя |
|---|---|
| Telephony Service Non-Accessibility, % | 88 |
| Cut-off Call Ratio, % | 76 |
| Telephony Speech Quality on Sample Basis < 1.6, % | 69,3 |
| Telephony Setup Time < 8 s, % | 85 |
И, наконец, выполняем взвешивание каждого показателя с использованием индивидуальных весовых коэффициентов и получаем в результате значение интегральной оценки SSI для голосовых услуг — 78 баллов.
Single Quality Indicator (SQI)
Расчет показателя SQI осуществляется на основе взвешивания значения интегрального показателя SSI для каждой услуги, входящей в совокупность итоговой оценки.
Формула:
Определения:
- SQI — интегральный (единый) показатель качества совокупности оцениваемых услуг;
- SSIj — j-й интегральный показатель качества услуги;
- normalized KPI — нормированное значение j-го интегрального показателя SSI;
- weightj — значение весового коэффициента j-го интегрального показателя SSI;
- m — общее количество интегральных показателей SSI (оцениваемых услуг).
Ниже на диаграмме приводятся примеры показателей, участвующих в расчете интегральной оценки SQI, и весовые коэффициенты для каждого типа сервиса.
Пример
Рассмотрим предыдущий пример. Интегральная оценка для голосового сервиса (SSI) составляет 78 баллов. После взвешивания полученной оценки с учетом дополнительного весового коэффициента 25% (см. диаграмму выше) получаем вклад голосового сервиса в итоговую оценку SQI – 19,5 баллов.
Предположим, что мы получили следующие значения интегральных оценок (SSI) для тестов видео и передачи данных в режимах 2G/3>G и 4G:
| Тип теста | Значение оценки SSI | Весовой коэффициент | Взвешенное значение оценки |
|---|---|---|---|
| Voice | 78 | 25% | 19.5 |
| Video | 85 | 25% | 21.25 |
| Data 2G/3G | 60 | 25% | 15.0 |
| Data 4G | 70 | 25% | 17.5 |
Суммируем полученные взвешенные оценки SSI для каждого типа тестов (сервиса) и получаем итоговую интегральную оценку качества для совокупности всех услуг – 73,25 балла из 100 возможных. При этом стоит отметить, что итоговую оценку можно приводить к любому удобному значению, например, к 1000.
Описанный в рекомендации GSM A IR.42 подход, позволяет наглядно, в формате единой меры клиентского опыта (QoE), представлять результаты оценки качества услуг связи по результатам совокупности тестов, выполненных в рамках одной тестовой кампании. Важно учитывать, что субъективность восприятия качества и критериев выбора весовых коэффициентов ограничивают масштаб применения интегрального показателя. Согласованность таких критериев позволяет объективно сравнивать универсальные обобщающие оценки, полученные на разных территориях и объектах в разное время. К недостаткам данного метода можно отнести невозможность дополнительной агрегации в случае выполнения масштабных проектов, охватывающих неоднородные объекты – в городах с различной плотностью населения, на дорогах различного назначения, в пешеходных зонах и в помещениях, а также на маршрутах следования железнодорожного и общественного транспорта. Кроме того, данный метод не позволяет учитывать влияние отдельных составляющих структуры сервисной модели. Указанные недостатки от части учтены при разработке рекомендации ETSI TR 103 559, которая будет рассмотрена в следующей публикации.
