Особенности применения среднего арифметического для оценки показателей качества услуг связи
Для количественной оценки качества услуг связи часто используются показатели, рассчитанные на основе среднего арифметического. Однако относительное изменение такого показателя не всегда корректно отражает реальное изменение качества соответствующей услуги. В частности, выбросы измеряемой характеристики смещают среднее значение. В результате при фактическом снижении качества услуги смещение среднего в сторону “хороших” значений может улучшать показатель.
Особенности применения среднего арифметического
В целом при наличии асимметрии распределения и выбросов использование среднего значительно увеличивает риски получить неверное представление о реальном качестве исследуемого объекта. Такие риски необходимо учитывать, поскольку факторы, которые отрицательно или положительно влияют на характеристики качества, часто практически не отражаются на величине среднего арифметического.
Результаты измерений в сетях мобильной связи обычно имеют асимметричное распределение и включают выбросы значений регистрируемых характеристик качества. Для своевременного выявления снижения качества услуг необходимо использовать показатели, чувствительные к влиянию негативных факторов. Показатели на основе среднего арифметического не позволяют эффективно решать такую задачу.
Альтернатива
В качестве альтернативы или дополнения можно использовать процентили, в частности, верхнюю и нижнюю дециль, а также долю (процент) значений ниже или выше заданного порога. Децили характеризуют границы десятой части наихудших и наилучших значений распределения. Доля значений ниже или выше заданного порога отражает относительное количество “плохого” или “хорошего” качества. Анализ относительного изменения перечисленных показателей позволяет обнаружить даже незначительное снижение или улучшение качества услуги.
При необходимости приводятся графики функций плотности вероятности (PDF) и распределения вероятности (CDF) измеряемой характеристики. Графики наглядно отражают динамику изменения характеристики в целом и степень влияния негативных факторов. При наличии географических координат зарегистрированных измерений можно локализовать проблемные участки на карте местности. Полученные данные, как правило, позволяют планировать конкретные мероприятия по улучшению качества связи.
Пример
Далее в качестве примера рассматриваются результаты расчета значений показателя FDTT-QoS Download Mean Data Rate (см. ETSI TR 102 678), зарегистрированных на исследуемой территории. Показатель характеризует среднюю скорость, рассчитанную для каждой успешной сессии загрузки данных в направлении DL. Сравниваются наборы показателей, рассчитанных для условных сетей N1 и N2.
На рисунках 1 и 2 для иллюстрации приводятся функции плотности вероятности (PDF) и распределения вероятности (CDF) значений показателя FDTT-QoS Download Mean Data Rate. Графики функций PDF и CDF наглядно отражают асимметрию распределений и позволяют визуально оценить динамику изменения показателя.
Смещение графика CDF вправо характеризует преобладание более высоких скоростей в сети N1 в области значений до 25 Mbps. В области значений выше 25 Mbps высокие скорости преобладают в сети N2. Важно отметить, что сеть N2 заметно уступает сети N1 в диапазоне значений скоростей до 25 Mbps.
В таблице 1 приводятся результаты расчета среднего арифметического, нижней и верхней децилей (10th Percentile и 90th Percentile), а также доли значений ниже порога 1 Mbps для показателя FDTT-QoS Download Mean Data Rate.
В сети N2 отмечено наибольшее среднее арифметическое значение скорости загрузки данных. Сеть N1 уступает сети N2 по данному показателю. Однако для объективной оценки реальных возможностей абонентов в части скоростей загрузки данных из Интернета недостаточно сравнения средних значений.
В частности, в сети N1 обеспечивается возможность успешно пользоваться типовыми услугами передачи данных, поскольку скорости ниже порога 1 Mbps не зарегистрированы. В сети N2 доля скоростей ниже 1 Mbps составляет около 0,8%, что указывает на соответствующие риски снижения качества при реализации типовых услуг.
Кроме того, в сети N1 отмечено наибольшее значение 10-го процентиля (нижняя дециль) – около 10 Mbps. 10-й процентиль (10th Percentile of FDTT-QoS Download Mean Data Rate) характеризует скорость, которую превышают 90% зарегистрированных значений.
В сети N2 значение 10-го процентиля в 4 раза меньше (около 2,5 Mbps), что заметно увеличивает риски снижения качества при реализации популярных сервисов Интернета.
Важно учитывать также, что в сети N2 отмечено наибольшее значение 90-го процентиля (верхняя дециль) – около 67 Mbps. В сети N1 верхняя дециль составляет около 54 Mbps. 90-й процентиль (90th Percentile of FDTT-QoS Download Mean Data Rate) характеризует скорость, которую превышают 10% лучших значений. Верхняя дециль позволяет оценить предельные скорости, зарегистрированные в сети. При этом возможность реализовать такие скорости ограничена (отдельными участками маршрута или интервалами времени).
| KPI | N1 | N2 |
|---|---|---|
| Average FDTT-QoS Download Mean Data Rate, kbit/s | 23551 | 35259 |
| FDTT-QoS Download Mean Data Rate < 1 Mbit/s, % | 0.00 | 0.82 |
| 10th Percentile of FDTT-QoS Download Mean Data Rate, kbit/s | 9952 | 2485 |
| 90th Percentile of FDTT-QoS Download Mean Data Rate, kbit/s | 53751 | 65984 |
В результате, реальные возможности абонентов в сети N1 заметно выше, чем в сети N2 в части скоростей загрузки данных, обеспечивающих возможность успешно пользоваться Интернетом. В сети N2 отмечены наибольшие значения среднего арифметического и верхней децили показателя Average FDTT-QoS Download Mean Data Rate. При этом наличие скоростей ниже 1 Mbps в сети N2 характеризует влияние негативных факторов, но не отражается на средней скорости в явном виде.
Пример иллюстрирует важность рационального подхода к выбору показателей для объективности оценки качества услуги. В примере сеть N1 демонстрирует наилучшие результаты по совокупности показателей, при этом уступает сети N2 по среднему арифметическому и верхней децили (90th Percentile) исходной измеряемой характеристики. По существу, сеть N1 опережает сеть N2 в части возможности успешно пользоваться Интернетом.
Вывод
При выборе показателей для количественной оценки качества услуг связи важно не ограничиваться средним арифметическим. Необходимо использовать показатели, которые объективно отражают преимущества и недостатки исследуемого объекта.
