Сравнение качества услуг мобильной связи в г. Минске, 2018 год

10 октября 2018

Компания DMTel продолжает публикацию результатов ежегодных сравнительных драйв-тестов, выполненных в сетях мобильной связи операторов, действующих на территории города Минска. В период с 17 по 24 июля 2018 года проведены измерения и тесты в сетях операторов: УП «Велком» (бренд «velcom»), СООО «Мобильные ТелеСистемы» (бренд «MTS»), ЗАО «БеСТ» (бренд «Life») и СООО «Белорусские облачные технологии» (бренд «beCloud»).

Цель работ — оценка и сравнение технических возможностей сетей и качества услуг мобильной связи. Полученные результаты позволяют операторам и абонентам объективно оценить реальные технические характеристики сетей и сравнить значения показателей качества услуг, зарегистрированные на маршруте драйв-теста в период выполнения работ.

Основные результаты измерений

Основные результаты измерений и расчета показателей качества сетей и услуг связи операторов velcom, MTS, Life и beCloud приводятся далее на диаграмме и в итоговых сравнительных таблицах. Важно отметить, что операторы MTS и Life для услуг мобильной связи совместно используют технические ресурсы сети LTE оператора beCloud. В настоящее время оператор beCloud не использует ресурсы сети LTE для предоставления услуг мобильной связи непосредственно абонентам. В сети оператора velcom технология LTE не зарегистрирована.

Представленные результаты отражают технические возможности операторов в период выполнения работ на маршруте драйв-теста и не распространяются на сети в целом. Необходимо учитывать, что отраженные в отчете данные носят локальный характер и не предназначены для определения «лучших» либо «худших» операторов. В материалах компании DMTel представлены только фактические результаты исследования (с указанием точности) и оценки относительных позиций операторов по отдельным показателям качества услуг мобильной связи на маршруте драйв-теста на территории г. Минска.

В качестве иллюстрации на рисунке 1 приводятся результаты количественной оценки качества услуг в баллах (максимальное значение — 100) на основе интегральных показателей SQI (Single Quality Indicator) и SSI (Single Service Indicator) в соответствии с рекомендациями GSMA IR.42. Важно учитывать, что оценка включает показатели, зарегистрированные в сетях на основе технологии LTE, при этом в сети оператора velcom технология LTE не используется.

Рисунок 1
Интегральная оценка качества услуг мобильной связи

Наибольшее количество баллов отмечено в компании MTS. Velcom незначительно опережает Life по количеству баллов, несмотря на отсутствие технологии LTE.

Для иллюстрации и объективного представления технических возможностей сетей операторов, действующих на территории г Минска, ниже кратко рассматриваются результаты сравнения конкретных характеристик, определяющих удовлетворенность абонента качеством основных услуг мобильной связи.

Услуги голосовой связи

Благодаря эффективному использованию широкополосных кодеков AMR WB в сетях GSM и WCDMA, оператор velcom обеспечивает высокое качество передачи речи и заметно опережает конкурентов по доле значений показателя выше оценок «удовлетворительно» и «хорошо» по шкале MOS (пороги 3.0 [MOS] и 4.0 [MOS] соответственно). В целом по совокупности характеристик качества услуг голосовой связи наилучшие результаты демонстрирует оператор velcom.

Оператор MTS незначительно уступает оператору velcom по характеристикам качества передачи речи на маршруте драйв-теста. По доступности и стабильности голосовых соединений оператор MTS демонстрирует сопоставимые результаты и не уступает оператору velcom.

Оператор Life демонстрирует сопоставимые результаты по доступности и стабильности голосовых соединений, но заметно уступает по характеристикам качества передачи речи операторам, действующим на территории г. Минска.

Для оценки доступности услуг голосовой связи рассчитывается доля неуспешных попыток установления телефонных соединений (отказы, Telephony Service Non-Accessibility). Для оценки стабильности (непрерывности) услуг голосовой связи рассчитывается доля обрывов телефонных соединений (Telephony Cut-off Call Ratio).

Услуги связи на основе передачи данных

Сети GSM и WCDMA

Благодаря эффективному использованию в сетях GSM и WCDMA имеющихся ресурсов и современных режимов, в частности режима агрегации каналов DC-HSPA, оператор velcom заметно опережает конкурентов по скоростным характеристикам загрузки данных с сервера FTP. В целом по совокупности характеристик услуг связи на основе передачи данных в сетях GSM и WCDMA наилучшие результаты демонстрирует оператор velcom.

Оператор Life незначительно уступает оператору velcom по доле высоких скоростей, зарегистрированных на маршруте драйв-теста, но заметно опережает оператора MTS. В целом сеть оператора Life обеспечивает качество, достаточное для успешной реализации популярных услуг передачи данных на маршруте драйв-теста.

По интегральному показателю, характеризующему доступность и стабильность услуг передачи данных, оператор MTS демонстрирует сопоставимые результаты и не уступает оператору velcom. По доле высоких скоростей, зарегистрированных в сетях GSM и WCDMA на маршруте драйв-теста, оператор MTS заметно уступает операторам, действующим на территории г. Минска.

Сети LTE

В сетях LTE оператор MTS существенно опережает Life по скоростным характеристикам загрузки данных с сервера FTP. В целом по совокупности характеристик качества услуг связи на основе передачи данных в сетях LTE наилучшие результаты демонстрирует оператор MTS на маршруте драйв-теста на территории г. Минска. Оператор Life уступает оператору MTS по совокупности характеристик качества услуг связи на основе передачи данных в сетях LTE, но демонстрирует показатели, позволяющие абонентам успешно пользоваться популярными услугами.

Воспроизведение видео в режиме GSM/WCDMA/LTE

По совокупности характеристик, определяющих удовлетворенность абонентов качеством воспроизведения видео, лидирует оператор MTS на маршруте драйв-теста на территории г. Минска. В частности, оператор MTS опережает конкурентов по показателю качества воспроизведения видео PEVQ-S MOS CVQ (Current Video Quality), в том числе по долям оценок выше «удовлетворительно» (3.0 [MOS] по шкале MOS) и «хорошо» (4.0 [MOS] по шкале MOS).

Оператор velcom незначительно уступает оператору MTS, но заметно опережает оператора Life. Кроме того, только в сетях операторов MTS и velcom на маршруте драйв-теста отмечена высокая доля времени воспроизведения видео высокой четкости в форматах разрешения изображения HD 1280x720 и Full HD 1920x1080 — около 70%.

Возможности успешной реализации современных услуг на основе передачи данных

Для успешной реализации современных услуг мобильной связи используются различные скорости передачи данных. Ниже на рисунках 2 и 3 приведены диаграммы, иллюстрирующие возможности сетей операторов в части предоставления абонентам различных услуг:

• 300 kbps – отправка текстовых сообщений в мессенджерах, определение географического местоположения и навигация;
• 1 Mbps – обмен данными в социальных сетях, просмотр видео в формате 360p, совершение аудиозвонков в мессенджерах, просмотр WEB-страниц, прослушивание онлайн музыки;
• 2 Mbps – просмотр видео в формате 480p, совершение видеозвонков в мессенджерах, онлайн игры;
• 4 Mbps – просмотр видео в формате 720p (HD), просмотр видео с помощью онлайн кинотеатров;
• 8 Mbps – просмотр видео в разрешении 1080p (FullHD), просмотр видео с помощью онлайн-кинотеатров, организация видео-конференц-связи.

Рисунок 2
Распределение скоростей передачи данных для режима GSM и WCDMA

Рисунок 3
Распределение скоростей передачи данных для режима LTE Only

В сетях GSM/WCDMA операторов velcom и Life зарегистрированы высокие доли скоростей заметно (в два раза и более) выше порога 8 Mbps на больших участках маршрута. Наилучшие результаты демонстрирует оператор velcom. Оператор Life уступает velcom, но заметно опережает MTS в части скоростей, позволяющих абонентам успешно пользоваться популярными услугами передачи данных в сетях GSM/WCDMA.

В сети LTE оператора MTS зарегистрирована наиболее высокая доля скоростей существенно (в три раза и более) выше порога 8 Mbps на значительных участках маршрута. Оператор Life заметно уступает MTS.

Важно отметить, что оператор Life существенно превосходит по скоростным характеристикам собственной сети GSM/WCDMA результаты, зарегистрированные в арендованной сети LTE. Наличие высоких скоростей позволяет операторам планировать действия по расширению абонентской базы без снижения качества типовых услуг и повышать коммерческую эффективность услуг передачи данных.

В качестве иллюстрации можно отметить также, что доля скоростей выше 10 Mbps в сети WCDMA оператора velcom составляет около 32%, в сети LTE оператора MTS — около 30%, а в сети LTE Life — около 4%. При этом в сети LTE оператора MTS доля скоростей выше 24 Mbps (максимальные значения, зарегистрированные в сети оператора velcom) не превышает 5%.

В итоге, отсутствие технологии LTE не приводит к существенному ограничению возможностей абонентов оператора velcom в сети WCDMA в части использования высоких скоростей для успешной реализации современных популярных услуг передачи данных в сравнении с сетями, в которых используется технология LTE на территории г. Минска в настоящее время.

Для иллюстрации на рисунках 4—6 приводятся графики изменения основных показателей в сетях рассматриваемых операторов в период с 2015 года по настоящее время.

Рисунок 4
Отказы при установлении голосовых соединений [%]

Рисунок 5
Обрывы установленных голосовых соединений [%]

Рисунок 6
Средняя скорость загрузки данных в сетях GSM/WCDMA [Mbps]
(кроме значения, зарегистрированного в 2016 г. в сети МТS)

В сети оператора velcom отмечается последовательное снижение доли отказов при установлении голосовых соединений (исключая значение, зарегистрированное в 2016 г.). Кроме того оператор velcom демонстрирует устойчивое снижение доли обрывов голосовых соединений в течение 4-х лет. В целом в настоящее время все операторы демонстрируют высокие значения показателей доступности и непрерывности голосовой связи (более 99%).

Если говорить об услугах передачи данных, то благодаря масштабному внедрению режима агрегации каналов DC-HSPA в сети оператора Life регистрируется устойчивый рост средней скорости загрузки данных с ресурса сети Интернет. Важно отметить также, что в сети оператора Life доля скоростей выше 8 Mbps увеличилась с 40 до 52% по сравнению с 2017 г.

В целом, по совокупности характеристик, определяющих качество услуг мобильной связи, в настоящее время операторы velcom, MTS и Life не уступают ведущим операторам, действующим на территории стран СНГ.

Радиопокрытие

Сети на основе технологии GSM

В сетях GSM все операторы обеспечивают непрерывное радиопокрытие по доле значений RSSI Best ≤ —90 dBm на маршруте драйв-теста.

Сети на основе технологии WCDMA

В сетях WCDMA только оператор Life не обеспечивают непрерывное радиопокрытие по доле значений RSCP CPICH Best ≤ —95 dBm на маршруте драйв-теста.

Сети на основе технологии LTE

В сети LTE оператор BeCloud не обеспечивает непрерывное радиопокрытие по доле значений RSRP Best ≤ —105 dBm на маршруте драйв-теста.

Показатели качества

Результаты измерений и расчета показателей качества сетей и услуг связи операторов velcom, MTS, Life и beCloud приводятся далее в итоговых сравнительных таблицах. В таблицах используются оригинальные названия показателей качества сети и услуг на английском языке, применяемые на практике и в специальной литературе, включая технические спецификации ETSI.

Для наглядности в ячейках таблиц цветом отмечены относительные позиции операторов для каждого показателя с учетом точности измерений (сопоставимые результаты выделены одинаковым цветом). Соответствие цвета и номера позиции отображено в таблице 1.

Таблица 1
Соответствие цвета и номера относительной позиции оператора

Важно учитывать, что представленные результаты отражают позиции операторов локально, на участке сети, на конкретном маршруте драйв-теста в период выполнения работ и не распространяются на сети в целом.

В таблице 2 приводятся результаты расчета основных показателей качества услуг голосовой связи для тестов в режиме Triple mode (свободный выбор технологии GSM, WCDMA или LTE).

Таблица 2
Основные показатели качества услуг голосовой связи

В таблице 3 приводятся результаты расчета основных показателей качества услуг передачи данных для тестов в режиме Dual mode (свободный выбор технологии GSM или WCDMA).

Таблица 3
Основные показатели качества услуг передачи данных

В таблице 4 приводятся результаты расчета основных показателей качества услуг передачи данных для тестов в режиме Single mode (принудительная установка технологии LTE).

Таблица 4
Основные показатели качества услуг передачи данных

В таблице 5 приводятся результаты расчета основных показателей качества услуг воспроизведения видео (режим свободного выбора технологии GSM, WCDMA или LTE).

Таблица 5
Основные показатели качества воспроизведения видео

В таблице 6 приводятся результаты измерений и расчета доли значений уровня принимаемого радиосигнала относительно заданного порога в сетях на основе технологий GSM, WCDMA и LTE операторов, действующих на территории г. Минска.

Таблица 6
Наилучшие уровни принимаемого радиосигнала

Порядок и условия выполнения тестов

Измерения и анализ результатов проводились с использованием сертифицированных измерительных комплексов Nemo Invex II и программного обеспечения Nemo Analyze производства компании Keysight Technologies Inc., соответствующих уровню современных сетей мобильной связи. Компания DMTel является официальным дистрибьютором оборудования Nemo на территории России и стран СНГ, что позволяет оперативно оснащать комплексы новейшими моделями тестовых устройств и выполнять измерения с учетом всех технологий и функций, реализованных в сетях операторов на сегодняшний день.

Маршруты драйв-тестов

Измерения выполнены на территории города Минска в пределах административных границ. Для драйв-тестов разработан и реализован маршрут движения, который обеспечивает: Максимально возможный охват территории и плотность объезда при минимальном количестве повторов фрагментов маршрута; Максимально возможный охват городских территорий с повышенной концентрацией абонентов (торговых центров, спальных районов, офисов и т.д.) с учетом периодов максимальной активности абонентов.

Общая протяженность маршрута составляет 1074 км. Карта маршрута представлена на рисунке 7.

Рисунок 7
Карта маршрута драйв-теста на территории города Минска

Краткое описание методики

Методика проведения измерений и тестов разработана на основе опыта выполнения аналогичных работ специалистами компании DMTel и с учетом рекомендаций ETSI TS 102 250-2, ETSI TR 102 678, ETSI TS 102 250-4, ETSI TS 125 215 и ETSI TS 102 250-5.

Для оценки характеристик качества голосового сервиса в сети каждого оператора выполнялись повторяющиеся циклы тестов для соединений типа «мобильный — мобильный», поскольку в сетях мобильной связи преобладают вызовы между мобильными абонентами. Важно отметить также, что голосовые соединения типа «мобильный — мобильный» позволяют реализовать преимущества широкополосных речевых кодеков AMR WB в части повышения качества передачи речи в сетях на основе технологий WCDMA и GSM.

В течение каждого успешного голосового соединения производилась оценка качества речи по шкале MOS (см. ITU-T P.800.1) на основе самой новой версии алгоритма POLQA (см. ITU-T Recommendation P.863 и P.863.1). Для объективной оценки качества передачи речи при совместном использовании в сетях мобильной связи широкополосных (Wideband — WB) и узкополосных (Narrowband — NB) речевых кодеков применялся специальный универсальный образец речи на русском языке в соответствии с рекомендацией ITU-T P.863. Длительность успешного голосового соединения составляет 120 секунд. Для объективной оценки характеристик качества услуг на основе передачи данных выполнялись повторяющиеся циклы тестов одновременно для различных видов услуг в сети каждого оператора. Для оценки характеристик качества услуг передачи данных применялись два подхода:

• «Классический» подход: тесты фиксированной длительности (Fixed Data Transfer Time — FDTT, см. ETSI TR 102 678) — повторяющиеся сессии загрузки данных с сервера FTP и на сервер FTP. Интервал времени, в течение которого производится загрузка данных при выполнении одного теста, устанавливался постоянным для всех сессий. Такой подход позволяет выполнять необходимое количество тестов за требуемое время независимо от диапазона изменения скорости передачи данных в процессе измерений и объективно оценивать потенциальные возможности тестируемых сетей в части скорости передачи данных. «Классический» подход используется для оценки скоростных характеристик сетей на основе расчета средней скорости передачи данных для каждой успешной сессии загрузки данных.
• «Клиентоориентированный» подход: имитация поведения абонента на основе использования типовых услуг и приложений: воспроизведение видео и загрузка страницы с ресурсов сети Интернет. Данный подход позволяет оценивать характеристики качества конкретных видов услуг, предоставляемых абонентам в сетях мобильной связи, и определяющих степень их удовлетворенности (Quality of Experience — QoE). «Клиентоориентированный» подход позволяет получить оценку качества услуг, максимально приближенную к реальному восприятию абонентами.

Для оценки скоростных характеристик сети при загрузке данных с ресурса сети Интернет на основе протокола FTP (download) выполнялись повторяющиеся сессии тестов FDTT загрузки архивного файла (*.rar) с выделенного сервера в соответствии с рекомендациями ETSI TR 102 678.

Для оценки скоростных характеристик сети при загрузке данных на ресурс сети Интернет на основе протокола FTP (upload) выполнялись повторяющиеся сессии тестов FDTT загрузки архивного файла (*.rar) на выделенный сервер в соответствии с рекомендациями ETSI TR 102 678.

Для оценки показателей качества сервисов на основе загрузки страниц с ресурсов сети Интернет выполнялись повторяющиеся сессии тестов загрузки популярной WEB-страницы http://www.onliner.by. Данная страница позволяет оценивать характеристики качества доступа к WEB-ресурсам и загрузки контента.

Для оценки характеристик качества сервиса воспроизведения видео выполнялись повторяющиеся сессии воспроизведения видеоклипа с ресурса YouTube с учетом рекомендаций ETSI TR 101 578 (продолжительность воспроизведения видеоклипа – 60 секунд, стандарт кодирования – 1080p). Оценка показателя качества воспроизведения видео PEVQ-S Video Streaming Quality по шкале MOS выполнялась в соответствии с алгоритмом PEVQ-S, разработанным компанией Opticom (см. рекомендации ITU-T J.247 и J.343). В таблице 7 приводится количество тестов, выполненных на маршруте драйв-теста в сети каждого оператора.

Таблица 7
Количество циклов тестов, выполненных в сети каждого оператора

Для измерений характеристик радиопокрытия использовался сканирующий приемник, поддерживающий все частотные диапазоны технологий GSM/WCDMA/LTE, реализованных в сети каждого оператора.

При расчете интегрального показателя SQI (Single Quality Indicator) использовались весовые коэффициенты, представленные на рис. 8.

Рисунок 8
Состав и весовые коэффициенты показателей качества услуг

Комментарии

Необходимо отметить, что сети операторов заметно отличаются в части объема используемых частотных ресурсов и количества секторов, обеспечивающих радиопокрытие и емкость в сетях различных технологий. Кроме того, при равнительной оценке результатов измерений и тестов необходимо принимать во внимание, что на объекте тестирования количество абонентов (собственных и гостевых), пользующихся ресурсами и услугами сети каждого оператора, также значительно отличаются.

Представленные результаты отражают позиции операторов в период выполнения работ на маршруте драйв-теста и не распространяются на сети в целом. По мере развития технологий, расширения зон покрытия и емкости сетей, относительные позиции операторов постоянно изменяются. Результаты оценки характеристик сетей и качества услуг на основе драйв-тестов позволяют операторам своевременно планировать оптимальные направления для развития мобильной сети.

Сопоставление результатов расчета характеристик качества сетей, услуг и радиопокрытия с распределением результатов измерений и неуспешных событий на маршруте драйв-теста позволяет оперативно определить и локализовать участки, на которых зарегистрировано снижение качества услуг и уровня и качества принимаемого сигнала. Дополнительный анализ статистики OSS сети оператора позволит более конкретно определить сектора, которые обеспечивают функционирование сети и сервисов на обнаруженных проблемных участках. Детальный анализ результатов сравнения характеристик сетей совместно со статистикой OSS позволяет подготовить план мероприятий по оптимизации параметров сети, расширению сети в части радиопокрытия и емкости и увеличению пропускной способности транспортной сети.

Скачать электронную версию
(PDF 4 Мб)