+7 495 748-46-58

Качество сервисов передачи данных в сетях операторов мобильной связи на территории города Москвы

21 июня 2016

В настоящее время отмечается стремительное развитие и расширение функциональных возможностей технологий мобильной связи, которое позволяет заметно повысить качество услуг связи и сократить время доступа к ресурсам сети Интернет и загрузки контента. Своевременный контроль относительной позиции в части качества предоставляемых услуг и реализации передовых разработок позволяет оператором сохранять и расширять абонентскую базу.

Операторы периодически проводят оперативный контроль качества предлагаемых абонентам услуг как на основе собственных ресурсов, так и силами внешних компаний, выполняющих независимую оценку характеристик сети и сервисов.

Качество сервисов передачи данных в сетях операторов мобильной связи на территории города Москвы

Результаты измерений, выполненных с помощью драйв-тестов на территории Москвы в сетях мобильной связи и сравнения позиций различных операторов периодически публикуются на ресурсах сети Интернет. В публикуемых материалах иногда сопоставляются результаты различных работ, для которых не приводится описание методики измерений, количества тестов, состава оборудования и маршрута движения. При сопоставлении результатов таких работ относительные позиции операторов часто отличаются. Сопоставление результатов различных работ не может использоваться для корректных выводов в части ранжирования позиций операторов без учета методики измерений и маршрута движения.

Кроме того, необходимо принимать во внимание, что результаты таких измерений отражают позиции операторов локально, на участке сети на конкретном маршруте драйв-теста в период выполнения работ и не распространяются на сети в целом. Корректное сравнение позиций операторов и сопоставление результатов различных работ возможно только при соблюдении идентичных условий выполнения измерений и анализа результатов на основе единой методики и одинакового маршрута с использованием современного оборудования, имеющего аналогичные технические характеристики.

Компания DMTel в инициативном порядке выполнила на территории Москвы в пределах МКАД в период с 29 марта по 20 мая 2016 года исследование качества различных сервисов передачи данных в сетях операторов ПАО «ВымпелКом» (торговая марка «Билайн»), ПАО «МТС», ПАО «МегаФон» и ООО «Т2 Мобайл» (торговая марка «Теле2»). Основная цель работы – сравнение качества сервисов передачи данных и технологий, используемых в сетях мобильной связи на сегодняшний день. Измерения на исследуемой территории проводились с помощью новейшего измерительного оборудования и с применением методики, которая позволяет получить объективную оценку реальных возможностей сетей и сравнить позиции операторов на маршруте драйв-теста с учетом всех технологий и функций, реализованных в сети каждого оператора в период выполнения работ.

Порядок и условия выполнения тестов

Измерения выполнены на территории Москвы в пределах МКАД. Для драйв-теста разработан и реализован маршрут движения, обеспечивающий максимально возможный охват территории и плотность объезда с учетом активности и концентрации абонентов. Общая протяженность маршрута драйв-теста составила около 3949 км. В рамках исследования выполнено около 5000 циклов тестов каждого типа в сети каждого оператора, что обеспечивает точность расчета показателей качества, позволяющую объективно оценивать и сравнивать относительные позиции операторов.

Измерения и анализ результатов проводились с использованием сертифицированных измерительных комплексов Nemo Invex и программного обеспечения Nemo Analyze, соответствующих уровню современных сетей мобильной связи. Компания DMTel является официальным дистрибьютором оборудования Nemo на территории России и стран СНГ, что позволяет оперативно оснащать комплексы новейшими моделями тестовых устройств и выполнять измерения с учетом всех технологий и функций, реализованных в сетях операторов на сегодняшний день.

Методика проведения измерений и тестов разработана на основе опыта выполнения аналогичных работ специалистами компании DMTel на базе рекомендаций ETSI и с учетом методики оценки качества услуг подвижной радиотелефонной связи, разработанной Министерством связи и массовых коммуникаций Российской Федерации.

Для объективной оценки показателей качества одновременно выполнялись повторяющиеся циклы тестов различных сервисов передачи данных в сетях 4-х операторов. Тестирование производилось с помощью измерительного комплекса Nemo Invex II, состоящего из 16-ти современных тестовых устройств, обеспечивающих 16-ть независимых каналов измерений: три специализированных телефона и один модем в сети каждого оператора. В составе измерительного комплекса использовались современные тестовые устройства, которые поддерживают все частотные диапазоны, технологии, функции и режимы, реализованные в сети каждого оператора, включая: GPRS/EDGE/WCDMA/HSPA/HSPA+/DC-HSPA+/LTE/LTE-A (LTE-A – функция объединения частотных ресурсов Carrier Aggregation для технологии LTE).

При тестировании применялись телефоны с предустановленным программным обеспечением Nemo Media Router (NMR). ПО NMR обеспечивает выполнение различных сценариев тестов и регистрацию результатов измерений автономно, непосредственно в телефоне. Запись полученных результатов в лог-файл производится на управляющем компьютере измерительного комплекса. В процессе тестирования все устройства работали в режиме свободного выбора технологии GSM/WCDMA/LTE (Triple mode). В данном режиме тестовые устройства выбирают технологию в соответствии с сетевыми настройками, с учетом уровня и качества принимаемого сигнала. Такие тесты позволяют получить оценку качества сервисов для абонентских устройств, которые поддерживают технологии GSM/WCDMA/LTE.

Для измерений характеристик радиопокрытия использовался сканирующий приемник, поддерживающий все частотные диапазоны технологий GSM/WCDMA/LTE, реализованных в сети каждого оператора.
Качество публичных сервисов зависит не только от характеристик мобильной сети, но и от исходного качества контента и производительности оборудования, которые определяются внешним провайдером конкретной услуги. Для объективной оценки потенциальных возможностей тестируемых сетей в части скорости загрузки данных выполнялись классические тесты фиксированной длительности (Fixed Data Transfer Time – FDTT, см. ETSI TR 102 678) для загрузки данных с сервера HTTP и на сервер FTP. Интервал времени, в течение которого производится загрузка данных при выполнении одного теста, устанавливался постоянным для всех сессий. Такой подход позволяет выполнять необходимое количество тестов за требуемое время независимо от диапазона изменения скорости передачи данных в процессе измерений.

Работы включали:

  • Сравнительную оценку качества предоставления услуг связи на базе классических тестов передачи данных FDTT (загрузка файла данных);
  • Сравнительную оценку качества предоставления услуг связи на базе популярных публичных сервисов передачи данных (воспроизведение видео, загрузка данных с ресурса облачного хранилища Dropbox, загрузка WEB-страниц и др.);
  • Сравнительную оценку качества предоставления услуг связи на базе сервисов социальных сетей Social Media (Instagram, Facebook, Twitter);
  • Сравнительную оценку характеристик радиопокрытия сетей GSM/WCDMA/LTE.

На основе результатов измерений выполнен расчет и сравнительная оценка основных показателей качества в сетях операторов Билайн, МТС, МегаФон и Теле2. При расчетах использовались рекомендации ETSI TS 102 250-2, ETSI TR 102 678 и ETSI TS 102 250-6.

Для оценки характеристик качества воспроизведения видео выполнен расчет показателей качества в соответствии с рекомендациями ETSI TR 101 578, включая показатели качества воспроизведения образцов видео c ресурса компании Opticom в соответствии с алгоритмом PEVQ-S с учетом рекомендаций ITU-T J.247 и J.343).

Краткое описание результатов сравнительных тестов

Таблица 1. Доля времени использования режимов и технологий при передаче данных.

Для иллюстрации позиций операторов далее приводятся диаграммы распределения показателей качества некоторых сервисов.

Ниже приводятся диаграммы распределения среднего значения показателя HTTP Mean User Data Rate DL скорости загрузки данных с сервера HTTP и доли значений данного показателя скорости, превышающих пороги 1 Мбит/с и 2,5 Мбит/с для тестов FDTT.

HTTP Mean User Data Rate DL, kbps

> 1 Mbps

HTTP Mean User Data Rate DL > 1 Mbps, %

> 2.5 Mbps

HTTP Mean User Data Rate DL > 2.5 Mbps, %

Диаграмма распределения среднего времени загрузки контента с публичной страницы Яндекс.Карты.

HTTP Session Time, s

На диаграмме ниже представлено распределение интегрального показателя HTTP Browsing Session Success Ratio успешности сессий загрузки «эталонной» WEB страницы Kepler Web Reference Page. Данный показатель учитывает не только неуспешные попытки загрузки HTTP страницы и обрывы активных сессий, но и неуспешные попытки установления пакетного соединения (GPRS Attach и PDP Context Activation).

HTTP Browsing Session Success Ratio, %

Диаграмма распределения доли успешного воспроизведения образцов видео с ресурса компании Opticom:

Streaming Success Ratio, %

Диаграмма распределения доли образцов видео, для которых значение показателя качества воспроизведения видео PEVQ-S Streaming Quality [MOS] ниже приемлемого порога, равного трем.

Video Streaming Quality [MOS] < 3, %

На восприятие абонентом качества WEB-сервисов (просмотр страниц, социальные сети и т.д.) основное влияние оказывают успешность действий абонента и время загрузки контента с сервера ресурса. Распределение успешности действий (транзакций) абонента и задержек при загрузке контента для публичных сервисов приводится на примере Twitter.

Twitter All Transaction Success Rate, %

Twitter Transactions Delay

Сравнение радиопокрытия

Распределение наилучших значений уровня принимаемого пилотного сигнала RSRP Best для технологии LTE

ПАО «ВымпелКом». Карта распределения RSRP Best для сети в целом

ПАО «МТС». Карта распределения RSRP Best для сети в целом

ПАО «МегаФон». Карта распределения RSRP Best для сети в целом

ООО «Т2 Мобайл». Карта распределения RSRP Best для сети в целом

Распределение наилучших значений уровня принимаемого пилотного сигнала RSCP CPICH Best для технологии WCDMA:

ПАО «ВымпелКом». Карта распределения RSСP CPICH Best для сети в целом

ПАО «МТС». Карта распределения RSСP CPICH Best для сети в целом

ПАО «МегаФон». Карта распределения RSСP CPICH Best для сети в целом

ООО «Т2 Мобайл». Карта распределения RSСP CPICH Best для сети в целом

В таблице приводятся доли значений уровня принимаемого сигнала, не превышающих пороги для доступа в сеть вне помещений для различных технологий в сетях четырех операторов:

Краткие выводы

Представленные результаты отражают характеристики сетей мобильной связи и сервисов передачи данных 4-х операторов на маршруте драйв-теста на территории Москвы в пределах МКАД.

В материалах, публикуемых на ресурсах сети Интернет, часто приводятся средние значения для измеряемых характеристик сети и сервиса, рассчитанных на основе результатов измерений, выполненных с помощью драйв-тестов. Необходимо учитывать, что расчет средних значений для характеристик, которые имеют широкий диапазон изменения в процессе измерений, не позволяет получить объективное представление о реальных возможностях для абонента пользоваться качественным сервисом в сети оператора на маршруте драйв-теста. Далее приводится сравнение характеристик доступности, качества, скорости загрузки контента для основных сервисов сети Интернет на основе различных представлений.

Загрузка файла данных с сервера HTTP

В процессе оценки скоростных характеристик для каждой успешной сессии загрузки рассчитывается показатель (FDTT HTTP Mean Data Rate) средней скорости загрузки данных с сервера HTTP в течение постоянного интервала времени. Выполняется также расчет доли значений данного показателя, превышающих заданный порог, определяющий возможность для абонента воспользоваться определенными сервисами сети Интернет. Кроме того, рассчитываются минимальное, максимальное и среднее значения показателя для всех успешных сессий загрузки данных. Это позволяет оценить динамику изменения показателя в целом. Описание условий и параметров, определяющих порядок расчета данного показателя, приводится в техническом отчете ETSI TR 102 678, который является дополнением к спецификации ETSI TS 102 250-2.

По номинальной величине среднего значения показателя скорости загрузки данных с сервера HTTP лидером является сеть МТС (24,9 Мбит/с), сеть Мегафон – на второй позиции (22,4 Мбит/с), сеть Теле2 – на третьей позиции (15,4 Мбит/с), сеть Билайн – на четвертой (14,3 Мбит/с). С учетом стандартного отклонения – сети всех четырех операторов сопоставимы по величине среднего значения показателя скорости загрузки данных на маршруте драйв-теста.
Однако, по доле значений показателя скорости, превышающих 1 Мбит/с, первую позицию занимает сеть Теле2 (99,7%). Данный индикатор характеризует возможность для абонента непрерывно получать скорость, необходимую для успешной работы большинства современных приложений (WEB Browsing, E-Mail, Social Media и т.д.) на маршруте драйв-теста.

Аналогичная ситуация для доли значений показателя скорости, превышающих 2,5 Мбит/с: сеть Теле2 находится на первой позиции (99,0%). Данный индикатор характеризует возможность для абонента непрерывно получать скорость, необходимую для успешного просмотра видео в формате HD на маршруте драйв-теста.
Важно отметить, что как по доле значений показателя скорости более 1 Мбит/с, так и по доле значений показателя скорости более 2,5 Мбит/с, сеть МТС сопоставима с сетью Теле2 и разделяет первую позицию с учетом точности измерений, при этом, сеть Мегафон – на второй позиции, сеть Билайн – на третьей.

В целом, все операторы обеспечивают скоростные характеристики, необходимые для успешной работы основных приложений по результатам не менее 96,1% сессий загрузки данных, выполненных на маршруте драйв-теста.
Необходимо также отметить, что в сетях Мегафон и МТС доля скоростей HTTP Mean User Data Rate DL выше 30 Мбит/с составляет около 30%, а в сетях Билайн и Теле2 – около 10%. При этом, наиболее высокие максимальные значения средней скорости передачи данных HTTP Mean User Data Rate зарегистрированы в сети МТС – 114,9 Мбит/с и в сети Мегафон – 100,7 Мбит/с. В сети Билайн максимальное значение средней скорости передачи данных составляет 73,5 Мбит/с, в сети Теле2 – 64,7 Мбит/с.

Возможность для абонента реализовать высокие скорости определяется наличием в сети оператора необходимых ресурсов, современных технологий и функций (LTE-A, MIMO) при условии достаточного уровня и качества принимаемого радиосигнала.

Сервисы на основе загрузки WEB-страниц (HTTP Browsing)

По среднему времени доступа к ресурсам сети Интернет и загрузки контента с публичной страницы HTTP все операторы сопоставимы (среднее время загрузки контента с ресурса Яндекс.Карты не превышает восемь секунд). В части успешности сессий загрузки контента (загрузка «эталонной» WEB страницы Kepler Web Reference Page) сети Билайн (99,1%) и Мегафон (98,8%) сопоставимы и лидируют, сеть МТС – на второй позиции (96,8%), сеть Теле2 – на третьей (90,9%).

Сервисы на основе потокового видео (Video Streaming)

Сеть МТС лидирует по доле образцов видео, для которых значение показателя качества воспроизведения видео PEVQ-S Streaming Quality [MOS] ниже приемлемого порога, равного трем.
Сеть Теле2 – на второй позиции, сеть Мегафон — на третьей, сеть Билайн – на четвертой.

Сеть МТС также лидирует по доле успешного воспроизведения образцов видео с ресурса компании Opticom — Streaming Success Ratio (97.9%). Сеть Билайн сопоставима с сетью МТС по показателю Streaming Success Ratio (97.6%) с учетом точности, сеть Мегафон – на второй позиции (92.6%), сеть Теле2 – на третьей (84.3%).

Сервисы на основе социальных сетей (Social services)

По среднему времени задержек при загрузке контента в социальной сети Twitter все операторы сопоставимы на маршруте драйв-теста. При этом, наибольшее значение среднего времени загрузки контента зарегистрировано в сетях МТС и Билайн (23,9 и 24,0 сек. соответственно). Следует отметить, что в социальных сетях Instagram и Facebook наибольшее значение среднего времени загрузки контента не превышает 15,0 секунд для всех операторов.
По показателю успешности действий (транзакций) в социальной сети Twitter.

All Transaction Success Rate сети МегаФон и Билайн сопоставимы и занимают первую позицию с учетом точности измерений на маршруте драйв-теста. Сети Теле2 и МТС также сопоставимы по данному показателю и делят вторую позицию. В целом, по показателю успешности транзакций в социальных сетях Instagram, Facebook и Twitter относительные позиции операторов сохраняются.

Сравнение радиопокрытия

В сети LTE (4G) на маршруте драйв-теста все четыре оператора не обеспечивают непрерывного радиопокрытия по доле значений наилучшего уровня принимаемого сигнала RSRP Best ≤ —105 dBm. Наилучший результат зарегистрирован в сети Билайн. Сети МегаФон и МТС занимают вторую позицию. Сеть Теле2 значительно уступает по этому показателю операторам «большой тройки» и занимает третью позицию.

В сети WCDMA (3G) на маршруте драйв-теста все четыре оператора обеспечивают практически непрерывное радиопокрытие по доле значений наилучшего уровня принимаемого сигнала RSCP CPICH Best ≤ —95 dBm. Наилучший результат зарегистрирован в сети МегаФон. Сеть МТС занимает вторую позицию. Сети Теле2 и Билайн – на третьей и четвертой позициях соответственно.

В сети GSM (2G) на маршруте драйв-теста сети Билайн, МТС и МегаФон обеспечивают непрерывное радиопокрытие по доле значений наилучшего уровня принимаемого сигнала RSSI Best ≤ —90 dBm. По доле значений RSSI Best ≤ —70 dBm наилучший результат зарегистрирован в сети МТС, сети МегаФон и Билайн – сопоставимы и занимают вторую позицию.

Комментарии

Необходимо отметить, что сети операторов заметно отличаются в части объема используемых частотных ресурсов и количества секторов, обеспечивающих радиопокрытие и емкость в сетях различных технологий. Кроме того, при сравнительной оценке результатов измерений и тестов необходимо принимать во внимание, что на территории тестирования количество абонентов (собственных и гостевых), пользующихся ресурсами и сервисами сети каждого оператора, также значительно отличаются.

В целом, снижение качества сервисов на отдельных участках маршрута в основном обусловлены недостаточно высокими значениями уровня и качества принимаемого сигнала в сетях операторов, действующих на территории Москвы.
Представленные результаты отражают позиции операторов в период выполнения работ на маршруте драйв-теста и не распространяются на сети в целом. По мере развития технологий, расширения зон покрытия и емкости сетей, относительные позиции операторов постоянно изменяются. Результаты сравнительной оценки показателей качества на основе драйв-тестов позволяют операторам планировать оптимальные направления для развития мобильной сети.

Показатели качества сетей и сервисов, характеристики радиопокрытия и подробное описание результатов тестов для каждого оператора приводятся в отчетных материалах компании DMTel. Кроме того, отчетные материалы содержат описание методики измерений, сценариев тестов, состава оборудования, графика работ и маршрута движения. При необходимости полный текст отчета предоставляется по запросу. Дополнительно, по отдельному запросу, компания DMTel может выполнить расчет показателей качества и характеристик сетей, отсутствующих в отчетных материалах и предоставить на безвозмездной основе.

Скачать электронную версию (PDF 3,5 Мб) 

О группе компаний DMTel

Группа копаний DMTel работает на рынке телекоммуникаций в России, СНГ и Грузии с 2008 года. Компания имеет уникальный опыт внедрения и развития инженерных систем на основе собственных технологических разработок, а также решений лидеров мирового рынка систем инженерного обеспечения.

Спектр предлагаемых решений (Keysight Nemo, SIGOS) охватывает все существующие на данный момент задачи с точки зрения анализа, оптимизации и мониторинга различных сетей связи и услуг. Кроме того, компания DMTel является разработчиком системы CEMONA, которая предназначена для автоматизированного и централизованного контроля характеристик радиопокрытия и показателей качества услуг в современных сетях мобильной связи. Все технические средства и технологии тестирования используются специалистами компании при решении задач.

Компания располагает собственным парком технологического оборудования и транспортных средств, что позволяет обеспечить оперативное развертывание и выполнение работ одновременно на различных объектах на территории России и стран СНГ.

Специалисты компании на регулярной основе с 2010 года выполняют работы по сравнительной оценке качества сервисов и радиопокрытия для операторов мобильной связи. Работы по настройке и оптимизации сетей GSM/WCDMA выполняются с 2009 года, по настройке LTE сетей — с 2012 года. Численность коллектива – более 60 человек. Знания и опыт сотрудников компании позволяют оперативно решать самые сложные технические задачи в современных сетях мобильной и фиксированной связи, с учетом динамики развития технологий и сетевого оборудования.

За годы работы DMTel реализовал более 30 крупных проектов в области телекоммуникаций. Среди заказчиков компании — крупнейшие российские организации, производители сетевого оборудования и операторы СНГ: ПАО «МегаФон», ПАО «MTS», ПАО «ВымпелКом», ПАО «Ростелеком», Huawei, NSN, ТОО «Кар-Тел», СООО «MTS», ПрАО «MTS Украина» и т.д.

Миссия компании — повышение качества услуг, предоставляемых абонентам операторами мобильной и фиксированной связи, на базе разработки, внедрения и применения новейших технических систем и технологических процессов с учетом мирового опыта. Основа подхода компании — надежность отношений и качественный результат.