Критерии объективной сравнительной оценки

Публикации в прессе сравнительных оценок качества услуг в сетях мобильной связи вызывают большой общественный интерес и имеют большое значение для операторов. Первое место в пресс-релизах, связанных с такими измерениями, часто используется в рекламе оператора-победителя для повышения привлекательности бренда и привлечения новых абонентов. Наглядный пример компания ПАО «МегаФон», которая активно использует результаты исследования компании Ookla в своих рекламных роликах и позиционирует себя как оператор, предоставляющий самый быстрый мобильный Интернет в России. Проблема подобных релизов и публикаций заключается в недостаточной прозрачности в отношении того, как был достигнут фактический результат. Методы и лежащие в их основе предположения, как правило, никак не описаны.

Все это послужило предпосылкой для разработки и создания отраслевых рекомендаций в рамках документа ETSI TR 103 559. В данном документе обсуждаются различные аспекты проектов по проведению сравнительных оценок: структура и методология, выбор маршрута и объектов тестирования, сбор и обобщение результатов оценок, взвешивание, агрегация и расчет единого интегрального показателя - Network Performance Score (NPS). Об этом мы расскажем более подробно в наших следующих статьях, а сейчас давайте рассмотрим критерии объективной сравнительной оценки.

Точный сравнительный анализ и качественная оценка сетей требуют тщательного рассмотрения ряда факторов. К ним относятся технологии, доступные на момент проведения тестирования, уровень покрытия сетей, эволюция мобильных устройств, распределение абонентов на исследуемых объектах и территориях, доступные тарифные планы и др. Итак, по порядку.

Принцип Fair Play

На результаты сравнительной оценки существенное влияние могут оказывать специальные настройки сети и приоритизация тестового трафика. В таких случаях полученные результаты не отражают реальный клиентский опыт абонента, использующего эту сеть. Необходимо предпринять меры для того, чтобы результаты измерений действительно отражали реальный опыт клиентов.

Например, если один из операторов, который участвует в сравнительной оценке, применяет специальные настройки и профили качества (QoS) для тестовых устройств, используемых для сбора данных, а второй оператор - нет, то получаемые на выходе результаты не подлежат сравнению в части клиентского опыта, который могут получить абоненты в сетях данных операторов.

Эволюция сетей

Процессы развития сети и внедрения новых технологий, как правило, уникальны для каждого оператора и определяются различными факторами: общей стратегией, наличием лицензий и частотных ресурсов, финансовыми возможностями.  Тем не менее при проведении сравнительной оценки очень важно использовать тестовое оборудование, которое бы поддерживало все новейшие технологии и режимы, доступные в исследуемых сетях.  Соответственно, при сравнительной оценке необходимо дифференцировать операторов, которые обеспечивают более высокое качество услуг за счет раннего внедрения новых технологий.

Например, если один из операторов внедряет технологию 5G, а остальные операторы продолжают развертывать технологию 4G, то преимущества технологии 5G в части клиентского опыта должны учитываться при сборе и сравнительной оценке.

Выбор тестовых устройств

Сравнительная оценка в сетях сотовой связи выполняется в основном с использованием метода полевого тестирования (в профессиональной среде наиболее часто встречается термин «драйв-тестов»). В составе измерительных комплексов используются тестовые смартфоны, к выбору которых необходимо очень тщательно подходить. Связано это с необходимостью обеспечения идентичного поведения тестового смартфона во всех оцениваемых сетях, т.к.  одни и те же устройства могут работать по-разному в двух разных сетях в зависимости от таких факторов, как размещение антенны в устройстве для разных частотных диапазонов, отклонения из-за различий в версиях прошивки, а также размещения и установки тестового устройства в автомобиле.

Выбор тестового сервера

Тесты услуг передачи данных, как правило, осуществляются в том числе путем загрузки файлов с тестового сервера. Выбор и размещение таких серверов могут существенно повлиять на результат сравнительной оценки. Размещение, производительность и настройки тестовых серверов должны обеспечивать идентичные условия для всех операторов, участвующих в сравнительной оценке.

Например, если тестовый сервер размещен в сети одного из оцениваемых операторов, то с большой вероятностью результаты тестов для остальных операторов будут отличаться в худшую сторону.

Прозрачность сравнительной оценки

Очень важным моментом при публикации и интерпретации результатов сравнительной оценки является наличие следующей информации:

• Используемая модель и методология оценки;
• Базовые значения показателей качества услуг, полученных по результатам тестов;
• Количество тестов, выполненных для каждого показателя качества (количество попыток установления голосовых соединений, количество успешных просмотров видео и т.д.) и точность оценки;
• Используемая методология тестирования, включая настройки оборудования, тестовые сценарии, используемые тестовые сервера, веб-страницы, образцы речи и т.д.;
• Маршрут драйв-теста и перечень объектов, на которых выполнялись пешие тесты;
• Модели используемых тестовых устройств с указанием версии прошивки;
• Сертификаты на используемое измерительное оборудование;
• Тарифные планы на SIM картах, используемых в процессе тестирования.

Наглядным примером непрозрачной сравнительной оценки являются результаты «замеров», публикуемые информационно-аналитическим агентством TelecomDaily. Данные публикации не предоставляют информацию, необходимую для объективного сравнения, интерпретации результатов и использования при принятии решений, как абонентам, так и специалистам, ответственным за качество услуг в сетях операторов.

В общем, открытая публикация результатов независимых профессиональных исследований, и возможность объективного сравнения показателей качества услуг в сетях мобильной связи может стимулировать операторов проводить дополнительные мероприятия по развитию сетей и повышению качества обслуживания абонентов. При этом необходимо учитывать, что результаты измерений и расчетов отражают состояние сетей на маршруте движения по территории объекта в период выполнения работ, носят локальный характер и не распространяются на сети в целом.