Можно выделить три уровня рассмотрения качества услуги IPTV при его сквозной оценке (рис. 1):
уровень сети, уровень приложения и уровень пользователя [1].
На уровне сети проявляется негативная специфика IP-сетей. Пакетная природа накладывает свои ограничения, которые особенно остро проявляются при передаче мультимедийного трафика реального времени. В таких сетях возможны потери и дублирование пакетов, нарушение порядка их следования и вариация задержки (джиттер), что негативно влияет на качество работы видеоприложений.
Системы доставки видеоданных используют протокол UDP (User Datagram Protocol), который не предусматривает повторной передачи потерянных пакетов. Поскольку кадр видеопоследовательности передается не одним IP-пакетом, а множеством таких пакетов, то даже небольшой процент потерь последних приводит к высокому уровню потерь кадров.
Потери кадров, в свою очередь, происходят на уровне медиапотоков. На данном уровне также могут возникать проблемы, связанные с перестановкой кадров, их дублированием, ошибками программной информации PSI (Program Specific Information), нарушением синхронизации PCR (Program Clock Reference). На этом уровне измерения осуществляются в соответствии с документом ETSI TR 101 290 [3], помимо этого используется статистика по типам кадров (I-, P-, B-кадры).
На уровне контента определяется качество восприятия видеоинформации QoE. Подобные измерения дают возможность оценить качество изображения, предоставляемого непосредственно потребителю. Качество восприятия включает и характеристики управления, к которым обычно относят скорость переключения каналов IPTV, время инициализации телевизионной приставки STB (Set Top Box) и доступа к сервису.
Для систем передачи цифрового видео (к которым относятся системы IPTV) проблема качества на уровне пользователя оказывается чрезвычайно важной, поскольку пользователь в данном случае, в прямом смысле слова, видит качество услуги. Таким образом, в мультисервисной сети важнее становится субъективная оценка услуги потребителем — QoE (Quality of Experience), а не повсеместно используемый для сетей передачи данных параметр качества обслуживания QoS [4].
Рассмотрим более подробно, какие факторы влияют на показатель QoE и какие существуют методы его оценки.
В случае IP-телевидения необходимо особо учитывать искажения изображения в результате ошибок при передаче данных по IP-сети. Помимо этого на качество изображения влияет исходное качество видеоконтента, а также искажения, возникающие в цикле компрессии-декомпрессии. В данном случае можно выделить искажения, обусловленные внутрикадровым кодированием (такие как блочность, размытие изображения, эффект мозаики, окантовки на границах), и межкадровым кодированием (ложные границы, эффект «комаров», эффект «привидения») [5].
Существует два типа методов оценки качества восприятия QoE: субъективные и объективные. Перечень существующих стандартизованных методов и указания к их применению приведены в рекомендации Международного союза электросвязи (ITU — International Telecommunication Union) ITU-T Rec. G.1011 [6].
При субъективных методах оценка качества предоставляемого изображения осуществляется группой экспертов в соответствии с определенной методикой, которая регламентирует испытательные изображения, выбор наблюдателей, шкалы оценок, условия наблюдения, порядок проведения измерений и обработку их результатов.
На практике могут применяться методики, описанные в рекомендациях ITU-R Rec. BT.500 [7] и ITU-T Rec. P.910 [8].
Но наибольшую популярность для субъективной оценки качества видеоизображений в сетях IPTV приобрел метод MOS (Mean Opinion Score), описанный в рекомендации ITU-T Rec. P.800 [9]. Изначально данный метод использовался для оценки качества передачи речи в телефонии, а затем стал применяться в системах передачи видеоданных. В соответствии с MOS качество изображения оценивается как среднее арифметическое от всех оценок, выставляемых экспертами после просмотра видеопоследовательности, переданной по тестируемому каналу связи. Экспертные оценки определяются в соответствии с пятибалльной шкалой: от 5 («отлично») до 1 («плохо»). В методе, основанном на MOS, отсутствует возможность количественно учесть факторы, влияющие на качество видеоизображения, а именно — не учитываются сквозная (end-to-end) задержка между источником видеоданных и приемником, влияние вариации задержки и потери пакетов. Также метод MOS не позволяет осуществлять контроль качества в режиме реального времени и, соответственно, своевременно реагировать на возможные проблемы в сети и предотвращать ухудшение качества услуги. Поэтому данный метод в основном применяют для первичной оценки сети, при тестировании нового оборудования или новой услуги.
Субъективные методы имеют ряд недостатков: они весьма трудоемки и связаны с большими затратами времени. Поэтому возникает необходимость в использовании объективных методов измерения качества услуги.
Используя новейшие технологии для измерения QoE, поставщики услуг смогут формализовать критерии достаточности качества и отказаться от устаревших субъективных методов оценки этого показателя. Используя методы оценки качества восприятия (QoE) в режиме реального времени, операторы смогут в значительной мере упростить организацию высококачественного обслуживания и внедрение новых видов услуг.
Можно выделить два основных подхода к объективной оценки QoE, использующихся в настоящее время: MDI и MPQM [10].
Индекс передачи MDI (Media Delivery Index), описанный в RFC 4445 [11],
предоставляет на сегодняшний день самое простое в реализации средство по контролю качества услуг передачи видеоинформации в IP-сетях. Принцип оценки качества услуг на основе MDI подразумевает формирование интегральной оценки качества по совокупности нескольких факторов, связанных с качеством транспортной сети. Вычисления MDI могут проводиться в режиме реального времени средствами протокола RTP (Real Time Protocol). В индекс MDI входят параметр задержки DF (Delay Factor) и уровень потерь пакетов MLR (Media Loss Rate). Значение индекса MDI выражается следующим образом:
DF: MLR
Параметр задержки DF представляет собой максимальную разницу между реальным временем прибытия пакета и ожидаемым, наблюдаемую при приеме каждого пакета транспортного потока. Параметр задержки определяет время, на которое поток данных должен помещаться в буфер приемника для достижения постоянной скорости передачи и предотвращения потерь данных.
Параметр потери пакетов определяет количество потерянных или ошибочных пакетов данных за исследуемый период времени. В идеальном случае параметр MLR имеет нулевое значение, но на практике все сети имеют некоторый уровень потерь IP-пакетов. Длина каждого пакета транспортного потока MPEG-2 TS (Transport Stream) составляет 188 байт. Как правило, если для передачи используется технология Ethernet, для которой размер поля данных не может превышать 1500 байт, то в одном IP-пакете передается семь пакетов транспортного потока MPEG-2. Потеря одного такого кадра Ethernet означает потерю семи пакетов данных MPEG-2.
Пример отображения значений индекса MDI приведен на рис. 3.
Достоинствами MDI являются относительная простота реализации, масштабируемость и независимость от методов кодирования трафика. Недостатки — непрямая зависимость индекса от фактического состояния изображения у абонента, исключение из поля зрения искажений, вносимых вне сети передачи (например, при кодировании или компрессии видеопотока).
Наиболее эффективным методом оценки качества изображения в системах IPTV является использование так называемых «гибридных» метрик, то есть метрик, которые в качестве входных параметров используют информацию из заголовков пакетов, цифрового потока и декодированного видеосигнала [12]. В настоящее время разработки в этой области нашли практическое применение в метрике V-Factor, гибридной метрике, в основе которой лежит модель MPQM (Moving Picture Quality Metric).
Метрика V-Factor основана на тщательной проверке пакетов видеопотока. Алгоритм анализирует битовый поток в режиме реального времени для сбора статистики постоянных параметров, таких как размер изображения, частота кадров, а также динамических параметров, таких как изменение шагов квантования. Оценка качества изображения данной метрикой основывается на двух факторах:
влияние характеристик контента, механизма сжатия и ограничения полосы пропускания;
влияние сетевых характеристик, таких как джиттер, задержка или потеря пакетов.
Как недостаток этого метода можно отметить его достаточно большую ресурсоемкость. Преимуществами являются ориентированность на восприятие человеком, возможность контроля на любом этапе — от формирования сигнала до его доставки, информация о фактическом состоянии видеоизображения. Таким образом, MPQM контролирует параметры видеопотока, причем именно с точки зрения пользователя.
Можно предположить, что в дальнейшем более широкое практическое применение найдут решения, основанные на методике MPQM, при этом контроль качества сместится в сторону абонентских устройств. Например, уже сейчас существуют программные компоненты, интегрированные в STB, способные вести непрерывный контроль по алгоритмам V-Factor. Они могут быть активированы с разрешения абонента, владеющего устройством.
уровень сети, уровень приложения и уровень пользователя [1].
На уровне сети производится оценка качества работы сети — Network Performance (NP). Под характеристиками сети понимают совокупность параметров, которые могут быть рассчитаны и измерены. Они используются прежде всего оператором и ориентированы на разработку системы, проектирование сети, эксплуатацию и техническое обслуживание.
На уровне приложения оценивают качество телекоммуникационной услуги — Quality of Service (QoS). Это общий эффект, производимый услугой, который в конечном итоге определяет степень удовлетворенности пользователя.
На уровне пользователя оценивается качество услуги, воспринимаемое потребителем, — Quality of Experience (QoE). Это общая приемлемость приложения или услуги, субъективно воспринимаемая абонентом IPTV.
Измерения в системе IPTV могут быть также классифицированы в соответствии с эталонной моделью OSI (Open System Interconnection) [2]. Согласно этой классификации, измерения осуществляются на четырех уровнях: сети, медиапотоков, контента и управления (рис. 2)
На уровне сети проявляется негативная специфика IP-сетей. Пакетная природа накладывает свои ограничения, которые особенно остро проявляются при передаче мультимедийного трафика реального времени. В таких сетях возможны потери и дублирование пакетов, нарушение порядка их следования и вариация задержки (джиттер), что негативно влияет на качество работы видеоприложений.
Системы доставки видеоданных используют протокол UDP (User Datagram Protocol), который не предусматривает повторной передачи потерянных пакетов. Поскольку кадр видеопоследовательности передается не одним IP-пакетом, а множеством таких пакетов, то даже небольшой процент потерь последних приводит к высокому уровню потерь кадров.
Потери кадров, в свою очередь, происходят на уровне медиапотоков. На данном уровне также могут возникать проблемы, связанные с перестановкой кадров, их дублированием, ошибками программной информации PSI (Program Specific Information), нарушением синхронизации PCR (Program Clock Reference). На этом уровне измерения осуществляются в соответствии с документом ETSI TR 101 290 [3], помимо этого используется статистика по типам кадров (I-, P-, B-кадры).
На уровне контента определяется качество восприятия видеоинформации QoE. Подобные измерения дают возможность оценить качество изображения, предоставляемого непосредственно потребителю. Качество восприятия включает и характеристики управления, к которым обычно относят скорость переключения каналов IPTV, время инициализации телевизионной приставки STB (Set Top Box) и доступа к сервису.
Для систем передачи цифрового видео (к которым относятся системы IPTV) проблема качества на уровне пользователя оказывается чрезвычайно важной, поскольку пользователь в данном случае, в прямом смысле слова, видит качество услуги. Таким образом, в мультисервисной сети важнее становится субъективная оценка услуги потребителем — QoE (Quality of Experience), а не повсеместно используемый для сетей передачи данных параметр качества обслуживания QoS [4].
Рассмотрим более подробно, какие факторы влияют на показатель QoE и какие существуют методы его оценки.
В случае IP-телевидения необходимо особо учитывать искажения изображения в результате ошибок при передаче данных по IP-сети. Помимо этого на качество изображения влияет исходное качество видеоконтента, а также искажения, возникающие в цикле компрессии-декомпрессии. В данном случае можно выделить искажения, обусловленные внутрикадровым кодированием (такие как блочность, размытие изображения, эффект мозаики, окантовки на границах), и межкадровым кодированием (ложные границы, эффект «комаров», эффект «привидения») [5].
Существует два типа методов оценки качества восприятия QoE: субъективные и объективные. Перечень существующих стандартизованных методов и указания к их применению приведены в рекомендации Международного союза электросвязи (ITU — International Telecommunication Union) ITU-T Rec. G.1011 [6].
При субъективных методах оценка качества предоставляемого изображения осуществляется группой экспертов в соответствии с определенной методикой, которая регламентирует испытательные изображения, выбор наблюдателей, шкалы оценок, условия наблюдения, порядок проведения измерений и обработку их результатов.
На практике могут применяться методики, описанные в рекомендациях ITU-R Rec. BT.500 [7] и ITU-T Rec. P.910 [8].
Но наибольшую популярность для субъективной оценки качества видеоизображений в сетях IPTV приобрел метод MOS (Mean Opinion Score), описанный в рекомендации ITU-T Rec. P.800 [9]. Изначально данный метод использовался для оценки качества передачи речи в телефонии, а затем стал применяться в системах передачи видеоданных. В соответствии с MOS качество изображения оценивается как среднее арифметическое от всех оценок, выставляемых экспертами после просмотра видеопоследовательности, переданной по тестируемому каналу связи. Экспертные оценки определяются в соответствии с пятибалльной шкалой: от 5 («отлично») до 1 («плохо»). В методе, основанном на MOS, отсутствует возможность количественно учесть факторы, влияющие на качество видеоизображения, а именно — не учитываются сквозная (end-to-end) задержка между источником видеоданных и приемником, влияние вариации задержки и потери пакетов. Также метод MOS не позволяет осуществлять контроль качества в режиме реального времени и, соответственно, своевременно реагировать на возможные проблемы в сети и предотвращать ухудшение качества услуги. Поэтому данный метод в основном применяют для первичной оценки сети, при тестировании нового оборудования или новой услуги.
Субъективные методы имеют ряд недостатков: они весьма трудоемки и связаны с большими затратами времени. Поэтому возникает необходимость в использовании объективных методов измерения качества услуги.
Используя новейшие технологии для измерения QoE, поставщики услуг смогут формализовать критерии достаточности качества и отказаться от устаревших субъективных методов оценки этого показателя. Используя методы оценки качества восприятия (QoE) в режиме реального времени, операторы смогут в значительной мере упростить организацию высококачественного обслуживания и внедрение новых видов услуг.
Можно выделить два основных подхода к объективной оценки QoE, использующихся в настоящее время: MDI и MPQM [10].
Индекс передачи MDI (Media Delivery Index), описанный в RFC 4445 [11],
предоставляет на сегодняшний день самое простое в реализации средство по контролю качества услуг передачи видеоинформации в IP-сетях. Принцип оценки качества услуг на основе MDI подразумевает формирование интегральной оценки качества по совокупности нескольких факторов, связанных с качеством транспортной сети. Вычисления MDI могут проводиться в режиме реального времени средствами протокола RTP (Real Time Protocol). В индекс MDI входят параметр задержки DF (Delay Factor) и уровень потерь пакетов MLR (Media Loss Rate). Значение индекса MDI выражается следующим образом:
DF: MLR
Параметр задержки DF представляет собой максимальную разницу между реальным временем прибытия пакета и ожидаемым, наблюдаемую при приеме каждого пакета транспортного потока. Параметр задержки определяет время, на которое поток данных должен помещаться в буфер приемника для достижения постоянной скорости передачи и предотвращения потерь данных.
Параметр потери пакетов определяет количество потерянных или ошибочных пакетов данных за исследуемый период времени. В идеальном случае параметр MLR имеет нулевое значение, но на практике все сети имеют некоторый уровень потерь IP-пакетов. Длина каждого пакета транспортного потока MPEG-2 TS (Transport Stream) составляет 188 байт. Как правило, если для передачи используется технология Ethernet, для которой размер поля данных не может превышать 1500 байт, то в одном IP-пакете передается семь пакетов транспортного потока MPEG-2. Потеря одного такого кадра Ethernet означает потерю семи пакетов данных MPEG-2.
Пример отображения значений индекса MDI приведен на рис. 3.
Достоинствами MDI являются относительная простота реализации, масштабируемость и независимость от методов кодирования трафика. Недостатки — непрямая зависимость индекса от фактического состояния изображения у абонента, исключение из поля зрения искажений, вносимых вне сети передачи (например, при кодировании или компрессии видеопотока).
Наиболее эффективным методом оценки качества изображения в системах IPTV является использование так называемых «гибридных» метрик, то есть метрик, которые в качестве входных параметров используют информацию из заголовков пакетов, цифрового потока и декодированного видеосигнала [12]. В настоящее время разработки в этой области нашли практическое применение в метрике V-Factor, гибридной метрике, в основе которой лежит модель MPQM (Moving Picture Quality Metric).
Метрика V-Factor основана на тщательной проверке пакетов видеопотока. Алгоритм анализирует битовый поток в режиме реального времени для сбора статистики постоянных параметров, таких как размер изображения, частота кадров, а также динамических параметров, таких как изменение шагов квантования. Оценка качества изображения данной метрикой основывается на двух факторах:
влияние характеристик контента, механизма сжатия и ограничения полосы пропускания;
влияние сетевых характеристик, таких как джиттер, задержка или потеря пакетов.
Как недостаток этого метода можно отметить его достаточно большую ресурсоемкость. Преимуществами являются ориентированность на восприятие человеком, возможность контроля на любом этапе — от формирования сигнала до его доставки, информация о фактическом состоянии видеоизображения. Таким образом, MPQM контролирует параметры видеопотока, причем именно с точки зрения пользователя.
Можно предположить, что в дальнейшем более широкое практическое применение найдут решения, основанные на методике MPQM, при этом контроль качества сместится в сторону абонентских устройств. Например, уже сейчас существуют программные компоненты, интегрированные в STB, способные вести непрерывный контроль по алгоритмам V-Factor. Они могут быть активированы с разрешения абонента, владеющего устройством.
