1. Выбор оборудования
В постоянно ускоряющейся гонке с конкурентами загруженность R&D-департаментов и другие причины зачастую не позволяют вендорам своевременно тестировать, включать в свои NMS и проверять на совместимость свое и чужое новое оборудование. Интеграторам это порой сужает выбор оборудования и отсекает интересные решения при проектировании либо вынуждает интеграторов брать на себя риски совместимости «железа другс другом». Особенно обидна бывает юридическая (отсутствие Approval R&D-производителя) или физическая несовместимость уже привычного «железа» с новыми версиями NMS.
2. Исполнение гарантийных обязательств на территории РФ и СНГ
За последние несколько лет практически исчезли авторизованные ремонтники даже у тех вендоров, у которых они были. Все ремонтные работы теперь, как и годы назад, проводятся через отсылку на завод, невзирая на характер неисправности, а это деньги и время. Требуется уйма усилий, чтобы убедить зарубежных партнеров, что для нас отвезти и привезти одну железку порой соизмеримо с покупкой новой в составе партии, а по срокам — даже хуже. Ведь их стандартные схемы доставки так хорошо работают по всему миру. Пришедшие на смену старым схемам новые программы вендоров по региональной сервисной поддержке с заменой оборудования со склада в РФ на практике также не работают, ведь проблемы логистики остаются теми же. Хорошо, когда заказчик опытный и умный, — его удается убедить купить подменный фонд для «холодного» резерва. А те, кто наивно поверил в заводскую гарантию, потом терроризируют поставщика, который оказывается крайним. И повезло, если он правильно рассчитал риски и/или нужное оборудование оказалось в наличии на складе.
3. Строительство распределенных головных станций на базе корпоративных сетей
Обычно распределенные ГС с удаленными сайтами строятся на базе выделенных каналов связи (локальных сетей и ВОЛС). Как известно, одно из базовых правил построения ГС: сети управления и контента физически несовместимы, причем контентная сеть внутри Stat MUX-пула (между кодерами и мультиплексорами) тоже ни с кем не должна совмещаться.
В больших распределенных системах на базе корпоративных сетей, пока по сети собирается контент и управляется удаленное оборудование, некоторые отклонения от правил еще допустимы.Но когда «разъезжаются» в пространстве кодеры и мультиплексоры StatMux-пула, вспоминается, чем пишутся ПДД.
В таких системах весь трафик ГС проходит через множество узлов, построенных на различном оборудовании CISCO, Juniper и пр. На практике главной проблемой при запуске системы становится настройка корпоративной сети для правильного пропуска всех информационных потоков распределенной ГС.
4. Модернизация систем-ветеранов
Функционирующие много лет ГС, как правило, переживают ряд модернизаций и перестроек разными интеграторами. В результате формируется исторический объект с большим количеством культурных слоев и «зоопарком» оборудования от различных вендоров. Кроме того, на развивающейся системе, особенно с творческим персоналом, запроектированное оборудование часто разбавлено и перемешано с многочисленным тестируемым или уже прижившимся оборудованием с недокументированными связями и временным монтажом, которое тоже необходимо как-то легализовать. И вот перед очередным модернизатором оператор выкладывает куски комплектов проектной документации, слабо коррелирующих друг с другом и с реальностью, и ставит задачу расширить, углубить и сделать все «мегасупер» в рамках бюджета. Попутно — исправить все огрехи имеющегося «Шанхая», интегрировать его в новую суперсистему с корректной документацией и положительным заключением экспертизы. Но, к сожалению, у нас нельзя, как в строительстве,быстро и дешево снести «Шанхай» и построить новый дом, мы же обязаны обеспечить бесперебойное оказание услуг на удлиненном жизненном цикле старого оборудования.
В такой ситуации надо быть готовым к большому объему проектно-изыскательских работ и постоянно возникающим неожиданностям самого разного свойства.
5. Обслуживание систем-ветеранов
Обратной стороной зрелости отрасли цифрового телерадиовещания является изрядное количество головных станций с парком престарелого, но еще работоспособного оборудования. Большая часть этого оборудования не только снята с производства и даже не поддерживается производителями, но порой и производитель уже канул в лету. С другой стороны, эти станции более-менее исправно несут свою службу, хотя и доставляют все больше проблем обслуживающему персоналу. В этой ситуации крупнейшие операторы резонно решили переложить эти хлопоты на аутсорс. Перед организациями, решившими взять на себя обслуживание таких систем, стоит целый ряд специфических для сервиса проблем:
• Выработанный ресурс или большой износ оборудования с высокой вероятностью выхода из строя при малейших отклонениях условий эксплуатации от нормы. Особенно это касается вентиляторов, блоков питания, входных и выходных интерфейсов.
• Наличие давно снятого с производства и не поддерживаемого производителями оборудования. Тут важно сразу оговаривать с заказчиком условия и параметры функциональной замены.
• Невозможность аудита систем до победы в конкурсе на их обслуживание, т.е. принятие «кота в мешке». Есть вероятность наличия уже неисправного оборудования, нештатных условий эксплуатации, неверно спроектированных систем, неадекватного персонала, которые однажды «выстреливают» в вас залпом отказов, на который нет достаточного «холодного» резерва и ЗИПа.
• Физически нереализуемые, за рамками здравого смысла требования заказчика по скорости восстановления вещания и штатной работы системы.
• Встречается и подспудное желание заказчика слегка подновить парк оборудования в ходе сервисного обслуживания.
Рецепт: правильная оценка рисков и собственных ресурсов плюс везение.
6. Не задокументированные производителями особенности нового оборудования
В ходе интеграции и пусконаладки мы зачастую сталкиваемся с рядом архитектурных и функциональных особенностей оборудования, которые нигде не задокументированы производителем. Особенно это актуально для нового оборудования, у которого вдобавок встречаются еще и баги программного обеспечения. В одном из проектов такие особенности даже вынудили нас экстренно перейти на новую версию NMS и отправить инженеров на обучение и за консультациями к производителю. Новая версия решила старые проблемы, но породила другие. В эпоху обострения конкуренции и спешки с выводом новых продуктов на рынок это, увы, типичная общемировая проблема.
7. Кадры и развитие инженерных служб в эпоху формализованных конкурсных закупок
Когда я 10 лет назад пришел в отрасль, стоимость работ по интеграции и пусконаладке головных станций составляла до 15% от стоимости контракта. Для проектирования архитектуры, выбора базового оборудования и разработки ТЗ на большие или уникальные системы заключались отдельные предварительные договоры. Это позволяло не только тщательно и кропотливо «вылизывать» систему, но и содержать инженерные службы с оборудованными рабочими местами, хорошим парком контрольно-измерительного и тестового оборудования, штатом высококлассных инженеров, регулярно проходящих обучение у производителей, выступающих на конференциях, посещающих выставки. В итоге у нас проектировались и строились системы, которыми гордились ведущие производители мира и на которые приезжали посмотреть коллеги из других стран.
А сколько в нашей практике случаев возврата с пересылкой за тысячи километров нового, якобы неисправного оборудования, которое покупатели просто не смогли настроить. Спрашиваем: если вы не обладаете достаточной квалификацией, чтобы самостоятельно ввести оборудование в эксплуатацию, почему не покупаете техническую поддержку или сервис по пусконаладке? Отвечают, что рассчитывали на свои силы, но и вы, поставщики, обязаны нам помогать…
Если становится все труднее поддерживать должный уровень инженерных служб на базе проектных, монтажных и пусконаладочных работ, то можно попытаться содержать их еще и за счет пакета сервисных контрактов. Однако и здесь пейзаж безрадостный. Недавно мы столкнулись с федеральным оператором, который планировал стоимость 24х7 техподдержки разбросанных по регионам головных станций на основании стоимости транспортных расходов на их посещение одним специалистом по два раза в год. На вопрос, как они так рассчитывали стоимость сервиса, ответ: «Вы же крутые, наверняка уже имеете подходящий подменный фонд по другим сервисным контрактам и хороший склад нового оборудования».
Другая причина кризиса и деградации инженерных служб — широкое внедрение открытых конкурсов и электронных торгов. Причины их внедрения понятны, положительные результаты тоже всем видны: стоимость строительства систем и поставок оборудования реально снизилась. Но все заметнее стали другие проблемы. Главные критерии практически всех конкурсов — цена и срок — растоптали и уровень технического решения, и качество монтажных и пусконаладочных работ, и уровень дальнейшей поддержки жизненного цикла систем.Бывает, что технические специалисты заказчика на основании своего опыта, тестов, экспертных оценок ориентируются на одно базовое оборудование, а в конкурсе, который поручен отделу закупок, абсолютно чисто, по цене (теперь еще плюс антисанкционные соображения руководства) побеждает другое. И технари уныло идут принимать и эксплуатировать не то, что хотели, или даже то, что совсем не хотели.
В конкурсе на создание сложной системы с проектированием, поставкой, интеграцией, пусконаладкой и дальнейшей техподдержкой, где главный критерий — цена, реально больше всего шансов победить у маленькой торговой компании-импортера, не отягощенной содержанием складов с оборудованием и офисов с техническими специалистами и их приборами, обучениями, конференциями, выставками, амбициями и пр. И репутация не сильно жмет, в случае чего можно и закрыться, сдав пару ключей арендодателю.
И побеждают — ведь цены ниже, сроки лучше, обещания круче! А после заключения контракта руководители проекта от заказчика и поставщик —это пара в лодке, которые или вместе тонут, или вместе выплывают. Вот и выкручивается заказчик, спасая проект и свою личную репутацию. В моей практике был случай, когда такой интегратор-демпингатор, победитель тендера, свел поставщиков с заказчиком и сказал приблизительно следующее: «Мужики, я тут немного не рассчитал, профита нет, и я выхожу из игры, а вы уж тут как-нибудь сами-сами. А то ж неприятности и позор-то какой для всех будет!»
В формализованных конкурсных процедурах с решающим фактором «цена» интеграторы сегодня стоят перед выбором: или погибнуть без заказов, или падать в цене, сокращая все издержки. А это в первую очередь проектировщики и дорогие системные инженеры с их «игрушками». В результате некоторые интеграторы постепенно превращаются в торгово-закупочные конторы с парой ремонтников-монтажников.
Есть у нас также крупные заказчики, которые систематически выжимают мозги интеграторам, прорабатывая технические решения, архитектуру систем и спецификации, а затем закупают коробки с оборудованием у приближенных импортеров и перекупщиков.
В результате вышеперечисленного деградирует отраслевой инжиниринг.Элита отрасли, системные инженеры и высококлассные эксплуатационщики, формирование и подготовка которых занимает немало лет и обходится в уйму денег, постепенно уходят, уезжают или переманиваются в представительства вендоров. Оставшихся в российских компаниях можно пересчитать по пальцам. Высокий российский системный инжиниринг, сформировавшийся и расцветавший у нас в нулевые годы, возвращается к зарубежным вендорам.
Все чаще головные станции проектируют инженеры-эксплуатационщики, программисты, пишущие middleware, или бренд-менеджеры, а проектами руководят менеджеры по продажам или эффективные управленцы с дипломами MBA, для которых Vibee, Vyper, Mustang, Electra, Carbon, Sirius, Sapphire, Opal, Kahuna, Magnum, SONET, Voyager — это что-то из мира лакшери или гаджетов.
В этой статье я осветил лишь часть проблем и задач, стоящих перед телекоммуникационным сектором отечественного телерадиовещания, не касаясь новых напастей — санкций, импортозамещения и антисанкционного фактора при принятии технико-экономических решений.
