Эти материалы являются объектом авторского права и защищены законами РФ и международными соглашениями о защите авторских прав. Перед использованием материалов вы обязаны принять условия лицензионного договора на использование этих материалов, или же вы не имеете права использовать настоящие материалы

Авторская площадка "Наши орбиты" состоит из ряда тематических подразделов, являющихся моими лабораторными дневниками, содержащими записи за разное, иногда продолжительно отличающееся, время. Эти материалы призваны рассказать о прошедшем опыте, они никого ни к чему не призывают и совершенно не обязательно могут быть применимы кем-то ещё. Это только лишь истории о прошлом

Небольшой анализ по результатам сотрудничества с ФКУ "Налог Сервис" по ЦОД в г.Москве ФНС РФ - ака перепросмотр - зафиксирован в моей статье Результаты работы в ФКУ "Налог Сервис". Вот как я вижу итог:

История и некоторые результаты

После семи месяцев с момента увольнения дошли руки написать о службе в инсорсере (выделенной под определённые задачи дочерней организации) ФНС РФ Федеральном Казённом Учреждении (ФКУ) Налог-Сервис, филиал по ЦОД г. Москва, где я проработал с ноября 2016 по апрель 2017 в должности руководителя группы администраторов баз данных Oracle. На момент моего прихода имели место быть очень нервные, чтобы не сказать "сильно напуганные" администраторы, в том сотрудник, ранее работавший нач. отдела и отказавшийся от должности, и нервное же руководство, рассказавшее мне о пяти ранее сменившихся руководителях ораклоидов, и о том, какими "буками" они были. Началось всё с накладки - звали на должность начальника отдела, но предложили "первый месяц" поработать консультантом. В дальнейшем приказом была сформирована группа под моим руководством, что позволило начать выстраивать работу. Самым главным своим достижением считаю именно структурирование работы группы и понижение "уровня нервов" со стороны сотрудников и руководства до вменяемого рабочего уровня

Несмотря на ряд существовавших нюансов, в первую очередь ежедневную пятичасовую дорогу, оцениваю этот период исключительно положительно. За предыдущие пять лет в ЗАО "Гринатом" ЕЦУ ГК Росатом, несмотря на большой объём сделанного (заметки о результатах работы в ЗАО Гринатом), я стал "закисать". Переход в ФКУ позволил резко повысить качество профессиональной деятельности, освежить и подработать навыки как специалиста и как руководителя. Да и мысли о том, что в Гринатоме достигнут профессиональный потолок - не подтвердились, задачи в ФКУ существенно масштабнее

Наиболее значимым фактором, определяющим деятельность ФКУ, является объём и критичность задач. Учреждение поддерживает ИТ инфраструктуру всей ФНС РФ, и в том числе функционирование огромных централизованных баз данных Oracle, с большим объёмом ежедневных изменений и исключительной критичностью по требованиям отказоустойчивости и минимизации потери информации

Это система живая, подверженная организационным задачам типа переезда ЦОД без простоя сервиса, и в то же время это фактически первоисточник и мерило актуальности большой части информации ФНС. Поддержка такой системы - сложная боевая задача. Фактически - самая сложная из тех, которые мне встречались за время работы в ИТ. И руководство ФКУ во главе с Р.В.Филимошиным и В.В.Рясновым успешно обеспечивает решение этой беспокойной задачи. Этот факт определяет весь процесс организации работ и взаимоотношений в коллективе

Немного коснусь достижений за этот небольшой период. Их совершенно немного по сравнению со всеми предыдущими местами занятости в силу очень приличной текущей нагрузки и относительно небольшого профессионального штата специалистов - не новичков, с понятиями и опытом было двое (Саша Иванов и Алексей Андреев) в Москве и двое (Роман Грищенко и Дмитрий Кузьмичёв, оба уже в Москве) же в регионах из, на минуточку, 14 человек группы. За период работы удалось:

• структурировать работу группы из 14 человек, 7 в Москве и 7 в регионах, в т.ч. со множественными переработками и отработать поддержку крупного многомесячного проекта по обновлению используемых машин баз данных Oracle Exadata, в т.ч. переползание на 12 версию СУБД, а также текущие задачи
• организовать детальный ежедневный учёт работ и прозрачно показать руководству нагрузку на специалистов группы. За период с декабря по апрель группа с учетом сотрудников в Москве, Хабаровске, Нижнем, Питере отработала 180 комплексных задач
• организовать завершённую процедуру бэкапа и восстановления крупных (от 120 терабайт) БД. Инициированная мной проверка показала, что на момент проверки бэкап делается, но не восстанавливается !!! В этой задаче очень помогли руководитель отдела систем резервного копирования и администрирования UNIX, после многих итераций таки найдя корректные настройки для медиасерверов СРК (и "вспомнив", что такая работа несколько лет назад уже проводилась), и Сергей Томин из Oracle, вытащив данные о том, что размер Redo больше 30 Гб может приводить к проблемам с восстановлением архивных журналов, из части металинка, открытой только для сотрудников вендора
• организовать чёткий механизм удалённого доступа, а также механизм учёта переработок и предоставления отгулов за переработки - с этим были сложности
• обучить основам администрирования СУБД Oracle и ОС Linux трёх новичков до снятия первичного страха и возможностей оставлять их в ночь дежурными администраторами
• организовать поддержку двух итераций тестирования RAT продолжительностью несколько недель, где основным специалистом от вендора также выступал уважаемый Сергей Томин

В общем интенсивной работой меня не напугать, начиная с крупного девятимесячного проекта в 2007 году в Райффайзене по переводу на 9 версию, когда половины выходных не было, к переработкам выработалась привычка. А переработок за эти полгода накопилось на полный рабочий месяц - более 180 часов, в т.ч. половина - ночных. Но - совместно с долгой дорогой здоровье позволило продержаться только полгода ...

Что я успел вынести для себя:

• подкачал организационные навыки по управлению распределённой территориально группой, работающей в реальном режиме 24х7
• поработал с машинами баз данных Oracle Exadata и оракловыми кластерами RAC, на критичных базах, больших объёмах и с отличной командой поддержки от вендора в части СУБД (Fors) и экза-железа, управляемой мастером своего дела Олегом Мишиным (IBS)
• погонял кластера, видел предел нагрузки, при котором и экзажелезо, и СУБД начинают глючить и вести себя нестабильно. Видел ограничения RAC, о которых предупреждали ещё на курсах по RAC в 2010 году, когда кластер не может работать корректно, и разный функционал просто разносится на разные ноды. Благо экзамашина вполне справляется в такой конфигурации
• более плотно поработал с дупликацией, хотя с ней же ещё более плотно поработал на следующем месте, а также проникся удобством DataGuard вместо использования ручных стэндбаев хотя и "к колодцу можно придти разными дорогами"

В целом считаю этот период вполне удачным и положительным. И да - как всегда встречаются интересные люди, у которых можно научиться чему то. Например, непосредственный шеф был постоянным генератором заинтересованности, грамотных и дотошных технических вопросов, и источал массу жизни и понятных человеческих эмоций. Фактически здесь мне вспомнилось моё первое крупное место госслужбы - департамент Федеральной Государственной службы занятости населения по Брянской области (1997-2001 гг., из которого я вышел в должности зам. начальника профильного отдела программ занятости и рынка труда с погонами советника государственной службы), вспомнилась атмосфера регионального учреждения госслужбы в 90 годах ... При всех тёплых воспоминаниях о прошедших временах такой организационный формат я перерос давно

Выводы

Сначала плюсы:

• экзадаты и RAC конфигурации. Их нужно администрировать - возможность поработать с топовыми решениями от вендора. Все понимают, что вы можете и не иметь квалификации, экзадат немного ведь, подхватите в процессе работы
• представители техподдержки экзажелеза и СУБД на площадке физически, есть возможность оперативной адресации им вопросов и задач
• очень много работы с высококритичными системами на больших объёмах, вы постоянно в потоке
• бюджетные столовые с приличной скидкой для сотрудников. Блюда вполне можно набрать вкусные, но это на любителя. Как минимум не отравилися за полгода ни разу )
• серьёзные задачи, всё по взрослому. Вы работаете на большую государственную задачу
• руководство. Совершенно вменяемое - именно до того момента, пока вы работаете плотно, результативно и интенсивно. В противном случае - денежку, большая часть которой составляет премия, могут и не заплатить. Крайне приветствуется опыт работы с mission-critical системами и чувство собственной ответственности

Теперь чему меня научило это время:

• ненормированный рабочий день _бывает_ более чем ненормированный. За 6 месяцев у меня набралось 184 часа переработок. В том числе половина ночных (удалённых и с выездом на площадку). Такси одно время оплачивали, далее - из своих. Это на минуточку реально месяц рабочего времени. Чтобы иметь моральное право требовать с коллег и привлекать их - надо впахивать самому. Вменяемый алгоритм учета работ и предоставления отгулов для сотрудников мы в мою бытность отладили, его не было
• выход на больничный - непривычно большая потеря в деньгах. Не работаете - премиальной части нет, а оклад никакой. Но день отлежаться взять вполне можно, или поболеть в счет прошедших переработок. Есть корпоративная поликлиника вместо ДМС, но времени туда выбраться за полгода не нашёл
• если большая часть вашей зарплаты - премия, не прописанная в контракте - идти в такую контору можно, но только от смерти, психологически это сильно дискомфортно и к этому не привыкаешь. Обязательно нужно уточнить - выплачивается ли она месяц в месяц, или, скажем с задержкой на месяц. Ибо очень много появляется зависимости ваших доходов от субъективного мнения руководства, которое может напоминать об этом вам или вашим сотрудникам (которые потом побегут к вам) явно. Как бы там не было, сильно напрягала ситуация, когда под конец каждого месяца организация вроде должна вам заплатить почти две уже заработанные вами зарплаты, но все понимают, что прецеденты были - может ведь и не выплатить. И сам, и сотрудники начинают нервничать, это сильно демотивирует

Ещё я вынес важный вывод - не все сотрудники приходят за деньгами. Бывает, что приходят с позицией, что если ты отдал много лет теме администрирования СУБД, то можно расслабиться и пожинать плоды - здесь так не получится. Например - БД с большим объёмом имеют свою специфику, и отличаются от объёмов в десятки или единицы терабайт. Для конструктивного диалога со смежниками необходимо хоть немного разбираться в смежных обрастях ИТ - администрировании UNIX, основах сетевого взаимодействия (хотя бы рассчитать маску подсети понимать и уметь) и т.п. Стоящая перед подразделением боевая задача - ответственна в масштабах государства, спрос за нее не детский, и к этому надо быть готовым

Для любой другой организации озвученные неудобные моменты мгновенно превысили бы чашу "против" сотрудничества, но масштаб профессиональных задач, стоящих перед администраторами БД в ФКУ "Налог Сервис", делает остальные моменты несколько менее значимыми, отодвигая их на второй план по сравнению с возможностями, объёмами, критичностью. В моём случае самым большим неудобством оказалась долгая ежедневная дорога, которая медленно, но верно съедала силы до момента, когда здоровье стало подавать свои однозначные звоночки. Коллеги, живущие в 15 минутах от работы, имели несомненно на почти пять часов ежедневного времени для жизни больше. Конечно, при трудоустройстве длительность дороги была понятна - головой, но опыт, пропущенный через тело, показал, что продолжительная жизнь в таком ритме очень быстро приводит к обострению болячек и выедает все силы

P.S. Перед увольнением я выкатил шефам аналитику, и насколько я знаю, изменения в предложенную сторону потихоньку проводятся ... Как минимум расширяется штат профессиональных DBA