Трибуна арбитра

23/06/2010 Уважаемые победители!
По техническим причинам организаторы были вынуждены продлить сроки доставки призов в регионы до 12 июля.
Приносим извинения за неудобства.

25/05/2010 Определены победители Чемпионата по виртуализации
Определены победители первого в России Чемпионата по виртуализации. Помимо главного приза - автомобиля Ford Focus, ведущих виртуализаторов...

 
Закрыть

Поддержать проект

Критиковать проект

Ответить

Баллы полученные за проект:
Виртуализация в компании Ти Ай Системс

40

01/04/10

Виртуализация в компании Ти Ай Системс

Количество серверов: 8
Платформа Hyper-V: да
System Center: да
Отказоустойчивость: да
Web server: 10.100.6.201
Использовано оборудование: Серверы Intel
Город Москва
Отрасль Информационные технологии
Заказчик: ООО Ти Ай Системс, интегратор, разработка ПО, 70 сотрудников

Описание проекта

Описание: Компания, в которой я работаю, является системным интегратором и занимается разработкой программного обеспечения. Год назад руководством была поставлена задача оптимизировать нашу ИТ-инфраструктуру с использованием самых новых решений (дело в том, что мы как ИТ-компания постоянно изучаем новые продукты и осваиваем их, внедряя у себя). Одной из составляющих частей данного проекта была задача по виртуализации, о решении которой, собственно, и хотелось бы рассказать.

Специфика деятельности:

Наша компания имеет два офиса – в Москве и Уфе. Компания проектно ориентированная, занимается разработкой собственных ИТ- решений. Кроме того мы являемся gold партнером Microsoft. В связи с проектным типом деятельности нашей компании, периодически возникают задачи обкатки разработанных решений в условиях приближенных к боевым. Именно для этих целей у нас разворачиваются виртуальные фермы тестовых серверов и рабочих станций, на которых производятся стресс-тестирование разработанного ПО. Так же хотелось бы отметить задачи предварительного изучения, тестирования новых версий программных продуктов Microsoft, обкатки новых технологий в полностью изолированной от промышленного домена компании. Значительные ресурсы выделяются для создания тестовых контуров серверов и рабочих станций.

Из собственного опыта мы поняли, что закупка серверов впрок, содержание, поддержка и управление подобной инфраструктурой это достаточно дорогое удовольствие, при стоимости одного сервера примерно от 100 до 200 тысяч рублей. Все это, по меньшей мере, нерационально т.к. большую часть времени сервер будет простаивать.

Поэтому нужно было решение, позволяющее оптимизировать затраты и облегчить администрирование всей инфраструктуры, повысить эффективность использования оборудования. В итоге было принято решение по использованию виртуальных серверов на базе технологии Microsoft Hyper-V R2. Выбор в пользу Hyper-V был сделан в первую очередь благодаря нашему партнерству с Microsoft: нам необходимо было в кратчайшие сроки внедрить данное решение и мы могли смело рассчитывать на поддержку производителя.

На данный момент:

В компании функционируют 8 гипервизоров, на которых в текущей конфигурации работают 124 виртуальные машины. Внедрение проекта проходило поэтапно.

В качестве платформы были выбраны сервера компании Intel, а именно – стабильные и надежные серии 5000 и 5500. Вначале был закуплен 1 сервер, на нем был развернуты виртуальные контроллеры домена, сервера Sharepoint и Project. Далее была осуществлена миграция компании в новый домен и докуплены еще 4 сервера для расширения спектра решаемых задач с помощью виртуализации. В дальнейшем мы постепенно увеличивали наши ресурсы, периодически вводя в эксплуатацию новые гипервизоры.

Мы используем System Center Virtual Machine Manager, который вполне обеспечивает централизованное управление виртуальной инфраструктурой и организацию новых виртуальных машин, а также позволяет распределять нагрузку от виртуальных систем по восьми гипервизорам. На сегодняшний день, средняя загрузка каждого сервера составляет 70-80%. Это позволяет, в случае сбоя одного из гипервизоров, распределить виртуальные машины на оставшихся серверах.

Поскольку нам нужно обеспечить непрерывную, безотказную работу ИТ-инфраструктуры, мы используем кластеризацию. В нашей архитектуре функционирует failover-кластер, размещённый на двух node-серверах. В качестве хостовой операционной системы была выбрана Hyper-V Server 2008 R2. Сейчас кластер используется в тестовом режиме. Возможно, в ближайшем будущем мы будем его расширять, переводя в него остальные гипервизоры.

Ощутимые преимущества в результате внедрения виртуализации:

- высокий уровень оптимизации инфраструктуры. Мы виртуализировали все программные комплексы, за исключением ключевых: почта, базы данных разработчиков, которые требуют высокой степени доступности;

- отсутствие простоя оборудования и обеспечение эффективной эксплуатации и оптимальной загрузки имеющегося;

- уменьшение времени подготовки демо-стендов, тестовых контуров и других виртуальных серверов под конкретные задачи компании благодаря использованию готовых шаблонов виртуальных серверов.

- значительное сокращение расходов на новое оборудование и сервисное обслуживание, а кроме этого, наша серверная попросту не смогла бы вместить более ста физических сервера, пусть даже размером 1U. Экономически эффект, мне кажется, видим невооруженным взглядом. Во-первых, закупить такое количество серверов под силу не каждой компании, а во-вторых, это было бы пустой тратой как денег, так и ресурсов IT-отдела. Кроме того, сейчас у нас значительно сократились затраты времени системных администраторов на обслуживание системы.

- удобство управления и администрирования

- уменьшение количества отказов оборудования и, как следствие, количество авралов и ночных смен теперь сократилось в разы. Если бы все сервера были физическими, то профилактические работы с ними занимали бы у системных администраторов значительно больше времени.

Голосовать ЗА Голосовать ПРОТИВ

AntonS Голосов ЗА +0 -0

Качественное описание как на небольшом числе серверов развернуть инфраструктуру, сопоставимую с небольшим ЦОДом. Очевидно, что Hyper-V решает задачи параллельного существования боевых систем, тестовых лабораторий, серверов для разработки и отладки. Рассказано как повысить коэффициент отдачи серверного оборудования и исключить его простои. Все наглядно и доходчиво.

YuriKondratenko Голосов ЗА +0 -0

Антон, спасибо за отзыв. Действительно, мы старались оптимизировать нашу инфраструктуру. Проект реализован, но продолжает развиваться, ведь компания это живой организм, поэтому мы стараемся оптимизировать архитектуру, заглядывая в будущее и стараясь предусмотреть потребности организации.

amdf Голосов ЗА +0 -0

Интересный проект. Жаль, что кластер пока только в тестовой среде...

YuriKondratenko Голосов ЗА +0 -0

Спасибо за комментарий. Да, мы пока тестируем его возможности, радуемся Live Migration и прочим удобствам. Однако подобного рода мероприятие, как кластеризация инфраструктуры требует точного расчета архитектуры, планирования работ и больших человеческих ресурсов. Поэтому мы не спешим и стараемся предусмотреть все возможные "подводные камни".

trogvar Голосов ЗА +0 -0

Подробное и понятное описание рационализации и оптимизации.

n007 Голосов ЗА +0 -0

Для меня важен, прежде всего, экономический эффект от внедрения. Экономия на серверах, на аренде помещения для размещения оборудования, на физическом обслуживании серверного оборудования, на электроэнергии - эффектное внедрение!

larionov Голосов ЗА +0 -0

Увидел твой проект тут! Знаю тебя очень долго, знаю, что профессионал в своем деле, наверняка сделал всё продумано и красиво - похоже что так и есть! Сколько по времени занял это проект?

YuriKondratenko Голосов ЗА +0 -0

Николай, приветствую ;)

Проект начался 2 года назад и мне сложно сказать, как долго он длился. Основные работы по виртуализации начинались каждый раз с появлением очередного нового сервера и приостанавливались до момента покупки следующего.

prob Голосов ЗА +1 -0

Проект заслуживает внимания. Особенно, учитывая специфику деятельности компании(124 виртуалтные машины - это большая инфраструктура). Подсчитывали экономический эффект от внедрения?

YuriKondratenko Голосов ЗА +1 -0

Проект окупился в течение полугода. Только на аппаратной части мы сэкономили приблизительно 5 млн. рублей. Всё остальное, включая сетевую инфраструктуру, оборудование ЦОДа, расходы на электропитание и дополнительные офисные помещения, вылилось бы еще дополнительно в 7-8 млн.

fedor2005 Голосов ЗА +0 -0

Масштабный проект. Думаю выгода именно для тестовых лабораторий ощутима уже после первых месяцев внедрения... Какой штат обслуживает в данный момент такую инфраструктуру?

YuriKondratenko Голосов ЗА +1 -0

Фёдор, да, Вы правы, мы очень часто сталкиваемся с задачами, когда нужно в сжатые сроки к примеру подготовить контур тестирования. Это может быть как один сервер, так и десять. В нашем отделе работает 10 человек и если бы мы не приняли в своё время решение об использовании виртуализации, нас, вполне возможно, было бы 20 или может быть еще больше :)

У нас в компании нет специально выделенной роли администратора hyper-v или администратора mscvmm, но периодически техническими работами занимаются 1-3 человека.

fedor2005 Голосов ЗА +1 -0

Я так понимаю шаблоны используются при разворачивании контуров?

sil2006 Голосов ЗА +0 -0

В целом проект отличный. Малобюджетный, как я понимаю, но при этом высокоокупаемый...

Не совсем понятно - эта инфраструктура развернута в одном офисе или распределена по двум?

nuikak Голосов ЗА +0 -0

А почему выбрали именно R2?

Tolchelnikov Голосов ЗА +1 -0

"А почему выбрали именно R2?"

Я не знаю, чем руководствовались в компании Ай-Ти, но по сути подход простой. Если есть возможность при тех же самых технических и финансовых усилиях получить большее - нужно этим воспользоваться.

В нашей компании этот подход определяющий, поэтому, например, все ключевые продукты имеют SA.

megaron Голосов ЗА +0 -0

Подробно и ясно описано. Было бы дополнительным стимулом для перехода на данную технологию, организовать Вам небольшое портфолио.

Architect Голосов ЗА +1 -0

Здравствуйте, Юрий.

Польза от таких стендов несомненна, поэтому проект всецело поддерживаю, но есть и ряд замечаний, которые хотел бы с вами обсудить (именно с тех позиций, что вы представляете здесь компанию интегратора).

1) про выбор Hyper-V R2 все понятно, - ваша компани "Gold Certified partner" и этим все сказано.

2) про "тестовые стенды" также все понятно, - почти все этим занимаются, но каждый на своем уровне возможностей.

3) "failover-кластер, размещённый на двух node-серверах". Почему на 2-х? Вы же компания-интегратор, вам как говорится, сам... Есть, например, документ http://technet.microsoft.com/ru-ru/library/ee405267(WS.10).aspx (Требования и ограничения для виртуальных машин и Hyper-V в Windows Server 2008 R2). В кластер можно объединить до 16 узлов. Да, 2-х узловое решение наиболее востребовано малыми компаниями, но очень много компаний, где хостов с гипервизором больше 2-х. Я, отчасти, понимаю администраторов (сам такой :), на всевозможных форумах и у самого МС на сайте описан пример именно 2-х узлового кластера, поэтому многие думают, а зачем что-то искать и изучать? Нажму "кнопку" сюда, сюда и сюда. Вот и все, кластер готов (сам МС не брезгует таким подходом на своих meetings & launches :). "Поднаготная" мне понятна, но хочется узнать и ваше мнение, коллега.

4) Про виртуализацию почты. Никто и не будет спорить, что сервис один из наиболее критичных, но замечу, прекрасно виртуализуется! А уж начиная с Exchange 2007, смею вас заверить, ни одно письмо не пропадет. Да, вряд ли имеет смысл устанавливать Exchange 2007 или Exchange 2010 на failover cluster, т.к. есть CCR, который защищает не только от сбоя хоста, но и от сбоя хранилища, но ведь сейчас ваши Exchange сервера, установленные на физ. серверах, также "недогружают" их, как все остальные сервера "до начала виртуализации"!

5) Не хотите виртуализировать "базы данных разработчиков"? В вашем случае этот сервис не относится к категории "front-end" систем, с которым непосредственно работают ваши заказчики, поэтому его требования к доступности ниже, чем у почты. Вы же используете средства "стресс-тестирования"! Или этим самым вы признаете, что их нагрузка не носит показательный характер по сравнению с "живыми" пользователями? В чем тогда смысл этих тестов?

Спасибо. Жду ваших ответов.

YuriKondratenko Голосов ЗА +1 -0

Приветствую Вас!

Спасибо за Ваш отзыв и вопросы.

Что касается кластера, да, я с Вами соглашусь, две ноды это просто, возможно очень просто для интегратора. Однако кластеризация, как приоритетное направление развития инфраструктуры, должна планироваться и внедряться постепенно, особенно в системах, требующих высокую доступность 24/7. Как я писал в проекте, знакомство с кластеризацией мы начали с тестирования, под которое выделено два сервера. Конечно, когда кластеризация пойдет в продакшн, мы не будем создавать множество несвязанных файловеров из двух машин, но и соединять сразу все гипервизоры в один массив было бы неразумно.

Основываясь на опыте работы, могу сказать, что, скорее всего процесс миграции в кластерную структуру будет происходить постепенно, путем добавления гипервизоров в кластер, и не затронет множество узлов нашей инфраструктуры, однако перспективы роста до 5-6 нод в кластере есть.

Соглашусь с Вами и про виртуализацию почтовой системы. Сервис прекрасно виртуализируется, но вот Exchange 2007 до SP1 и более ранние версии виртуализацию официально не поддерживают. Ну и конечно основной причиной размещения почтовой системы на аппаратной машине является то, что Exchange 2007 мы внедрили до того, как вышла бета HV. Сейчас у нас развернут Exchange 2010, в нем нет CCR и других видов репликации, которые были в 2007. Там есть только DAG, который, впрочем, тоже спасает и от сбоя хоста и от сбоя хранилища. Насчёт «не догружают сервера» - тут кому что. Кому-то надо, чтобы почта всегда шустро работала, в том числе и при каких-то пиковых нагрузках. Тогда в остальное время сервера будут недогружены. Кого-то устраивает, что основную часть времени сервера нагружены почти полностью, а при пиковых нагрузках – почтовая система будет проседать по производительности.

Да, мы не хотим виртуализировать базы данных разработчиков :) Причина состоит именно в том, что наши внутренние требования к доступности баз гораздо выше чем к почтовой системе. Виртуализация БД это, конечно, холиварная тема и кто-то "за", а кто-то "против". Мы против, т.к. базы достаточно сильно нагружены и прежде всего это касается дисковой подсистемы. Эксперименты нужно проводить в тестовой среде, продакшн, все-таки должен работать стабильно.

Architect Голосов ЗА +1 -0

Приветствую, Юрий

Исчерпывающий ответ, спасибо :)

Немного добавлю к Вашим словам про "тестовые среды". Да, практически любой админ имеет более или менее развернутую тестовую среду, но если не брать в расчет компании-интеграторы и банки, то среди оставшихся далеко не каждая компания имеет тестовую среду, в которой работают не только админы, но и пользователи (например, из других отделов ИТ-департамента). В условиях более-менее активного вовлечения в процесс тестирования сотрудников компании создаются условия для более качественной проработки продуктов/решений, в итоге после попадания таких решений в "production" критичные сбои возникают намного реже, чем в других компаниях, что несомненно оценивают остальные сотрудники, бизнес и наши клиенты.

Удачи Вам!

Нет отрицательных комментариев