RussianEnglish (UK)
Концепция ГРИД

1. Общие положения.

Комиссией при Президенте Российской Федерации  по модернизации и технологическому развитию экономики России поставлена задача по развитию суперкомпьютерных технологий и ГРИД-систем.

Ключевыми вопросами при решении этой задачи являются формирование современной сетевой электронной инфраструктуры доступа к высокопроизводительным  вычислительным ресурсам и создание ГРИД–сети в интересах ведущих вузов России, федеральных исследовательских университетов,  научных организаций Минобрнауки РФ, Росатома, РАН и других ведомств, организаций и инновационных предприятий различных форм собственности.

2. Цели и задачи.

Целью данного проекта является построение электронной инфраструктуры ГРИД-сети в составе высокоскоростных каналов передачи данных, узлов концентрации трафика,  узлов подключения суперкомпьютерных и других ресурсных центров, центров базовых ГРИД-сервисов и узлов концентрации проблемно-ориентированных сервисов,  обеспечивающей эффективное, стабильное и безопасное функционирование  унифицированных общесистемных средств для подготовки и выполнения в распределенной вычислительной среде прикладных заданий в различных научно-инженерных и технологических областях, которые связаны с ресурсоемкими и высокопроизводительными расчетами, а также обменом и обработкой информации.

В ходе выполнения работ по проекту должны быть решены  следующие задачи:

- созданы узлы концентрации трафика во всех федеральных округах и узлы доступа к ГРИД-сети с привязкой к основным региональным научно-исследовательским и образовательным центрам;

- обеспечено функционирование узлов концентрации трафика, узлов доступа и каналов передачи данных ГРИД-сети;

- обеспечено сетевое подключение к инфраструктуре ГРИД-сети ресурсов организаций – участников ГРИД-сети;

- реализована система мониторинга и управления сетью и обеспечено ее круглосуточное функционирование;

- создан и установлен комплекс системного программного обеспечения (СПО) ГРИД-сети в центрах управления ГРИД-сети, а соответствующие компоненты - в ресурсных центрах организаций-участников грид-сети и на компьютерах пользователей;

- cоздана комплексная система информационной безопасности грид-сети;

- созданы центры управления (основной и резервный), в которых должна быть реализована система мониторинга и управления работой комплекса СПО ГРИД-сети, а также системы обеспечения информационной безопасности;

- созданы узлы концентрации проблемно-ориентированных интерфейсов грид-сети в узлах доступа грид-сети для различных прикладных областей.

Созданная в результате выполнения проекта ГРИД-сеть будет предназначена для использования организациями-участниками и отдельными коллективами, ведущими научно-технические исследования и инновационные разработки через образование виртуальных лабораторий в различных прикладных областях.

Участники грид-сети получат возможность удаленного выполнения высокопроизводительных расчетов и обработки данных на широком спектре географически распределенных вычислительных ресурсов, от уникальных суперкомпьютеров до средних и малых суперкомпьютерных кластеров и отдельных серверов, за счет эффективного, прозрачного и безопасного доступа к сервисам и ресурсам грид-сети, а также за счет использования выделенных каналов высокоскоростного обмена данными.

3. Текущее состояние  и пути развития.

Сформировавшиеся  к настоящему времени  в России элементы электронной инфраструктуры представляют собой совокупность не интегрированных центров высокопроизводительных вычислений различной мощности, ведомственных и корпоративных сетей, созданных в разные годы (начиная с 90-х годов прошлого века) в рамках самостоятельных, невзаимосвязанных проектов, программ, комплексов мероприятий и инициатив отдельных организаций.

В настоящее время указанные элементы преимущественно сконцентрированы в сфере науки и образования (высшей школы). Насчитывается более 20 научно-исследовательских и образовательных сетей, среди которых основными являются RBnet (межведомственная опорная сеть, построенная в рамках государственной программы создания национальной сети компьютерных телекоммуникаций для науки и высшей школы - НСКТ-НВШ)), RASnet (корпоративная сеть Российской академии наук, построенная в рамках целевых программ РАН), RUNnet (федеральная университетская сеть, построенная в рамках ряда Федеральных целевых программ), FREEnet (открытая сеть науки и образования, изначально построенная в рамках инициативы Института органической химии РАН), Радио-МГУ (специализированная сеть по физике высоких энергий), RSSI (специализированная сеть по космическим исследованиям), региональные сети Уральского отделения РАН и Сибирского отделения РАН, SENet-Tatarstan (научно-образовательная сеть Республики Татарстан), NANOnet -строящаяся в настоящее время сеть по нано-технологиям (головная организация – РНЦ «Курчатовский Институт), корпоративные сети крупных организаций науки и образования (МГУ, ОИЯИ, НЦЧ РАН).

Таким образом, сложившаяся в научно-образовательной  сфере страны электронная инфраструктура является разрозненной и неоднородной. Использование имеющихся вычислительных и телекоммуникационных ресурсов носит преимущественно узконаправленный (корпоративный) и/или внутриотраслевой характер. Отсутствие объединяющей системы приводит к неравномерному распределению (дефициту для одних пользователей при одновременном избытке для других), неэффективному использованию, а также ограниченному доступу к имеющимся в стране инфокоммуникационным ресурсам.

Разрозненная  инфраструктура научно-образовательных сетей не позволяет в полной мере обеспечить решение актуальных в настоящее время задач по ускорению и удешевлению процессов разработки информации и внедрения перспективных технологий, по формированию и актуализации баз знаний, повышению эффективности взаимодействия научных коллективов и других задач, в том числе характерных и решаемых аналогичными зарубежными сетями и системами для науки и образования, имеющими единые центры управления и координации (например, европейская GEANT, управляемая DANTE, формирующиеся в ЕС проекты  EGI, PRACE и т.д.).

Более того, созданные в научно-образовательной сфере вычислительные и телекоммуникационные ресурсы не способны в полной мере обеспечить ее растущие потребности. Так, при совокупной вычислительной потребности, gпо некоторым оценкам достигающей 10 000 Тфлопс, за счет имеющихся вычислительных мощностей возможно обеспечить не более 500 Тфлопс (не более 5% от потребности). Требуемая в настоящий момент пропускная способность каналов связи между магистральными узлами сети составляет 1 – 10 Гбит/с, между магистральными и региональными узлами – 0,1 – 1 Гбит/с, в то время как в существующих сетях эти показатели оцениваются в лучшем случае в десятки Мбит/с.

Построение  электронной инфраструктуры грид-сети, базирующейся на единой системе высокоскоростных каналов магистральной связи позволит обеспечить решение первоочередных задач по оптимизации и повышению эффективности и результативности использования имеющихся вычислительных мощностей, что в свою очередь активизирует процесс комплексной интеграции научно-исследовательских и образовательных сетей, вычислительных центров и информационных ресурсов в рамках формирования единого инфокоммуникационного пространства.

4.  Содержание проекта.

4.1. Содержание работ по проекту  включает в себя следующие разделы:

4.1.1.Создание инфраструктуры для построения грид-сети, в том числе

а) Создание узлов концентрации сетевого трафика грид-сети, предусматривающее:

- разработку рабочих  проектов узлов  концентрации трафика  грид-сети;

- комплектацию узлов концентрации трафика грид-сети;

- организацию выделенных  высокоскоростных  каналов передачи  данных для опорной  сетевой инфраструктуры;

- реализация рабочих  проектов узлов  концентрации трафика  грид-сети.

б) Подключение суперкомпьютерных центров организаций к узлам концентрации сетевого трафика грид-сети, предусматривающее:

- разработку рабочих  проектов узлов  доступа грид-сети;

- комплектацию узлов  доступа грид-сети;

- организацию выделенных  каналов подключения  организаций-участников  к узлам доступа  грид-сети;

- реализацию рабочих  проектов узлов  доступа грид-сети.

в) Развитие и эксплуатационно-техническое обслуживание инфраструктуры грид-сети, предусматривающие:

- разработку системы  мониторинга и  управления сетью;

- разработку регламента  эксплуатационно-технического обслуживания сетевой инфраструктуры;

- организацию функционирования  эксплуатационно-технических  служб сети;

- обеспечение модернизации  и проведение работ  по улучшению функциональных  и эксплуатационных  характеристик сети;

- разработка рекомендаций по модернизации и развитию сетевых сервисов.

4.1.2. Создание и развитие грид-технологий, в том числе

a) Создание, развитие, инсталляция и техническая поддержка системного программного обеспечения (СПО) грид-сети, предусматривающие:

- разработку технического проекта СПО грид-сети в составе: системы управления выполнением заданий; системы контроля прав доступа; информационной системы; грид шлюзов для запуска заданий на вычислительных ресурсах; веб-интерфейса грид-сети; комплекта проблемно-ориентированных интерфейсов; системы мониторинга состояния ресурсов и сервисов и учета их использования;

- создание комплекса  СПО грид-сети, разработка  процедур его покомпонентного  и комплексного  тестирования;

- разработку ситемы  подготовки инсталляционного  пакета СПО и  регламентов его инсталляции на ресурсных центрах и компьютерах пользователей;

- разработка регламента  эксплуатационного  обслуживания комплекса  СПО грид-сети, ввод  его в пробную  эксплуатацию в  грид-сети;

- обеспечение модернизации  и проведение работ  по улучшению функциональных и эксплуатационных характеристик СПО грид-сети.

б) Создание, развитие и эксплуатационно-техническая поддержка центров управления (основного и резервных) грид-сети, предусматривающие:

- разработку рабочих  проектов центров  управления (ЦУ) грид-сетью в составе системы мониторинга и управления узлами концентрации трафика и подключения ресурсных центров, системы мониторинга и управления работой комплекса СПО грид-сети, а также системы обеспечения информационной безопасности грид-сети;

- комплектацию серверов ЦУ грид-сети;

- создание основного  и резервного центров  управления грид-сети;

- обеспечение бесперебойного  функционирования  грид-сети;

- обеспечение модернизации  и проведение работ  по улучшению функциональных  и эксплуатационных  характеристик СПО грид-сети.

в) Создание и развитие комплексной системы информационной безопасности грид-сети, предусматривающие

- разработку рабочего  проекта системы  обеспечения информационной  безопасности (СОИБ) работы пользователей,  ресурсов и сервисов  в грид-сети;

- разработку требований  к участникам грид-сети  и соответствующих  регламентов в  части обеспечения  безопасности работы  грид-сети — к  узлам концентрации  трафика, узлам   подключения ресурсных  центров, центрам  управления грид-сетью,  узлам концентрации  проблемно-ориентированных интерфейсов, а также к пользователям;

- создание СОИБ  грид-сети;

- обеспечение постоянного  контроля за выполнением  требований по  безопасности участниками  грид-сети, обеспечение  оперативного устранения  возникающих коллизий;

- разработку рекомендаций по модернизации и развитию СОИБ грид-сети.

4.1.3. Разработка программ и методик предварительных и приемочных испытаний инфраструктуры грид-сети. Проведение предварительных и приемочных испытаний инфраструктуры грид-сети. Сдача сети в опытную эксплуатацию.

4.1.4. Передача сети в промышленную  эксплуатацию.

4.1.5. Разработка предложений по развитию грид-сети на среднесрочную перспективу.

4.2. Структура и топология   грид-сети.

Проект  предполагает построние узлов концентрации трафика во всех федеральных округах, узлов доступа к ГРИД-сети в основных региональных научно-исследовательских и образовательных центрах, организацию высокоскоростных каналов передачи данных и подключение к этим узлам региональных научных и образовательных сетей и организаций. Опорные магистральные каналы грид-сети строятся на базе технологии DWDM.

Первый  этап предусматривает реализацию пилотного проекта, в рамках которого должны быть построены узлы концентрации трафика грид-сети в Москве (MSK-C) и Санкт-Петербурге (SPB-C), а также узлы доступа грид-сети в Екатеринбурге (EBG-A), Нижнем Новгороде (NNG-A), Казани (KZN-A), Ростове-на-Дону (RND-A). В Москве и Санкт-Петербурге узлы концентрации трафика должны одновременно обеспечивать функции узлов доступа. При этом должны быть обеспечены следующие пропускные способности каналов связи между узлами

    Узел 1 Узел 2 Пропускная  способность (Гб/с)
    2010 2011 2012
    MSK-C SPB-C 1 10 40 (100)
    MSK-C EBG-A 0,1 1 10
    MSK-C NNG-A 0,1 1 10
    MSK-C KZN-A 0,1 1 10
    MSK-C RND-A 0,1 1 10

Пилотный  проект предполагает подключение к узлам доступа сети высокопроизводительных вычислительных ресурсов следующих организаций:

    п/п

    Организация Интерфейсы  подключения

    (пропускная  способность на порту узла  доступа, Гб/с)

    2010 2011 2012
    1 Московский государственный университет имени М.В. Ломоносова, Москва 1 10 10
    2 Межведомственный  суперкомпьютерный центр РАН, Москва 1 10 10
    3 Национальный  исследовательский ядерный университет  «МИФИ», Москва 1 1 10
    4 Институт физики высоких энергий (Протвино) 1 1 10
    5 Объединенный  институт ядерных исследований (Дубна) 1 1 10
    6 Институт проблем  химической физики РАН (Черноголовка) РАН 1 1 10
    7 Санкт-Петербургский  государственный университет 1 1 10
    8 Санкт-Петербургский  государственный политехнический  университет 1 1 10
    9 Санкт-Петербургский  государственный университет информационных технологий, механики и оптики 1 1 10
    10 Петербургский институт ядерной физики имени Б.П. Константинова РАН 1 1 10
    11 Физико-технический  институт имени А.Ф. Иоффе РАН 1 1 10
    12 Нижегородский государственный университет (Н-Новгород) 0,1 1 1
    13 Уральский государственный  университет (Екатеринбург) 0,1 1 1
    14 Южно-уральский  государственный университет (Челябинск) 0,1 1 1
    15 Казанский филиал Межведомственного суперкомпьютерного центра РАН 0,1 1 1
    16 Казанский государственный  университет 0,1 1 1
    17 Казанский государственный  технический университет имени  А.Н. Туполева 0,1 1 1
    18 Южный федеральный  университет (Ростов-на-Дону) 0,1 1 1

На  следующем этапе должны быть построены узлы концентрации трафика грид-сети в Самаре (SMR-C), Ростове-на-Дону (RND-C) – на базе RND-A, Екатеринбурге (EBG-C) – на базе EBG-A, Новосибирске (NSK-C), Хабаровске (KHB-C), а также узлы доступа грид-сети в Краснодаре, Перми, Томске, Красноярске, Владивостоке...При этом должны быть обеспечены следующие пропускные способности каналов связи между узлами

    Узел 1 Узел 2 Пропускная  способность (Гб/с)
    2010 2011 2012
    MSK-C SMR-C 1 10 40 (100)
    SMR-C NSK-C 1 10 10+10
    NSK-C KHB-C 1 1 10
    KRD-A RND-C 0,1 1 1
    KRR-A NSK-C 0,1 1 1
    TMS-A NSK-C 0,1 1 1
    PRM-A EBG-C 0,1 1 1
    VLD-A KHB-C

Предполагается  подключение к узлам доступа сети высокопроизводительных вычислительных ресурсов следующих региональных научно-образовательных сетей и организаций:

    п/п

    Региональная сеть / Организация Интерфейсы  подключения

    (пропускная  способность на порту узла  доступа, Гб/с)

    2010 2011 2012
    1 1 10 10
    2 1 10 10
    3 1 1 10

Центры управления грид-сети (основной и резервные), в которых должна быть реализована система мониторинга  и управления работой комплекса СПО грид-сети, а также системы обеспечения информационной безопасности, предполагается организовать в Москве и в Санкт-Петербурге; при этом в 2010 году — прототипы основных систем центра управления грид-сети, в 2011 году — полнофункциональный основной центр управления, в 2012 году — резервный центр управления грид-сети.

Кроме того, предполагается создать узлы концентрации проблемно-ориентированных интерфейсов (2010 год - прототипы в 5 прикладных областях; в 2011-2012 годах — 15 узлов): в Москве  (МГУ, РНЦ «Курчатовский институт», ИТЭФ), Дубне (ОИЯИ), Черноголовке (ИПХФ РАН), Санкт-Петербурге (СПбГПУ, СПбГУ ИТМО), Гатчине (ПИЯФ РАН), Казани (Филиал МСЦ РАН), Екатеринбурге (УГУ).

Проектом  предусматривается обеспечение связности с международными сетями через узлы концентрации трафика:

  • в Москве в сеть GEANT;
  • в Санкт-Петербурге в сеть NORDUnet;
  • в Ростове-на-Дону в сеть BSI
  • в Хабаровске в сеть ORIENT



5. Основные требования.

5.1. Технико-экономические требования.

Разработанные проектные решения по построению грид-сети должны быть масштабируемыми, обеспечивать подключение к созданной  инфраструктуре новых суперкомпьютерных  центров и организаций - пользователей  и быть конкурентоспособными на мировом рынке.

5.2. Требования к значениям программных индикаторов.

В процессе выполнения работ должны быть достигнуты следующие значения целевых индикаторов

а) Для пилотного проекта:

Индикатор Единица  
измерения
2010 год 2011 год 2012

Год

1 Количество узлов концентрации сетевого трафика шт 2 2 2
2 Количество подключенных суперкомпьютерных центров шт 5 10 17
3 Скорость каналов Гб/с 0,1 0,1-1 1-10


б) Для основного проекта:

Индикатор Единица  
измерения
2010 год 2011 год 2012

Год

1 Количество  узлов концентрации сетевого трафика шт 2 4 7
2 Количество  подключенных суперкомпьютерных центров шт
3 Скорость  каналов Гб/с 0,1 0,1-1 1-10

5.3. Требования к стандартизации и унификации:

- Основные опорные каналы сети должны быть построены с использованием технологий DWDM, Ethernet over SDH, IP MPLS L2.

- IP уровень сети доступа должен быть построен с использованием протокола IPv6.

- В сети должна быть обеспечена возможность передачи multicast-трафика.

- Программный комплекс СПО грид-сети должен использовать протоколы и интерфейсы Веб-сервисов по спецификациям Консорциума по стандартизации веб-технологий (World Wide Web Consortium, W3C) и стека вебсервисных протоколов (HTTP, SMTP, FTP, SOAP, REST и др.), а также Открытую архитектуру грид-сервисов (OGSA).

- Базовые грид-сервисы должны создаваться с использованием грид-инструментария Globus Toolkit (GT, http://www/globus/org) и другого открытого ПО.

5.4. Требования к параметрам технических средств:

- В сети должны быть обеспечены поддержка выделения пропускной способности каналов точка-точка по запросу и гарантированное качество обслуживания (QoS).

- В сети должна быть обеспечена возможность создания виртуальных наложенных сетей под конкретные проекты, с оперативно перестраиваемой структурой.

- Должен быть обеспечен прямой обмен трафиком с основными научно-образовательными сетями России (RUNNet, RBNet, RASnet, Relarn-IP, Freenet, Radio-MSU) по каналам с пропускной способностью не менее 10 Гб/с в г. Москве.

- Должна быть предусмотрена оптимизация трафика за счет использования систем обмена информацией G-NAP, MSK-IX, SPB-IX, NSK-IX, SMR-IX (Россия), а также AMS-IX (на международном уровне).

- Должен быть обеспечен прямой обмен трафиком с ведущими международными научно-образовательными сетями: GEANT и NORDUnet (Европа), NLR и Internet2(США), научно-образовательными сетями Китая, Кореи, Японии.

- Должна быть обеспечена лямбда-связность с сетевыми структурами консорциума GLIF (Global Lambda Integrated Facility) – NothernLight, NetherLight, Pacific Northwest GigaPoP и др.

6. Ориентировочные  сроки и этапы

Проект предполагает сдачу грид-сети в промышленную эксплуатацию в 2015 году.

В рамках Проекта предусмотрено выделение следующих этапов выполнения работ, упорядоченных по времени их реализации:

1 этап (2010 - 2012 гг.) – этап, в рамках которого планируется реализовать пилотный проект.  Пилотный проект предусматривает организацию опорной телекоммуникационной магистрали Москва - Санкт-Петербург; создание узлов концентрации трафика грид-сети в Москве (MSK-C) и Санкт-Петербурге (SPB-C), а также узлов доступа грид-сети в Екатеринбурге (EBG-A), Нижнем Новгороде (NNG-A), Казани (KZN-A), Ростове-на-Дону (RDN-A); создание основного и резервного центров управления, создание системы мониторинга и системы обеспечения информационной безопасности, создание и инсталляцию системного программного обеспечения грид-сети, подключение высокопроизводительных вычислительных ресурсов основных региональных научно-образовательных сетей и организаций европейской части России – участников грид-сети.

2 этап (2012 - 2014 гг.) – этап масштабирования сети и ее систем для фукционирования на территории всех федеральных округов; построение узлов концентрации трафика в Самаре (SMR-C), Ростове-на-Дону (RND-C), Екатеринбурге (EBG-C), Новосибирске (NSK-C), Хабаровске (KHB-C) и организация опорных магистралей между ними, а также построение узлов доступа грид-сети в Краснодаре, Перми, Томске, Красноярске, Владивостоке... и подключение высокопроизводительных вычислительных ресурсов основных региональных научно-образовательных сетей и организаций – участников грид-сети.

3 этап (2014 - 2015 гг.) – этап опытной эксплуатации грид-сети и передачи ее в промышленную эксплуатацию.

7. Финансово-экономические  аспекты.

В целях реализации пилотного проекта «Построение ГРИД-сети для высокопроизводительных вычислений, в том числе в  интересах федеральных ядерных центров» Министерством связи и массовых коммуникаций РФ предусмотрено выделение соответствующего финансирования на 2010-2012 годы. Таким образом заложена экономическая основа выполнения первого этапа проекта, описываемого данной Концепцией.

Однако  для эффективной реализации остальных  этапов необходима  координация  всех заинтересованных министерств  и ведомств в целях обеспечения работ по  созданию и развитию  сетевой инфраструктуры доступа к высокопроизводительным  вычислительным ресурсам и построению ГРИД–сети в том числе за счет действующих федеральных программ, таких как Федеральная целевая программа развития образования на 2006-2010 годы, ФЦП «Приоритетные направления развития науки, техники и технологий», ФЦП "Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008-2010 годы" и др.

Успешное решение поставленной задачи не представляется возможным без объединения усилий всех заинтересованных федеральных органов исполнительной власти и ресурсов существующих федеральных и ведомственных государственных программ, развития международного сотрудничества и привлечения ведущих представителей исследовательских и научно-образовательных электронных инфраструктур страны.

 

Информеры

GISMETEO: Погода по г.Москва

GISMETEO: Погода по г.Брюссель

GISMETEO: Погода по г.Амстердам

Контакты

119333, г. Москва, ул. Вавилова, д.40
Тел.: +7 (499) 135 2598
Факс: +7 (499) 135 2598
e-mail: adm@e-arena.ru