Проект параллельных вычислений Microsoft Research станет коммерческим в 2011 году

Давно Microsoft не говорила о проекте "Dryad", ответе компании на Google MapReduce и Apache Hadoop. Но на днях появилась свежая информация.

Dryad в нынешней своей форме представляет собой проект Microsoft Research, посвященный поиску путей написания параллельных и распределенных приложений, которые с легкостью масштабируются с небольших кластеров до больших вычислительных центров. Существует компилятор DryadLINQ и соответствующая среда исполнения. Летом прошлого года Microsoft представила код Dryad и DryadLINQ учебным заведениям для некоммерческого использования.

Теперь, судя по всему, Dryad готова к следующей фазе: Microsoft планирует передать разработку Dryad группе Technical Computing. По плану первая CTP-сборка продукта должна выйти в ноябре, а выход финальной версии, которая будет работать поверх Windows Server HPC Server, должен состояться в 2011 году, если, конечно, верить слайду из презентации одного из ведущих разработчиков Dryad.

Но это еще не все. Стэк Dryad обретает новые очертания по мере того, как исследователи продолжают работать над ним. Вот текущая диаграмма стэка Dryad:

А вот обновленная диаграмма стэка из августовской презентации, упомянутой выше:

Слой стэка Dryad осуществляет планирование и безотказность, тогда как слой DryadLINQ осуществляет параллельные вычисления.

В новой версии диаграммы также упоминается новая распределенная файловая система под кодовым именем TidyFS, предназначенная для параллельных вычислений с Dryad. Файловая система "обеспечивает безотказность и репликацию данных подобно GFS (абб. от Google File System) или Cosmos." Cosmos, согласно ранней версии диаграммы, представляла собой файловую систему Dryad, дополняющую NTFS. Судя по всему, TidyFS - это новое имя Cosmos или ее преемника.

Также в диаграмме фигирирует набор инструментов для управления, известный под кодовым именем "Nectar". На сайте Microsoft Research нашелся документ, описывающий Nectar:

"В вычислительном центре, управляемом с помощью Nectar, доступ ко всем данным осуществляется через Nectar. На нижнем уровне системы весь набор данных привязан к фрагменту программ LINQ или соответствующему выражению. Программисты могут обращаться к набору данных с помощью простых запросов, содержащих указатели (как символьные ссылки в UNIX) на программы LINQ, которые их создают."

Есть еще один продукт, связанный с Dryad и достойный упоминания, - "Quincy". Quincy представляет собой систему планирования (от англ. scheduling) для распределенных кластеров. В Квинси, к слову сказать, находится один из основных вычислительных центров Microsoft.


Источник: http://www.zdnet.com/blog/microsoft
Перевод: deeper2k