Tomsk Sysadmins Forum

Unix => Администрирование => Topic started by: Zem on September 22, 2009, 11:20:11

Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: Zem on September 22, 2009, 11:20:11
Исходное: опыт по распараалеливанию вычислений минимален, нужно писать диссер.
Задача: куча серьезных итеративных расчетов, расчет матрицы уравнений с одними начальным условиями на Core Duo 2 идет до 2-3 суток.
Обеспечение: сервер спарка Xenon 2500 2G + компьютерный класс 10 CeleronD 512M
Первичное решение навскидку: распропагандированный AltLinux Skif 4.1 на сервере и рабочих местах.

Кто имеет сказать пару слов насчет?
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: Safir on September 22, 2009, 12:14:11
Именно про это вариант не знаю. Делал распараллеливание с использованием Condor (http://www.cs.wisc.edu/condor/). На сайте есть сборки под всё, что попало, в репозитарии Fedora есть готовые пакеты, про ALT - не в курсе.

Гонял его под Windows и под Linux (одновременно): работает отлично, настраивается очень тонко (например, можно сделать так чтобы задача перемещалась на другую машину при повышении собственной нагрузки), умеет раздавать задачи на разные платформы (должны быть собраны бинарники под эти платформы или программы написаны на Java, скриптовых языках или идти в исходниках для сборки на месте). То, что я планировал делать предполагало наличие бинарных сборок "на месте" для уменьшения трафика, но можно и раскидывать их по сети (распределяются в зависимости от платформы).

Извините, если не так понял вопрос.
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: rPman on September 22, 2009, 13:09:56
Посмотри в сторону вычислений на видеокартах (NVIDIA CUDA, поддержка как win так и linux), при идеальном распаралеливании задачи, (на видеокарте GeForce 9800 gtx - карта за 5-6т рублей и Athlon 64x2 3800+) достигается 100кратное ускорение, рандомный доступ к памяти усложняет ситуацию, но 10кратный прирост почти гарантируется.

это в противовес пустого дергания сети, горы железа, электропитания и т.д.

P.S. хватит уже кормить владельцев дорогущих неэффективных устаревших технологий!
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: Safir on September 22, 2009, 13:21:34
Одно другому не мешает, как я понимаю. Просто куча компов УЖЕ есть, так чего бы их не использовать? А если внутри одного из них есть такой дополнительный ресурс - грех не использовать. Фишка с распараллеливанием "в домашних условиях" - оптимально использовать все имеющиеся мощности.

P.S. А звуковую карту никто для аналогичных целей ещё не задействовал? Потоки простых вычислений доджна бы пережёвывать неплохо.
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: _bob on September 22, 2009, 16:01:34
Попробуйте вот это:
area51+base+bio+ganglia+hpc+java+kernel+os+sge+viz+web-server+xen-24.06.2009-05.59.46.x86_64.disk1.iso
вроде есть всё для кластера.
==
С уважением.
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: nuclight on September 23, 2009, 14:10:52
А не проще обратиться в ТГУ или ТПУ на уже имеющиеся кластеры? Там узлов не 10, как у вас, а минимум 24, и каждый - 8 Гб ОЗУ + пара двухъядерных Xeon 5150 2.66GHz. Сосредоточитесь сразу на программной части, вместо железок.

Кстати, касательно расчетов на видюхах - это тоже не всякая задача так программно распаралливаема именно под них, чтобы выжать всё, что можно. В HPC вообще очень многое зависит от задачи, вся соль в программной реализации, панацеи в железе - нет.
Title: Вычислительный кластер на AltLinux Skif 4.1
Post by: anovo on September 23, 2009, 17:17:31
Quote from: nuclight
А не проще обратиться в ТГУ или ТПУ на уже имеющиеся кластеры? Там узлов не 10, как у вас, а минимум 24, и каждый - 8 Гб ОЗУ + пара двухъядерных Xeon 5150 2.66GHz.
http://supercomputers.ru/?page=stat&sub=ext&id=274 (http://supercomputers.ru/?page=stat&sub=ext&id=274)