Уважаемые форумчане!
Возник такой вопрос: Заказчик требует в кротчайшие сроки построить геологическую и фильтрационную модели месторождения. Дают условия что ячейки в сетке не должны превышать 50х50, строить в айрапе (2011), в одном гриде. Высылают структурные карты по сейсмике. Загружаю. Вижу два поднятия достаточно плотненько разбурены, между ними солидное расстояние (не могу сказать точно какое). в итоге строю куб получаю около 70 млн. ячеек. Расстроился, а меньше никак не получается, сетку менять нельзя. Пытаюсь отстроить литологию, машина продумывает одну реализацию 2.5 часа. Зоны глинизации прокрашиваются по 20 - 30 минут. Думаю, что если буду делать апскейлинг мажина программа вообще повесится. Гидродинамики ходят, косятся, говорят ячеек даже после апскейлинга всеравно много будет.
Теперь суть вопроса: Компьютер у меня отнюдь не слабеньки (ни Z800 конечно, но intel core i7 2700к, 24 gb оперативки и видео NVIDIA GeForce GTX 570, Win7 64), во время расчета оперативка и процессор загружены на 20%... Начальство в панике, я тоже... Говорят покупай то, на чем будет считаться быстрее. А я в железе особо не разбираюсь, только поверхностно. Нарыл информацию о кластерных суперкомпьютерах на базе кластера Nvidia Tesla 2075, в meijin-e. В понедельник должен отчитаться стоит ли покупать кластерный компьютер или можно купить отдельно кластер и засунуть его в мой системник? Каков будет результат? На сколько увеличится скорость расчета? Софт в основном шлюмовский и роксаровский (геологический и гидродинамический).
Заранее благодарен.
Что говорит тех поддержка ROXAR?
Пока не связывался...
Как мне объяснили tNavigator есть решение в данном случае, легко считает модели в 100 млн. активных ячеек. Использует параллельные вычисления, производительность увеличивается кратно числу ядер, процессоров, в то время как параллельный софт конкурентов останавливается на 15-20 кратном увеличении быстродействия. Попробуйте обратится в Рок Флоу Динамикс. Так что апскейлинг и не потребуется. правда может понадобиться покупать кластерный компьютер, или арендовать у других, по крайней мере в РФД тоже могут проконсультировать насчет кластеров. Удачи.
Alfred, спасибо за ответ, у нас как раз есть несколько лицензий тнавигатора (обращусь как появится возможность). Меня все-таки интересует вопрос связанный с вычислительным процессором тесла 2075, там 448 ядер. Все-таки интересно можно ли будет ускорить процесс моделирования в айрапе, петреле, темпесте и эклипсе с использованием этого кластера. Может на форуме есть люди, которые пользовались такими машинами в процессе моделирования? На сайте инвидиа нашел информацию что скорость расчета увеличивается в 40 раз по сравнению с обычным четырехядерным процессором. Просто железка отнюдь не дешовая, обидно будет, если преобретем такую штуку, а ощутимой разницы небудет (начальство потом будет косо смотреть
).
Я думаю что здесь нет хороших спецов по железу. Нужно как минимум на профессиональные форумы залезть, или где публики много.
Мне по железу подсказывали на руборде. Думаю там найдутся и люди работающие с кластерами.
Не могу сказать что я нуждаюсь в консультации специалиста по железу, т.к. выбрал один из самых производительных на данный момент вычислительных процессоров (tesla 2075). На сколько рациональна будет покупка этой высокотехнологичной, дорогостоящей железки. Я хотел узнать на сколько быстрее идет расчет модели на кластерной машине хотя бы с одним или несколькими кластерами. В крупных организациях как правило имеются суперкомпьютеры. И моельеры прогнав модель сначала на своем рабочем месте и неудовлетворившись скоростью обработки, делают то же самое на мощной рабочей станции.
На кластерах есть резон считать в программах которые могут распараллеливать вычисления, это в основном программы для обработки сейсмики и эклипс с темпестом, когда доп модули купишь, отдельно модуль для каждого ядра, а у йрапа и петреля возможностей распараллелить вычисления нет, это видно когда на 4-8 ядерных машинах грузиться только одно логическое ядро, так что вряд ли кластера помогут. У меня модели по 50-70 млн, нормально считаются (примерно на такой же машине i7, тока оперативки вроде поменьше), да долго, но в принципе 20 реализаций за сутки считал. Кстати за оперативкой надо следить, как только у вас она перевалит за 24 гб, т.е. как только подключится своп, все будет в разы дольше делаться, а может даже в десятки раз дольше, так что где нибудь на 20-22 гб сохранились, вышли и заново.
Для построения гео моделей про возможность использования tesla 2075 обязательно спросите тех поддержку.
если рассчет идет на обычном процессоре - это еще не значит, что на tesla 2075 он вообще будет считать, так как только от программистов зависит поддержка сего девайса. например, в петрел один вариант гауса может считать одну реализацию 100млн ячеек десятки минут, используя только одно ядро, а другой гаус тоже самое считает за минуты на всех ядрах. так что все зависит только от программистов - реализовали ли они данную возможность.
Слукавили они, либо вы просто недопоняли друг друга. Производительность не увеличивается кратно числу ядер, т.к. помимо самих вычислений (решения задачи) есть затраты на их распараллеливание и организацию взаимосвязи между вычислителями, которые растут с числом вычислителей. Еще очень многое зависит от конкретной программной реализации поддержки параллельных вычислений. Таким образом, для каждой решаемой задачи, софта ее решающего и аппаратной конфигурации (архитектуры параллельных вычислений) есть свой оптимум количества вычислителей. В диапазоне 1-8 ядер возможно и будет наблюдаться прямолинейная зависимость скорости вычислений, но когда речь идет о десятках и сотнях ядер, то она 100% линейной не будет, с какого-то количества начнет все наоборот еще больше тормозить. Конкретная зависимость вернее всего определяется только численными экспериментами, теоретическим расчетом сложно учесть все факторы (начиная от особенностей ОС заканчивая "канальностью" памяти)
Далее, еще вы как-то упустили момент лицензий. Что у Шлюма, что у Роксара каждый параллельный процесс жрет отдельную лицензию. Так что от over 9000 ядер толку не будет, т.к. вы не сможете их задействовать. Преимущество tNavigator в том, что код более оптимизирован под современные настольные системы, и что одна лицензия на все ядра. Но tNavigator скорее всего просто не поддерживает такую архитектуру (имею ввиду типа tesla), т.к. рассчитан на персоналки под Windows. По моему мнению, архитектуры типа tesla будут хорошо работать только если софт для решения задачи изначально написан под эту архитектуру.
Это что касается гидродинамических симуляторов. Если говорить про геософт, то там все еще хуже, т.к. там параллелизм вообще практически не используется (в самом софте). Здесь спасут только гигагерцы и терабайты. И видеокарта профессиональная (не геймерская).
фактически tesla 2075 это подругому названная топовая видеокарта Quadro 6000 (судя по их тех параметрам).
Так что получается, что польза от tesla 2075 будет только при поддержке вычислений на видеокартах со стороны софта.
на сколько мне известно, петрел поддерживает вычисления на видеокартах, но только для интерпретации сейсмики. правда в системных требованиях для интерпретаторов пишут о Quadro 6000, а не о tesla 2075.
поэтому для геомоделирования в лучшем случае будет полезно побольше ядер в центральном процессоре - можно у тех поддержки узнать, какие алгоритмы моделирования поддерживают многопоточность.
С урезанными графическими возможностями, если быть честным. :)
Собственно, сейсмикой применение этих графических процессоров и ограничивается. :)
Кстати, тот же HP Z800 вроде как есть в варианте с Quadro 6000.
Насколько мне известно, пока нет софта, использующего для гидродинамических вычислений технологию CUDA и, соответственно, видеокарты TESLA. При 70 млн ячеек при значительно (я надеюсь) меньшем количестве активных у тебя будут проблемы с инициализацией. То есть - с ОЗУ. Eclipse для `80 млн ячеек использует `48Гб ОЗУ, при использовании виртуальной памяти даже на сверхбыстрых SSD инициализация длится сутки. Если же у тебя уже идет расчет, и загрузка 20% при использовании параллельных лицензий, то либо MPI криво настроен, либо еще что, но параллелка не работает. Если же ты запускаешь на 1 ядре, то 20% и должно быть. Это все из личного опыта. Таким образом пути у тебя, как мне видится, 4:
1) Если проблема с инициализацией - добить свою машину максимальным количеством ОЗУ - дорогой путь, т.к. планки по 8 гб стоят нехило и ты их просто так не найдешь
2) Если проблема с инициализацией - если в плане между куполами есть зоны с неактивными ячейками - сильно загрубить эту область - используй Tartan Grid в Petrel
3) Если проблема со скоростью расчета - а) проверить - правильно ли работает параллельная версия.
б) Нет ли чопов временных шагов? Если шаги не дробятся, а именно считаются долго - тогда п 4.,5.
4) Если проблема со скоростью расчета - миникластер на TwinBlade - тут бюджет возрастает в разы, но пригодится в будущем.
5) Если проблема со скоростью расчета - аренда кластера. Смотри, чтобы на узле было не меньше 96 Гб ОЗУ, иначе на те же грабли наступишь. Обратись к тем же Шлюмам, думаю - не откажут.
В петрел есть сетка типа tartan, она позволяет делать крупные равномерные ячейки в неразубуренных частях и мелкий грид в разбуренных. Возможно в айрап есть подобный аналог?
Что касается железа, то ваш i7 практически и так тот макимум, который существует для решения данной задачи, можно конечно поставить серверный аналог, например xeon E5 c 20 мб кэша, который должен вот вот появится в продаже за $3-4k (с той же самой арихитектурой sandy bridge), но это не сильно поможет, так как при построении геосвойств больше важна частота и пропускная способность канала памяти. Про многоядерность выше уже ответили - не поможет. То что у вас заргужено 20% это как раз говорит о том, что у вас 4 ядра, но работает всего одно -1/4=25%
решения: сетка типа tartan (если нет в айрап, то приобрететние лицензии петрел)
частичное решение: разгон i7k, они прекрасно гонятся с 2,4-3,2 до 4,5 ГГц, можно получить прирост скорости построения в полтора-два раза.
Я так понял, в нашем случае до ГДМ еще дело не дошло. 2 часа расчитывается SIS для распределения литологии и грузит 20% ресурсов, т.к. считает действительно на 1 ядре, без вариантов. А когда дойдет до ГДМ, то там возможно во-первых распиливание на куски с учетом граничных условий (в tNavigator достаточно удобно сделано), да и во-вторых, активных ячеек будет поменьше.
Господа, спасибо за исчерпывающие ответы. Буду анализировать вышесказанное. От теслы, наверное, прийдется отказаться. А вот сетку типа tartan нужно посмотреть.
P.S. А говорили, что на форуме нет хороших спецов по железу... =)
Решает проблему частично, т.к. сетка-то всё равно прямоугольная (в неразбуренных частях будет укрупнение только вдоль одной оси). Очень сильно зависит от геометрии залежей. Но, думаю, раза в два ускорения при построении добиться можно.
Однако, здесь нужно не перестараться, т.к. а вы уверены что неразбуренные части вдруг не захотят разбурить? Для каких целей строится модель? Судя по такой скурпулезности со стороны заказчика, это явно не какая-то отмазка вроде подсчета запасов.
Совершенно верно! Заказчик конечно же желает вдальнейшем пробурить несколько "поисково-оценочных" скважинок. Буду следить за угрублением сетки. Модель строится для ДТСР
.
Не вижу проблемы, потом, когда захотят загрубленную область просчитать - делаете сектор, используете те же наработанные зависимости в Petrel, просто сетку другую, измельченную в зоне интереса. По результатам бурения уточняется модель. Зачем "таскать" с собой ненужные ячейки? Если система сбора не нужна единая, я бы вообще 2 модели делал, если гидродинамическая связь не наблюдается..
Гидродинамическая связь залежей в пласте - наблюдается (или вероятно наблюдается, или хотелось бы увидеть гидродинамическую связь).
может DZ ячеек увеличить? в разумных пределах, раза так в два, регулярно про себя матерю подход геологов к выбору DZ
Если только заказчик не написал "использовать размер по вертикали, сопоставимый с разрешением методов ГИС" :)
Конечно же DZ, необходимо делать соответственно разрешающей способности ГИС следовательно 0,4-0,5 м. Основная проблема в размере ячейки по латерали. Расчлененность разреза достаточно высокая, так что если менять размер по верикали, это существенно скажется на правильности распределения коллекторов в пласте относительно скважинных данных.
Моя машина
i7 3960 3.3 разогнан до 4.3
Оперативка 64 (1333 (mhz))
Видео GTX 680
Геомодель
Общее число ячеек - 39 млн
Активное число - 11 млн
Считает 50 реализации в SGS - 50 мин
70 лямов ячеек думаю потянет ,
Для петрела на что обращать внимание - проц , гарфика и быстрая память , думаю суперкомп тебе здесь не поможет , так как Петя не могет распараллеивать работу
Для Тнавигатора - проц ( ядра, скорость) , быстрая память - вот здесь да , если блак ойл то лучше вложиться и купить хорошую станцию, , зайди на сайт к ним, они тебе посоветуют какую брать, там спецы работают быстро и качественно , в отличае от некоторых.
Кстати, апскейлин, я тебе посоветуу делай нерегулярной толщиной, сделай ГСР куба литологии и объедеяй родственые слой, если есть желание могу предложить пару вариантов (тестируем щас свой плагин для апскеийлинга) , дял этого нужно определиться какой параметр ты будешь использовать в качестве контрольного ( пористось или НТГ) и закинь мне по слоям геологическо модели модели среднее значение этого параметра
Вот результат работы плагина ( одно месторждения, какое не скажу)
[URL=http://www.radikal.ru][IMG]http://s003.radikal.ru/i203/1207/47/7dfba44ac8ec.jpg[/IMG][/URL]
начально было 778 слоев плагин сделал 77 слоев в фильтрационной модели
Читайте внимательно, модель надо строить в РМСе!!!!
РМС не паралелит процессы, так что количество ядер тут не так важно. Как правильно написали тут нужны гигагерцы...
Что можно сделать с геологией:
1. Работать в нескольких РМСах одновремено и потом все сшивать в один проект (есть скрипт объединяющий реализации в один проект)
2. Проработать варианты с сеткой, для определения оптимального. В РМС также можно задавать различные инкременты по областям.
3. Обратится все-таки в поддержку. У них довольно мощные машины (Z600,Z800). Они непремено помогут с той же сеткой например или расчетами реализаций. Вплоть до выделения вам машины. Но для этого нужно чтобы поддержка была оплачена.
А на каких минимальных параметрах железа можно произвести на свет гкологическую модель и в каком продукте, которую примут на защиту?
Господа, спасибо за исчерпывающие ответы! Работа сделана и посчитана на существующей машине. Работал одновременно в четырех РМСах. Сдали все в срок. Гидродинамику считали в Т-навигаторе и паралельно в темпесте. Результаты примерно одинаковые, вот только по времени темпест существенно проигрывает...
Почему после вашего апскелинга появляются ячейки с пористостью 1E-006?
видимо для того чтоб мы использовали MINPV, хех)
Несколько последних сообщений удалено Модераторами. Личные проблемы обсуждаем в личной переписке.
Да там ничего личного строго работа )
Потому что, .... Давай досвидания
подскажите пожалуйста, хватит ли на период обучения Эклипсу 8ГБ оперативки, 2.3ГГц процессор Corei7, 2Гб видеокарты?
Или добавить 6 тыс руб и иметь оперативку 16Гб? Это существенно скажется? ноут себе новый присматриваю. спасибо
Всё наипрямейшим образом зависит от того, какой размерности будет модель для обучения. Для стандартных всяких небольших примеров точно хватит за глаза. Для модели с несколькими миллионами активных ячеек скорее нет (если не хотите сутками ждать).
Если эклипс 32 битный хватит за глаза
Вообще считай где то 2-3 килобайта на активную ячейку модели
Все что выше 1 гигабайта требует 64 битной версии эклипса
Ну и винда должна быть 64 битная ессно
я правильно понял? если у меня 32-битный Эклипс, 64-битная Windows 7, то 15Гб (из 16) оперативки будут "лишними"?
Если не ошибаюсь то все что можно выжать с 32 битоной версии это 1 гиг оперативки , можно взять 16 но с прицелом на 64 битеый эклипс однако как было сказано выше 1 гиг это что то около 500 тыс ячеек что в принципе номрмально с точки зрения времени счета
Не совсем, не забываем про возможности распараллеливания.
Ну здесь все упирается в возможности , у меня например нет паралеля в силу того что каждый дополнительный проц стоит 20 килобаксов без поддрежки , поэтому приходиться ограничиваться активными ячеками и оптимизировать модель
"каждый дополнительный проц стоит 20 килобаксов без поддрежки" ->
Ценник падает с ростом числа "процов" в общем пуле parallel
У нас не падает, у нас все стоит вернее стоит по 20 кило за проц
Подскажите пожалуйста, есть вопрос про распараллеливание.
На сколько адекватна работает технология от Intel Hyper-threading (одно физическое ядро определяется системой как два локальных) в ГДМ? На сколько я знаю эта технология реализована только в Т-навигаторе, а как с другими симуляторами?
В CMG можно подрубать логические ядра наряду с физическими. На Core i-7 2600k с 4 физическими ядрами и 2 потоками на каждое - всего 8 логических ядер, прирост в скорости счета составляет 6,5 раз по сравнению с одноядерной однопоточной конфигурацией.
Ок, спасибо. А в Темпест и Эклипс?
Intel Hyper-threading работает для всех ПО одинаково, так как реализовано на уровне процессора - виндовс просто видит в два раз больше ядер - и он даже не в курсе - это физические или логические ядра. Если ПО умеет эффективно на 100% загружать физическое ядро, то включение Hyper-threading в биосе не приведет к ускорению расчетов. Все это следует из того, что во время выполнения инструкций одного потока в вычислительных узлах физического ядра, в случае наличия незадействованных на данный момент узлов - на них передаются инструкции из другого потока. Поэтому если ПО умеет эффективно нагружать все физическое ядро, то от включения Hyper-threading скорость может даже уменьшиться, так как при распараллеливании обычно возникают дополнительные накладные расходы.