На отечественных серверах начал работать первый дата-центр

rspectr.com — ФГУП НИИ «Восход» построил первый в мире центр обработки данных (ЦОД) на базе «Эльбрус». Дата-центр работает на 130 серверах «Эльбрус» и входит в ГС «Мир».
Новости, Технологии | a.v.v 09:02 15.02.2018
32 комментария | 131 за, 1 против |
#1 | 09:14 15.02.2018 | Кому: Всем
Хорошо, конечно. Направление абсолютно правильное. Но хотелось бы сравнения с зарубежными аналогами.
#2 | 09:24 15.02.2018 | Кому: Del
> хотелось бы сравнения с зарубежными аналогами

Реальная производительность АРМ Эльбрус на ОС Windows будет на уровне AMD Athlon 64 2,211 Ггц (2003).
Насчот серверов инфу за 5 минут не нашел.
4ekist
надзор »
#3 | 09:26 15.02.2018 | Кому: Zzlo
Это по каким тестам?
#4 | 09:36 15.02.2018 | Кому: 4ekist
> Это по каким тестам?

[censored]
#5 | 09:45 15.02.2018 | Кому: 4ekist
> Это по каким тестам?

На деле - от качества портирования софта многое зависит.

PostgreSQL, который на эльбрусовскую архитектуру полностью портирован, на Эльбрус-4С выдаёт производительность заметно выше, чем i5 / i7 2 и 3 поколений (2011-2012 г.).
А вот арихивация в 7zip и шифрование через OpenSSL на тех-же процессорах показывает, что i7 / i5 опережают четырёхядерник от Эльбруса.

[censored]
#6 | 09:50 15.02.2018 | Кому: Всем
> Она без перебоев обрабатывает 35-40 тыс. запросов в сутки на оформление документов нового образца.

Ничего себе! Вот это мощ
Странно если бы такая "нагрузка" ещё и перебои давала.
buba
надзор »
#7 | 10:32 15.02.2018 | Кому: Всем
> система функционирует круглосуточно и хранит 20 терабайт информации

У меня домашний комп работает круглосуточно и "хранит" 5.45 терабайт информации. Ещё есть NAS на 6 терабайт. У тут целый ЦОД.
buba
надзор »
#8 | 10:35 15.02.2018 | Кому: Stormwind
> Ничего себе! Вот это мощ
>

На автомате прочитал "запросов в секунду". А тут меньше чем запрос в 2 секунды. Действительно впечатляющая мощь.

Может, там просто диалап???
#9 | 10:46 15.02.2018 | Кому: buba
> У меня домашний комп работает круглосуточно и "хранит" 5.45 терабайт информации. Ещё есть NAS на 6 терабайт. У тут целый ЦОД.

Ну так в ЦОДе и порнухи столько хранить не трэба!!!
pyth2000
не фашист »
#10 | 10:56 15.02.2018 | Кому: Всем
> По словам эксперта, система функционирует круглосуточно и хранит 20 терабайт информации. Она без перебоев обрабатывает 35-40 тыс. запросов в сутки на оформление документов нового образца

[censored]
#11 | 11:13 15.02.2018 | Кому: pyth2000
> Она без перебоев обрабатывает 35-40 тыс. запросов в сутки на оформление документов нового образца

Не стоит недооценивать рукожопость программистов, кто знает как там софт написан :)
#12 | 11:19 15.02.2018 | Кому: Всем
130 серверов и 40000 запросов. Ну, может быть трафик не генерит никто. А максимум-то какой?
pyth2000
не фашист »
#13 | 11:31 15.02.2018 | Кому: Пальтоконь
> 130 серверов и 40000 запросов. Ну, может быть трафик не генерит никто. А максимум-то какой?

40001. На пределе идут!!!

[censored]
cp866
интеллектуал »
#14 | 12:54 15.02.2018 | Кому: Stormwind
> 35-40 тыс. запросов в сутки на оформление документов нового образца.

Ты же понимаешь, что это не количество запросов к базе? Сколько запросов генерирует один документ?
#15 | 12:55 15.02.2018 | Кому: Всем
Нормально кто-то денег попилил на этом.
cp866
интеллектуал »
#16 | 12:55 15.02.2018 | Кому: Zzlo
> Реальная производительность АРМ Эльбрус на ОС Windows

А зачем там Windows?
#17 | 13:09 15.02.2018 | Кому: Всем
Участвовал недавно в highload cup от mail.ru: локально мой http-сервер держал 30000 http запросов в секунду под ударом яндекс-танка.
Понятно, что моя "база" держалась в виде хэш таблиц в оперативе, но тем не менее.
Кажется, иногда лучше просто сказать, что датацентр поднят и функционирует, приносит пользу. Потому что цифры выглядят не очень убедительно.
#18 | 13:53 15.02.2018 | Кому: cp866
Боюсь даже представить! Сколько же?
#19 | 14:07 15.02.2018 | Кому: Tostya4ok
> Потому что цифры выглядят не очень убедительно.

Мягко сказано.
Тут вон товарищ cp866 намекает, что дескать 1 запрос документа не есть 1 запрос к базе данных.
40 тысяч запросов в день, это примерно как 1 работающий форум, в котором с одним запросом документа можно сравнить 1 загрузку любой страницы форума. Там тоже будут множественные запросы к БД в каждой загрузке страницы. И 40 тысяч загрузок в сутки это довольно таки маленькая нагрузка как ни крути. Это тупо 1 системник с работающей на ней постгре базой запросто осилит.

С постгре я, кстати, немного знаком. Писал приложение для ведения учета на этой БД. Я не гуру конечно, но что такое 40к запросов в сутки примерно представляю.

Это не говоря о том, насколько все это дело отечественное. Мое мнение по всему этому делу не очень популярно на вотт, но мне насрать. Я свое мнение оцениваю достаточно трезво, а нормальных аргументов против не видел.
#20 | 17:23 15.02.2018 | Кому: Jonny
> 40 тысяч запросов в день, это примерно как 1 работающий форум, в котором с одним запросом документа можно сравнить 1 загрузку любой страницы форума

Тут такое. Структура БД форума, как правило, подразумевает работу с плоскими таблицами без выебонов.

А вот в системах, которые подразумевают какое-то расширение (ну, можно посмотреть на 1С) подразумевается хранение данных не в плоских таблицах с фиксированной структурой, а в справочниках, которые можно расширять, как душе угодно, но сама работа с ними - она существенно медленнее. Так работает, к примеру, некоторый софт в МО и в "АтомСтройЭкспорте" (это из того, что знаю сам, но думаю, что в данном дата-центре может быть что-то подобное). То есть, грубо говоря, для запроса одного документа (или одного поста в форуме) тебе надо сделать запрос не к одной-двум-трём таблицам, а к одной, но много-много раз - столько, сколько полей тебе нужно вернуть в запросе.
Это только в первом приближении, очень обобщенно.

Кроме того, многие придерживаются политики "на клиенте нельзя обращаться к таблицам, можно использовать только вьюхи". Вьюза работает, если кто не в курсе, так: сначала делается выборка всех данных, которые указаны в коде вьюхи, и только потом они фильтруются, в отличие от запроса напрямую к таблице. Чрез это нагрузка растёт. Такой подход практиковался, насколько мне известно, в одном из банков в Мск, куда я думал устроиться в 2013 году (к счастью, не устроился, нашел хорошую работу дома).

Есть еще всякое интересное. К примеру, в "РосАккредитации" данные по большей части хранятся в полях нескольких (нескольких, не в множестве, там не больше 20) таблиц БД - да, Oracle, но данные - в XML, который не индексируется (хотя оракл умеет работать с XML). Иногда в XML хранятся и подзапросы...

В общем, как говорилось в комментах выше - дело не только в железе. Так же следует смотреть и на архитектуру софта, и на радиус кривизны рук разработчика, и на диагноз гос.заказчика.

А сравнивать форум и более-менее серьезную систему - это примерно так же, как сравнить палец с известным органом.
#21 | 17:38 15.02.2018 | Кому: Del
> А сравнивать форум и более-менее серьезную систему - это примерно так же, как сравнить палец с известным органом.

Речь идет об оформлении документов. Ничем там таблица данных принципиально не отличается

> То есть, грубо говоря, для запроса одного документа (или одного поста в форуме) тебе надо сделать запрос не к одной-двум-трём таблицам, а к одной, но много-много раз - столько, сколько полей тебе нужно вернуть в запросе.


А форум по твоему как работает?
#22 | 17:54 15.02.2018 | Кому: Jonny
> Речь идет об оформлении документов. Ничем там таблица данных принципиально не отличается

> А форум по твоему как работает?


Ты, мил человек, извини, то есть мнение, что ты не совсем понимаешь, о чем идёт речь.

Попробую разъяснить, чисто приблизительно, как строятся БД с произвольной структурой (без соблюдения синтаксиса, чисто алгоритмически. Ты, судя по твоим словам, понимающий):

create table DATATYPES(GUID, CODENAME, CAPTION)
create table SPR(GUID, CODENAME, CAPTION);
create table SPR_FIELDS(GUID, SPR_GUID, CODENAME, CAPTION, DATATYPES_GUID);
create table SPR_VALUES(GUID, FIELDS_GUID, VALUE);

Теперь - как построена БД форума - опять же - приблизительно:

create table USERS(ID, LOGIN, PWD, NAME);
create table FORUM_PARTS(ID, CAPTION);
create table FOCUM_MSG(ID, PRAENT_ID, USERS_ID, CAPTION, TEXT);

Как можно заметить - в первом случае сама структура более гибкая, но запросы сбуду сложнее и ресурсоёмче.
Во втором - запросы проще и работать будут быстрее, но расширять сложнее.

> С постгре я, кстати, немного знаком


Ты и правда знаком с БД и методами их построения - или только с диалектом SQL постгреса?
#23 | 18:00 15.02.2018 | Кому: Del
> Ты и правда знаком с БД и методами их построения - или только с диалектом SQL постгреса?

Я видел "таблицу в ячейке", но с такими таблицами сам лично не работал еще. А так только диалектом и то гуглил, когда отличалось от стандартных конструкций. SQL был в институте 100 лет назад и я всё сильно подзабыл уже.
#24 | 18:13 15.02.2018 | Кому: Jonny
Там сильно отличается.

Если в двух словах - ты делаешь запрос к таблице значений, где GUID поля входит в список полей (еще запрос), которые входят в нужный справочник (еще запрос) - и так для каждого "поля" при таком раскладе.
Ну, а если еще вьюхи используются вместо прямого запроса с нужными условиями - то сначала пройдут все эти выборки )

Это не к тому, что такое нельзя использовать, конечно. Это для пояснения того, как это работает.
Всегда надо стараться использовать то решение, которое будет оптимально для решения определенной задачи. Одно плохо - не всегда всё зависит от твоего решения.
#25 | 18:17 15.02.2018 | Кому: Всем
Может, пока что оно и не особо впечатляет, но направление, безусловно, верное.

Или сидеть на жопе и орать, что всё пропало - или делать понемножку, что можешь. Ну и про сложность системы полностью согласен с комрадом Del. Никто не знает, что там и как внутри.
cp866
интеллектуал »
#26 | 19:43 15.02.2018 | Кому: Stormwind
Зависит от документа и качества написания запросов. Легко создать и такой документ, который миллион запросов будет генерировать. Такой говнокод я видел у наших "партнеров" в германии.
cp866
интеллектуал »
#27 | 19:49 15.02.2018 | Кому: Jonny
> Ничем там таблица данных принципиально не отличается

ты же вроде систему учета писал?
#28 | 20:03 15.02.2018 | Кому: Всем
Нагрузка боле чем скромная. И 20 терабайт конечно впечатляет:) учитывая что 1 тб накопитель сейчас ширпотреб за 2500 руб. С другой стороны, дорога в тысячу ли начинается с первого шага. Удачи! Хотя признаюсь скепсис испытываю сильный...
#29 | 20:54 15.02.2018 | Кому: eugenyshultz
> учитывая что 1 тб накопитель сейчас ширпотреб за 2500 руб.

А вот 1 Tb SSD ширпотреб стоит уже от[censored] А если не ширпотреб, то под[censored]

Очень радуют такие экспертные мнения.
#30 | 20:59 15.02.2018 | Кому: cp866
> ты же вроде систему учета писал?

Да. Запись в таблицу, чтение из таблицы
#31 | 21:40 15.02.2018 | Кому: bezumkin
Что сказать-то хотел? Что SSD дороже?) я где-то утверждал обратное? Аж целых 1.6 млн. ужасно много да:) я к тому, что подобные конфигурации любая компания может себе позволить, и 20 тб ессно это крайне немного. Сейчас я например работаю с потоком данных который 10 тб в сутки занимает. А хранить нужно минимум год... а это только основной поток.

Я уж не буду говорить, что для такой небольшой нагрузки и SSD необязательны... де-факто с этим даже обычный комп справится. Ну если отбросить ессно гарантированные хранения, отказоустойчивость и т.п.

И 35 тыс. запросов в сутки это очень мало. Даже если считать что тут под запросом понимается целая серия запросов к БД, необходимая для выполнения транзакции... У меня например сейчас поток идёт не менее 10 тыс. транзакций в секунду. Это ~800 млн. в сутки. И совершенно точно скоро уйдёт за миллиард. Чувствуешь разницу? Это только основные потоки данных. Мелочевку даже не считаю, хотя там тоже наберется немало.

При этом у меня весьма себе невыдающийся датацентр по нынешним меркам. Уж 5 лет назад как сделанный по проекту 7 летней давности и конечно делали бы сейчас, был бы круче. Совершенно точно уступает любому успешному публичному датацентру. Так что по характеристикам этот эльбрус-центр конечно не впечатляет, как и та задача которую он выполняет (с точки зрения IT). Но как я говорил ранее, удачи ребятам! Не все сразу. Хотя скепсис есть:)
#32 | 05:56 16.02.2018 | Кому: eugenyshultz
> аж целых 1.6 млн. ужасно много да:)

А теперь умножаем на 2, ибо RAID1, а лучше на 4, ибо RAID10.

> де-факто с этим даже обычный комп справится

> У меня например сейчас поток идёт не менее 10 тыс. транзакций в секунду.

Ну нет столько желающих оформить паспорта, что делать-то? Не писать новости, или писать, но с припиской, что это херня, у Шульца всё гораздо круче?

> Так что по характеристикам этот эльбрус-центр конечно не впечатляет


Много что из отечественного не впечатляет, но делать нужно.
Войдите или зарегистрируйтесь чтобы писать комментарии.