rspectr.com — ФГУП НИИ «Восход» построил первый в мире центр обработки данных (ЦОД) на базе «Эльбрус». Дата-центр работает на 130 серверах «Эльбрус» и входит в ГС «Мир».
На деле - от качества портирования софта многое зависит.
PostgreSQL, который на эльбрусовскую архитектуру полностью портирован, на Эльбрус-4С выдаёт производительность заметно выше, чем i5 / i7 2 и 3 поколений (2011-2012 г.).
А вот арихивация в 7zip и шифрование через OpenSSL на тех-же процессорах показывает, что i7 / i5 опережают четырёхядерник от Эльбруса.
> По словам эксперта, система функционирует круглосуточно и хранит 20 терабайт информации. Она без перебоев обрабатывает 35-40 тыс. запросов в сутки на оформление документов нового образца
Участвовал недавно в highload cup от mail.ru: локально мой http-сервер держал 30000 http запросов в секунду под ударом яндекс-танка.
Понятно, что моя "база" держалась в виде хэш таблиц в оперативе, но тем не менее.
Кажется, иногда лучше просто сказать, что датацентр поднят и функционирует, приносит пользу. Потому что цифры выглядят не очень убедительно.
Мягко сказано.
Тут вон товарищ cp866 намекает, что дескать 1 запрос документа не есть 1 запрос к базе данных.
40 тысяч запросов в день, это примерно как 1 работающий форум, в котором с одним запросом документа можно сравнить 1 загрузку любой страницы форума. Там тоже будут множественные запросы к БД в каждой загрузке страницы. И 40 тысяч загрузок в сутки это довольно таки маленькая нагрузка как ни крути. Это тупо 1 системник с работающей на ней постгре базой запросто осилит.
С постгре я, кстати, немного знаком. Писал приложение для ведения учета на этой БД. Я не гуру конечно, но что такое 40к запросов в сутки примерно представляю.
Это не говоря о том, насколько все это дело отечественное. Мое мнение по всему этому делу не очень популярно на вотт, но мне насрать. Я свое мнение оцениваю достаточно трезво, а нормальных аргументов против не видел.
> 40 тысяч запросов в день, это примерно как 1 работающий форум, в котором с одним запросом документа можно сравнить 1 загрузку любой страницы форума
Тут такое. Структура БД форума, как правило, подразумевает работу с плоскими таблицами без выебонов.
А вот в системах, которые подразумевают какое-то расширение (ну, можно посмотреть на 1С) подразумевается хранение данных не в плоских таблицах с фиксированной структурой, а в справочниках, которые можно расширять, как душе угодно, но сама работа с ними - она существенно медленнее. Так работает, к примеру, некоторый софт в МО и в "АтомСтройЭкспорте" (это из того, что знаю сам, но думаю, что в данном дата-центре может быть что-то подобное). То есть, грубо говоря, для запроса одного документа (или одного поста в форуме) тебе надо сделать запрос не к одной-двум-трём таблицам, а к одной, но много-много раз - столько, сколько полей тебе нужно вернуть в запросе.
Это только в первом приближении, очень обобщенно.
Кроме того, многие придерживаются политики "на клиенте нельзя обращаться к таблицам, можно использовать только вьюхи". Вьюза работает, если кто не в курсе, так: сначала делается выборка всех данных, которые указаны в коде вьюхи, и только потом они фильтруются, в отличие от запроса напрямую к таблице. Чрез это нагрузка растёт. Такой подход практиковался, насколько мне известно, в одном из банков в Мск, куда я думал устроиться в 2013 году (к счастью, не устроился, нашел хорошую работу дома).
Есть еще всякое интересное. К примеру, в "РосАккредитации" данные по большей части хранятся в полях нескольких (нескольких, не в множестве, там не больше 20) таблиц БД - да, Oracle, но данные - в XML, который не индексируется (хотя оракл умеет работать с XML). Иногда в XML хранятся и подзапросы...
В общем, как говорилось в комментах выше - дело не только в железе. Так же следует смотреть и на архитектуру софта, и на радиус кривизны рук разработчика, и на диагноз гос.заказчика.
А сравнивать форум и более-менее серьезную систему - это примерно так же, как сравнить палец с известным органом.
> А сравнивать форум и более-менее серьезную систему - это примерно так же, как сравнить палец с известным органом.
Речь идет об оформлении документов. Ничем там таблица данных принципиально не отличается
> То есть, грубо говоря, для запроса одного документа (или одного поста в форуме) тебе надо сделать запрос не к одной-двум-трём таблицам, а к одной, но много-много раз - столько, сколько полей тебе нужно вернуть в запросе.
> Речь идет об оформлении документов. Ничем там таблица данных принципиально не отличается
> А форум по твоему как работает?
Ты, мил человек, извини, то есть мнение, что ты не совсем понимаешь, о чем идёт речь.
Попробую разъяснить, чисто приблизительно, как строятся БД с произвольной структурой (без соблюдения синтаксиса, чисто алгоритмически. Ты, судя по твоим словам, понимающий):
Как можно заметить - в первом случае сама структура более гибкая, но запросы сбуду сложнее и ресурсоёмче.
Во втором - запросы проще и работать будут быстрее, но расширять сложнее.
> С постгре я, кстати, немного знаком
Ты и правда знаком с БД и методами их построения - или только с диалектом SQL постгреса?
> Ты и правда знаком с БД и методами их построения - или только с диалектом SQL постгреса?
Я видел "таблицу в ячейке", но с такими таблицами сам лично не работал еще. А так только диалектом и то гуглил, когда отличалось от стандартных конструкций. SQL был в институте 100 лет назад и я всё сильно подзабыл уже.
Если в двух словах - ты делаешь запрос к таблице значений, где GUID поля входит в список полей (еще запрос), которые входят в нужный справочник (еще запрос) - и так для каждого "поля" при таком раскладе.
Ну, а если еще вьюхи используются вместо прямого запроса с нужными условиями - то сначала пройдут все эти выборки )
Это не к тому, что такое нельзя использовать, конечно. Это для пояснения того, как это работает.
Всегда надо стараться использовать то решение, которое будет оптимально для решения определенной задачи. Одно плохо - не всегда всё зависит от твоего решения.
Может, пока что оно и не особо впечатляет, но направление, безусловно, верное.
Или сидеть на жопе и орать, что всё пропало - или делать понемножку, что можешь. Ну и про сложность системы полностью согласен с комрадом Del. Никто не знает, что там и как внутри.
Зависит от документа и качества написания запросов. Легко создать и такой документ, который миллион запросов будет генерировать. Такой говнокод я видел у наших "партнеров" в германии.
Нагрузка боле чем скромная. И 20 терабайт конечно впечатляет:) учитывая что 1 тб накопитель сейчас ширпотреб за 2500 руб. С другой стороны, дорога в тысячу ли начинается с первого шага. Удачи! Хотя признаюсь скепсис испытываю сильный...
Что сказать-то хотел? Что SSD дороже?) я где-то утверждал обратное? Аж целых 1.6 млн. ужасно много да:) я к тому, что подобные конфигурации любая компания может себе позволить, и 20 тб ессно это крайне немного. Сейчас я например работаю с потоком данных который 10 тб в сутки занимает. А хранить нужно минимум год... а это только основной поток.
Я уж не буду говорить, что для такой небольшой нагрузки и SSD необязательны... де-факто с этим даже обычный комп справится. Ну если отбросить ессно гарантированные хранения, отказоустойчивость и т.п.
И 35 тыс. запросов в сутки это очень мало. Даже если считать что тут под запросом понимается целая серия запросов к БД, необходимая для выполнения транзакции... У меня например сейчас поток идёт не менее 10 тыс. транзакций в секунду. Это ~800 млн. в сутки. И совершенно точно скоро уйдёт за миллиард. Чувствуешь разницу? Это только основные потоки данных. Мелочевку даже не считаю, хотя там тоже наберется немало.
При этом у меня весьма себе невыдающийся датацентр по нынешним меркам. Уж 5 лет назад как сделанный по проекту 7 летней давности и конечно делали бы сейчас, был бы круче. Совершенно точно уступает любому успешному публичному датацентру. Так что по характеристикам этот эльбрус-центр конечно не впечатляет, как и та задача которую он выполняет (с точки зрения IT). Но как я говорил ранее, удачи ребятам! Не все сразу. Хотя скепсис есть:)
А теперь умножаем на 2, ибо RAID1, а лучше на 4, ибо RAID10.
> де-факто с этим даже обычный комп справится > У меня например сейчас поток идёт не менее 10 тыс. транзакций в секунду.
Ну нет столько желающих оформить паспорта, что делать-то? Не писать новости, или писать, но с припиской, что это херня, у Шульца всё гораздо круче?
> Так что по характеристикам этот эльбрус-центр конечно не впечатляет
Много что из отечественного не впечатляет, но делать нужно.
Сейчас, сейчас