Хабр

Когда Hadoop начал тормозить бизнес: как мы перестроили платформу данных в Lenta Tech

Когда Hadoop начал тормозить бизнес: как мы перестроили платформу данных в Lenta Tech

Привет, Хабр! На связи Владимир Бибичев, инженер больших данных, и Илья Кисляков, старший инженер больших данных Lenta Tech. Мы занимаемся развитием и сопровождением корпоративной платформы больших данных.

На старой платформе Hadoop ETL-процессы могли часами ждать свободных ресурсов, аналитики не успевали выполнять запросы, а бизнес — вовремя получать данные. С ростом нагрузки ситуация становилась всё сложнее, и в какой-то момент мы поняли: простым расширением кластера проблему не решить.

Пришлось серьезно пересмотреть подход к работе с платформой данных. Что именно мы изменили, с какими трудностями столкнулись и к каким результатам пришли — рассказываем в статье.

Читать далее

🚀 Ускорьте работу вашего бизнеса

Корпоративный Яндекс Браузер с усиленной защитой данных и встроенными нейросетями. Официальная сборка для юридических лиц и ИП.

Скачать бесплатно