Видеозаписи 2025
- CI/CD как драйвер разработки
- Эксплуатация распределенной системы на примере YDB
- Как YDB выполняет запросы
- Петабайт в YDB over HDD в процессингах Яндекс.Метрики
- Основы векторного и полнотекстового поиска
- Эволюция векторного поиска в YDB: от базовых методов к масштабируемому глобальному индексу
- YDB — это просто! Администрирование YDB | СУБД Яндекса
- YDB – архитектура, принципы работы СУБД и результаты тестирования
- Подкаст Руцентра: Александр Зотов (СУБД Яндекса)
- Стоимостный оптимизатор в YDB — как, зачем и почему?
- YDB Topics — корпоративный брокер сообщений от Яндекса
- Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB
- YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики
- Внутреннее устройство аналитической СУБД Яндекса — YDB DWH
- Новые возможности YDB (СУБД Яндекса) для аналитических систем
CI/CD как драйвер разработки
Доклад Кирилла Сюзева посвящен эволюции CI/CD в сервисе SourceCraft, его архитектуре, выбору и анализу различных решений в области CI/CD (GitLab, GitHub, Arcadia CD), а также решению технических проблем. Одной из таких проблем является Real Time Logging, ключом к решению которой стало использование YDB как места для хранения логов и передаче их пользователю.
Доклад будет интересен DevOps-инженерам, разработчикам программного обеспечения.
Эксплуатация распределенной системы на примере YDB
Лекция, рассказанная Олегом Бондарем, в рамках Школы Анализа Данных, посвящена эксплуатации распределённой системы на примере кластеров YDB. В её рамках рассматриваются требования к инфраструктуре, инструменты, обеспечивающие удобство управления кластерами, а также подходы к резервному копированию и восстановлению данных. Особое внимание уделяется методам обновления системы без прерывания обслуживания, управлению хостами и дисковыми ресурсами, мерам обеспечения безопасности — включая шифрование, управление правами доступа, аутентификацию и аудит — а также диагностике и мониторингу работоспособности и производительности кластеров.
Лекция будет полезна администраторам баз данных, инженерам баз данных и DevOps-инженерам.
Как YDB выполняет запросы
Лекция, расказанная Виталием Гридневым в рамках Школы Анализа Данных, даёт вводное представление об архитектуре YDB: рассматриваются детерминистические транзакции и MVCC, объясняется жизненный цикл выполнения запроса и роль ключевых компонентов системы. На практических примерах показано, как обрабатываются запросы в кластере. Отдельно разбирается реализация вторичных индексов и особенности их добавления к существующим таблицам. В завершение освещаются подходы к тестированию YDB, включая методы верификации корректности и обеспечения надёжности.
Материал будет полезен backend-разработчикам, инженерам распределённых систем, SRE/DevOps-специалистам и QA-инженерам, работающим с высоконагруженными СУБД.
Петабайт в YDB over HDD в процессингах Яндекс.Метрики
Антон Барабанов в своем докладе рассказывает о работе с данными в Яндекс.Метрике, включая процессинг данных с использованием YDB. Обсуждаются различные вопросы, возникающие при работе с базами данных — от сложностей с записью и чтением данных до неравномерной нагрузки на узлы кластера, а также вопросы оптимизации запросов, структуры данных и экономической выгоды использования SSD и HDD.
Эти темы будут интересны инженерам баз данных, разработчикам баз данных и администраторам баз данных.
Основы векторного и полнотекстового поиска
В видео рассмотрены основы векторного и полнотекстового поиска, включая принципы работы векторной базы данных и алгоритмы поиска (точные и приближённые). Обсуждены методы оптимизации поиска — кластеризация, квантование, использование графовых алгоритмов и других техник. Также затронуты вопросы ранжирования, борьбы со спамом и реализации векторного поиска в базах данных.
Доклад будет полезен специалистам по анализу данных, ML-инженерам, разработчикам баз данных и backend-разработчикам.
Эволюция векторного поиска в YDB: от базовых методов к масштабируемому глобальному индексу
YDB преодолела путь от простого и наивного векторного поиска к созданию продвинутого индекса.
Александр Зевайкин (Руководитель группы) на конференции Saint Highload 2025 рассказал о ключевых этапах развития, вызовах и решениях, которые позволили создать систему, способную эффективно обрабатывать миллиарды векторов и масштабироваться на тысячи узлов:
- как векторный поиск улучшает ответы больших языковых моделей;
- принципы работы векторного поиска и его применение в YDB;
- основные проблемы и сложности при разработке векторного индекса;
- особенности и преимущества глобального синхронного индекса;
- стратегии масштабирования и оптимизации производительности.
Этот доклад будет полезен всем, кто интересуется современными подходами к организации векторного поиска в больших данных.
YDB — это просто! Администрирование YDB | СУБД Яндекса
На вебинаре представлены практические рекомендации по развёртыванию и администрированию универсальной распределённой СУБД YDB, разработанной Яндексом для высоконагруженных систем. Участникам показывается, как быстро развернуть YDB на собственном оборудовании, эффективно управлять крупными кластерами, а также выполнять обновление без простоев и потери доступности базы данных. В рамках вебинара разбираются основные сценарии административной работы с YDB, что помогает подготовиться к прохождению курса «Администратор YDB».
Вебинар будет полезен дата-инженерам, администраторам инфраструктуры и всем, кто хочет научиться развёртывать и поддерживать YDB.
YDB – архитектура, принципы работы СУБД и результаты тестирования
Вебинар, проведённый компанией «ФОРС Дистрибуция» — одним из крупнейших сервисных центров в России, специализирующимся на адаптации ИТ-инфраструктуры под новые реалии рынка, был посвящён внедрению, эксплуатации и развитию системы YDB. На вебинаре рассказали:
- об архитектурных особенностях YDB, её масштабируемости и отказоустойчивости;
- о современных подходах к мониторингу и диагностике состояния кластера YDB;
- о нюансах разработки приложений под YDB;
- о практиках и инструментах миграции данных в YDB;
- о методах тестирования горизонтальной масштабируемости YDB;
- о планах на будущие исследования и развитие системы.
Вебинар будет полезен ИТ-директорам, архитекторам, администраторам и инженерам, поддерживающим или внедряющим современные отечественные решения для хранения и обработки данных в условиях смены технологических платформ.
Подкаст Руцентра: Александр Зотов (СУБД Яндекса)
Данный выпуск подкаста посвящен обсуждению развития карьеры в IT-сфере и особенностям работы в области СУБД на примере опыта Александра Зотова, директора по развитию бизнеса СУБД Яндекса (YDB).
В этом выпуске обсуждаются особенности принятия управленческих решений в технологической отрасли и стратегический выбор между стабильностью и инновационным развитием. Особое внимание уделяется практическим аспектам работы с СУБД, роли искусственного интеллекта в обработке данных и текущим вызовам развития IT-индустрии.
Материал представляет собой экспертное мнение специалиста с практическим опытом работы в крупной технологической компании и будет полезен как начинающим специалистам, так и опытным профессионалам, интересующимся развитием карьеры в технологической сфере и особенностями работы с современными СУБД.
Стоимостный оптимизатор в YDB — как, зачем и почему?
Данный доклад посвящен развитию стоимостного оптимизатора в распределенной СУБД YDB. Павел Велихов (Руководитель команды оптимизатора запросов) рассматривает эволюция системы от классической OLTP-архитектуры к гибридной HTAP-платформе с поддержкой колоночной аналитики. Подробно анализируется архитектура оптимизатора, включающая энумератор планов, механизм динамического программирования с алгоритмом DPhyp, систему оценки кардинальности и работу с гиперграфом запроса.
Особое внимание уделяется сравнению реализации с аналогичными решениями в других современных распределенных СУБД: CockroachDB, TiDB, Yugabyte и Trino. Представлены результаты бенчмарков, демонстрирующие эффективность оптимизатора, а также обсуждаются основные вызовы, возникшие в процессе разработки.
YDB Topics — корпоративный брокер сообщений от Яндекса
YDB Topics — совместимый с Apache Kafka корпоративный брокер сообщений, являющийся частью СУБД Яндекса YDB. На вебинаре Алексей Николаевский (Руководитель команды разработки стриминговых систем YDB) рассказал, как YDB Topics можно использовать для удобной разработки, быстрой миграции, безопасного администрирования и повышения отказоустойчивости микросервисной архитектуры.
Рассматриваются архитектурные решения, позволяющие совместить в YDB поддержку транзакционных, аналитических и потоковых нагрузок в рамках единой системы, а также преимущества такого подхода для корпоративных пользователей. Рассказывается, как благодаря поддержке распределённых ACID-транзакций между таблицами и топиками отпадает необходимость использования outbox-паттерна, что снижает сложность и затраты при интеграции микросервисов. Особое внимание уделяется гарантиям exactly-once при записи сообщений в ingest-сценариях, что позволяет эффективно бороться с дублями данных. Рассматриваются внутренние механизмы автоматического масштабирования YDB Topics, обеспечивающие быстрый ввод новых серверов и балансировку нагрузки без простоев. Также объясняется, почему для критичных бизнес-процессов важна полная доступность на запись (выше 99,99%), и каким образом YDB Topics этого достигает. В завершение приводятся возможности, важные для корпораций: совместимость с Apache Kafka, поддержка управления квотами и доступом, развитая ролевая модель, аудитные логи и сертификация.
Вебинар полезен разработчикам микросервисов, инженерам и архитекторам данных.
Как Яндекс разработал алгоритм для стоимостного оптимизатора в YDB
Для поддержки эффективных аналитических запросов в СУБД Яндекса реализован механизм стоимостной оптимизации — алгоритм выбора оптимального плана выполнения запроса. При этом такая задача является NP-трудной — для её решения необходимо перебрать все варианты выполнения запроса, и время работы системы увеличивается экспоненциально.
На вебинаре рассматривается архитектура и реализация стоимостного оптимизатора в YDB, начиная от используемых теоретических основ до практического применения в производственных нагрузках. Подробно объясняется, как современные алгоритмы и методы динамического программирования, применённые в оптимизаторе запросов, позволяют системе эффективно обрабатывать сложные SQL-запросы с большим числом JOIN-операций. Отдельное внимание уделяется тому, как реализованный оптимизатор обеспечивает высокую производительность СУБД, а также тому, за счёт каких технологических решений удаётся перебрать до 150 JOIN-операций за секунду.
Вебинар полезен тем, кто интересуется алгоритмами оптимизации, разработкой баз данных, динамическим программированием, — архитекторами и инженерам баз данных, разработчикам прикладного ПО и специалистам по системной интеграции.
YDB (СУБД Яндекса) для задач интеграции данных и бизнес-аналитики
На очередном вебинаре про аналитические возможности YDB детально рассматривается инструментарий для бизнес-аналитики и интеграции данных:
- федеративные запросы в СУБД и S3-совместимые хранилища данных;
- ETL и ELT-интеграции с Apache NiFi и Apache Airflow;
- обработка данных с помощью Apache Spark;
- анализ данных в Jupyter;
- инструменты визуализации: Grafana, DataLens, Apache Superset.
Вебинар будет полезен бизнес-аналитикам, архитекторам данных и специалистам, работающим с хранилищами данных.
Внутреннее устройство аналитической СУБД Яндекса — YDB DWH
На вебинаре по глубокому погружению в архитектуру аналитических компонентов YDB (СУБД Яндекса) детально разобрали внутреннее устройство ключевых механизмов, отвечающих за эффективную обработку аналитических запросов:
- архитектура хранения данных в колоночных шардах YDB DWH и механизмы распределения данных в кластере;
- принципы работы и отличительные особенности стоимостного оптимизатора запросов YDB DWH;
- внутреннее устройство модуля управления нагрузкой (Workload manager) и его влияние на производительность базы данных.
Вебинар полезен разработчикам систем хранения данных, инженерам по оптимизации производительности и архитекторам распределённых систем, желающим глубже понять принципы работы современных СУБД.
Новые возможности YDB (СУБД Яндекса) для аналитических систем
На вебинаре рассказали о новой возможности YDB (СУБД Яндекса) — выполнению сложных аналитических запросов. Теперь СУБД Яндекса позволяет не только разрабатывать транзакционные приложения, но и строить аналитические системы в контуре заказчика — корпоративные хранилища данных. На мероприятии рассказали, как реализовали поддержку одновременно OLAP- и OLTP-нагрузок, добились производительности аналитических запросов в ресурсоёмких бизнес-критичных сценариях, а также поговорили про отличия YDB DWH от PostgreSQL, MongoDB, ClickHouse и Greenplum.
Вебинар будет полезен архитекторам и инженерам баз данных, SRE-инженерам, разработчикам прикладного ПО и специалистам по системной интеграции.