БІЗНЕС

Людина, яка знає все. Хто такі сучасні дата-інженери та чому за ними майбутнє

26 Серпня 2022, 09:00
6 хв читання
Матеріал успішно додано в закладки Досягнуто максимальної кількості закладок
Додати в закладки

Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.

Людина, яка знає все. Хто такі сучасні дата-інженери та чому за ними майбутнє
Партнерський матеріал Партнерський матеріал Матеріал на правах реклами
Режим читання збільшує текст, прибирає все зайве зі сторінки та дає можливість зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Режим читання

Режим читання збільшує текст, прибирає все зайве зі сторінки та дає можливість зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.

Кожне використання смартфона або ноутбука, взаємодія з дописами в соцмережах генерує дані. Уявіть, скільки даних ви створюєте щодня! З кожним роком інформації стає дедалі більше. Щоб система коректно працювала, дата-інженери працюють над аналізом, оптимізацією та покращенням процесів. У Parimatch Tech Academy триває набір на безплатний онлайн-курс з Data Engineering — професію, яка точно залишатиметься актуальною.

Дмитро Федюков

Дані існували завжди, відповідно дата-інженерія як напрямок — досить давня історія. Причина, чому останнім часом про неї почали говорити частіше, полягає в нових можливостях та інструментах.

У «нульових» в розробників також було багато даних, буквально петабайти. Їх потрібно було обробляти та зберігати. Інша річ, що доступ до цього мали лише особливі організації, переважно державні — з великими бюджетами та можливостями. Зараз же все стало дешевшим і поширенішим, тому навіть рядовий фахівець може працювати з досить великими масивами інформації.

Супер Маріо в королівстві даних

Сучасні системи побудовані на даних. Щоби ці системи працювали — і працювали ефективно — дані потрібно обробляти, структурувати та грамотно зберігати. Цим і займаються дата-інженери.

Я люблю порівнювати дата-інженерів із Супер Маріо. Вони, як цей герой, — регулярно лагодять труби, щоби по них надходила вода. Також інженери — постійно «ремонтують» потоки даних, пайплайни, якими йде інформація. Це безперервний процес, тому завдання фахівця грамотно його організовувати, забезпечити гнучкість, створити резервуари, де дані накопичуються.

Робота дата-інженера здебільшого не відмежовується від загальної системи — це завжди зв’язка з іншими членами команди та всією організацією загалом. Мета — створити інструмент для кінцевого користувача, тобто всього колективу. Цей інструмент мусить відповідати специфіці роботи компанії, а також особливостям доменної сфери — чи це розважальна платформа, банківський сервіс або соціальна мережа.

Отже, завдання дата-інженера — зробити так, щоб усі члени команди могли легко і просто працювати з даними — модифікувати та повторно використовувати. Якщо знову проводити аналогію з Супер Маріо, користувач даних, коли він відкручує кран із водою, не повинен замислюватися, як працюють фільтри, очищувачі та відстійники. Йому потрібно набрати води, щоби приготувати собі чай. Так само й тут: фахівцеві потрібно швидко отримати дані, щоби на їх основі щось створити чи ухвалити рішення. Для цього існують дата-інженери.

Головна цінність інженерів для бізнесу — створення стабільної та стійкої системи. Ця стабільність має бути забезпечена як у моменті, так і ретроспективно — щоби завдяки даним та грамотній роботі з ними в компанії завжди була антологія всіх процесів. Так команда, по-перше, впевнена в інформації, яку використовує прямо зараз, а, по-друге, може оцінити, що відбувалося з даними на будь-якому відрізку часу в минулому.

Усе в одному

Сучасну розробку можна поділити на чотири базові спеціалізації:

  • DevOps/SRE — це класичний computing, на рівні операційних систем;
  • Data Engineering у широкому розумінні — той самий рівень, але робота з даними;
  • девелопмент — безпосереднє написання коду;
  • QA — тестування.

Робота з даними примітна тим, що вона охоплює всі ці чотири області:

  • дата-інженери повинні знати операційні системи, їхні компоненти та застосування;
  • важливо розуміти принципи написання коду;
  • нарешті, дані також потрібно валідувати й правильно використовувати — це те, що називається Data Integrity.

Відповідно, дата-інженер — це така собі людина-оркестр. Він має свою профільну спеціалізацію, але водночас орієнтується у всіх суміжних сферах. У цьому сенсі Data Engineering — це добрий початок для будь-якої кар’єри в технологічній індустрії. Хтось продовжує заглиблюватися в роботу з даними, інші йдуть в аналітику, а дехто займає нішу на стику Dev/DataOps. Це унікальна історія, яка відкриває багато можливостей розвитку.

Інформації дедалі більше

Непопулярна думка: майже весь прикладний код, за великим рахунком, уже написаний. Уже з’являються co-pilots, AI-сервіси для написання коду. Що продовжує «бити ключем», то це процес генерації даних. Кількість та різноманітність інформації з кожним днем ​​збільшується.

Ми приходимо до того, що розробка продуктів зміщується до створення системи з різних складових, де дані — основа. Інтернет-магазин, наприклад, можна запустити за шаблонами. Для тих же логістичних систем — доставки, перевезення — є багато фреймворків та UI-рішень.

Що потрібно забезпечити, то це доставку контенту (наповнити інтернет-магазин) або взаємозв’язок між відправниками та одержувачами інформації (налаштувати ланцюжки постачання) — і на основі цього створити рішення. Перше — це дані, друге — маніпуляція з ними. Тобто дата-інженерія.

Зараз майже весь світ кричить: нам потрібно більше даних, більше якісних дата-сетів. А коли в нас з’являється більше даних, то й виникає потреба ці дані обробляти, структурувати, аналізувати та зберігати. Відповідно, на дата-інженерів — і суміжних фахівців — лягатиме дедалі більше завдань та відповідальності. А ще ця професія стає все більш затребуваною на ринку.

До 21 вересня у Parimatch Tech Academy триває набір на безплатний онлайн-курс з Data Engineering. У рамках програми студенти отримають базові знання про спеціалізацію та досвід в реальних проєктах компанії. А найкращі випускники отримають джоб-оффер від Parimatch Tech.

Знайшли помилку? Виділіть її і натисніть Ctrl+Enter

ЧИТАЙТЕ ТАКОЖ
БІЗНЕС Важкі часи — найкращі. Як вибудовувати систему бенефітів під час війни
Системна підтримка команд та адаптація під нові реалії. Як вибудовувати систему бенефітів під час війни
Матеріал успішно додано в закладки Досягнуто максимальної кількості закладок
23 Вересня 2022, 13:30 7 хв читання
БІЗНЕС Parimatch Tech відкриває хаб у Празі, основний фокус — R&D та продуктові команди
Parimatch Tech відкриває хаб у Празі, основний фокус — R&D і продуктові команди
Матеріал успішно додано в закладки Досягнуто максимальної кількості закладок
03 Травня 2022, 18:00 2 хв читання
Завантаження...