Ma’lumotlar muhandisligi amalda (Data Engineering in Action)

Ochiq manbali vositalar va bulut platformalari yordamida kengayuvchan quvurlarni qurish¶

Muallif haqida¶

Dr. Farruh Kushnazarov — generativ sun’iy intellekt, ma’lumotlar muhandisligi (data engineering) va mashinali o’qitish bo’yicha yetakchi mutaxassis bo’lib, nazariya va amaliyotni uyg’unlashtirgan kuchli tajribaga ega. U hozirda Alibaba Cloud Intelligence kompaniyasida Katta GenAI/Yechimlar arxitektori (Senior GenAI/Solution Architect) sifatida ishlaydi, u yerda generativ sun’iy intellekt yechimlarini joriy qiladi va tashkiliy maqsadlarga mos keladigan keng qamrovli strategiyalarni boshqaradi. Bunga qadar Dr. Farruh iTutorGroup-Ping An va Midea Group kompaniyalarida Ma’lumotlar olimi (data scientist) bo’lib ishlagan, aloqa tarmoqlari va aqlli texnologiyalarni optimallashtirish bo’yicha ilg’or tadqiqotlarga rahbarlik qilgan. Shuningdek, u professor sifatida faoliyat yuritib, matematik modellashtirish, kompyuter fanlari va ma’lumotlar muhandisligi fanlaridan dars bergan. Uning ajoyib faoliyati ko’plab sun’iy intellekt bilan bog’liq loyihalar va ilmiy izlanishlarni qamrab oladi va 20 dan ortiq texnik nashrlarni o’z ichiga olgan nufuzli portfolioga olib keldi.

So’zboshi¶

Ma’lumotlar muhandisligi amalda (Data Engineering in Action) kitobiga xush kelibsiz.

Agar siz buni o’qiyotgan bo’lsangiz, ehtimol ma’lumotlar tizimlarini qurish qiyin ekanligini allaqachon bilasiz. Sizga “ma’lumotlar — bu yangi neft” yoki ma’lumotlar muhandisligi talabgir kasb ekanligini tushuntiruvchi yana bir ma’ruza kerak emas. Siz tungi soat 3:00 da buzilmaydigan tizimlarni qanday qurishni bilishingiz kerak. Siz quvurni (pipeline) qanday orkestratsiya qilishni (orchestrate), lakehouse’ni qanday modellashtirishni va ishlab chiqarishdagi uzilishlarga olib kelmasdan mashinali o’qitish modeliga toza ma’lumotlarni qanday kiritishni bilishingiz kerak.

Ko’pgina ma’lumotlar muhandisligi kitoblari bu sohaga vositalar katalogi sifatida qaraydi. Ular sizga Apache Spark sintaksisini yoki Apache Kafka konfiguratsiya fayllarini o’rgatadi, lekin ularni qanday qilib bir-biriga bog’lashni taxmin qilishni o’zingizga qoldiradi. Boshqa kitoblar butunlay taqsimlangan tizimlar nazariyasiga qaratilgan bo’lib, sizga bitta ham ishga tushiriladigan kod qatorini bermaydi.

Bu kitob boshqacha. Bu nazariya va ishlab chiqarish o’rtasidagi tafovutni ko’paytirish uchun mo’ljallangan amaliy dala qo’llanmasidir. Biz qabul qiladigan har bir arxitektura qarori uchun biznes kontekstini taqdim etish maqsadida yagona, rivojlanib boruvchi hikoya chizig’iga — TuranMart nomli uydirma elektron tijorat kompaniyasining o’sishiga amal qilamiz.

Eng muhimi, bu kitob Sun’iy intellektga ma’lumotlar muhandisligi muammosi sifatida qaraydi. Generativ sun’iy intellektning yuksalishi shuni ko’rsatdiki, modellar faqat ularni oziqlantiradigan ma’lumotlar quvurlari (data pipelines) kabi yaxshi. Ushbu kitobda siz nafaqat jadvallarni qanday ko’chirishni o’rganasiz; balki ishlab chiqarishdagi RAG ilovalarini qo’llab-quvvatlash uchun hujjatlarni yutish (ingestion) quvurlarini, belgilar omborlarini (feature stores) va vektor ma’lumotlar bazalarini qanday qurishni ham o’rganasiz.

Ushbu kitobdagi har bir bob qat’iy ritmga amal qiladi: biz biznes muammosini kiritamiz, kontseptual asosni tushuntiramiz, ishlab chiqarish dizayn namunasini ko’rsatamiz va keyin Docker yordamida boshqariladigan, ishga tushiriladigan laboratoriya orqali sizga yo’l ko’rsatamiz. Ushbu kitobning oxiriga kelib, siz o’z kompyuteringizda ishlaydigan ishchi ma’lumotlar arxitekturasi artefaktlari portfeliga ega bo’lasiz.

Bu kitob kim uchun¶

Bu kitob quyidagilar uchun mo’ljallangan:

• Ma’lumotlar muhandisligida o’z karerasini qurmoqchi bo’lgan kompyuter fanlari, ma’lumotlar fani yoki axborot tizimlarini o’rganayotgan talabalar

• Ma’lumotlar muhandisligiga o’tmoqchi bo’lgan yoki o’z malakalarini kengaytirmoqchi bo’lgan dasturiy ta’minot muhandislari

• SQL dan tashqariga chiqishni va ishlab chiqarish ma’lumotlar quvurlarini qanday qurishni o’rganishni xohlaydigan ma’lumotlar tahlilchilari

• O’z modellarini quvvatlantiradigan infratuzilmani tushunishni xohlaydigan ma’lumotlar olimlari

• Zamonaviy ma’lumotlar tizimlari qanday qurilganiga qiziquvchi va amaliyot orqali o’rganishni xohlaydigan har qanday inson

Nimalarni o’rganasiz¶

Ushbu kitobni tugatgandan so’ng, siz quyidagilarni qila olasiz:

• Ma’lumotlar muhandisining rolini va u kengroq ma’lumotlar jamoasiga qanday mos kelishini tushunish

• OLTP va OLAP tizimlari uchun ma’lumotlar modellarini loyihalash va joriy etish

• Apache Spark va Apache Flink yordamida paketli (batch) va oqimli (streaming) ma’lumotlar quvurlarini qurish

• Apache Airflow va zamonaviy alternativalar bilan murakkab ish jarayonlarini orkestratsiya qilish

• Ma’lumotlarni boshqarish (data governance), sifati va xavfsizligi bo’yicha eng yaxshi amaliyotlarni joriy etish

• Bulutli infratuzilmada (Alibaba Cloud’ga e’tibor qaratgan holda) ma’lumotlar platformalarini qurish

• AI va mashinali o’qitish uchun ma’lumotlar quvurlarini, jumladan RAG ilovalarini yaratish

• Belgilar omborlari va modelga xizmat ko’rsatish infratuzilmasini joriy etish

• Vektor ma’lumotlar bazalari va embeddinglar bilan ishlash

• Batafsil amaliy misollar orqali barcha ushbu ko’nikmalarni real biznes muammolariga qo’llash

Ushbu kitob qanday tashkil etilgan¶

Kitob olti qismga bo’lingan:

1-qism: Ma’lumotlar muhandisligi asoslari sizni soha bilan tanishtiradi, asosiy rollarni, ma’lumotlar landshaftini va ma’lumotlarni modellashtirish hamda saqlash paradigmalari kabi asosiy tushunchalarni qamrab oladi.

2-qism: Ma’lumotlarni saqlash yechimlari munosabatli va NoSQL ma’lumotlar bazalaridan tortib ma’lumotlar ko’llari va lakehouse’largacha bo’lgan ma’lumotlarni saqlash tizimlarining asosiy toifalariga chuqur kirib boradi.

3-qism: Ma’lumotlarni qayta ishlash va orkestratsiya ma’lumotlarni keng miqyosda qayta ishlash va murakkab ish jarayonlarini boshqarish uchun vositalar va usullarni qamrab oladi.

4-qism: Tahlil, boshqaruv, xavfsizlik va bulutli platformalar ma’lumotlar sifati, xavfsizligi va muvofiqligi kabi muhim mavzularni o’rganadi va Alibaba Cloud’da ma’lumotlar platformalarini qanday qurishni ko’rsatadi.

5-qism: AI va ML uchun ma’lumotlar muhandisligi bu yerda biz sun’iy intellekt uchun ma’lumotlar muhandisligining qiziqarli dunyosiga sho’ng’iymiz, RAG, ML quvurlari, belgilar omborlari va vektor ma’lumotlar bazalarini qamrab olamiz.

6-qism: Biznes ilovalari va amaliy misollar turli sohalardagi batafsil, to’liq amaliy misollar bilan barchasini birlashtiradi.

Dastlabki talablar¶

Ushbu kitobdan maksimal darajada foydalanish uchun sizda quyidagilar bo’lishi kerak:

• Asosiy dasturlash bilimlari (afzalroq Python’da)

• SQL va munosabatli ma’lumotlar bazalari haqida asosiy tushuncha

• Buyruqlar satri (command line) bilan tanishlik

• O’rganish va tajriba qilish istagi

Agar siz Python yoki SQL bilan ishlashga qiynalsangiz, xavotir olmang. B-ilovada ikkalasi bo’yicha ham qisqacha qo’llanma berilgan.

Atrof-muhitni sozlash¶

Ushbu kitobdagi barcha kod misollarini Docker va ochiq manbali vositalar yordamida mahalliy kompyuteringizda ishga tushirish mumkin. A-ilovada ishlab chiqish muhitini sozlash bo’yicha batafsil ko’rsatmalar berilgan. Bundan tashqari, barcha kod misollari, namunaviy ma’lumotlar va amaliy mashqlarni o’z ichiga olgan to’liq GitHub ombori quyidagi manzilda mavjud:

https://github.com/k-farruh/data-engineering-in-action-book

Bulutli platformalar haqida eslatma¶

Ushbu kitob istalgan joyda ishlashi mumkin bo’lgan ochiq manbali vositalarni qamrab olgan bo’lsa-da, u dunyodagi yetakchi bulutli provayderlardan biri bo’lgan Alibaba Cloud haqida ham keng qamrovli ma’lumot beradi. Agar sizda Alibaba Cloud-ga kirish imkoni bo’lmasa, xavotir olmang — muhokama qilingan tushunchalar va arxitekturalar har qanday bulut platformasi uchun amal qiladi va siz misollarni AWS, Azure yoki Google Cloud-ga moslashtirishingiz mumkin.

Keling, boshlaymiz¶

Ma’lumotlar muhandisligi qiyin, ammo nihoyatda foydali sohadir. Muammolar murakkab, vositalar kuchli va ta’siri ulkan. Har bir ma’lumotlarga asoslangan ilova, har bir mashinali o’qitish modeli va har bir biznes intellekti boshqaruv paneli ma’lumotlar muhandislari tomonidan yaratilgan mustahkam ma’lumotlar quvurlari poydevoriga qurilgan.

Umid qilamanki, ushbu kitob malakali ma’lumotlar muhandisi bo’lish yo’lidagi sayohatingizda qimmatli hamroh bo’ladi. Keling, sho’ng’iymiz!

Dr. Farruh Kushnazarov
Muhammad al-Xorazmiy nomidagi Toshkent axborot texnologiyalari universiteti
2026-yil 1-may

Minnatdorchilik¶

Ushbu kitob ko’plab insonlarning yordami va hissasiz yuzaga kelmas edi:

• Yillar davomida mening ma’lumotlar muhandisligi kurslarimda o’qigan va bebaho fikr-mulohazalarini bildirgan talabalarga

• Apache Spark, Apache Flink, Apache Airflow va boshqa ko’plab loyihalar ortidagi ochiq manba hamjamiyatlariga

• Alibaba Cloud jamoasiga ularning yordami va hujjatlari uchun

• Ma’lumotlar hamjamiyatidagi hamkasblarim va hamkor o’qituvchilarga

• Yozish jarayonida sabr-toqati va yordami uchun oilamga

Barchangizga rahmat.

Mundarija¶

1-qism: Ma’lumotlar muhandisligi asoslari¶

1-bob: Ma’lumotlar muhandisligiga kirish

• Ma’lumotlar muhandisining roli

• Ma’lumotlar muhandisligi vs. Ma’lumotlar fani vs. Ma’lumotlar tahlili

• Ma’lumotlar landshafti

• Ochiq manbaning ahamiyati

• Ma’lumotlar muhandisligi arxitekturasi

2-bob: Ma’lumotlarni modellashtirish va saqlash paradigmalari

• Ma’lumotlar turlari va tuzilmalari

• Ma’lumotlar formatlari

• Ma’lumotlarni modellashtirish asoslari

• Ma’lumotlarni saqlash paradigmalari

• Ma’lumotlar sifati va ma’lumotlar kelib chiqishi (data lineage)

3-bob: Ochiq manba ekotizimi

• Nima uchun ochiq manba muhim

• Landshaft bo’ylab harakatlanish

• Ochiq manba litsenziyalarini tushunish

• Loyihalarni tanlash va baholash

• Qanday hissa qo’shish kerak

2-qism: Ma’lumotlarni saqlash yechimlari¶

4-bob: Munosabatli ma’lumotlar bazalari

• Munosabatli ma’lumotlar bazalariga kirish

• PostgreSQL: Dunyodagi eng ilg’or ochiq manbali ma’lumotlar bazasi

• MySQL: Dunyodagi eng mashhur ochiq manbali ma’lumotlar bazasi

• PostgreSQL vs. MySQL

• Amaliy mashq

5-bob: NoSQL ma’lumotlar bazalari

• NoSQL harakati

• Hujjat ma’lumotlar bazalari: MongoDB

• Keng ustunli omborlar: Cassandra

• Kalit-qiymat omborlari: Redis

• To’g’ri NoSQL ma’lumotlar bazasini tanlash

6-bob: Ob’ekt xotirasi va ma’lumotlar ko’llari

• Ob’ekt xotirasining yuksalishi

• MinIO: Ochiq manbali ob’ekt xotirasi

• Ma’lumotlar ko’lini qurish

• Medallion arxitekturasi

• Ma’lumotlar ko’li bo’yicha eng yaxshi amaliyotlar

7-bob: Ma’lumotlar omborlari va Lakehouse arxitekturalari

• An’anaviy ma’lumotlar ombori

• Lakehouse paradigmasi

• Delta Lake

• Apache Iceberg

• Apache Hudi

• O’z lakehouse’ingizni tanlash

3-qism: Ma’lumotlarni qayta ishlash va orkestratsiya¶

8-bob: Ma’lumotlarni qayta ishlash ramkalari: Spark va Flink

• Katta ma’lumotlarni qayta ishlash evolyutsiyasi

• Apache Spark: Birlashtirilgan tahlil dvigateli

• Apache Flink: Haqiqiy oqim protsessori

• Amaliy rivojlanish

9-bob: Kafka va Flink bilan oqimli ma’lumotlar

• Paketli fikrlashdan oqimli fikrlashga

• Kafka hodisa asosi sifatida

• Flink holatli oqimni qayta ishlash uchun

• TuranMart-ning real vaqtdagi clickstream quvurini loyihalash

• Ishlab chiqarishda oqimli tizimlarni ishlatish

10-bob: Transformatsiyalar, testlash va tahliliy muhandislik

• Xom ma’lumotlardan ishonchli modellargacha

• Qatlamli modellashtirish namunasi

• Transformatsiyalar dasturiy ta’minot sifatida

• Ma’lumotlarni dasturiy ta’minot kabi testlash

• Hujjatlashtirish, kelib chiqish va kashf etiluvchanlik

• Semantik modellashtirish va metrikalar

• dbt-uslubidagi tahliliy muhandislik ish jarayoni

• Kengroq platformada tahliliy muhandislik

11-bob: Ma’lumotlarni orkestratsiya qilish va ish jarayonini boshqarish

• Orkestratsiyaga bo’lgan ehtiyoj

• Apache Airflow: Ochiq manbali standart

• Zamonaviy alternativalar: Prefect va Dagster

• Alibaba Cloud’da ma’lumotlarni orkestratsiya qilish

4-qism: Tahlil, boshqaruv, xavfsizlik va bulutli platformalar¶

12-bob: Ma’lumotlarni kuzatish va quvur ishonchliligi

• Monitoringdan kuzatuvchilikka

• Ishonchlilik metrikalari: SLI, SLO, SLA va xato byudjetlari

• Quvurlarni metrikalar, jurnallar va izlar bilan jihozlash

• Ma’lumotlar sifati tekshiruvlari va ma’lumotlar shartnomalari

• Kelib chiqish, ta’sir radiusi va o’zgarishlarni boshqarish

• Ogohlantirish, SLO yonish tezligi va hodisalarga javob berish

• TuranMart uchun ishonchlilik arxitekturasi

• Umumiy xatolar

13-bob: Ma’lumotlarni boshqarish va xavfsizlik

• Ma’lumotlarni boshqarish ustunlari

• Keng miqyosda ma’lumotlar sifatini joriy etish

• Ma’lumotlar xavfsizligi bo’yicha eng yaxshi amaliyotlar

• Muvofiqlik va qoidalar

• Ma’lumotlar kataloglari va kashfiyot

14-bob: Alibaba Cloud’da ma’lumotlar muhandisligi

• Alibaba Cloud ma’lumotlar platformasining umumiy ko’rinishi

• Namunaviy arxitektura

• Asosiy xizmatlarga chuqurroq nazar

• Gibrid va ko’p bulutli strategiyalar

15-bob: Xarajat, ishlash va masshtablanuvchilik muhandisligi

• Asosiy tushunchalar: xarajat, ishlash va masshtab bir tizim sifatida

• Saqlash va hisoblash bo’yicha murosaviy yechimlar

• Ishlab chiqarish dizayn namunasi: xarajat-ishlash muhandislik halqasi

• Bo’limlash, fayl hajmi va kichik fayl muammosi

• Keshlash, statistika va so’rovlarni rejalashtirish

• Ma’lumotlar platformalari uchun masshtablanuvchilik namunalari

16-bob: Yechim tanlash asosi

• Texnologiyani baholash jarayoni

• Qurish vs. Sotib olish vs. Ochiq manba

• Ma’lumotlar bazasini tanlash

• Qayta ishlash ramkasini tanlash

• Bulut provayderini tanlash

• Qochish kerak bo’lgan umumiy xatolar

5-qism: AI va ML uchun ma’lumotlar muhandisligi¶

17-bob: RAG ilovalari uchun ma’lumotlar muhandisligi

• RAG ni tushunish

• RAG uchun ma’lumotlar quvurini qurish

• Vektorni saqlash va qidirish

• Ishlab chiqarish RAG tizimlari

• Alibaba Cloud’da RAG

18-bob: ML quvurlari muhandisligi

• ML hayot aylanishi

• O’quv ma’lumotlari quvurlarini qurish

• Modelni o’qitish va tajribalarni kuzatish

• Modelni joylashtirish

• Ishlab chiqarishda ML tizimlarini monitoring qilish

• Alibaba Cloud’da ML quvurlari

19-bob: Belgilar omborlari va modelga xizmat ko’rsatish

• Belgilar ombori

• Feast: Yetakchi ochiq manbali belgilar ombori

• Modelga xizmat ko’rsatish

• Alibaba Cloud’da belgilar omborlari va modelga xizmat ko’rsatish

20-bob: Vektor ma’lumotlar bazalari va embeddinglar

• Embeddinglar: AI ning lingua franca’si

• Vektor qidiruvining qiyinligi

• Vektor ma’lumotlar bazasi landshafti

• Ishlab chiqarishda embedding quvurlarini boshqarish

6-qism: Biznes ilovalari va amaliy misollar¶

21-bob: Amaliy misol: Real vaqtdagi mijoz 360 platformasini qurish

• Biznes maqsadlari va talablar

• Ma’lumotlar manbalari

• Arxitektura va texnologiya tanlovlari

• Amalga oshirish tafsilotlari va qiyinchiliklar

22-bob: Amaliy misol: Moliyaviy xizmatlarda firibgarlikni aniqlash

• Biznes maqsadlari va talablar

• Firibgarlikni aniqlashning qiyinchiliklari: Nomutanosiblik, siljish va kechiktirilgan belgilar

• Real vaqtda firibgarlikni aniqlashning namunaviy arxitekturasi

• Belgilar omborlari, qaror qabul qilish, teskari aloqa halqalari va boshqaruv

• Amaliy laboratoriya: Birgalikdagi SecurePay firibgarlikni aniqlash loyihasini ishga tushirish

Ilovalar¶

A-ilova: Rivojlanish muhitingizni sozlash

B-ilova: SQL va Python bo’yicha qisqacha qo’llanma

C-ilova: Ma’lumotlar muhandisligi karera yo’li

D-ilova: Qo’shimcha o’qish va manbalar

E-ilova: Atamalar lug’ati

Ushbu kitobdan qanday foydalanish kerak¶

Ushbu kitob ketma-ket o’qish uchun mo’ljallangan, chunki har bir bob oldingi boblarda kiritilgan tushunchalarga asoslanadi. Biroq, agar siz ba’zi mavzular bilan allaqachon tanish bo’lsangiz, o’zingizni eng qiziqtirgan boblarga o’tishingiz mumkin.

Har bir bob o’xshash tuzilishga amal qiladi:

1. Kirish: Nimalarni o’rganishingiz haqida umumiy ko’rinish

2. Tushunchalar: Asosiy tushunchalarning batafsil tushuntirishlari

3. Amaliy misollar: O’zingiz ishga tushirishingiz mumkin bo’lgan amaliy kod misollari

4. Eng yaxshi amaliyotlar: Haqiqiy dunyo tajribasidan ishlab chiqarishga tayyor maslahatlar

5. Bob xulosasi: Asosiy xulosalarning takrori

6. Mashqlar: O’rganganlaringizni mustahkamlash uchun amaliyot muammolari

Amaliy mashqlar va misollarni bajarib chiqing. Ma’lumotlar muhandisligi — bu amaliyot orqali eng yaxshi o’rganiladigan amaliy ko’nikmadir.

Ma’lumotlar muhandisligi dunyosiga sayohatingizni boshlaymiz!