Zpracování dat - high level vycuc ke zkoušce

1. Zkratky a základní slovník

Prakticky: pokud u zkoušky zazní zkratka, je dobré říct její plný název, jednu větu co znamená a jednu větu kdy se používá. Tím obvykle ukážeš, že rozumíš principu a nepapouškuješ jen termín.

2. Základy dat a analytiky

Data jsou surová fakta, informace jsou data v kontextu, znalost je pochopení vztahů a moudrost je správné rozhodnutí. Tohle je DIKW pyramida a dává smysl skoro pro celý předmět: cílem není jen data uložit, ale převést je do podoby, podle které lze rozhodovat.

Co je důležité si pamatovat

• Data jsou aktivum, jen pokud mají kvalitu, kontext a jsou použitelná pro rozhodování.
• Životní cyklus dat: vznik -> sběr -> uložení -> zpracování -> sdílení -> archivace / smazání.
• Kvalita dat: přesnost, úplnost, konzistence, včasnost, validita. Nekvalitní data = špatné závěry.
• Data as a product: data nemají být vedlejší odpad systému, ale spravovaný produkt s vlastníky, SLA a dokumentací.
• Data mesh: odpovědnost za data v doménách, ale při zachování společných standardů.
• Anti-patterny: shadow IT, excelová sila, nejasné vlastnictví dat, KPI bez kontextu.

Jak to vysvětlit vlastními slovy

• Životní cyklus dat je důležitý proto, že v každé fázi řeším něco jiného: při vzniku validitu, při uložení retenci a bezpečnost, při sdílení licenci a přístupy.
• KPI nemá být jen číslo v dashboardu; musí být navázané na cíl organizace a interpretovatelné v čase.
• Evidence-based rozhodování znamená rozhodovat podle dat a metrik, ne podle dojmu.
• Data product thinking tlačí na to, aby data měla zákazníka, dokumentaci, garance kvality a jasný přínos.

3. Databáze a zpracování

Tahle část je hlavně o tom, že neexistuje jedna nejlepší databáze nebo jeden nejlepší způsob zpracování. Volba vždy závisí na typu dat, typu dotazů, požadavku na rychlost a na tom, jestli řeším transakce, analytiku nebo obojí.

Hlavní pojmy

• Relační DB se hodí pro strukturovaná data a SQL; dokumentové DB pro flexibilnější JSON podobná data; grafové DB pro vztahy; vektorové DB pro vyhledávání podle podobnosti, typicky v AI.
• Row-store ukládá data po řádcích, takže je vhodný pro transakce; column-store po sloupcích, takže je vhodný pro analytiku a agregace.
• B-tree funguje dobře pro obecné indexy a range dotazy; LSM-tree pro vysokou zápisovou zátěž a append-heavy workloady.
• ACID znamená Atomicity, Consistency, Isolation, Durability; tedy důraz na korektní transakce. BASE znamená spíše dostupnost a eventual consistency v distribuovaném prostředí.
• Partitioning, sharding a replikace řeší škálování a dostupnost, ale přinášejí trade-offy v konzistenci, latenci a správě.
• ETL = extrahovat, transformovat, nahrát; ELT = nahrát dřív a transformovat až uvnitř výkonné cílové platformy.
• Orchestrace řídí pořadí a závislosti jobů, typicky pomocí DAG, tedy orientovaného acyklického grafu.
• Streaming se hodí tam, kde data přicházejí jako události a záleží na čerstvosti, ne až na noční dávce.

Typická zkoušková pointa

U databází je klíčové ukázat, že rozumíš trade-offům. Například vysoká konzistence, nízká latence, horizontální škálování a jednoduchá správa nejdou obvykle maximalizovat najednou. Proto se architektura skládá z více vrstev a ne z jednoho univerzálního systému.

4. Big Data, HPC a Hadoop

Big Data řeší objem, rychlost a různorodost dat; HPC řeší hlavně výpočetní výkon a nízkou latenci mezi uzly. Nejsou to synonyma. Big Data je více o datech a propustnosti, HPC více o výpočetní síle a paralelním běhu náročných výpočtů.

Big Data vs. HPC

• HPC je vhodné pro simulace, numerické modely a úlohy, kde záleží na velmi rychlé komunikaci mezi uzly.
• Big Data platformy jsou vhodné pro logy, senzory, clickstream, IoT a datově náročné analytické pipeline.
• 3V/5V u Big Data znamená volume, velocity, variety a často i veracity a value.

Hadoop ekosystém

• Hadoop vznikl jako odpověď na potřebu levně ukládat a zpracovávat velká data na clusteru běžných serverů.
• HDFS ukládá data po blocích a replikuje je. Hlavní myšlenka je odolnost proti výpadku a data locality, tedy přiblížit výpočet k datům.
• YARN je správce zdrojů clusteru. Rozděluje kontejnery, plánuje úlohy a řeší sdílení clusteru více týmy.
• MapReduce funguje ve fázích map -> shuffle/sort -> reduce. Je robustní pro batch, ale má vyšší latenci a není ideální pro iterativní úlohy.
• Spark zrychluje výpočty díky DAG modelu a práci v paměti; hodí se pro SQL, ETL, ML i stream processing.
• Hive a další SQL-on-Hadoop nástroje přibližují big data platformu analytikům přes SQL rozhraní.

Lake, warehouse, lakehouse

• Data lake ukládá hodně surových dat různých typů, ale bez dobré správy může skončit jako "data swamp".
• Data warehouse je více strukturovaný, kurátorovaný a optimalizovaný na analytiku a reporting.
• Lakehouse spojuje výhody obou přístupů; důležité jsou tabulkové formáty typu Delta Lake, Iceberg nebo Hudi.

5. Vizualizace, governance, open data a AI

Co je důležité z managementu dat

• Metadata jsou data o datech. Pomáhají najít dataset, pochopit význam sloupců a určit původ dat.
• Lineage znamená původ a cestu dat systémem. Důležité pro audit, debugging a důvěru.
• Kvalita dat musí být řízená metrikami, ne dojmem. Typicky úplnost, validita, duplicity, včasnost.
• Bezpečnost a soukromí řeší přístupy, šifrování, pseudonymizaci a soulad s pravidly typu GDPR.

Co je důležité z AI části

• AI není magie; stojí na algebře, statistice, optimalizaci a datech.
• Klasické ML řeší predikce a klasifikaci z tabulkových dat; deep learning se hodí pro složitější nestrukturovaná data.
• AI v data engineeringu může pomáhat se schématy, čištěním, detekcí anomálií nebo generováním SQL.
• LLM a AI agenti rozšiřují práci s daty o přirozený jazyk, ale přinášejí rizika halucinací a nutnost validace.

Praktická pointa: nestačí data spočítat. Musí být správná, vysvětlitelná, bezpečně spravovaná a prezentovaná tak, aby z nich šlo rozhodnout.

6. Projekt EnerSight