Skip to main content

függelék D — Az adatsorok leírása

A könyv két futó esete – a PannonShop webáruház és a Pannon üzem – szimulált adatokra épül. Ez a függelék leírja az adatsorok szerkezetét, a generálásuk elvét és a beléjük épített, ellenőrzésre szolgáló „háttérigazságot”, végül olyan nyilvános valós adatsorokat ajánl, amelyeken a módszerek tovább gyakorolhatók.

D.1 Miért szimulált adatok?

A tananyag céljaihoz a szimulált adatoknak három előnye van. Először, a háttérigazság ismert: tudjuk, melyik vevő melyik típusba tartozik, melyik rendelés csalás, mikor milyen hiba lépett fel az üzemben, ezért minden módszer eredménye pontosan ellenőrizhető – ez a valós adatokon ritkán lehetséges. Másodszor, az adatok szabadon felhasználhatók és reprodukálhatók: a generátorok egy véletlenmagból mindig ugyanazokat az adatokat állítják elő, nincs adatvédelmi vagy licencakadály. Harmadszor, az adatokba tudatosan építettük be azokat a jelenségeket – adatminőségi hibákat, rejtett szegmenseket, asszociációs szabályokat, szezonalitást, lassú romlást, ritka hibákat –, amelyeken a módszerek tanulságai bemutathatók. Az ára az egyszerűsítés: a valós adatok változatosabbak, zajosabbak és meglepőbbek. Ezért a fejezetek a tanulságokat óvatosan fogalmazzák meg, és a függelék végén valós adatsorokat is ajánlunk.

A generátorok a segédcsomag shop.py és plant.py moduljában találhatók; az adatok CSV formátumban a könyv tárolójának data/ mappájában is elérhetők (a scripts/gen_data.py állítja elő őket).

D.2 PannonShop: online kiskereskedelem

A PannonShop egy kávéval, teával, konyhai eszközökkel, háztartási gépekkel, dekorációs termékekkel, ajándékokkal és írószerekkel kereskedő magyar webáruház. Az adatok szerkezete a nyilvános Online Retail II adatsort (Chen és mtsai., 2012) követi, így a módszerek közvetlenül átvihetők arra is.

táblázat D.1.. A PannonShop adattáblái (2024. január 1. – 2025. december 31.).
Tábla Sorok Fontosabb oszlopok
transactions (számlatételek) 68 990 Invoice, StockCode, Description, Quantity, InvoiceDate, Price, CustomerID, Regio
products (termékek) 48 StockCode, Description, Kategoria, Alkategoria, ListaAr
customers (vevők) 3 000 CustomerID, Regio, Regisztracio
reviews (vélemények) 3 000 CustomerID, StockCode, Datum, Csillag, Szoveg, Hangulat

A generálás elve a következő. A vevők öt rejtett típusba tartoznak (törzsvásárló, alkalmi vevő, akcióvadász, viszonteladó, lemorzsolódó), amelyek a vásárlási gyakoriságban, a kosárméretben, a kategóriapreferenciákban, az akciókra való érzékenységben és a lemorzsolódás időzítésében különböznek. A vevők egy része már az időszak elején aktív, a többiek fokozatosan regisztrálnak. A kosarak tartalmát a kategóriapreferenciák mellett beültetett asszociációs szabályok alakítják (például kávéfőző gép ⇒ kávébab, teáskanna ⇒ zöld tea). Az év végén szezonális csúcs, a 2., 3., 47. és 48. héten akciós időszak van.

Az adatokba a 3. fejezet gyakorlatához szándékosan adatminőségi hibák kerültek: sztornózott számlák (C-előtagú számlaszám, negatív mennyiség), postaköltség- sorok, ismétlődő tételek, eltérő írásmódú termékmegnevezések, nulla árú és százszorosan elírt árú tételek, valamint vevőazonosító nélküli vendégvásárlások. Huszonöt csalásgyanús rendelés is található bennük (11. fejezet). A vélemények szempontonként (termékminőség, szállítás, ár, ügyfélszolgálat) összeállított mondatokból állnak, és a csillagszám a szempontok hangulatából adódik.

A háttérigazság (truth) tartalmazza a vevők valódi típusát, a lemorzsolódás időpontját, a beültetett szabályokat, a csalásgyanús és a sztornózott számlák listáját, valamint az akciós heteket. Ezeket a könyv kizárólag a módszerek értékeléséhez használja.

D.3 Pannon üzem: folyamatos vegyipari reaktor

A Pannon üzem egy folyamatos üzemű, kevert tankreaktor (CSTR), amelyben három termékminőséget (A, B, C) gyártanak kampányokban. A szimulátor egyszerűsített, de fizikailag konzisztens modellen alapul (Fogler, 2016). Az elsőrendű, exoterm reakció sebességi állandója az Arrhenius-egyenletet követi, a stacionárius konverzió

\[ k(T) = k_0\,e^{-E_a/(RT)},\qquad X = \frac{k\tau}{1 + k\tau},\qquad \tau = \frac{V}{F} , \tag{D.1}\]

ahol \(V\) a reaktortérfogat, \(F\) a betáplálási áram. A reakcióhőt a hűtőköpeny vezeti el, amelynek hőátadási tényezője a lerakódás miatt két tisztítás között fokozatosan romlik; a szükséges hűtővízáramot a hőmérleg határozza meg, és ha az meghaladja a szelep kapacitását, a hűtés telítődik, és a reaktor túlmelegszik. A környezeti és a hűtővíz- hőmérséklet éves és napi ciklust követ.

táblázat D.2.. A Pannon üzem mért változói (10 perces mintavétel, 2025. január 1. – december 31.).
Változó Jelentés Mértékegység
T_kornyezet környezeti hőmérséklet °C
F_betap, c_betap, T_betap betáplálási áram, koncentráció, hőmérséklet m³/h, mol/L, °C
T_reaktor, T_alapjel mért reaktorhőmérséklet és alapjele °C
F_hutoviz, T_hutoviz hűtővízáram és a hűtővíz hőmérséklete m³/h, °C
P_reaktor, P_kevero reaktornyomás, keverőteljesítmény bar, kW
E_fogyasztas villamosenergia-fogyasztás kW
c_termek_labor a termékkoncentráció laborértéke (csak a mintavételkor) mol/L
termek a gyártott termék (A, B, C) –

Az adatsor elemei: 52 560 darab 10 perces mérés (measurements) és ezek órás átlagai (hourly); 2176 laborminta a termékkoncentrációval, a szennyezettséggel és a minősítéssel (lab); a riasztási napló (alarms), amelyet határérték- és változásalapú szabályok állítanak elő; és a műszaknapló (load_shift_log()), a kezelők szabad szöveges bejegyzéseivel. A mérésekben zaj, kiesett mérések és kiugró értékek is vannak.

A beültetett események: hét tisztítási leállás; három szenzor-drift (a hőmérséklet-mérés öt nap alatt 4 °C-ig fokozatosan elmászik, a szabályozó pedig a hibás mérést tartja az alapjelen), két betáplálási zavar (a betáplált koncentráció 15%-kal csökken két napra), két szelepakadás (a hűtővízáram háromnapos oszcillációja) és nyolc ötórás hűtővíz-kiesés (a hűtővíz hőmérséklete 12 °C-kal megemelkedik). A háttérigazság a hibák pontos idejét, a lerakódás mértékét, a valódi reaktorhőmérsékletet és termékminőséget is tartalmazza.

D.4 Kis adatsorok a kézi számolásokhoz

A ab.mini modul a kézi számolási példák kis adatsorait tartalmazza: a döntési fa és a naiv Bayes-osztályozó tizennégy gyártási tételét (9. fejezet), a gyakori elemhalmazok nyolc kosarát (6. fejezet), a hierarchikus klaszterezés hét pontját (5. fejezet), a regresszió hat pontját (8. fejezet), a DTW két jelalakját (12. fejezet) és a TF-IDF öt dokumentumát (13. fejezet).

D.5 Nyilvános valós adatsorok a további gyakorláshoz

táblázat D.3.. Nyilvános adatsorok a könyv módszereinek gyakorlásához.
Adatsor Tartalom Kapcsolódó fejezetek Forrás, licenc
Online Retail II egy brit webáruház két évnyi számlatétele 2–6., 14. UCI Machine Learning Repository (Chen és mtsai., 2012), CC BY 4.0
Tennessee Eastman-folyamat vegyipari referenciafolyamat 21 hibatípussal 11., 15. Downs & Vogel (1993); számos nyilvános szimulált adatkészlet
Palmer-pingvinek három pingvinfaj testméretei 4., 5., 9. Horst és mtsai. (2020), CC0
UCR-idősorarchívum több mint 120 idősor-osztályozási feladat 12. Dau és mtsai. (2019)

A Palmer-pingvinek adatsora a segédcsomagból is elérhető (ab.load_penguins()). A valós adatsorok használatakor mindig ellenőrizzük a licencfeltételeket, és – személyes adatok esetén – az adatkezelés jogalapját (1. fejezet).