Látni a szöveget

A szöveges adatok vizualizációjáról már többször volt szó itt a blogon is (itt és itt). Kétségtelen, gyönyörű képeket lehet generálni, ám mindig felmerül a kérdés, mire jó a dolog… Zoli szerint például arra, hogy ha kellően nagy adathalmazon végzünk elemzést, akkor gyakran sokkal többet mond nekünk egy ilyen kép mint maga a leíró statisztika, jobban érthető egy történet képpel illusztrálva, mint a száraz számokkal. A legtöbb megoldás (szó-felhő, szó-fa, szavak elosztása tengelyek körül) valóban csak arra szolgál, hogy segítse az emberi elemzőt, a gépek remekül megvannak képek nélkül, nekik minél szárazabb az adathalmaz, annál jobb. Látni az adatokat azért lehet hasznos, mert “kiugranak” az olyan tulajdonságok, melyekre egyébként nem figyelnénk fel; és ha már egyszer kiugrottak, lehet rájuk olyan szabályt írni, amely segítségével a gépnek is el tudjuk magyarázni. Ha nem tudjuk, hol kezdjünk hozzá egy feladathoz, érdemes lehet minél több mindent lerajzolni, előbb-utóbb biztosan észreveszünk valamit. Valami ilyesmire van kitalálva például a Many Eyes rendszer is.

Schmitt Pál, Wittgenstein és az infógrafika

Mielőtt azt hinné a kedves olvasó hogy a politikáról lesz szó, szólok hogy nem. A köztársaság elnöke beszédet mondott, a Social Times pedig a Many Eyes használatával készített egy szövegfelhőt, gondolván hogy így megkönnyíti az elemzők dolgát. Nagyon reméljük hogy a megszólítottak nem kezdtek el rögvest dolgozni a szép új eszközzel. Hogy miért? Erről szól ez a poszt. A vizualizáció szép, jó és hasznos, csak tudni kell mire való, mik a korlátai és hogyan értelmezhetjük. Ebben segít nekünk egy kicsit Wittgenstein.

Google Ngram Viewer - Mi a szösz az?

A Google Labs mostanában indította el Books Ngram Viewer szolgáltatását és megjelntek a legkülönbözőbb "elemzések" mindenhol - még a print HVG-ben is találtam! Arról viszont kevés szó esik hogy mit is takar tkp. ez a szolgáltatás, miért indította el a Google, mi egyáltalán az az ngram (vagy jobban mondva n-gram) és mire jó ez azon kívül hogy szép grafikont rajzolunk.

Szöveges információk vizualizációja Gephi és az AlchemyAPI segítségével

Már sokszor szóltunk róla hogy érdekel minket miként is lehet egy szöveget vizualizálni. Persze az első kézenfekvő válasz erre a régi jó öreg Zipf-törvény alapján rajzolt szógyakoriság (ami nekem már egészen kis korom óta a kedvencem), illetve a bigram és n-gram táblák, esetleg szófajok alapján egy piechart. De lehet-e mélyebbre menni ennél? Kelle-e? A második kérdésre én sem tudom a választ, de az elsőre már határozott igen a válasz! Minden különösebb programozási ismeret nélkül betekintést nyerhetünk a szövegek egy mélyebb rétegébe, azonban sajnos anyanyelvünkön ezt még nem tehetjük meg.