Szöveges információ vizualizációja: topic clouds

A magyar online sajtóból gyűjtöttem be cikkeket, sima nltk snowball stemmelésen mentek át normalizálás során, majd MALLET-et használva 20 elemű topik modellt készítettem. Az egyes topikokhoz leginkább hozzájáruló szavak gyakorisági listájából generáltam szófelhőket. A pytagcloud kifejezetten csúnya, de legalább programmatikusan generálhatóak a képek, a Wordle sokkal szebb. de a gyakorisági táblákat kézzel kell bemásolni a generálás előtt. Az eredményeken látszik, hogy pontosításra szorul a scraper (ti. nem csak a cikkek szövegét szedi ki, hanem még sok menüelemet és reklámot stb) és jobb stemmer sem ártana. Ezek ellenére a tapasztalatom azt mutatja, egészen informatívak a szófelhők - magyarán az adott topikról sokat elárulnak.

Topic clouds - Wordle

Topic clouds - pytagcloud

Szöveges információ vizualizációja: szógyakoriság

Az alábbi ábrákat a Heti Válasz és a NOL cikkeinek szövegeiből készítettem. Az írások a héten az Európai Parlamentben hazánk kapcsán lezajlott vitáról szólnak. Minden szófelhő szógyakoriságon alapul, a szövegek tisztításon átmentek, de szótövezésen nem. Engem leginkább az érdekel, hogyan használhatók a szófelhők tartalomelemzésre. Ennek nyilván akkor van értelme, ha nagy mennyiségű adatot akarunk áttekinteni, de most jobban érdekel melyik eljárás felhasználóbarát (azaz informatív).

 

Wordle szófelhő

A Wordle nagyon szép felhőket generál, de inkább deskriptív és nem ad lehetőséget az összehasonlításra.

Népszabadság cikk

 

Heti Válasz cikk

 

R wordcloud

A CRAN-on elérhető standard wordcloud package lehetőséget ad arra, hogy összehasonlítsunk szövegeket. Az összehasonlítás alapja a frekvencia, a comparison azt mutatja meg mely szavak gyakorisága nagyobb egy-egy szövegben, a commonality pedig a közös szavakat ábrázolja.

Comparison cloud

Commonality cloud

Conway összehasonlító szófelhője

Conway szerint egy rendes szófelhő térbeli információval is jelez valamit - mégpedig a frequencia eltéréseket a két szövegben.