Arab tavasz és nlp

Mostanában nagyon rákattantam a "computational social science" témára, mivel úgy látom nagyon gazdag terület, amiben az nlp-nek is sok szép szerep jut(hat). Trey Causey a University of Washington PhD hallgatója az autoriter államok médiáit vizsgálja empirikus alapon, ehhez pedig nagyban támaszkodik a látens dirichlet allokációra (latent dirichlet allocation - LDA) a korpuszelemzésben. Disszertációjának összegzése szerint:

I model these meaning contests using Latent Dirichlet Allocation, a Bayesian method for discovering the latent topic structure of text corpora. Using an original dataset of more than 25,000 Egyptian and international news articles in both Arabic and English from November 2010 to March 2011, I build a model of regime-friendly, semi-independent, and independent media content before, during, and after the so-called Arab Spring uprisings in Tunisia, Egypt, Libya, and Bahrain. In the months leading up to the uprisings, while Egyptian state media focused on economic development projects and minimized attention to rising discontent int he region, non-state media offered extensive coverage of investigations of businessmen linked to the regime and fraudulent elections. When events in Tunisia ignited political imaginations in the region, state media consistently downplayed these events relative to their independent counterparts and employed conspiracy, foreign interference, and instability themes in their coverage. However, as the fall of the Mubarak regime drew closer, media coverage converged distinctly toward the language of independent media. I argue that this divergence and subsequent convergence around highly salient issues provides important information to potential collective actors about the ability and likely success of pro- and anti-regime groups to exert influence.

The Battle for Bystanders: Information, Meaning Contest, and Collective Action in the Egyptian Uprising of 2011 című tanulmányában a disszertációnál tömörebben foglalja össze Causey téziseit és módszertanát - érdemes elolvasni, hiába "draft", van benne valami. Úgy gondolom, hamarosan sok hasonló vizsgálódás lát majd napvilágot és bizonyosan az ipar is rákap az ilyen kutatások ízére.

Prismatic

A Prismatic tkp. remek példa több dologra is. Mi a keresés jövője? Van valami igazán izgalmas felhasználása az NLP-nek és az ML-nek? Lehet egy terméket teljesen egy funkcionális nyelvre alapozni? A perszonalizációval együtt járó filter bubble jelensége ellen tehetünk valamit?

A Prismatic első ránézésre egy a sok hírolvasó eszköz közül ami a közösségi oldalon megjelenő híreket aggragálja. De nem egészen erről van szó! A Prismatic saját magát "discovery engine"-nek hívja és a hírek tálalását csak az első lépésnek tartja. A közösségi médiában megjelenő tartalmakat tkp. arra használják, hogy kitalálják a felhasználó ízlését és azt hogy milyen filtert épít maga köré. Sajnos arról nem lehet sokat megtudni miképp is működik ez az újdonságot behozó elem, de aki már eltöltött pár órát a Prismatic-en, az tapasztalatból tudja hogy egész jól működik.

A cég blogja is mutatja, mennyire átgondoltan halad a termékfejlesztés. Tulajdonképpen talán a Prismatic az egyetlen cél, ahol holisztikusan koncentrálnak egy adott problémára. Nagyon erős vizióval rendelkeznek arról hogyan is kell az ML és az NLP eredményeit felhasználni egy termékben és arról hogyan is néz ki az alkalmazott kutatás. Az alapoktól egészen a mutatós svájci designt idéző webes megjelenésig átgondoltak mindent (itt és itt érdemes erről olvasni). Érdemes megnézni TC Founder Stories alapítóval készített interjúját.

Ma a legtöbb kereső rendszer az ún term-document matrix megoldáson alapul. A Prismatic az ún topik modellekre szavaz ellenben (bővebben erről itt). Ezek nagyon hasonlóak a címkéző, vagy tagelő megoldásokhoz, de sokkal pontosabban működnek és írják le egy-egy dokumentum látens szemantikáját. A topik modellek a keresésben - több technikai probléma megoldásán túl - lehetővé teszik hogy "csoportosítsák" a találatokat és egyfajta összefoglalót adjanak tartalmukról. Így kerülhető el a duplikációk és a hasonló hírek szűrése, ill. kereshetők hasonló tartalmak. Habár a topik modellek már egy évtizede megjelentek, a Prismatic egyike az első ipari alkalmazóknak.

A "filozófia" mellett természetesen a fejlesztésben is jólátgondolt elveik vannak. Elsőre talán furcsa, hogy a Clojure-t választották, de ez még érthető is (plána, nekem, aki szeretem a Clojure nyelvet). Ami sokkal meglepőbb hogy nem igazán használnak Java cuccokat, inkább maguk írnak meg mindent amire szükségük van. Clojure körökben idézetté vált az "avoid large, monolithic frameworks" mottó (de persze inkább keresünk egy wrapper-t, vagy írunk magunk, semhogy a Prismatic-et követve saját numerikus könyvtárat dobjunk össze :D), ami az abstraction principle-re utal. Ezt az architektúrára is átvitték, a technikai részletek iránt érdeklődőknek ajánlom a High Scalability-n megjelent részletes írást erről.

Úgy tűnik, működőképes ez a szigorúan termékközpontú fejlesztés. Jó lenne látni több kezdeményezést, ami ennyire fókuszáltan és tudatosan vezet be a piacra egy alapvetően elméleti megoldást.

Hello nlp!

This post assumes you have already installed Leiningen and you can work with your choice of programmers' editor.

 

Starting a new project

This command creates a new directory (hello-nlp). Navigate into that new directory and open the file project.clj. You are going to see something like this: