Brenda Lelke

Tudományfilozófusok és -szociológusok figyeltek fel arra a jelenségre, hogy egyes tudományágakat folyamatosan átneveznek, ez a rebranding. Egy mai példa

When physicists do mathematics, they don’t say they’re doing “number science”. They’re doing math.

If you’re analyzing data, you’re doing statistics. You can call it data science or informatics or analytics or whatever, but it’s still statistics.

If you say that one kind of data analysis is statistics and another kind is not, you’re not allowing innovation. We need to define the field broadly.

Hasonló dolgok játszódnak le más területeken is. A "computational linguistics" terminust egyre inkább felváltja a "natural language processing", a kognitív pszichológia és a kognitív tudomány egyes területei ma már "decision science" és "behavioral economics" néven futnak. A mesterséges intelligencia és a kognitív tudomány először "intelligent systems" névre váltott, ma már "machine learning" címszó alatt fut.

 

Hogy ez jó-e vagy rossz, nehéz eldönteni. Aki ismeri ezen tudományok történetét, az tudja, hogy az ötvenes és hatvanas években nagyon nagy reményekkel indultak, melyeket nem sikerült beváltaniuk. A nyolcvanas években ismét felfutottak, amit megint egy kiábrándulás követett. A kilencvenes években teret nyert a statisztikai/bayesiánus fordult, ami a kétezres évek óta töretlenül tart. Most fordult elő először, hogy alkalmazott szeszögből is bevethetővé váltak ezek a laikusok számára nagyon ezoterikusnak tűnő elméletek. A rebranding célja szerintem egyértelműen az, hogy bevezesse ezen tudományokat a köztudatba, s így nincs ezzel semmi baj. Sokkal nagyobb probléma, hogy a legtöbb embernek fogalma sincs arról, hogy az alkalmazott területek mögött milyen elméleti tudományok állnak.

Dzsihád és nlp

Tegnap futottam bele a Mancs honlapján egy interjúba Miklósi Lászlóval a Történelemtanárok Egyletének elnökével. Engem is meglep, hogy pont a fiatal bölcsészek tolódnak egyre inkább jobbra, de rögtön beugrott két tanulmány. Jeskó József, Bakó Judit és Tóth Zoltán A radikális jobboldal webes hálózatai című írása nagyon szépen összefoglalja, miképp formálódott a radikális jobb webes jelenléte, ami kulcsfontosságú a fiatalok elérésében (érdemes elolvasni, már csak azért is, mert eddig ez az egyetlen általam is ismert hazai adatvezérelt társadalomtudományi cikk). Ugyanakkor hiányzik még annak megértése, miképp válnak radikálissá pont humán beállítottságú emberek. Itt kerül képbe a dzsihád.  Rich Nielsen a Harvard Department of Goverment PhD hallgatója azt vizsgálja miért válnak radikálissá egyes muszlim vallás- és jogtudósok (ulema). Még nem publikált, de már elérhető tanulmánya a Jihadi Radicalization of Muslim Clerics remek példa arra, hogyan alkalmazható a számítógépes nyelvészet a társadalomtudományi tartalomelemzésben. Az absztrakt remekül összefoglalja a tanulmányt (elvégre ez a dolga):

This paper explains why some Muslim clerics adopt the ideology of militant Jihad while others do not. I argue that clerics strategically adopt or reject Jihadi ideology because of career incentives generated by the structure of cleric educational networks. Well-connected clerics enjoy substantial success at pursuing comfortable careers within state-run religious institutions and they reject Jihadi ideology in exchange for continued material support from the state. Clerics with poor educational networks cannot rely on connections to advance through the state-run institutions, so many pursue careers outside of the system by appealing directly to lay audiences for support. These clerics are more likely to adopt Jihadi ideology because it helps them demonstrate to potential supporters that they have not been theologically coopted by political elites. I provide evidence of these dynamics by collecting and analyzing 29,430 fatwas, articles, and books written by 91 contemporary clerics. Using statistical natural language processing, I measure the extent to which each cleric adopts Jihadi ideology in their writing. I combine this with biographical and network information about each cleric to trace the process by which poorly-connected clerics become more likely to adopt Jihadi ideology.

A The Economist cikke röviden és érthetően összegzi Nielsen eredményeit.  A mi szempontunkból legalább annyira érdekes a kutatás módszertana.

There is no way to determine the population of Muslim clerics, so randomly sampling clerics for analysis is not a possibility. Instead, I focus the analysis on contemporary Sunni clerics writing in Arabic. In order to compare Jihadi clerics to the those that were most likely to become Jihadi but ultimately did not, I intentionally over-sample two key groups of clerics: (1) Jihad clerics and (2) conservative Salafi clerics who share similar beliefs to Jihadis but reject the ideology of militant Jihad. Practically, this means the analysis is focused on conservative clerics primarily from Saudi Arabia (58 percent) and Egypt (22 percent) who are currently living or lived in the last century. [...] To measure the ideology of these clerics, I collect their books, articles, and fatwas with special emphasis on the latter.

Nielsen célja az volt, hogy beazonosítsa a radikális és nem-radikális ulemákat elérhető szövegeik alapján. Ehhez a gépi tanulást hívta segítségül:

In principle, identifying Jihadi ideology is often as simple as distinguishing between these two texts. However, with 29,430 texts from 91 clerics, close reading of each is infeasible. Instead, I measure cleric ideology by applying supervised learning methods from the statistical machine learning literature (Hastie, Tibshirani and Friedman, 2009) to the documents. Most of the previous work on measuring the ideology of political actors has used roll-call votes to estimate actor ideal points (Poole and Rosenthal, 1985; Martin and Quinn, 2002). This is not possible for Muslim clerics (because they do not vote on a common set of proposals), so instead, I directly scale the texts to estimate cleric support for militant Jihadi ideology. My method uses two sets of training documents, one of which is assumed to be Jihadi and the other of which is assumed to be non-Jihadi. The Jihadi corpus consists of 765 texts of various genres that are available on Jihadi web forums as the “Mujahid’s bookbag” (ﺎﻫﺪĐا ﺣﻘﻴﺒﺔ).13 These documents are specifically selected by Jihadis themselves as sources of spiritual instruction and advice, as well as mixed political and religious commentary.14 By using a set of known Jihadi documents as my training data, I avoid the difficult task of deciding which texts are most authentically “Jihadi”. Instead, I let Jihadis themselves identify the texts that are most representative of Jihadi ideology.

Lehet erőltetett párhuzamot látni egy radikális ulema és egy radikális bölcsész között, de úgy gondolom érdemes lenne Nielsen vizsgálatához hasonló módon elemezni a radikális jobboldal netes szövegeit és elkezdhetnénk empirikusan közelíteni ahhoz, hogy miért és hogyan radikalizálódnak a fiatalok a bölcsészkarokon.

Bölcsészek; kulcs a sikerhez

MIközben a magyar ugaron leépítik a humán- és társadalomtudományokat, addig a világ szerencsésebb felén azt láthatjuk, hogy a siker titka pont bennük rejlik. A kontinentális Európában mindenki vakargatja a fejét, ha valaki nem tradícionális háttérrel kerül az IT világába és elterjedt tévhit hogy kell pár jó mérnök, erős sales és marketing csapat, valami kis lean startup izé és veszik majd a terméket mint a cukrot. Érdekes megfigyelni, hogy az igazán sikeres vállalkozásoknál még egy összetevő akad, ez pediglen a bölcsészek.

Kezdjük Marissa Mayer BiblioTech előadásával. Röviden, Mayer a Stanford Symbolic Systems szakán végzett, erről kerül ki a Silicon Valley újítóinak java. A szakot a filozófia tanszék(!) igazgatja, a tantervben a kognitívtudomány, a nyelvészet, a filozófia és a számítástudomány egyenlő arányban jelen az alapozás során, majd lehet szakosodni. Külön érdekesség, hogy itt született meg a HCI mint külön terület. Mayer is kiemeli, hogy különösen hasznosnak bizonyult számára, hogy alapszinten megismerkedett az empirikus adatgyűjtéssel.

Damon Horowitz a Google-nél spéci titulust visel, in-house philosopher és director of engineering egyben. Horowitz egy kiemelkedően sikeres tech karriert hagyott ott, hogy a Stanfordon filozófiából szerezzen PhD fokozatot. Horowitz útja érdekes, hallgató korában kacérkodott a filozófiával, de mivel ott nem igazán találkozhatunk, inkább a konkrét megoldást kínáló mesterséges intelligencia felé indult. Sok sikeres vállalkozás után rájött, a mesterséges intelligencia nagyon behatárolt és nem tud mindent megoldani, ezért visszatért az origóhoz. Horowtiz mára visszatért a technológiához, de úgy látja, alapvetően megváltozott a hozzáállása. Az Aardvark közösségi kereső (social search engine) megalkotását is ezen élménye ihlette.

Ma a big data korában alapvető etikai kérdések is felmerülnek. Horowitz feladata a Google-nél részben az, hogy ezekkel is foglalkozzon.TED előadása rávilágít arra, hogy nem csak az a kérdés hogy mit csinálhatunk meg, hanem hogy meg kell-e tennünk azt amit a technológia lehetővé tesz.

Hamár a big data előjött, akkor érdemes elgondolkodni azon, hogy miről is szoktak szólni ezek az adatok. Általában emberekről - felhasználó és/vagy vásárlók néven is ismertek - akik megértésére bizony régóta törekszenek azok a fránya társadalomtudósok. Vassünk egy pillantást a Microsoft Research vagy a Yahoo! Research oldalaira és vegyük észre hogy a (computational) social science, (experimental) economics témák külön projekteket és kutatócsoportokat is megérnek. A data science közösség meghatározó emberei között sok társadalomtudós akad, gondoljunk pl. Drew Conway-ra és John Miles White-ra (az O'Reilly-nél megjelent Machine Learning for Hackers és Bandit Algorithms for Website Optimization siker könyvek szerzői). Mivel általában struktúrálatlan (szöveges) adatokkal dolgoznak a szakik, megnövekedett az igény az ún. data curation iránt. Ezt általában korpusznyelvészek végzik, jó példa erre a Factual.

A Lajtától nyugatra a Stanford Symbolic Systems programja mellett nagy hangsúlyf fektet az interdiszciplinaritásra többek között a CMU (mind a language technology, mind a philosophy, mind pedig a machine learning department) és az MIT Media Lab. Európai példák is akadnak, mint az amszterdami ILLC, a Saarbrücken-i Department of Computational Linguistics and Phonetics, a leuveni mesterséges intelligencia kutatók és a University of Endinburgh-ön a School of Informatics cognitive science képzése. A "sima" bölcsészeten belül is egyre elterjedtebb a digitális bölcsészet (érdemes megnézni Ted Underwood és Scott Weingart blogjait és a THATCamp mozgalom oldalát), a társadalomtudományok körében pedig megjelent a computational social science irányzat.

Nem szabad megfeledkeznünk az adatújságírásról sem. A Guardian Data blog, a New York Times graphics department, a Prismatic és a Circa mind-mind olyan mixet alkot és teremt valami újat, ami lehetetlen lenne a diszciplináris határok átlépése nélkül. 

A humán tudományokon nevelkedett szakemberek nem törnek a mérnökök és a üzletitudományok művelőinek babérjaira. Ezzel a kis írással csupán arra próbáltam rávilágítani, hogy helyük van minden olyan csapatban ami tényleg nagyra tör. Az igazi innováció átlép a bevett határokon, ebben segíthetnek a bölcsészek. Sajnos az angolszász kultúrkörön kívül nem igazán jellemző ez az interdiszciplinaritás, hazánkban pedig különösen elterjedtt a merev, poroszos tudományfelosztás még az amúgy magát haladónak gondoló tech világban is.

Mi fán terem a számítógépes nyelvész?

Hónapok óta számítógépes nyelvész munkatársat keresünk és rájöttünk nem is olyan egyszerű megtalálni a megfelelő embert. Már maga a megnevezés is feltételezi hogy valaki két területen is otthonosan mozog, de mi árnyaltuk a jelölttel szembeni elvárásainkat. Nem fejlesztőt keresünk, hanem kutatót, aki képes aktívan részt venni munkánkban. Mi alapvetően két területet ötvözünk; a gépi tanulást és a szemantikus webet. Problémáink jellemzően olyan kérdések, melyek közgazdasági és pénzügyi elemzők fejében fogalmazódnak meg.

Technikai oldalról tehát nem klasszikus programozót keresünk, hanem inkább a manapság divatos megnevezéssel élve egy data scientist lenne az ideális jelölt. Drew Conway Venn diagramja nagyon szépen mutatja milyen háttérrel rendelkeznek az adattudósok.

Ugyanakkor kifejezetten nyelvi, nyelvészeti problémák megoldására kell fókuszálni csapatunkban. Így kívánatosnak tartjuk, hogy a nyelvészet ne legyen idegen a jelentkezőtől. Habár sokan úgy gondolják hogy "majd úgyis felszedi azt a tudást menet közben a jelölt", nem árt észben tartani hogy mennyire szerteágazó a nyelvtudomány. Ez az ábra nagyon jól szemlélteti ezt.

Feladataink jelentős részében alapvetően társadalomtudományi háttérrel rendelkező elemzők számára szállítunk adatokat, ill. megpróbáljuk az elemzéseket automatizálni. Az ideális jelentkező egy olyan ember lenne aki a data science és a nyelvészet halmazok metszetében helyezhető el. Lássuk be, ilyen emberből nem sok szaladgál a Földön. Döntenünk kellett melyik a fontosabb. Először mi is a technikai tudást helyeztük előtérbe, sajnos azonban hamar kiderült hogy 1) nehezen megy a kommunikáció az elemzők és az ilyen kutató kollégák között 2) nehezen találnak megoldási javaslatokat a felmerülő problémákra, mert idegenek számukra a felvetett kérdések. Alaposan át kellett gondolnunk prioritásainkat ezek fényében és egy nyelvész kolléga mellett tettük le a garast, de ez egy nehéz kompromisszum volt.

Remélem hamarosan hazánkban is a nyelvészeti tananyag része lesz az alapos statisztikai képzés, nem beszélve a nyelvi adatok feldolgozásának alapjairól. Ezek egyaránt fontosak a tudományos pályára készülőknek, de talán még fontosabb azok számára akik a munkaerőpiacon méretnék meg magukat. Véssük az eszünkbe, nem csak a számítógépes nyelvésznek kell programozni, ma már a tudományos munka része ez a képesség, olyan szinten mint az angol nyelv ismerete. Ha végre reagálna a hazai képzés a nemzetközi trendekre és arra a tényre, hogy a hallgatók csak piciny százaléka lesz kutató, sokkal könnyebb lett volna a dolgunk. Sőt, sokkal könnyebb lenne a hallgatók dolga is, hiszen tisztességes munkát találhatnának...

Egy másik metaforamasina

Draaisma Metaforamasina c. könyve nagyszerűen mutatja be mennyire meghatározó egy-egy metafora a tudományban. A DARPA Metaphor Program nevű kutatási programja azonban a hétköznapi nyelvben használt metaforákra összpontosít:

The Metaphor Program will exploit the fact that metaphors are pervasive in everyday talk and reveal the underlying beliefs and worldviews of members of a culture. In the first phase of the two-phase program, performers will develop automated tools and techniques for recognizing, defining and categorizing linguistic metaphors associated with target concepts and found in large amounts of native-language text. The resulting conceptual metaphors will be validated using empirical social science methods. In the second phase, the program will characterize differing cultural perspectives associated with case studies of the types of interest to the Intelligence Community. Performers will apply the methodology established in the first phase and will identify the conceptual metaphors used by the various protagonists, organizing and structuring them to reveal the contrastive stances. [forrás]

Számomra nagyon érdekes, mennyire empirikusan nyúlnak a dologhoz, magyarán empirikus tesztet végeztek egy korpusz segítségével a jelentkezők szoftvereivel. Ez 2011-ben történt és vicces volt hogy egy ilyen nemzet biztonsági program kapcsán mennyi blogposzt és tweet született. Valahogy most mindenki hallgat, lehet hogy a második fázisban az Intelligence Community első kérése volt a titoktartás...

Akármennyire menő most a sentiment analysis és mindenféle szövegelemzés, a metaforák központi szerepet játszanak a nyelvben, a program pedig erre világít rá. Vessünk egy pillantást a példa esettanulmányok elkészítéséhez ajánlott irodalom listájára. Ott virít Lakoff egyik könyve (ha nem is a legjobb) és pár tartalomelemzéssel foglalkozó politikatudományi tanulmány. Számomra ez azt jelenti, hogy ha túl akarunk lépni a most rendelkezésünkre álló korlátozott módszereken, akkor bizony vissza kell térnünk a "klasszikus" nyelvészethez. Ennek oka egyszerű, a megoldásra váró problémák fogalmi elemzését és a sikeresség kritériumait ezekből az elméletekből vezethetjük le, jó esetben még a megoldáshoz is inspirációt adnak. Szóval elkezdem olvasni Kövecses Metafora című könyvét iziben.

Digitális bölcsészet MA a Pázmányon

Az országban egyedül a PPKE BTK-n szeptemberben ismét indul MA szintű számítógépes nyelvész képzés 'digitális bölcsészet: számítógépes szakirány' néven. Az nyelvészeti órákat a PPKE BTK-n tartják , az informatikai órákat pedig a PPKE ITK-n. A szakirányfelelősök: Prószéky Gábor egy. tanár és Surányi Balázs egy. tanár okt. 16-án du. 5-6 között szaktájékoztatót tartanak.

Helyszín: PPKE BTK, Piliscsaba, Egyetem u. 1. Ambrosianum épület, 220-as terem.

További információk: http://www.btk.ppke.hu/karunkrol/intezetek-tanszekek/angol-amerikai-intezet/elmeleti-nyelveszet-tanszek/hirek/digitalis-bolcseszet-ma-4.html

Számítógépes nyelvészet 101: nyelvészet

Sorozatunkban eddig a számítógépes nyelvészet első felére helyzetük a hangsúly és áttekintettük milyen számítástudományi és matematikai előismeretekkel érdemes felvérteznünk magunkat. Most a nyelvészeten a sor, ezzel zárul is a 101, azaz a bevezetés. A következő részben már tényleg az jön amivel ez a blog is foglalkozik, a számítógépes nyelvészet.

Számítógépes nyelvészet 101: Programozás

Sorozatunk korábbi részeiben áttekintettük hogy milyen matematikai és információtechnológiai alapismeretekkel illene magunkat felvértezni. Most érkeztünk el oda, amit mindenki triviálisnak tart; egy számítógépes nyelvész programozni szokott. Ellenben itt sem olyan egyszerű a helyzet, mint látni fogjuk.

Számítógépes nyelvészet 101: Architektúra és adatbázisok

Sorozatunk előző részében rázúdítottunk az óvatlan olvasóra egy rakat matematikai könyvet. Reméljük a sokkot sikerült feldolgozni. Most a számítástudomány fránya materiális oldalára koncentrálunk, amit illik ismerni. Sokkal kevesebb, ám annál vaskosabb köteteket ajánlunk, de ezeket nem kell bebiflázni, sokkal inkább kedvünk szerint lassan olvasgassuk mind. A számítógép architektúra, hálózatok, operációs rendszerek és adatbázisok jönnek!

Könyvismertető - Widdows: Geometry and Meaning

A számítógépes nyelvészethez, miképp a matematikához, nem vezet királyi út. Persze attól hogy nincs királyi út, még nem következik hogy csak egy nem-királyi út lenne, sőt a Nirvanához hasonlatosan a számítógépes nyelvészethez is több út vezet. Ezek közül az egyik azok számára áll nyitva akik a formális gondolkodás terén rendelkeznek egy általános műveltséggel. Nos számukra a legjobb választás Dominic Widdows könyve.

• Dominic Widdows: Geometry and Meaning
• Center for the Study of Language and Information
• 320 oldal
• a kötet megvásárolható a Számítógépes nyelvészet könyvespolcon

Bábel helyett kábel - avagy pár zavaró hiba a Figyelőben

A print Figyelőben Bábel helyett kábel címmel jelent meg egy írás. Sajna kommentelni csak előfizetőknek lehet. Akinek van papír Figyelője, vagy akad hozzáférése, erről a cikkről van szó.

Chomsky, Norvig és a tudomány

Peter Norvig a Google tudományos guruja, a legszélesebb körben használt mesterséges intelligencia tankönyv szerzője, a NASA volt kutatója, a Lisp közösség csodált vezéregyénisége tegnap úgy érezte hozzá kell szólnia Chomsky megjegyzéséhez, amiről már a Chomsky és a statisztika írásunkban szóltunk. Norvig érvei súlyosak, és bevallom nem akarom mentegetni Chomsky megjegyzését - amit nem is tudok hova tenni, én sokkal inkább úgy gondolom hogy a cikk írója nem értett valamit, vagy az öreg unta már a konferenciázgatást - de úgy gondolom hogy csúsztatás figyelhető meg az érvekben.

Számoljunk magyar nyelven

Következő írásomban magyar nyelven megfogalmazott alapvető számítási műveletek felismerésére és elvégzésére fogjuk megtanítani a számítógépünket. Az összeadás, a kivonás, a szorzás műveletét lesz képes felismerni és megadni az eredményt magyar nyelven. A tanításhoz a szabályalapú megközelítést fogunk használni és a Prolog programozási nyelvet.

Útikönyvek az algoritmusok világába - ahogy megígértük

A Legyél te is számítógépes nyelvész posztban megígértük hogy megpróbálunk olyan anyagokat is ajánlani melyek segítenek belépni az algoritmusok gyönyörű világába. Azonban figyelmeztetni kell az olvasót hogy ha hátizsákos turistaként maga szervezi meg az utazást nagyon sok kellemetlenséggel találkozhat, gyakran el fog akadni és néha idegen, fura nyelven beszélő emberek jóindulatára lesz utalva, és soha nem fogja tudni hol éri az este. Ellenben rengeteg élményben lesz része, és ahogy egyre több tapasztalata halmozódik fel, egyre jobban fogja érteni magát és az őt körülvevő világot. Mielőtt azonban elindulnál győződj meg arról hogy minden benne van-e a hátizsákodban (a fent említett poszt ebben segíthet neked)!

Kalandozások a számítógépes nyelvészet területén - olvasóink élménybeszámolói

Három olvasónk vállalkozott arra hogy megosztja mindenkivel kalandozásait a számítógépes nyelvészet területén. A személyes tapasztalat reméljük segít másoknak is elindulni, végig gondolni saját hátterét és igényeit. Több út vezet a Nirvánába, ezt nem szabad elfelejteni, a beszámolók célja megmutatni milyen lehet ez az út egyes konkrét esetekben, Zoli Legyél te is számítógépes nyelvész posztja pedig jó kiindulópont ha már tisztában vagy magaddal. A levélrészleteket megszerkesztettük, az szerzőkről csak annyi információt közlünk amennyit engedélyeztek. Anna, Kátya, Bence - Köszönjük!

Legyél te is számítógépes nyelvész - tíz év alatt

Úgy néz ki hogy májusban megszaporodnak a levelek melyekben arról érdeklődnek a kedves olvasók hogy miképp is válhat valaki számítógépes nyelvésszé. Ahhoz hogy valaki szakértő legyen egy területen, kb tíz év gyakorlás és gyakorlat szükséges (l. Norvig Teach Yourself Programming esszéjét vagy Mérő László Mindenki másképp egyforma könyvét), rossz hír hogy az interdiszciplináris területeken talán több is. Jó hír viszont hogy ezt egyáltalán nem kell úgy érteni hogy ennyi időt kell az iskolapadban eltölteni (habár ha egy PhD-t bevállal valaki, akkor nyolc kellemes évet tölthet el a felsőoktatásban - talán nem véletlenül). Tovább bonyolítja a helyzetet hogy a számítógépes nyelvészet területére különböző hátterű emberek érkeznek ezért nincs egységes recept. Blogunkon megpróbálunk olyan forrásokat is bemutatni amik segíthetnek az érdeklődőknek, most ezeket szedegettem össze és megpróbáltam egy egységes keretbe foglalni hogy ki-ki megtalálja a maga forrásait útja elkezdéséhez.

Természetes nyelvi keresés 1

A keresés megszokott része digitális hétköznapjainknak; nem csak az interneten szoktunk keresni, hanem dokumentumainkban és azok között és egyre több operációs rendszer integrál egy általános keresőt ami nem csak a szöveges fájlok, hanem minden adat és program között képes keresni. A keresés általánossá vált, része az ember-gép interakciónak (HCI - human computer interaction), s habár egyre megszokottabb a kulcsszavas keresés, nem szabad elfelejtenünk hogy a begépelt kulcsszavak száma folyamatosan növekszik, miközben az információ mennyisége rohamosan gyarapodik. A megnövekedett komplexitást két oldalról "támadhatjuk", egyrészt az információ mélyebb elemzésével és strukturálásával, másrészt a felhasználó ún. naiv elméletének (a keresőmotor működésére vonatkozó félig-meddig tudatos elképzeléseinek) jobb megértésével és kiszolgálásával. A természetes nyelvi keresés ennek a kettős igénynek próbál megfelelni.

Egy értelmetlen vita margójára: avagy miért nem kell a sztochasztikus vs szabályalapú vitában résztvennünk

Az érdeklődők is tisztában vannak azzal hogy a mesterséges intelligencia és a számítógépes nyelvészet története során először a sztochasztikus módszerek tűntek befutónak, majd a logikai és szabályalapú megközelítések lett egyeduralkodók egészen a kilencvenes évekig, majd a statisztikai nyelvfeldolgozás diadalmaskodott és napjainkban is megállíthatatlanul tör előre. Még szakmai berkekben is megfigyelhető egyfajta ellentét a szabályalapú és a sztochasztikus megközelítések hívei között. Azok akik bele mennek ebbe az egymásra mutogatásba és vitába azonban joggal vádolhatók felületességgel, mivel elfelejtik hogy mindkét megközelítés egy tőről fakad, de nem ugyanarról szól! Hogy ezt megvilágítsuk segítségéül hívjuk a matematika filozófiáját, a szemantikát, a szemantikus webet és a kilencvenes évek egyik rapcore bandáját is.

Csináld magad helyesírás-ellenőrző program á la Google

Peter Norvig nagy sikerű esszéjét követve most saját helyesírás ellenőrzőt fogunk készíteni, mégpedig a Google megszokott javaslatainak mintájára. Ehhez viszont mi nem használjuk fel A magyar helyesírás szabályait, sőt semmilyen szabályt nem fogunk követni! Az adatok fognak minket vezetni utunkon. Itt nem törünk a kereskedelmi forgalomban és ingyenesen elérhető szoftverek babérjaira, csak az alapelveket szeretnénk bemutatni és egy kicsit bátorítani szeretnénk az olvasót hogy vágjon bele a programozás világába akkor is ha csak kevés előismerettel rendelkezik a területen.

Watson!

"When you have eliminated the impossible, whatever remains, however improbable, must be the truth." (Sir Arthur Conan Doyle)

Sherlock Holmes mondása különösen igaz az IBM Watson rendszerére amiről szerencsére a magyar híradásokból is tudjuk hogy legyűrte a népszerű Jeopardy vetélkedő legjobb játékosait. Érdemes megnézni magát a vetélkedőt is, legtöbb nagy videómegosztó oldalon megtalálható. Most csupán arra vállalkozunk hogy áttekintjük a Watson mögött rejlő fontosabb technológiai megoldásokat és egy kicsit értelmezzük hogy mit jelent ez a győzelem.