A következő címkéjű bejegyzések mutatása: statisztika. Összes bejegyzés megjelenítése
A következő címkéjű bejegyzések mutatása: statisztika. Összes bejegyzés megjelenítése

2013. február 18.

Könyvismertető: Részeg bolyongás

Ez a könyv remek belépő olvasmány azok számára akiket érdekel a valószínűségszámítás és a statisztika. Személetesen, kb. elemi szintű matematikai háttértudást feltételezve vezeti be az olvasót a véletlenek világába.


Mlodinow stílusa nagyon érdekes. A legtöbb ismeretterjesztő könyvvel ellentétben a Részeg bolyongás több mint egy értelmezési keret. Persze senki sem válik szakértővé elolvasása után, de az első fejezetek alkalmasak arra, hogy a fejünkbe véssük a három legalapvetőbb törvényt. A Bayes-tételt és a kombinatorikát már nem ebből fogjuk megtanulni, de nagyon szemléletes bemutatásuk ad egy amolyan intuitív érzést, ami később jól jöhet. A könyvet tkp. végigvezet minket a valószínűségszámítás történetén, de ez csak a háttér. Sok szemléletes példával mutatja be a szerző a valószínűségszámítás három alaptörvényét, Bayes tételét és ezek alkalmazását az élet legfurább területein. Pár fejezetben a statisztikát is érinti, de itt inkább csak jelezni tudja a kapcsolatot és nem mutatja be olyan szemléletesen a dolgokat, hogy meg is lehessen érteni a mögöttük rejlő gondolatot. Kifejezetten szórakoztató, hogy a szerző időről-időre emlékeztet minket arra, hogy hiába tudjuk jól a valószínűség matematikáját, Kahneman és Tversky kutatásai bebizonyították hogy mindennapi döntéseik során nem ezekre támaszkodunk.

A fordító és a lektor remek munkát végzett, pár ponton ui. érezhető hogy az eredeti mondat félreérthető, de megjegyzéseiknek hála a magyar olvasónak nem kell időt pazarolnia a helyes megfejtésre. Szintén akadt pár tárgyi tévedés a szövegben, amit lefordítottak, de zárójelben jelezték a tévedést és annak pontosítását.

A könyvet haszonnal forgathatja az, aki csak szeretne futólag megismerkedni a valószínűségszámítással. Ugyanakkor szerintem kifejezetten hasznos lehet a humán- és társadalomtudományok felől érkezők számára mint amolyan kedvcsináló is. Az öreg rókák számára a történeti kontextus és a sok alkalmazási példa miatt lehet érdekes a kötet. 

2012. június 11.

Számítógépes nyelvészet 101: Matematika

Jön a nyár és örömünkre sokan szeretnék szabadidejüket a tudománynak áldozni. Sok levelet kaptunk, mindet sajnos nem tudjuk megválaszolni, viszont észrevettük hogy öt téma köré csoportosíthatjuk olvasóink kérdéseit. Ezeket tovább is gondoltuk egy kicsit és szétnéztünk ismerőseink között kit érdemes megkérdezni a témában hogy segítsünk eligazodni a szellemi kalandoroknak. Első posztunkban a számítógépes nyelvészet tanulmányozásához szükséges matematikai ismeretekről írunk Busa István Ferenc (alias beef) quant segítségével, akinek ezúton is köszönjük a közreműködést.

2012. április 16.

Filmismertető: The Joy of Stats

Hal R. Varian is megmondta a jövő legszexibb szakmája a statisztikus. Hans Rosling a Karolinska Intézet kiválló kutatója (akit sokan csak TED előadása miatt ismernek) a BBC és az Open University felkérésére elkészített a legjobb statisztikai ismeretterjesztő filmet.  Az ismeretterjesztés nehéz dolog hiszen el kell találni az arányokat a szórakoztatás és a tudományos ismeretek bemutatása és átadása között, a film ennek eleget is tesz. Kifejezetten üdítően hat hogy akad benne gépi fordítás és sentiment elemzés is, szóval számítógépes nyelvészeknek kötelező.



2012. január 2.

Gépi fordítás -- a kétnyelvű korpusz feldolgozása 3

Miután elméletben felvázoltunk egy lehetőséget arra, hogyan lehet párhuzamos, kétnyelvű korpuszban egymásnak megfelelő nyelvi elemeket találni, ideje kipróbálni, hogyan működik az elképzelés a valóságban: egyfajta automatizált szótár-írásra szeretnénk a számítógépet rábírni.

2011. november 5.

Gépi fordítás -- a kétnyelvű korpusz feldolgozása 2

A számítógépes fordítás nagy kérdése, milyen szabályok alapján lehet átalakítani az egyik nyelven írt szöveget egy másik nyelvű szöveggé. A statisztikai alapú megközelítés ahelyett, hogy morfológiai és szintaktikai szabályok mentén dolgozná át a szöveget, a fordítás műveletére úgy tekint, mint egy fekete dobozra, amely működését meg kell jósolni. Minél jobban kiismerjük, annál jobban előrejelezhetjük, vagyis: magunk is tudunk fordításokat előállítani. A probléma az, hogy a nyelv annyira bonyolult rendszer, hogy nagyon nehéz egyértelmű, "hu=t(en)" szerű szabályokat megfogalmazni.

2011. szeptember 27.

Fordítási modell 4: A bootstrapping módszer a gyakorlatban

Ha egy kétnyelvű korpusz szavaira úgy tekintünk, mint nyers adatokra, akkor felfedezhető valamifajta rendszeresség az eloszlásukban. Ez érthető is, hiszen ugyanazt az információt tartalmazza mindkét nyelven, csupán “más a kódolás”. Az általunk feltételezett rendszeres eloszlás az a szabályrendszer, ami leírja a két nyelv egymáshoz való viszonyát, vagyis: a fordítási modell. Most megnézzük, számolhatjuk ki a fordítási modell paramétereit a szöveges adatokból.

2011. szeptember 17.

Fordítási modell 3: adatok kinyerése a kétnyelvű korpuszból

Az előzőekben már eljutottunk a gépi fordításban használt fordítási modell vázlatos ismertetéséig. Ha van egy adatbázisunk, amely tartalmazza a két nyelv szavainak egymáshoz való viszonyát és a szórend alakulását leíró szabályokat, akkor tudunk generálni “lehetséges fordításokat”. Ilyen adatbázist készen azonban nem lehet kapni sehol, úgyhogy magunknak kell létrehozni. Ebben továbbra is Kevin Knight workbook-jára támaszkodunk.

2011. augusztus 27.

Gépi fordítás – Fordítási modell 2

Előző, statisztikai alapú gépi fordítással foglalkozó posztunkban már beszéltünk a fordítási modell szerepéről. Most megmutatjuk, hogyan működik a dolog igazi számokkal és igazi szavakkal.

2011. augusztus 2.

Nyelvi modell és fordítási modell a gépi fordításban

Folytatjuk az utazást a statisztikai alapú gépi fordítás világába, útikönyvként továbbra is Kevin Knight bevezetője szolgál. Ebben a posztban a fordítási modell szerepéről lesz szó.

2011. július 25.

Nyelvi modell a gépi fordításban

A nyelvi modell fogalma kapcsán elkezdtünk betévedni a statisztikai alapú gépi fordítás sűrű sötét erdejébe. Most tovább folytatjuk a matematikai formulákkal és irdatlan méretű korpuszokkal kikövezett utat.

2011. július 20.

Nyelvi modellek 2


Előző, nyelvi modellekről szóló posztomban a helyesírás-ellenőrző, az internetes kereső és a gépi fordítás közös pontjait kezdtem el keresni, és egy python kódot is közzétettem. Most a kód kommentálása következik, és egy XVIII. századi angol matematikus is felbukkan.

2011. július 13.

Nyelvi modellezés, házilag


Ismeretes, hogy a számítógépek alapvetően még mindig nem értik az emberi nyelveket, de ezt az apró hiányosságot azzal ellensúlyozzák, hogy nagyon gyorsan tudnak számolni. A gépi fordítás, az internetes keresés vagy éppen Watson sikere bizonyítja, hogy a statisztikai alapú megközelítés járható út, nem kell mindenáron “megértetni” a géppel a szövegek jelentését. Ebben a posztban arról lesz szó, hogyan dolgozza fel a gép a szöveget, és egy házi készítésű magyar nyelvi modellt is bemutatok.

2011. május 28.

Chomsky, Norvig és a tudomány

Peter Norvig a Google tudományos guruja, a legszélesebb körben használt mesterséges intelligencia tankönyv szerzője, a NASA volt kutatója, a Lisp közösség csodált vezéregyénisége tegnap úgy érezte hozzá kell szólnia Chomsky megjegyzéséhez, amiről már a Chomsky és a statisztika írásunkban szóltunk. Norvig érvei súlyosak, és bevallom nem akarom mentegetni Chomsky megjegyzését - amit nem is tudok hova tenni, én sokkal inkább úgy gondolom hogy a cikk írója nem értett valamit, vagy az öreg unta már a konferenciázgatást - de úgy gondolom hogy csúsztatás figyelhető meg az érvekben.

2011. május 3.

Legyél te is számítógépes nyelvész - tíz év alatt

Úgy néz ki hogy májusban megszaporodnak a levelek melyekben arról érdeklődnek a kedves olvasók hogy miképp is válhat valaki számítógépes nyelvésszé. Ahhoz hogy valaki szakértő legyen egy területen, kb tíz év gyakorlás és gyakorlat szükséges (l. Norvig Teach Yourself Programming esszéjét vagy Mérő László Mindenki másképp egyforma könyvét), rossz hír hogy az interdiszciplináris területeken talán több is. Jó hír viszont hogy ezt egyáltalán nem kell úgy érteni hogy ennyi időt kell az iskolapadban eltölteni (habár ha egy PhD-t bevállal valaki, akkor nyolc kellemes évet tölthet el a felsőoktatásban - talán nem véletlenül). Tovább bonyolítja a helyzetet hogy a számítógépes nyelvészet területére különböző hátterű emberek érkeznek ezért nincs egységes recept. Blogunkon megpróbálunk olyan forrásokat is bemutatni amik segíthetnek az érdeklődőknek, most ezeket szedegettem össze és megpróbáltam egy egységes keretbe foglalni hogy ki-ki megtalálja a maga forrásait útja elkezdéséhez.


2011. május 1.

Látni a szöveget


A szöveges adatok vizualizációjáról már többször volt szó itt a blogon is (itt és itt). Kétségtelen, gyönyörű képeket lehet generálni, ám mindig felmerül a kérdés, mire jó a dolog… Zoli szerint például arra, hogy ha kellően nagy adathalmazon végzünk elemzést, akkor gyakran sokkal többet mond nekünk egy ilyen kép mint maga a leíró statisztika, jobban érthető egy történet képpel illusztrálva, mint a száraz számokkal. A legtöbb megoldás (szó-felhő, szó-fa, szavak elosztása tengelyek körül) valóban csak arra szolgál, hogy segítse az emberi elemzőt, a gépek remekül megvannak képek nélkül, nekik minél szárazabb az adathalmaz, annál jobb. Látni az adatokat azért lehet hasznos, mert “kiugranak” az olyan tulajdonságok, melyekre egyébként nem figyelnénk fel; és ha már egyszer kiugrottak, lehet rájuk olyan szabályt írni, amely segítségével a gépnek is el tudjuk magyarázni. Ha nem tudjuk, hol kezdjünk hozzá egy feladathoz, érdemes lehet minél több mindent lerajzolni, előbb-utóbb biztosan észreveszünk valamit. Valami ilyesmire van kitalálva például a Many Eyes rendszer is.

2011. március 2.

Könyvismertető: Statistical Analysis with R

Nehéz jó kezdő könyvet találni azoknak akik egyszerre szeretnének megismerkedni mind az R nyelvvel, mind a statisztikával. Sokan (köztük én is) nem tartják jó ötletnek egyszerre beleugrani a két dologba (sőt, háromba, ha programozni se tud az illető), azonban a most bemutatásra kerülő kötet nagyon közel van az ideálishoz: azok akik már programoztak valaha (tudják mi az hogy változó, miért van egy függvénynek argumentuma, mik azok a kontroll struktúrák stb) és tisztában vannak a matematikai alapjaival (kb. nyolc általános és minimális érdeklődés) haszonnal forgathatják a könyvet.


  • John M. Quick: Statistical Analysis with R
  • Packt Publishing, 2010
  • 300 oldal

2011. február 8.

Könyvismertető - The Foundations of Statistics: A Simulation-based Approach

Sokakat tántorít el a tény hogy manapság a (számítógépes) nyelvészet bizony nagyon matematizált. Ezen a tényen nem tudunk változtatni, már Eukleidész is megmondta I. Ptolemaiosznak hogy a matematikához nem vezet királyi út. Azonban nem kell félni, az alapos ismeretek a mi területünkön inkább gyakorlatiak (persze el lehet menni egészen "durva" területekre is) és gyakran köthetők alkalmazott problémákhoz. A most ismertetett kötet ebben segít, az alkalmazásra teszi a hangsúlyt és ebben segítségül hívja az R statisztikai programozási nyelvet.








2010. december 22.

Könyvismertető: Statisztika és adatelemzés kezdőknek (Head First Statistics, Head First Data Analysis, Head First SQL)

Az előző két könyvajánlók azoknak szólt akik már valamennyire járatosak a statisztika és az adatelemzés világában. Most három olyan könyvet ajánlunk ami segít elsajátítani az alapokat. Ezek "belépő" szintű könyvek, azaz átlagos középiskolai műveltséggel és jó angol nyelvtudással önállóan is feldolgozhatóak. Habár külön-külön is olvashatóak és nincs közöttük semmilyen sorrendiség, az olvasó akkor jár a legjobban ha szépen egymás után az itt bemutatott sorrendben dolgozza fel mindegyiket.



2010. december 17.

Könyvismertető: Oakes; Statistics for Corpus Linguistics

Az előző posztban bemutatott kötet szervesen kapcsolódik össze a most tárgyalt művel. Azonban előre kell bocsátanom hogy ez a kötet nem egy "bevezetés a statisztikába nyelvészeknek", hanem a statisztikai módszerek alapos és érthető bemutatása a korpusznyelvészet területén. Így elsősorban azoknak ajánlom akik már rendelkeznek a szükséges ismeretekkel megértéséhez.


  • Michael P. Oakes: Statistics for Corpus Linguistics
  • Edinburgh University Press 1998
  • 272 oldal







2010. szeptember 23.

The life of a computational linguist I - Interview with Jason Adams

This week we conducted an interview with Jason Adams, a computational linguist who is working on sentiment analysis at Systino. He holds a BS degree in Computer Science from the University of South Carolina, and an MS in Language Technologies from the Carnegie Mellon University. You can find Jason on Twitter as @ealdent. He's got a blog, The Mendicant Bug, where you can read about nlp, ruby and other stuffs.