Probabilisztikus programozás

Az utóbbi napokban a Twitter a DARPA Probabilistic Programming for Advanced Machine Learning (PPAML) Proposers' Day-től hangos. De miért? Rob Zinkov Why Probabilistic Programming Matters posztjában így válaszolja meg a kérdést

Probabilistic programming is a newer way of posing machine learning problems. As the models we want to create become more complex it will be necessary to embrace more generic tools for capturing dependencies. I wish to argue that probabilistic programming languages should be the dominant way we perform this modeling, and will demonstrate it by showing the variety of problems that can be trivially modeled with such a language.

Probabilistic programming also has the potential to give machine learning to the masses by making it very easy to specify realistic models for frequently heterogenous data. Too often, simple models are used because they are popular and implementations are freely available. By shifting focus to a language we remove these artificial constraints.

• Aki bele szeretne csapni a lecsóba, annak a Church nyelvet ajánlom (ami a Scheme család tagja). A Probabilistic Models of Cognition tutorial a mesterséges intelligencia és a kognitív tudomány területéről vett példákon keresztül vezeti be az érdeklődőket a probabilisztikus programozásba.
• Az R nyelv avatott ismerőinek ajánlom John Myles White posztját.
• Haskeller-ek a haskell.org-on mindent megtalálnak az elinduláshoz. 
• Erwig és Kollmansberger Functional Pearls-e, a Probabilistic Functional Programming, nagyon ötletes példákon keresztül illusztrája a témát és megvilágítja miért természetes választás egy funkcionális nyelv a probabilisztikus programozásra. Haskellerek előnyben!

Könyvismertető: Drew Conway & John Myles White - Machine Learning for Hackers

Andrew Ng online kurzusa nagyon népszerű volt és a "big data" őrület a gépi tanulást nagyon népszerűvé tette. Akik beharangozó posztunkon fellelkesedve (vagy más okból) feliratkoztak Ng óráira mára már bizonyára megkapták az újabb késésről szóló levelet. Az eltökélt tanulni vágyók számára ez a könyv ideális! Nyelvészeknek kifejezetten ajánlott, hiszen viszonylag sok szövegfeldolgozás van benne és az R rejtelmeibe is bevezeti az olvasót. Vigyázat! Ahogy a címe is mutatja nem kezdőknek való könyv!

• Drew Conway - John Myles White: Machine Learning for Hackers
• O'Reilly Media, 2012
• 322 oldal
• a kötet megvásárolható a Számítógépes nyelvészet könyvespolcon
• a könyvhöz kapcsolódó github repo (a könyvben nem említik, de van :D)

scikit-learn: a gépi tanulás nltk-ja

A Natural Language Processing (nltk) keretrendszer a nem csak számítógépes nyelvészt iránt érdeklődők tömegeit vezette/vezeti be a szakma rejtelmeibe, hanem már a "való világban", üzleti alkalmazásokba építve is bizonyított. A nyílt forráskódú projektekre leselkedő veszélyt - hogy nem alakul ki a lelkes önkéntesek köre - elkerülte, és az "alapító atyáknak" hála egy jó minőségű, immár több nyelvre is fordított, szabadon hozzáférhető könyv vezeti be a szakma rejtelmeibe a nagyérdeműt. A scikit-learn valami hasonlóvá próbál kinőni a gépi tanulás területén - remélem így már érthető a cím :D

Könyvismertető: Reliable Reasoning - gépi tanulás mindenkinek

Manapság a gépi tanulás (leánykori nevén statisztikai tanuláselmélet) egyre elterjedtebb, érthető hát az igény arra hogy egy minnél közérthetőbb könyv segítségével ismerkedhessen meg alapfogalmaival a nagyérdemű. Nem szabad azonban összetéveszteni a bevezetést az ismeretterjesztéssel! Tudjuk hogy a matematikához (és a formális elméletekhez) nincs királyi út, mivel azonban a gépi tanulás már rég olyan területek ajtaján kopogtat mint a társadalomtudományok és a digitális bölcsészet szükség van egy könnyen emészthető bevezető könyvre. A most bemutatásra kerülő kötet ennek teljesen meg is felel, bónuszként pedig szabadon letölthető a nyomtatás előtti nyers verziója.

• Gilbert Harman - Sanjeev Kulkarni: Reliable Reasoning: Induction and Statistical Learning Theory
• MIT Press, 2007
• 114 oldal
• ingyenes, nyers verzió ezen a linken érhető el

Szófaj-elemzés 2 – néhány újabb tapasztalat

Előző posztomban, melyben saját szófaj-egyértelműsítő programom írását kezdtem bemutatni, kiderült, hogy egy egyszerű tanuló-adatbázis és a Bayes-osztályozó algoritmus segítségével egészen tűrhető eredményeket lehet elérni. Intuitív módon belátható azonban, hogy csak ilyen módszerrel nem lehet elérni tökéletes eredményt az ige-felismerés terén, hiszen csak végződések alapján képtelenség megmondani, miért főnév az “embert”, mikor a “megvert” ige. Programom kizárólag morfológiai adatok alapján akar dönteni, azonban, sajnos, itt a kulcsfontosságú ismerni a szavak tövét is – ez már lexikai adat, amely kinyeréséhez ismerni kell (intuitív módon) a szó szemantikáját, vagy legalábbis valamilyen módon meg kell határozni, milyen szerepet tölt be a mondatban: tárgy-e vagy predikátum (szintaktikai szint). Ebből a kicsi példából is látható, hogy a természetes nyelv egy több szintű rendszer, amely szintek közt úgymond “kötelező” az átjárás az értelem megragadásához.

Tudományfilozófia, gépi tanulás és nyelvészet - egy nem is annyira különös találkozás

Előző posztomban a tudományfilozófia és a szemantikus web közös kérdéseit jártam körbe, és amellett próbáltam érvelni hogy a deduktív érvelés határait érdemes figyelembe venni. Most az induktív megközelítés problémáit próbálom meg körüljárni, és ismét a tudományfilozófiát hívom segítségül. Az ún. gépi tanulás statisztikai módszerekkel próbál meg egy adattömegben "rendet vágni" és használható tudást kinyerni. Ebben közel áll a tudományos tevékenységhez (ahol adatot gyűjtünk, leíró statisztikát készítünk és megpróbálunk összefüggéseket találni, elméleteket gyártani). Azt korábbi írásomban röviden bemutattam miképp számolta fel önmagát a klasszikus logikai megközelítésen alapuló tudományfilozófia és fordult át tudományszociológiába. Azonban a történet itt nem állt meg. A múlt század negyvenes éveiben megjelent egy irányzat ami a tudományos tevékenység igazolási kontextusa helyett a kutatási módszerek vizsgálatára helyezte a hangsúlyt, azaz az indukció problémájára.