Számítógépes nyelvészet

Adat vizualizáció processing-gel

2012-01-29T16:04:00.000+01:00

A Számítógépes Nyelvészeten korábban már szóba került a processing programozási környezet,amelyet azért terveztek, hogy egyszerűen és hatékonyan lehessenvizuális alkalmazásokat készíteni: egy java-ra épülő(pontosabban, a java alá épülő) nyelvről van szó, amely aszámos grafikus megjelenítéssel kacsolatos feladatot megkönnyíta beépített funciók segítségével.

Mint már akkor Zoli elmondta, nem egyjátékról van szó, hanem egy igen hatékony eszközről; ugyaneztBen Fry (a nyelv egyik atyja), Visualizing Data c. könyvében úgyfogalmazza meg, hogy kész eszközök helyett a processingépítőkockákat ad -- egyedi problémákhoz ugyanis szintelehetetlen előre legyártott szabványos megoldásokat kitalálni.

A processing építőkockáivalójában nem mások, mint a beépített funkciók -- valójábanmindent a Java programnyelv végez, így nem is meglepő, hogy aszintaxis megegyező; és az sem, hogy bármikor "kinyúlhatunk"a processing nyelvből a Java funkcióihoz.

Mit szeretnénk tehát? A processingkét dologban jó: a vizualizációban és az interaktivitásban;tehát -- hogy újra feltaláljuk a spanyolviaszt -- készítünk egyprimitív tag-felhőt. A megoldás annyiban nem lesz szabványos,hogy kezdetben minden tag-et azonos méretben fogunk megjeleníteni;csak utóbb, a az egér mozgatásával dönti el a felhasználó,hogy mennyire szeretné "kiugrasztani" a gyakran előfordulóelemeket. Tehát, lesz egy "áttekintő nézetünk" és egy"közelítő nézetünk".

Áttekintő nézet -- minden szó egyforma méretű

A gyakori szavakat kiemeltük

OK. A legegyszerűbb processing programkét funkcióból áll: a setup() és a draw(). Asetup() induláskor fut le egyszer, mint neve is mutatja, ittérdemes elhelyezni minden kezdetben szükséges lépést. Pl., miitt állítjuk be a rajzfelület méretét (800x600), itt töltjükbe a betűtípust és itt olvassuk be az adat.txt-ből aszavakat, amelyeket majd később ki szeretnénk írni a képernyőre.

Ezután a draw() funkció futle. Ez, mint neve is mutatja, alapvetően a megjelenítésért felel,de természetesen bármi mást is elhelyezhetünk itt. Kiemeltszerepe abban áll, hogy folyamatosan ismétlődik, vagyis miután aprogram mindent kirajzolt, azonnal újra kezdi. Hogy mire jó ez? Haúgy képzeljük el a dolgok, mint az egymást követő filmkockákat,egyből értelmet nyer a dolog: ha a két kocka közt nincs eltérés,akkor nem veszünk észre semmit. Azonban ha van, akkor mozgásbalendül a kép. Pl., ha egy kirajzolt pont koordinátáit mindenegyes funkció-híváskor megnöveljük egyel (x++;), akkor egy mozgópont lesz az eredmény. A processing környezet tehát azt akönnyedséget adja, hogy nem kell magunknak megírnunk a "filmkockákkirajzolásáért" felelős részt, elég csak a képekkelfoglalkoznunk.

Ezen a ponton érdemes megjegyezni,hogy a processing komolyan veszi a globális és lokális változókkérdését. Pl. a draw() funkción belül deklarált változókminden egyes újrahíváskor elvesznek, így ha pl. a mozgó képpontx koordinátáját az x változóban tárolnánk, aztmindenképpen globálisan (vagyis a funkción kívül) kell előszördeklarálnunk. A programunkban pl. ilyen az adat[], meret_szamlalovagy a lastMX.

Az interaktivitás beépítését aprocessing azzal támogatja, hogy nagyon egyszerűvé teszi teszi akülönböző események figyelését. Pl. minden alkalommal, amikorkattintunk, a mousePressed() funkció kerül meghívásra,majd visszatér a program oda, ahol abbahagyta a futást. Ugyanez atörténik a mouseMoved() funkció esetén is. Az egérkurzorkoordinátáit a mouseX ill. a mouseY változókbóltudhatjuk meg.

Lássuk tehát, mi történik azinteraktív szövegfelhőnk kódjában. Először deklarálunk néhányglobális változót (mivel azt szeretnénk, hogy minden funkcióelérje ezeket). Ezután elindul a setup(), ami betölti azadat.txt tartalmát (itt a szavak és a hozzájuktartozó értékek találhatók).

Végül elindul a draw(), amelyfolyamatosan ismétlődik a program leálltáig. Előszörkirajzoljuk az "irányító felületet" -- ez az a része aképernyőnek, amelyen ha megmozdítjuk az egeret, akkor változik aszavak mérete. Majd kiszámoljuk (egy gyökvonással), hogy hánysorba és hány oszlopba rendezzük az adatainkat. Ezután elindítunkegy ciklust, amely szép sorban kiírja megfelelő helyekre az adat[]tömbben tárolt szavakat. Ha a szó maximális mérete nagyobb, mintaz aktuálisan beállított szövegméret, akkor az utóbbithasználjuk. Ha az aktuális szövegméret nagyobb, akkor a szómaximális méretét használjuk.

Az utolsó két funkció az egérmozgatását és az egérkattintást figyeli. Ha megmozdítjuk azegeret ÉS a kurzor a "kezelőfelület" felett áll, akkornöveljük vagy csökkentjük a szöveg méretét (attól függően,hogy jobbra vagy balra húztuk az egeret). Ha kattintunk, akkor egyúj szöveg-elrendezést kérünk -- ezt egyszerűen úgy érjük el,hogy megkeverjük az adat[] tömböt.

Végül néhány megjegyzés:

1. A virtuális gép és a grafikusfelület sajnos lelassítja a program futását. Nagyon. Ezért azegymásba ágyazott ciklusokkal, nagy tömbökkel és mindenhasonlóval csak nagyon óvatosan szabad bánni. Szerencsére abonyolultabb grafikus műveletekhez vannak beépített funkciók.

2. A Java típusai sokkal finnyásabbak,mint mondjuk a python-éi. A float nem változik automatikusanintegerré, a string-et nem lehet csak úgy pikk-pakk karakterekkészedni, stb... A tömbök sem túl rugalmasak: deklaráláskor elkell döntenünk, milyen hosszúak legyenek, tehát nem tudjuk őketa végtelenségig bővíteni. Többdimenziós tömbök léteznek, deegy tömbnek csak egy eleme már nem lehet egy újabb tömb.Dictionary/hash típus nincsen.

4. A programok könnyen konvertálhatókjava appletté, illetve az processing.js javascript könyvtársegítségével közvetlenül böngészőből is futtathatók.

3. Az oktató anyagok és a dokumentációjók; sok kiegészítő könyvtár is készült már.

Folyt. köv.

Lapszemle - 4. hét

2012-01-27T06:29:00.000+01:00

Ezen a héten nem kényeztettük el az olvasókat, de akinek elvonási tünetei vannak az nyugodtan kövesse @sznyelveszet Twitter fiókunkat és/vagy Tumblr blogunkat. Ajánlónkba mindennek helyt adunk (a jóízlés és a szakma tág keretei között), de csak akkor ha elküldöd a szamitogepes.nyelveszet(kukac)gmail.com email címre.

Hírek a nyest.hu-ról

Azé a nyelv, aki megműveli? - zseniális hogy a 21. században még téma a nyelvművelés és érettségi tétel lehet.
Erőteljesen kriminalizálódott a romák médiaképe - erről jutott eszembe hogy milyen lenne egy sentiment analysis a magyar webre a témában, félek nem túl szép eredmények születnének
A francia újabb veresége - ami azért nem olyan rettenetes és egetrengető, ha Magyarországon magyarul beszélünk, akkor Szenegálban, szenegáliul... őőő... woloful

Háztáji

Inaktivitásom igazolására szolgál hogy a 5th European Lisp Symposium-ra készülök a Clojure&lx blogos kollégáimmal. A téma mi más lenne mint a Clojure használata a számítógépes nyelvészeti munkában. Hamarosan kész a paper és egy összefoglaló is fel fog kerülni a blogra.
Tervezett könyvismertetők: The Joy of Clojure, Programming Clojure, Breaking the Page, Taming Text, Machine Learning in Action

A hazai termésből

Kereső Világ: Search+Google+ - most nem magamat, hanem a gyakornokomat ajánlom aki a Google Search Plus-t mutatta be. Ezzel pedig ki is merítettük a hazai kínálatot :D

Más

Common Crawl Founder Gil Elbaz Speaks About New Relationship With Amazon, Semantic Web Projects Using Its Corpus, And Why Open Web Crawls Matter To Developing Big Data Expertise - jó hosszú és sokatmondó cím :D Az adathalmazok az AWS elérhetőek és ezzel tényleg lehet már mit kezdeni!
Semantic Tech the Key to Finding Meaning in the Media - mit adhat a szemantikus web a híriparnak?
Text Mining and the Digital Humanities - A WordSeer projekt bemutatása - zseniális, Aditi remek munkát végzett, nem hiába volt már vendégszerzőnk :D

Funkcionális alfabétizmus

Beginning with Clojure - Richard kezdő lépéseit írta meg a Clojure&lx blogon
Finite State Machines in core.logic - Peteris pedig a logikai programozásba nyújtott betekintést a Clojure&lx-en

Néznivaló

Shit Silicon Valley Says - nehezen indul az év, egy kicsit tessék vidámkodni ezen a videón. Én szerettem nagyon a Hipster verziót is!

Lapszemle - 3. hét

2012-01-20T10:18:00.001+01:00

A sors (és felsőoktatás útvesztőiben bóklászó tagok leterheltsége) úgy hozta hogy ismét rám került a sor a Lapszemlében :D Továbbra is lehet nekünk írni a szamitogepes.nyelveszet(kukac)gmail.com címre, lájkoljátok Facebook oldalunkat, kövessétek @sznyelveszet Twitter fiókunkat és Tumblr blogunkat is. Mivel ismét sokan érdeklődtek, újra elmondom igen lehet hozzánk csatlakozni íróként (pl. Lapszemlét írni!).

Hírek a nyest.hu-ról

Harc a rovásírásért - „Vége azoknak az időknek, amikor nemzeti jelképeinket és történelmi örökségünket a szélsőjobboldal politikai célokra kisajátíthatta magának” mi csak annyit tennénk hozzá hogy hajrá!
Hatásvadász nyelvészet - sms nyelv miegymás, érdekes dolog, a régi görög meg azon tépelődtek hogy az írás ront el minket...
Zsiványok egymást közt, nyalaviul - A tolvajnyelv – amelyet manapság egy-egy szakma szakszavainak megjelölésére használunk – valamikor tényleg a tolvajok nyelve volt.

A hazai termésből

Kereső Világ: Drago nGo, a bővüs sárkány - Zoli a Siri Androidon is elérhető testvérét mutatta be ezen a héten
Index Tech: Gyalázza a sajtó a Google újítását- a fenti posztban akadtam erre az írásra, egész jól összefoglalja a dolgot

Más

Linked Open Data: The Essentials, A Quick Start Guide for Decision makers (pdf)- egy nagyon közérthető, címével ellentétben nem csak döntéshozóknak hanem úgy általában mindenkinek szóló bevezetés a linked data világába
40 Fascinating Blogs for the Ultimate Statistics Geek - hogy ne csak minket olvass!
The Groningen Meaning Bank (GMB) - szemantikailag annotált korpusz! Végre! Kell ennél jobb hír a hétvégére? Ugye nem?!

Néznivaló

The Future of Robotics and Artificial Intelligence (Andrew Ng, Stanford University, STAN 2011)

What makes Clojure different?

2012-01-14T09:00:00.000+01:00

A friend of mine asked me why Clojure matters and what makes it special and why I think it is good for linguists. This post is the edited version of my answer to my dear friend. Since there are very good books on the market (my favourite is Clojure in Action) and the internet is full of good tutorials (4Clojure is esp. good if you like the learning by doing method) my goal is only to give you a rough picture of functional programming.

An example

We are going to solve a "toy" problem stolen from the first chapter of Peter Norvig's seminal Paradigms of Artificial Intelligence. The question is how do you extract first and last names from someone’s full name. Before you think this is too simple and it doesn't worth dealing with, consider names like Robert Downey Jr, Admiral Grace Hopper, and what about Staff Sergeant William "Wild Bill" Guarnere (a character for the Band of Brothers series). Machines should be programmed to solve these problems, and even humans could have problems with names. It took me years to figure out that Martin "Boban" Doktor (a well known Czech Olympic champion sprint canoer) is not a real doctor...

First, we need some data to test our assumptions.

The function 'def' associates the symbol 'names' with names (oh, a vector of vectors). A first name is usually just the first word in a name.

And the last name is the last word in a name.

Let's test our functions. Calling first-name and last-name on my name gives the right answers.

We stored out test data in names, and now it's time to test our functions en mass. The higher order function map helps us in doing so. Map takes a function as its first argument and applies it to every member of its second argument.

Oooops, the program is having serious problems with "titles" or prefixes. Calling last-name on names gives interesting results too. Our program is not that bad, it captures the basic logic of identifying first and last names, but affixes cause problems. The first name should be the first word in a name if it is not a prefix. Let's store the affixes in vectors.

We want to test if the first word of the full name is a member of the titles. We need a function that tests membership.

The function member is recursive. First, it test if its second argument is a sequence. The second if gives us a terminating condition, if x and the first element of the second argument are equivalent, it returns the whole second argument. Otherwise it tests the membership again on the rest of the sequence (i.e. everything but the first element of the original sequence). Now, we can redefine our first name function. If the first word of the full name is in the list of prefixes, call first-name on the rest of the full name, otherwise return the first word of the full name.

Testing our new function shows it works correctly.

We can redefine last-name similarly.

Storing names in vectors of strings is very unnatural (at least for humans, I guess machines don't care about these issues). Wouldn’t it be nicer to type names like "Zoltán Varjú" instead of ["Zoltán" "Varjú"]?

First, we need new test data, which is a vector of strings.

We want to use our first-name and last-name functions. Can we split a name into individual words? clojure.string provides us a split function (that's why we put (:use [clojure.string :as str :only [split]] :reload) into ns) which splits a string into a vector of strings at a given point. The space character delimits the parts of a name. Our source code looks like this now:

Now we can test split from clojure.string.

Let's define a split-name function just to save ourself from repetitive strain injury caused by excessive typing.

Finally, we test if our functions work on splitted names.

Notes

I have to note, you can make the code more concise and idiomatic. I hope you can see 1) how can you solve a problem with functions and by combining them 2) you have a basic idea of what is recursion 3) how can you go from a basic problem to an acceptable solution.

What makes Clojure different?

Norvig lists eight features that make Lisp different:

built-in support for lists
automatic storage management
dynamic typing
first-class functions
uniform syntax
interactive environment
extensibility
history (see Paul Graham's essays, What Made Lisp Different and The Roots of Lisp)

Clojure is a Lisp on the JVM which makes it unique. The Java Virtual Machine makes it portable, reliable and secure, but there is a new JavaScript based version called ClojureScript. Slime is an excellent development environment, leiningen makes project automation easy. Java interoperability means Clojure has got a great collection of libraries for almost everything.

However Clojure is not for complete beginners. The Clojure community is very open and supportive, but asking the right question requires some sort of maturity. As this Reddit thread explains you shouldn't be a Java expert to pick up the language, even you can learn what you have to know on the go. But you should know at least one 'conventional' language like Python before you start learning Clojure. More propaganda in our Why Clojure lx? post.

Lapszemle - 2. hét

2012-01-13T10:19:00.001+01:00

Megszüntetve megőrzött Lapszemle rovatunkat ezentúl felváltva írjuk, reméljük így sokkal színesebb hírekkel szolgálhatunk. Az én verziómban két "extra" kapott helyet; a "Háztáji" szekcióban a bloggal kapcsolatos hírek, közlemények kerülnek be kb. havi rendszerességgel, a "Funkcionálos alfabéta" szekcióban pedig saját hobbim, a funkcionális programozás hírei kerülnek terítékre, minden másban szeretném megőrizni az Enikő által bevezetett struktúrát. Aki hét közben sem akar lemaradni semmiről az lájkoljon minket a Facebookon, kövesse @sznyelveszet Twitter fiókunkat és olvassa szamitogepesnyelveszet.tumblr.com Tumblr blogunkat.

Hírek a nyest.hu-ról

A jiddis nyelv reneszánszát éli az észak-amerikai egyetemeken - egy nyelv megmentése gyakran nagy nehézségekbe ütközik, felélesztése pedig szinte lehetetlen, de az amerikai zsidó közösségek úgy látszik jó úton járnak
Moszkva: Milliós muszlim város? - Mahacskala után Moszkva - Dagesztán után Moszkva etnikai összetételét is megvizsgálta a nyest.hu
A magyar áltudomány ünnepe - Gyökök és gyökerek - a Fogarasi-Czuczor szótár és a gyökelmélet tudománytörténetileg fontos, de vannak akik nagyon nem érzik hogy eljárt felettük az idő

Háztáji

Vegyes érzelmeket váltott ki pár olvasónkból hogy elindítottuk a Számítógépes nyelvészet könyvespolcot. Nem akarunk nyerészkedni, a könyvespolcon rendes Amazon áron lehet megvásárolni az általunk ajánlott könyveket, ebből az affiliate program keretében természetesen kapunk részesedést (ha sokan vásárolnak), de ez plusz költséget nem jelent a vásárlóknak, és nem ebből akarunk meggazdagodni. Amennyiben bevétel keletkezik, a bejövő pénzből könyvet fogunk venni, aminek az eredménye egy könyvismertető lesz.
Nagyon örültem hogy elfogadták jelentkezésünket az O'Reilly blogger programra. Ennek keretében ingyen jutunk hozzá az új címekhez, cserébe viszont ki kellett tennünk az O'Reilly Blogger Review Program badge-et, sajnáljuk hogy ha ez zavar valakit, de érthető kérés a kiadótól.
A Manning-nak sem adtuk el a lelkünket. A kiadó mindenki számára nyitott programjára jelentkeztünk és a jövőben az új címeket (amennyiben érdeklődési körünkbe vágnak) be fogjuk mutatni. Bónusz hogy rajtunk keresztül 36%-os kedvezménnyel lehet megvásárolni az összes Manning kiadványt (és ezért mi semmit nem kapunk, nyugi!), akinek kell a kedvezményes kód, írjon nekünk. A User Group Program badge feltevése a blogra nem tűnik nagy árnak ezekért.

A hazai termésből

Kereső Világ: Kereső olvasók - ajánlom magamat, posztomban a könyvek szerelemeseinek és kutatás során a források kezelésében megfáradt kollégáimnak mutattam be pár hasznos alkalmazást
Kockázati tőke: Mire lehet számítani 2012-ben Magyarországon a kockázati tőke világában? - legutóbbi ajánlókban a 2012-re vonatkozó előrejelzések nemzetközi vonalát bemutató posztot linkeltük be, most itt a folytatás. De nem csak ezért érdemes olvasgatni a Kockázati tőkét, hiszen az elmúlt egy hét alatt sok érdekes új poszt jelent meg a blogon - tessék elolvasni mindet!
E-könyv olvasók: Új formátum az Amazonnál: KF8 - új, a Kindle Fire-re optimalizált formátummal jelentkezett az Amazon

Más

A Siri for other phones? Nuance brings Dragon Go to Android - aki irigykedett az iPhone S4 tulajokra a Siri miatt az most megnyugodhat
Open Science: Why Is It So Hard - a cím magáért beszél
Customer Experience v User Experience - mit tanulhat az UX a customer experience-től?

Funkcionális alfabétizmus

True Scala complexity - nagy vihar kavart ez a kis blogposzt a napokban. Annyiban biztos igaza van hogy a Scala lassan barokkosan kezeli a típusrendszerét....
Using Clojure's core.logic with custom data structures - egy remek kis tutorial ami megmutatja hogy a clojure.core nem csak játék
ClojureScriot One - egy remek projekt ami megkönnyíti a ClojureScript tanulását. Érdekes hogy a készítők szeme előtt a dizájnerek igényei is megjelentek, de számomra kérdéses hogy mennyire tudják majd felvenni ők a fonalat.

Néznivaló

The Information Diet: A Case for Conscious Consumption by Clay A. Johnson [Review]

2012-01-09T11:09:00.001+01:00

According to Johnson there is no such thing as information overload. Rather, we consume junk information produced by content farms. He proposes conscious consumption of information which is not about consuming less, but developing a balanced and healthy habit just like when you go on diet. Although, I don't agree with every word of it, I really enjoyed reading the book as it is full of stories and clear descriptions of various scientific studies.

Clay A. Johnson: The Information Diet: A Case for Conscious Consumption
O'Reilly, 2011
informationdiet.com

In the first part, Johnson gives a vivid explanation of the obesity metaphor and describes the symptoms of information obesity. The second part contains practical advises about improving data literacy and how to consume information and attention fitness in chapter 8 which is the weak point of the book. The method describe there is very similar to the Pomodoro technique, and although there are plenty of great books on how to manage your tasks and stay focused (GTD, Personal Kanban, Pomodoro) and the author mentions a lot of studies in the book somehow he forgot to search in this area. The last part is my personal favorite. If we really want to act against information obesity, changing our habits is just the first steps. Johnson calls us for some sort of activism by demanding access to government data, forming local interest groups and start discussing what we can do to change the present situation.

I'd recommend the book to anyone who's interested in media (so virtually everybody). But be warned, this book is not about the practical side of handling the problems of information, but a pamphlet and call for change.

Szeretnéd meg venni a könyvet? A Számítógépes nyelvészet könyvespolcán megteheted.

Hello nlp!

2012-01-08T16:21:00.001+01:00

This post assumes you have already installed Leiningen and you can work with your choice of programmers' editor.

Starting a new project

This command creates a new directory (hello-nlp). Navigate into that new directory and open the file project.clj. You are going to see something like this:

We are going to use the Apache Foundation's OpenNLP library with the help of Lee Hinman's Clojure library interface (and this post is based on Hinman's tutorial). Searching for “opennlp” gives various results, so we picked up the first (ending with 0.1.7). The information page contains everything you might want to know, the location of the github repo and a short code snippet for leiningen users [clojure-opennlp "0.1.7"]. Copy and paste the code into project.clj as follows:

Now your project.clj knows everything and is ready to serve you. The command

downloads dependencies (e.g. the clojure-opennlp library) and puts them into your path. Have a look at the lib library in your project library and you'll see jar files.
The core
Now navigate into the hello-nlp/src/hello_nlp/ library. You'll find a core.clj file there. Open it in your editor.

You'll see something like this:

To “enable” OpenNLP, modify the file:

You need a few additional files. Make a models directory in hello-nlp and download the pre-trained models from here (http://opennlp.sourceforge.net/models-1.5/). In this post, we are using English models, but feel free to change to another one. You need the Sentence Detector (en-sent.bin), Tokenizer (en-token.bin) and the POS Tagger (en-pos-maxent.bin).

Now, we can add user defined functions to core.clj. In the example, we made a sentence detector (get-sentences), a tokenizer (tokenize) and a POS tagger (pos-tag) based on the downloaded models.

Get your hands dirty

You can try out the newly defined function on your own sentences!

Lapszemle - 1. hét

2012-01-06T06:00:00.000+01:00

Az új évet új struktúrával köszöntjük. Ahogy azt már Zoli beharangozta, a blog ráncfelvarráson esett át, immár teljesen névvel jelennek meg írásaink és a megújult formában visszatért a sokak által hiányolt Lapszemle rovat is. Továbbra is megtalálhattok minket Twitteren @sznyelveszet néven, Tumblr blogunk is újra indul és szemezget a napi hírekből. Aki kapcsolatba szeretne lépni velünk (hírt, esemény beharangozót küldene, vagy szeretne nálunk publikálni) az a szamitogepes(pont)nyelveszet(kukac)gmail.com címen teheti ezt meg.

Hírek a nyest.hu-ról

A fehér médiaszereplők rokonszenvesebbek? - a válasz sajnos igen és elgondolkodtató hogy mi lehet a helyzet ilyen téren hazánkban...
Nem minden mongol mongol, de minden mongol mongol - nyelvtörőnek is beillő cím ami meglepően a mongol népekről szól
Az ELTE és a Szegedi a legjobb kutatóegyetemek között - a leideni egyetem rangsorán 199. ill, 210. a két magyar egyetem

A hazai termésből

Kereső Világ: Keressünk közösen! - Zoli olyan p2p keresőkről írt amik az über-privacy tudatos felhasználók igényeit is kielégítik
Kindle-varázs: 400. kötet a Tékában! - Kindle tulajok ingyen juthatnak olvasnivalóhoz a nagyszerű Kindle-varázs jóvoltából. Csak így tovább!
Kockázati tőke: Mire lehet számítani 2012-ben a kockázati tőke világában? - érdekes előrejelzés, várjuk a következő részt!

Más

Introduction to Conditional Random Fields - kell magyarázni? Egy érthető poszt egy mostanában felkapott módszerről!
Bayesian Page Rank? - érthető nyelven a PageRank-ről
Frank Quinn’s A Revolution in Mathematics? - van a matematikában forradalom?

Néznivaló

Hogyan készítsünk digitális tankönyvet?

2012-01-04T08:21:00.007+01:00

Manapság mindent digitális formátumban kapunk: a leveleinket, a számláinkat, könyveket olvashatunk e-book formájában. Miért ne készíthetnénk saját digitális (tan)könyvet is? A következőkben egy nagyon könnyen kezelhető, felhasználóbarát programon keresztül szeretném megmutatni, hogy a digitális tananyag gyártás nem olyan nagy ördöngösség!

Elsőként vegyünk egy szoftvert, melynek segítségével pusztán kreativitásra és szaktárgyi tudásra van szükségünk ahhoz, hogy könyvünket tartalommal töltsük meg.

Amennyiben egy mezei tankönyvet szeretnénk gyártani, arra kiválóan alkalmas az Office család Word tagja, illetve az Adobe Acrobat. Míg az elsővel doc típusú fájlokat hozhatunk létre és szerkeszthetünk, addig az utóbbi ugyanezt teszi a pdf típusú fájlokkal. Formázhatjuk a szövegtörzset, képeket tölthetünk fel, azonban az olvasó részéről ekkor pusztán passzív befogadás megy végbe.

A NeoBook elnevezésű program ennél jóval okosabb: oktatási anyagot, elektronikus könyvet, prezentációt, játékokat is készíthetünk vele. A legújabb verziója már magyarul is elérhető. Itt már van lehetőség interaktív elemek használatára is. Az amerikai PC Graphics & Video a következő véleményt közölte róla: „Egy jól megtervezett program, amelyik egy alacsony költséggel létrehozható, de nagyon hatékony elektronikus kiadási lehetőséget kínál a felhasználóknak professzionális szintű lehetőségekkel, elfogadható áron.”

Mit válasszunk abban az esetben, ha anyagi forrásaink szűkösek, informatikai ismereteink pedig nem haladják meg a szövegszerkesztőkben való eligazodást? Az eXe Editor (eLearning XHTML editor) egy Új-Zélandi fejlesztésű szerzői rendszer, amely laikusoknak szól. Laikus alatt olyan tanárokat (tananyagfejlesztőket, szerzőket) értünk, akik nem értenek az elektronikus tananyagok fejlesztésének technikai „hókusz-pókuszához”, nem ismerik a SCORM szabványt, viszont értenek ahhoz, hogy hogyan kell egy jól működő tananyagot összeállítani. (lsd még itt)

Az eXe Editor nyílt forráskódú, tehát ingyenesen letölthető alkalmazás (itt), mely nem bonyolultabb egy office programnál. Kezelőfelülete egyszerű, világos. Menürendszere az oldalsávban, állandóan a szerkesztő által látható helyen található.

Az eXe a tananyagszerző kezébe úgynevezett iDevice-t (Instruction Device-t – oktatási eszközöket) ad. Ezek a következők:

Oktatásszervező eszközök

Célok
Előismeret
Esettanulmány
Reflexió
Tevékenység

Tartalom

Tananyag (szöveg) – teljes funkcionalitású webes szövegszerkesztő, mely lehetőséget ad médiaelemek

Kép
LaTex képletek
Flash animáció (.swf)
Flash video (.flv)
Quick Time (.mov, .qt, .mpg, .mpeg, .mp3, .mp4)
Windows Media (.avi, .wmv, .wm, .asf, wma)
Real Media audio (.rm, .ra, .ram, .mp3) beillesztésére.

Tesztek

Feleletválasztós teszt – önellenörző
Feleletválasztós teszt (több jó válasz) – önellenörző
Igaz-Hamis kérdés – önellenörző
Szókitöltős teszt – önellenörző
SCORM teszt – számonkéréshez (van szerver-kliens kommunikáció)

Alkalmazások

Java applet – tetszőleges java applet, vagy GeoGebra alkalmazások beillesztésére
Képgaléria
Nagyító – Nagy méretű képek elemzéséhez

Kölső erőforrások

Külső weboldal
RSS
Wiki szócikk

Az eXe kimeneti formátumai

Common Cartridge
SCORM 1.2
IMS tartalomcsomag
Weboldal (.html)
Szöveges fájl (.txt)

Bármilyen témában és tantárgyhoz készíthető digitális tankönyv, csupán képzeletünk szabhat határt! Az utasításokat követve látványos interaktív segédanyag készíthető bármely ismeretanyaghoz.

Kezelőfelülete egyszerű, és érthető. Pusztán a megfelelő szövegdobozokat kell kitöltenünk. Lehetősgünk van az adott szöveg formázására, képek, videók csatolására. A program sablonjait használva bárkiből percek alatt digitális tankönyvszerkesztő válhat.

Láthatjuk, ahhoz, hogy digitális tananyagot készítsünk manapság megoldható mélyebb informatikai ismeretek nélkül is. Bátorítok tehát mindenkit, hogy vesse bele magát ebbe a fantasztikus, interaktív világba!

Így gondozd a nyelvészedet, avagy a metodológiai opportunizmus gyönyörei - 2.

2012-01-03T06:19:00.000+01:00

Az előző posztban megismerkedtünk a paradigma fogalmával és megállapítottuk hogy a nyelvészetben egyszerre van jelen több (egymásnak akár ellent is mondó) elmélet. Most áttekintjük mit mondanak nekünk a különböző tudományfejlődési modellek a "rendes tudományokról". Mindezt pedig azért hogy megnyugtassuk magunkat azzal hogy a látszólagos káosz mögött mégis csak van valami rendezettség.

Bármennyire is meglepő (vagy nem) a mai napig tartja magát a tudomány akkumulatív fejlődési modellje. Még a tudós elmék között is akad, aki úgy gondolja hogy a tudomány szépen lassan halad előre ahogy egyre több problémát oldunk meg.

Valamikor kialakul egy E1 elmélet ami jónak bizonyult bizonyos problémák megoldására, majd ehhez hozzácsapódott még több tudás valahogy ami még több kérdésre adott választ és így tovább. Habár a tudománytörténészek és -filozófusok körében már egyáltalán nem divat ez az elképzelés, úgy tűnik hogy a matematikára és a logikára azért alkalmazható.

Egy másik véglet az ún. lineáris modell. Egy adott problémakör megoldására kialakul egy E1 elmélet, ám az idők során változik hogy mit tekintünk problémának (ill. elfogadható megoldásnak) ezért az elméletek is változnak. A tudománytörténet iránt érdeklődő laikusoknak általában ez a fejlődési modell nagyon tetszik, néha azért kiegészítik egy teleologikus elemmel, ti. hogy a mai elméletek a legjobbak és valamit igazán tudnak amit a régiek nem.

A fenti két modellben közös hogy E1 és En elméletek között feltételez valamilyen szerves kapcsolatot, netán fejlődést. Ezzel ellenben a tudományos forradalmak teljesen új világokat eredményeznek.

A kuhniánusok szerint egy paradigma váltás során egyfajta Gestalt switch következik be, a tudomány bevett szótára marad, azonban minden egyes eleme új jelentést kap. Lehetséges-e - mint amolyan arany középút - hogy mégis csak van valamilyen viszony a különböző elméletek között? Másképp fogalmazva; lehetséges-e az új szótárak között fordítani?

Quine híre érme hasonlata szerint a tudomány kemény magja is a tapasztalaton alapul, csak épp ez érintkezik a legkevésbé a természettel. A tapasztalat szállítja "befelé" mindazt amit megtudunk a minket körülvevő világról. A tapasztalat tükrében változtatjuk elméleteinket, melynek központi részét képezi a matematika és a logika - ezeket az eszközöket annyira megszoktuk és olyan mértékeben hasznosnak találtuk hogy nem nagyon szeretünk rajtuk változtatni (habár elképzelhető olyan radikális fordulat hogy erre rákényszerülünk).

De mivel is jár egy ilyen változtatás. Legyen egy E1 elméletünk, ami különböző tapasztalatokból von le következtetéseket.

Egyszer csak egy megfigyelésünk rácáfol eddigi állításunkra amit Xk-val fejeztünk ki és felhasználtuk X1..Xn premisszánkban.

Mit tehetünk ilyenkor? Vegyük a legegyszerűbb esetet és csapjuk hozzá X1...Xn negációját következtetéseinkhez, nevezzük ezt E2 elméletnek. Ekkor azzal a ténnyel kell szembesülnünk hogy E1-nek és E2-nek nincs közös modellje (hisz ha lenne, akkor lenne egy olyan értékelés amiben X1...Xn egyszerre igaz és hamis) de ez egyben azzal is jár hogy E1 és E2 mondatainak jelentése (ti. igazságfeltételei) eltérőek!

Hogy tovább bonyolítsuk a helyzetet, gondoljuk végig hogy Xk hamissága miért okoz ennyi gondod, miért nem lehet helyettesíteni szimplán Xk' elemmel a sorban. A híres (hírhedt) Duhem-Quine tézis értelmében egy empirikus állítás együtt jár egy sor előfeltevéssel.

[Forrás: http://en.wikipedia.org/wiki/File:Grey_square_optical_illusion.PNG]

Meg tudja mondani a kedves olvasó hogy a fenti ábrán A-val és B-vel jelzett négyzetek azonos színűek? Ha igen akkor nagyon szerencsés mert előfeltevései nem vezették tévútra. Ha nem, akkor láthatja hogy a legegyszerűbb empirikus megfigyeléseinket mennyire meghatározzák előzetes ismereteink.

A nyelvészetben gyakran érezzük hogy más világban él egy szociolingvista és egy matematikai nyelvészettel foglalkozó szakember. A történeti nyelvész és a számítógépes nyelvésze nagyon hasonló szavakat használ, de mégis mintha valami teljesen mást jelentene minden egyes szó a szótárukban. A fentiek fényében a kérdés az hogy előfeltevéseikben van-e valami ami lehetővé teszi a fordítást szótáraik között. És ez nem csak arról szól hogy magamat igazoljam (ti. hogy a sokszínűség gyönyörködtett), hanem hogy lehetséges-e az interdiszciplinaritás. A következő posztban igenlő választ adunk ezekre az égető kérdésekre.

Gépi fordítás -- a kétnyelvű korpusz feldolgozása 3

2012-01-02T08:46:00.000+01:00

Miután elméletben felvázoltunk egy lehetőséget arra, hogyan lehet párhuzamos, kétnyelvű korpuszban egymásnak megfelelő nyelvi elemeket találni, ideje kipróbálni, hogyan működik az elképzelés a valóságban: egyfajta automatizált szótár-írásra szeretnénk a számítógépet rábírni.

Bemutattunk egy módszert, amely elméletileg képes megkeresni a kétnyelvű szövegben az egymásnak megfelelő szópárokat: a bootstrapping lényege az, hogy sokszor ismételve az algoritmust kialakul a teljes korpusz szintjén egy egyensúlyi állapot, amelyben minden szó a neki leginkább megfelelőhöz illeszkedik. Az algoritmusnak természetesen fogalma sincsen a jelentésekről, abból a naív feltételezésből indul ki, hogy ha egy szó sok angol nyelvű mondatban szerepel, akkor annak a magyar párja valószínűleg sok, azzal párhuzamos magyar mondatban is megjelenik.

A módszer viszonylag hibatűrő, mivel nem teljes bizonyosságra törekszik, csak valószínűségeket állapít meg: rossz minőségő bemeneti adat is adhat olyan eredményeket, amelyek alapján megkereshető a legkevésbbé rossz megoldás.

A nyelvi adat pedig nagyon is rossz minőségű: sok szó az egyik vagy a másik nyelvben eltűnik vagy megjelenik (segédszavak, kötőszavak, stb), sok szónak vannak szinonímái, és ugyanannak a szónak több alakja is létezik. A magyar esetében ez különösen így van, hiszen ragozó nyelvről van szó.

Ezért először is a bemenő adatokon érdemes elvégezni egy szótövezést (egy stemming-et). Érdekes megfigyelni, hogy míg enélkül egy magyar nyelvű szöveg 2-3 szor annyi szóformát tartalmaz, mint egy angol, a stemming után a szóformák száma nagyságrendileg megegyezik. Én ehhez az NLTK-ba beépített snowball stemmer-t használom (se magyarul, se angolul nem tökéletes)

A program és az eredmények előtt néhány szót kell ejteni az adatokról is: a próba a BME MOKK által létrehozott (és itt szabadon hozzáférhető: ftp://ftp.mokk.bme.hu/Hunglish2/ ) Hunglish korpusz egy kis részén történt, nevezetesen a számítógépes programok üzeneteit tartalmazó adatokkal, körülbelül 6 MB szöveggel. Ebben a szövegben nagyon gyakoriak a visszatérő szavak, így ez viszonylag hálás teszt-anyag. A programunk egy sqlite adatbázist generál, amely az egymásnak valamely mértékben megfelelő szópárokat, illetve a megfelelés valószínűségét tartalmazza (ez utóbbi a negyedik oszlopban szereplő tört).

A teljes tábla a Google Docs-on

Ezen kívül kapunk még két táblát arról is, hogy melyik szó összesen hányszor fordul elő a korpuszban -- ezek is fontos adatok:

Magyar

Angol

A táblákba kicsit belelapozva látható, hogy az eredmények messze nem tökéletesek, de valamiféle rend felfedezhető bennük. Tapasztalat, hogy egy bizonyos korpuszméret alatt teljesen használhatatlanok az eredmények; 6MB körül már kezd bizony rend mutatkozni. Kérdés, vajon tízszer ekkora korpusz mit mutatna -- sajnos, a korpuszméret szűk keresztmetszet: 6 MB bemenő adatot feldolgozni körülbelül 3 órába tellik.

Most pedig lássuk magát a programot. Ez a fő ciklus, amely a lényegi munkát végző függvényt meghívja:

Ez pedig a bootstrap() függvény, amely működését az előző posztban már bemutattuk. Gyakorlatilag az ott szereplő pszeudokód megvalósítása python nyelven.

A teljes, működő program ezen a linken tekinthető meg -- a kódot többnyire kommentáltam.

https://github.com/tempflip/bootstrap/blob/master/bootstrap.py

(működni nem fog, mert bemenetként egy másik program által generált sqlite fájlt kér -- ha valaki nagyon szeretné otthon futtatni, kérésre elküldök mindent)

Már megjegyeztük, hogy az egyik szűk keresztmetszet a futási idő; a másik a mondatok hossza. Belátható, hogy egy bizonyos mondathossz után a lehetséges permutációk száma használhatatlanul nagyra nő. Ezért nem írjuk fel az összeset, csak egy részüket -- ily módon egy mintát veszünk az összes lehetséges változat halmazából, és reménykedünk, hogy az elég reprezentatív lesz. A harmadik problémás rész a szavak egymásnak való megfeleléseit tartalmazó mátrix mérete -- ennek nagy része amúgy is nullákat tartalmaz, amit egyszerűen felesleges tárolni. Jelenleg egy elég csúnya, barkács-megoldás szerepel a kódban, ennél elegánsabb módszernek is kell léteznie.

Könyvismertető: Clojure in Action

2011-12-30T21:36:00.003+01:00

Az elmúlt pár évben egyértelműen megnőtt az érdeklődés a funkcionális programozási nyelvek iránt és ez összekapcsolódott a JVM nyelvek körüli felhajtással is. Míg a Marin Odersky vezetésével az EPFL-en kifejlesztett Scala egy alapvetően objektum orientált nyelv ami magába olvasztja a funkcionális paradigma javát, a Clojure visszatért a második legöregebb nyelv, a Lisp, által követett nem tisztán funkcionális stílushoz. Habár a Scala olyan nagy ágyúknál van használatban mint a Twitter, a Wordnik vagy az Uberblic, a FlightCaster (és Bradford Cross legendás, már megszűnt Measuring Measures blogja) és a Factual sikerei bebizonyították hogy a Clojure kifejezetten alkalmas a napjainkban meghatározó vonalat képviselő ún. research driven data startupok problémáinak megoldására. A kiadók persze próbálják meglovagolni a fokozódó érdeklődést több-kevesebb sikerrel, azonban ez nem könnyű egy JVM nyelv esetében sem. A Clojure közelébe kétféle ember kerül általában, Java vagy Lisp (vagy más funkcionális nyelv iránt érdeklődő) programozó. Vitathatatlan tény hogy a Java háttérrel rendelkezők vannak többségben, őket remekül ki is szolgálják az eddig megjelent könyvek, ellenben Rathore olyan könyvvel ajándékozta meg a közönséget amit a Lisperek is haszonnal forgathatnak.

Amit Rathore: Clojure in Action
Manning Publications, 2011
432 oldal
a kiadó oldala a könyvhöz

Nehéz belőni kik forgathatják haszonnal a könyvet. A Clojure nem kezdőknek való, a fejlesztői környezet tisztességes beállítása is kemény feladat elsőre. Továbbá általános probléma hogy a programozási könyvek előszeretettel elfeledkeznek a dolog gyakorlati oldaláról ti. a nyelv apró nüanszainak ismertetésére koncentrálnak ahelyett hogy átfogó képet adnának az adott nyelven folyó munkafolyamatnak (tesztelés, projekt automatizálás, IDE integráció stb.). Így nem elég hogy a funkcionális paradigmával és/vagy a JVM-mel kell egyszerre ismerkedni, valahogy össze kell szedegetni a morzsákat arról is hogy hogyan dolgozunk Clojure-rel (pl. az emacs, slime, leiningen hármas). Így én első sorban azoknak ajánlom a könyvet akik már valamennyire kiismerik magukat ezen a téren, ismerik valamennyire a Java-t (minimális tapasztalat elengedhetetlen, én pl. kb. értem valamennyire, de a generics és collections témáknál feladtam) van némi programozási tapasztalatuk (akár Javaban, vagy más OO nyelvben) és foglalkoztak már funkcionális programozással (a Common Lisp ismerete előny, a Scheme/Racket majdnem annyira jó, a Haskell elmegy). Továbbá kellő érdeklődés és nagy adag kitartás kell még - senki ne várja hogy hamar végez a könyvvel, vagy hogy nem kell Google-t használnia, kiegészítő információkat beszereznie. Szintén kellő elszántság szükségeltetik saját mini projektek kiötléséhez, mivel feladatok nincsenek a kötetben.

Akik erős Java háttérrel rendelkeznek, azoknak ajánlom Stuart Halloway (a nyelv atyja) Programming Clojure könyvét inkább. VanderHart és Sierra Practical Clojure kötete nagyon jó és alapos, de nem annyira mély mint a Clojure in Action (tipp; ha nagyon nem érti az olvasó Rathore-t, akkor előtanulmánynak ez a legjobb). Aki már ismeri a Clojure-t, az Fogus és Houser The Joy of Clojure-ét jobban kamatoztathatja.

Ennyi felvezetés után nézzük hogyan is épül fel a kötet. A két rész, Getting Started és Getting Real, tizenöt fejezetet tartalmaz. Az első megpróbálja a kettős eredetet körüljárni, ami nem könnyű feladat, de kb. megoldotta szerző. A második fejezet egy Clojure gyorstalpaló, nem hiszem hogy sokat mond annak aki még nem találkozott Lisp-el. A buli ezek után viszont elkezdődik. A harmadik fejezet (Building blocks of Clojure) a függvények, namespaces, scope jegyében telik, a negyedik az ún. multimethodsok világába vezet minket be (ami a polimorfizmus egyik válfaja). Az ötödik fejezet a Java interoperabilitással foglalkozik, ami a nyelv igazi előnye - minden rendes Java könyvtárat használhatunk Clojure-ben! A hatodik fejezet a konkurens programozásról szól számomra meglepően rövid, különösen annak tükrében hogy a Clojure-ben megvalósított verziót sokan dicsérik. A hetedik fejezettel zárul az első rész, nem csoda hogy ez amolyan felvezető a makrókról amik elengedhetetlenek a terület specifikus nyelvekhez.

A második részben gyakorlati és haladóbb témákkal találkozhatunk. Rögtön teszt vezérelt fejlesztéssel indít a nyolcadik fejezet, majd az SQL és noSQL adatbázisokkal való együttműködésről kapunk hasznos információkat. A tizedik fejezet a weprogramozás alapjaival, a tizenegyedik pedig a skálázhatósággal foglalkozik. Talán nem véletlen hogy az adatfeldolgozás külön fejezetbe került. Számomra meglepő hogy a tizenharmadik fejezetig nem kerülnek elő a haladóbb funkcionális fogalmak, mint a magasabb rendű és curry-zett függvények. Ezután egy kis típuselmélet következik, hiszen a Java-val ellentétben a Clojure dinamikus típusokkal dolgozik (de "bekapcsolható" a típus rendszer). Zárásképpen a makrók és a domain specifikus nyelvek kerülnek elő ismét.

A könyv nagyon informatív - néhol talán túlságosan is - de a nyelvezete néha szerintem dagályos. Amennyire örültem hogy helyet kaptak benne gyakorlati kérdések, annyira hiányoltam hogy valamennyire bemutassa a Clojure workflow-t végre valaki. Kezdő lépésnek remek, különösen azoknak akik nem Java guruk.

Kispénzű önképző a Stanfordra menne?

2011-12-28T17:26:00.003+01:00

A Stanford Engineering Everywhere program már régóta elérhetővé teszi a világ egyik legjobb (sőt, szerintem a legjobb) egyetemének kurzusait (a kínálat megtekinthető itt). Ez a rendszer nagyon hasonlít az MIT híres Open Courseware programjához, az előadások jegyzetei letölthetőek, sok esetben maguk az előadások képanyagai is felkerülnek a netre és mindenki kedvére nézegetheti azokat. Azonban a Stanford idén tovább lépett és rendezettebb formában "kínálta" gépi tanulás, mesterséges intelligencia és adatbázisok kurzusait. Nem sokára pedig még több órára járhatunk virtuálisan, készíthetünk házikat,stb. - mindezt ingyen. Ha egy kicsit a zsebünkbe nyúlunk, erről papírunk is lehet.

A kínálat

A kínálat széles, a vállalkozási ismeretektől az anatómiáig terjed, itt én vettem a bátorságot és csak azokat emelem ki amelyekről úgy gondolom hogy a blog olvasóit érdekelhetik. A teljes kínálat elérhető minden kurzus oldalán, csak le kell tekerni az oldalt!

Lean Launchpad - a blog alapján gondolom sokan kitalálták hogy nagy Lean Startup rajongó vagyok és most itt egy kurzus amit maga Steven Blank tart! Sajnos nem fér bele az időmbe hogy rendesen végigcsináljam, de ha itt is lesz lehetőség "könnyű ösvényre", mindenképpen szánok időt arra hogy feldolgozzam a témát.
Technology Entrepreneurship - Sajnos fogalmam sincs hogy hazánkban ajánlanak-e hasonló kurzusokat, viszont ez nagyon érdekel engem, hiszen a Stanford a Silicon Valley szerves része (ó, a fent említett Steven Blank Secret History poszt sorozata kötelező!)
Information Theory - kanyarodjunk vissza a szakmához! Az információelmélet a számítógépes nyelvészek számára lassan első nyelvvé válik szóval tessék szépen megtanulni! Weissman professzort, az instruktort nem ismerem ugyan, de minden ismerősöm csupa szépet és jót mondott róla szóval izgatottan várom a kurzusát.
CS 101 - bevezetés a számítástudományba, kicsit érdekes módon ugyanis elvileg minden megy majd a böngészőből, nem kell editor-ral és compiler-rel küzdeni majd. Én maradok szkeptikus, akinek bevezetés kell az mindent megtalál a MIT OCW Introduction to Computer Science and Programming kurzusában, ha még nem programoztál soha, kezd az ajánlott könyvvel, azután ess neki a videóknak és a feladatoknak!
Machine Learning - Andrew Ng munkásságának már jó ideje nagy tisztelője vagyok, a kurzus előző kiadását végig csináltam és csak ajánlani tudom mindenkinek. Januárban is indul, tessék rá feliratkozni!
Human - Computer Interaction - Prof. Klemmer instruktor igazi nagyágyú, a Stanfordon pedig baromi jó HCI arcok vannak és eszméletlen kutatásokat csinálnak. Valaki remélem feliratkozik rá és beszámol a kurzusról mert sajnos nekem nem fér bele...
Natural Language Processing - Jurafsky - Manning így együtt fogalom a szakmában! Sőt, Manning IR könyve kapcsán kétszeresen is fogalom. Nem egy könnyű bevezető kurzusnak ígérkezik a dolog, de hát ugye ez már egy ilyen terület. Remélem sokan tartanak velem és együtt kezdjük a tanulást január végén!
Game Theory - Jackson és Shoham párosa vezeti a kurzust, kettejük közül Shoham neve ismerős lehet azoknak akiket érdekel a játékelmélet talán olvasták könyveit (Multiagent Systems és Essentials of Game Theory ), Prolog könyve is sokak számára ismerős lehet (Artificial Intelligence Techniques in Prolog). Shoham nekem egyet jelent a minőséggel, a nyelvészet (és logika) egyre többször téved a játékelmélet területére, ezért a nem-számítógépes kollégáknak is ajánlom hogy "iratkozzanak be".
Design and Analysis of Algorithms I. - érdekes hogy az instruktort, Roughgarden, én sokkal inkább játékelméleti szakemberként ismerem, de hát az algoritmikus játékelmélet ugye feltételezi hogy nagy spíler az ember algoritmusok világában úgy en block. Ha valaki feliratkozik rá és végig csinálja akkor remélem be is számol nekünk majd róla!

Hogy néz ki?

Én mesterséges intelligencia (http://www.ai-class.org/) és a gépi tanulás (http://www.ml-class.org/) kurzusokat"látogattam" és a teljesen szubjektív véleményem hogy nagyon jók. Nyilván van egy kis eltérés a kurzusok menetében, de alapvetően előadásokat kell nézni, nem árt letölteni a jegyzeteket sem. Számomra a feladatok nagyon nehezek voltak, néha a hajamat téptem szó szerint. Számomra nem volt elég önmagában az előadás és a jegyzetek. Én bizony olvastam mellé rendesen! A gépi tanulás kurzus külön részt szentelt a mátrix algebrának, a mest.int. pedig a Khan Academy valószínűségszámításról és statisztikáról szóló kurzusait ajánlotta amik szintén jók, nekem ez nem volt elég. Külön gondot okozott az Octave (Matlab) is a gépi tanulás esetében. A vége az lett a dolognak hogy az AI class-hoz a klasszikus Russel-Norvig Artificial Intelligence: A Modern Approach könyvet bújtam, az ML class esetében pedig több könyvet használtam (Mitchell Machine Learning, Hastie at al Elements of Statistical Learning, Alpaydin Introduction to Machine Learning, ill. Schmidt Hansen GNU Octave Beginner's Guide).

Az ML class összeszedett nagyon, viszont nagyon sűrű az anyaga. Nagyon hasznosnak találtam hogy az előadások letölthetőek, így utazás közben a telefonomon is "beülhettem" egy órára. Habár végül jól sült el a dolog, most így visszagondolva azt mondom hogy csak olyan vágjon bele akinek több tapasztalata van az alkalmazott matematika területén. Nem árt ha a hátralévő bő egy hónapban egy kis Octave önképzést is bevállal akit komolyan érdekel a kurzus.

Az AI class sokkal inkább bejött nekem, talán azért mert Norvig munkásságát nagyon tisztelem, könyveit pedig féltve őrzöm a polcom kiemelt helyén (a PAIP személyes kedvencem). Nem mondanám hogy könnyebb mint az ML class, mert a feladatok bizony kemények, de valahogy nem kellett annyi energiát fektetnem bele.

Akik bármilyen okokból nem tudja bevállalni hogy házikat készítsen, az választhat könnyebb utat is. Ún. "light track" keretében is hallgathatóak a kurzusok, ez kb abból áll hogy az előadásokhoz kapcsolódó feleletválasztós tesztet kell csupán kitölteni (akár többször is, a legmagasabb pontszám számít a végeredménybe!).

Pro és kontra

A Stanford kezdeményezését nagyon jónak tartom. Vannak akiknek kell a formális keret, szeretnek visszajelzést kapni arról amit csinálnak (ha csak egy százalékos eredmény formájában is). Sajnos azonban még egy világhírű és gazdag egyetem forrásai is végesek és nem tudnak mindenkinek megfelelő tárgyakat ajánlani. Én szeretem a "hagyományos" OCW stílusú kurzusokat is, habár ezek sokkal több odafigyelést igényelnek (határidők, feladatok stb nélkül hajlamos az ember mindenbe csak belekezdeni aztán félbehagyni az egészet), de egy kis gyakorlással bele lehet jönni ebbe is.

Ami hiányzik ezekből a kurzusokból az az interakció. Sok helyen alakultak tanulócsoportok és remélem itthon is akadtak akik együtt tanultak hiszen ez az egyik legfontosabb (és legjobb) eleme az anyag feldolgozásának. A reddit-en és egyéb fórumokon is aktív online élet folyt az órák után, az AI class "fogadóóraái" pedig a youtube-ra is felkerültek. Minden "alternatív" módszer hátránya az hogy korlátozza a személyes diák-diák, tanár-diák interakciót és sajnos nem minden esetben érhető el könnyen és olcsón háttéranyag ha további információra van szükségünk (pl. az én kis városom könyvtárában bizony ilyen szakirodalmat nem tartanak...). Ha az ember ezekkel a korlátokkal együtt tud élni és/vagy megtalálja a maga útját hogy kompenzálja őket valahogy, akkor (időben és anyagiakban egyaránt) megéri a befektetést egy online Stanford kurzus.

Python: adattípusok és algoritmusok

2011-12-27T16:27:00.007+01:00

Az írás könyvismertető és bemutató egyszerre. Egy könyv, ami ezt a folyamatot segítheti, illetve példa, amit felhasználunk is ebből a könyvből származik. Egy ideje keresek egy olyan könyvet, ami az alapokat könnyedén és célzatosan rendbe rakja a fejembe. Ezt a könyvet fogom ajánlani és egy fejezetét példának kiemelni.

Objektumok, adattípusok és algoritmusok. Ezekkel fogalmakkal kezdődik a programozás alapjainak elsajátítása. A könyv kettőre törekszik. Az objektumok alapvető ismeretét feltételezi. Nem tervezési mintákat, hanem csak létrehozásuknak a képességét. A másik kettő, az adattípusok és az algoritmusok a fő feladat, aminek elsajátítására kísérletet teszünk. Ebben segít a számunkra Data Structures and Algorithms Using Python.

Elvárások az olvasóval szemben

Az könyv elvárásai a könyv olvasóival szemben egy rövid lista. Ez pedig az alap Python ismeretként definiálhatjuk. A könyv olvasója legyen képes függvényeket és osztályokat definiálni és a programját lefuttatni. Ha ezekkel az alapvető ismeretekkel rendelkezünk a Python programozási nyelven, akkor nem fog komolyabb problémát okozni a könyv a számunkra.

A könyv

A bevezetőben emlegetett könyv a Data Structures and Algorithms Using Python. A könyvet azzal a céllal írták, hogy bevezető könyv legyen informatikus hallgatók számára. A programozási nyelvet, a Python is ezzel a céllal választották. Igaz, hogy például C-ben sokkal nagyobb lehetőségünk van a hibák megoldására hiszen alacsonyabb szintű programozási nyelv, amelyben akár Assembly-be is lenyúlhatunk a probléma megoldásán töprengve. (Míg Pythonban a C-hez nyúlhatunk a probléma megoldása során. A C-ből pedig persze megint lenyúlhatunk az Assemblyhez, de ez a többszörös áttétel, ha szükségünk van rá: erősen utal arra, hogy C-ben kellene kezdenünk.)

A könyv alap felvetése az, hogy elsőre ne nehezítse meg az életünket a szintaxis. Először koncentráljuk arra, ami lényeges, az elsajátítandó fogalmakra és azok felhasználására. Ha erre törekszünk, akkor később könnyebben fogunk eligazodni más programozási nyelvek során is. Szabadon válogathatunk érdeklődésünk és az aktuális feladat során. Egy új programozási nyelv elsajátítása nem fog komolyabb problémát és nehézséget okozni.

A könyv nagyon érthető és könnyedén követhető. Az adattípusokat sem mint egy elképzelhetetlen absztrakciót mutatja be, hanem egy olyan folyamatra vezeti át, amely az olvasó feltételezett ismertségi szintje. Az adattípusok nem egyebek, mint speciálisan definiált osztályok. Csupán abban különböznek, hogy egy-két beépített függvényt is fel kell használnunk a definiálásuk során.

A probléma vázolása

A probléma a következő. Egy programot kell írnunk, amelynek a célja a bevásárlólistánk tárolása. A tárolása és lehívása, hogy el ne feledjük, hogy mit kell vásárolnunk. A probléma megoldható az alapvető, beépített adattípusok felhasználásával, de ha szűkítjük és pontosítjuk a problémát, akkor a megoldásunk is sokkal konkrétabb és specializáltabb lesz.

A bevásárló lista létrehozása

Mire lesz szükségünk egy bevásárló lista létrehozásakor?

Először is létre kell tudnunk hozni, többször is példányosítani
Meg kell tudnunk mondani a hosszát (length)
Meg kell tudnunk mondani, hogy tartalmazza-e az elemet (contains)
Tudnunk kell hozzáadni (add)
Törölni (remove)
Illetve képesnek kell lennünk rajta iterálni, végigmenni (iterate)

De ehhez miért is kell új adattípus?

Ezekre képes a beépített List adattípus. Hozzá tudunk adni (append), tudunk törölni is (remove), meg tudjuk határozni a hosszát is (lenght), végig tudunk menni az elemeken és még azt is tudjuk ellenőrizni, hogy tartalmazza-e az új hozzáadandó elemet. Akkor miért is szükséges ez az egész? Többet szeretnénk kódolni?

Fókuszálhatunk arra, ami a konkrét feladat. A programunk csak arra lesz képes, amire tervezzük.
Csökkenti a hibák számát. Ez összefügg azzal, hogy csak arra lesz képes a programunk, amit mi magunk terveztünk.
Jobb összehangoltságot biztos, mivel az interfészeket, a kommunikációs pontokat mi állítjuk be
Illetve, ez az utolsó pont már a tervezési mintáknál lesz nagy előnyünk: ami változik, rejtsd el, illetve delegálás. A dolog igazi érdekessége, hogy azáltal, hogy a programunk egy saját adattípussal dolgozik, így bármikor módosítható és akár teljes egészében kicserélhető. Ki tudjuk cserélni az egész adattípust egy okosabb, több funkcióval rendelkező adattípusra és a programunk ugyan úgy jól fog működni, ha ügyelünk az interfészekre, a kommunikációs pontok megtartására.

Bevárásló lista megvalósítása

Bővebben az iterátorról

A példa igazi érdekessége ez, az iterátor megvalósítása. Az iterátort is delegáltuk, kívül valósítottuk meg egy másik objektumban. Ezzel ez is könnyedén módosíthatóvá vált, ha később módosítanunk kell rajta. De nem is ez a valódi érdekessége és különlegessége, hanem az a képesség, hogy most már bármikor és bárhol létrehozhatunk olyan objektumokat, amelynek az elemein nyugodtan végig mehetünk. - Belelátunk a Python szívébe, ha tudjuk, hogy a rengetegszer használt for-ciklus semmi egyéb, mint egy speciális formát öltő függvény. Ami megkapja az objektumot és a kapott objektumnak hívja meg folyamatosan a __next__() függvényét, amíg el nem érkezik a StopIteration hibához.

Összegzés

Ebben az írásban arra törekedtem, hogy egy könyv ajánlásával és a könyv egy fejezetének felületes bemutatásával kedvet hozzak a könyv elolvasásához. A kedvhez és az időbefektetéshez, amely a későbbiekben erősen és többszörösen meg fog térülni a számunkra.

Más! - a változás szele

2011-12-23T11:54:00.002+01:00

Lassan két éve hogy elindult a blog, ha minden igaz ez a bejegyzés a 244. a sorban. Anno más néven egy többé-kevésbé személyes blog indult, ami egyre szakmaibb irányt vette, majd a szerzőgárda bővülése és a vendégposztok végleg eltérítették az eredeti iránytól - amit én egyáltalán nem bánok. Ezt azonban nem követte a blog arculata, részben lustaságból, részben időhiány következtében. Most itt az idő valami másra, a változásra. Röviden: a személyes vonal helyett a közösségi oldalt fogja a blog megjelenése tükrözni, a szakmaibb írások több teret kapnak szemben az ismeretterjesztőkkel és ha a csillagok is úgy akarják elindítunk egy saját kis projektet.

Személyes blogból szakmai, közösségi blog

Soha nem gondoltam hogy bárki csatlakozna hozzám amikor elindult a blog. Végül azért kértem mások segítségét mert sokan jelezték hogy csatlakoznának. Érdekes hogy végül ők nem csatlakoztak... Szerencsére Dávid reagált a felhívásomra és onnét nem volt megállás, mára már öten vagyunk. Viszont a blog külalakja nem követte azt hogy egyre többen lettünk. Most ezen fogunk (pontosabban Dávid fog) változtatni. Az írásokat mostantól teljes névvel közöljük, jelezvén ezzel is hogy változik a tartalom is.

Tematikus káosz

A blog nyilván nem a leglátogatottabb portál, még magyar viszonylatban is kifejezetten szerény olvasótáborral bír, de talán egy szakmai oldal esetében ez nem olyan nagy gond. Nagyon sokat köszönhetünk a Nyelv és Tudománynak, reméljük a jövőben is érdemesnek tartják majd egy-egy posztunkat arra hogy átvegyék. Mivel ők nagyon jól végzik a dolgukat, úgy döntöttünk hogy jobban kihangsúlyozzuk a szakma technikai oldalát. Ez nem jelenti azt hogy a ne engednénk teret ismeretterjesztő írásoknak, de ezek kevesebb hangsúlyt fognak kapni.

A szakmai/technikai posztokat megpróbáljuk egy vonalra felfűzni, de erről majd később a projekt beharangozóban. Egy jelentős változás hogy sikerült bekerülnünk pár nagy kiadó (Manning, O'Reilly) blogger programjába melynek keretében jobbnál jobb könyvekhez férhetünk hozzá már a megjelenés előtt. Külön figyelmet fogunk fordítani arra hogy rendszeresen bemutassuk ezeket a köteteket olvasóinknak.

Hamarosan visszatér a sokak által hiányolt Lapszemle rovat is - kicsit megváltozott formában.

Ne csak írd, csináld is!

Párszor már próbálkoztunk azzal hogy elindítsunk egy projektet, de valahogy nem jött össze. Most nagyon úgy tűnik hogy meg van végre az elhatározás. Dióhéjban; az NLTK-ra alapozva szeretnénk elérni valamit ami magyar korpuszon történik. Amint tisztáztuk a részleteket írunk egy kis beharangozót! A projekt kapcsán reményeink szerint rendszeresen fogunk írni egy-egy technikai kérdésről is, a technikai vonalnak tehát ez lesz a fő rendező elve.

Saját mellék projektem a Clojure & lx, ami a Clojure nyelv számítógépes nyelvészetei alkalmazását boncolgatja. Erről bővebb információt a projekt blogon találhat az érdeklődő olvasó. A későbbiekben rendszeresen be fogok számolni a projektről a Számítógépes nyelvészeten is.

Jövőre

A fenti változásokat lassan indítjuk el a következő évben. Minden visszajelzést szívesen fogadunk. Aki kedvet érez csatlakozni, az jelentkezzen a szamitogepes.nyelveszet(kukac)gmail.com email címen.

Könyvismertető: Linux 101 hacks

2011-12-21T14:09:00.005+01:00

Létezik egy mondás, aminek szerzőjét nehéz lenne a világban fellelni. A mondás úgy szól, hogy ha „a programod 90%-át nem tudod lefedni az alap, beépített unix/dos programokkal, akkor az absztrakciós szinten valamit elrontottál”. - Ebből a perspektívából tekintjük át a 101 linux trükk című könyvet.

A mondás a programozás azon tulajdonságára világít rá, hogy rengeteg ismétlődő feladat áll előttünk, amelynek többsége megoldható akár csak úgy, hogy a beépített programokat összekapcsoljuk. De ehhez ismernünk kell a beépített programok egész tárházát. Ebben fog segíteni számunkra a linux 101 hacks, ami segít feleleveníteni vagy megmutatni egy-két új parancsot.

A linux 101 hacks könyv tippeket és trükköket tartalmaz. Például ilyen, hogy hogyan lehet egy Change Directory (cd) parancsnak külön globális névteret létrehozni, hogy megkönnyítsük a mozgásunkat a könyvtárak között.

A Grep keresőről is találunk egy rövidebb fejezetet, amelyben az alapvető keresésekre is láthatunk példát. A rekurzív keresésről és a reguláris kifejezések használatáról.

Végül a bash szkriptekhez is kapunk egy kis segítséget. Alapvető eljárás, ciklusok és feltételvizsgálatok. Csak annyit tartalmaz, ami egy gyors, procedurális bash-script megírásához elengedhetetlen. - Ha már négy-öt olyan beépített programot ismerünk, amellyel meg tudjuk oldani az adott problémát, akkor a könyvben bemutatott alap bash ismeret bőven elegendő, hogy ezeket könnyedén és gyorsan összekapcsolhassuk.

A könyv ingyenesen hozzáférhető bárki számára a következő webcímről, ahol a szerző további művei is elérhetőek. (Bár utóbbiak nem ingyenesen.) http://linux.101hacks.com/toc/

Továbbá szeretném mindenkinek előszeretettel ajánlani a http://commandline.blog.hu/ . Ez a blog már több mint két éve üzemel és nagyon hasznos tippeket, trükköket olvashatunk, amelyek segíthetnek mindennapi munkánk során.

Konstrukciós nyelvtanok

2011-12-15T20:56:00.007+01:00

A konstrukciós nyelvelmélet egy új elméleti nyelvészeti irányzat. Újdonság a hagyományos nyelvelméletekhez képest, de újdonság a modern nyelvészetben tekintett hagyományos transzformációs generatív nyelvtanokhoz képest is. A konstrukciós nyelvelmélet és az elméletben megfogalmazott nyelvtanok a nyelv rétegződésének megfelelően, annak minden szintjén hozott már újat a számunkra. Újat a probléma megfogalmazásában, újat a probléma megoldásában. - Szemléletében pedig olyan irányzatoknak volt úttöröje, mint az Általánosított Frázisstruktúra-nyelvtan (GPSG) vagy az erre épülő Fejközpontú frázisstruktúra-nyelvtan (HPSG).

Az előző írásban felelevenítettük a nyelvelméletekkel kapcsolatos helytállósági, adekvátsági kritériumokat. A felelevenített hármas alapján, a megfigyelés, a leírás és a magyarázat szintjét ismét felhasználjuk a már ott jelzett indokkal, hogy megismerhessük és körbejárhassuk, felszínre hozzuk hogy a konstrukciós nyelvelméletek miben hoztak újat a számunkra.
A konstrukciós nyelvtanok alapjai

Egy pillanatra itt meg kell állnunk, mielőtt belemélyedhetünk a konstrukciós nyelvelmélet válaszaiba. A megállást arra fogjuk felhasználni, hogy egy-két fontos tételt kiemeljünk, fogalmat bemutassunk, amelyekre a későbbiek építkezhetünk.

Az első és legfontosabb észrevétel, hogy a konstrukciós nyelvtanok nem külön-külön írják le a szintaxist és a szemantikát. Egy konstrukciós nyelvtanban a szintaktikai és a szemantikai leírás összekapcsolódik. A kettőt együtt feleltethetjük meg egy-egy konstrukciónak.
Már elsőre látszik ebből, hogy olyan konvertálásokra a konstrukciós nyelvtanokban nincs szükségünk, mint például a kategóriális-nyelvtanok felhasználás, hogy leképezzük a frázisstruktúra-szabályokat a típusos logikára.

A másik fontos különbség, ami még ide az elejére kívánkozik, az a mondatelemzés és -előállítást érinti. A transzformációs generatív grammatikában a mondatokat generáljuk. Egy terminális szimbólumból jutunk el a nemterminális szimbólumokig, a mondat felszíni szerkezetéig. Az eljárás megfordítása pedig az elemzés módszertanát mutatja be.

A konstrukciós nyelvtanokban az előállítás és elemzés folyamata közelebb áll az alakfelismeréshez (Kálmán 2001:17). - Ezt informatikai szempontból talán úgy fogalmazhatjuk meg a legkönnyebben, hogy ez a nézet reguláris kifejezésekhez, a minta-illesztő eljárásnak felel meg. Előre definiált mintázatokat próbálunk illeszteni adott megnyilatkozásokra.

A megfigyelés szintje

Az előző bekezdésben már megpendítettük ezt a témát. A konstrukciós nyelvtanokban a megfigyelés szintjén nem arról a képességünkről adunk számot, hogy az beszélők hogyan képesek egy elhangzó szövegről eldönteni, hogy azok jólformált grammatikus mondatok-e. A konstrukciókban a nyelvtan a megfigyelés szintjén arról árulkodik, hogy „hangzó nyelvi formához jelentést és jelentéshez hangzó nyelvi formát tudunk társítani” (Kálmán 2001: 17). Ez az újítás implicit tartalmazza azt is, hogy lesznek olyan hangzó nyelvi adatok, amikkel nem tud egy beszédközösség tagja mit kezdeni. Nem tud hozzá jelentést társítani. De azt is magában foglalja, hogy azok a hangzó nyelvi adatok sem esnek ki a konstrukciós nyelvtanok elemzéséből, amelyeket csak véletlenül produkálunk.

A két példa, a két kiterjesztés előrevetíti, hogy nagyobb mintahalmazzal képes dolgozni a konstrukciós nyelvtan, hiszen olyan nyelvi adatokhoz is tud információs értéket társítani, amelyek agrammatikusak, de a beszédközösség tagjai megértenek és használnak. - A generatív grammatika „csupán” annyit állapít meg az ilyen esetekről, hogy agrammatikus formának minősülnek.

A megfigyelés szintjén kiterjesztéssel és egy új hozzáállással találkozunk. Az új hozzáállással kapcsolatban a mintázatok, a konstrukciók felismerése és előállítását emelhetjük ki. A kiterjesztésnek pedig azt, hogy nagyobb adatmennyiség az, amiről állítást tehetünk a konstrukciós keretben.

Leírás szintje

Vegyük a mondatelemzéseket! Milyen tulajdonságú egy tipikus generatív nyelvészeti mondatelemzés? Ha a fa szerkezetek felrémlenek előttünk, ne is menjünk tovább. A mondatelemzési eljárás tipikusan és kizárólagosan hierarchikus felépítésűek (Kálmán 2001: 16). Egy terminális szimbólumból vezetjük le a mondatok felszíni szerkezetét. Egy S, vagy az É.Kiss-féle modellben Cp a főkategória, aminek minden további terminális szimbólum alá van rendelve. Ez a szabályok, az újraírószabályokban is tetten érhető. Egy „Cp-t írj újra úgy, mint egy V' VP” [ejtsd 'v-vonás VP'].

Ez a vonás, a hierarchikus felépítés és ennek észrevétele nem új keletű. Történetileg a generatív nyelvelmélet a formális nyelvek elméletből érkezett, lett meghonosítva a nyelvészetben és hatott később vissza a formális nyelvek elméletére (l. már nincs olyan formális nyelvekkel foglalkozó szakkönyv, amelynek az utolsó egynéhány fejezetében fel nem ütné a fejét az NP-szerkezet tárgyalása).

Ezzel ellentétesen a konstrukciós nyelvtanok szakítanak ezzel a hagyománnyal. A konstrukciós nyelvtanban nem újraírószabályokkal írjuk le a nyelveket, hanem a már említett mintázatokkal dolgozunk. A minta-illesztő eljárás sokkal több szabályt (konstrukciót) követel meg, mint egy generáló szabályalapú nyelvtan. Az általánosabb mintákból haladunk a speciálisabb minták felé a leírás szintjén, de az elemzés során, ha egy megnyilatkozásra két minta is illeszthető, akkor a speciálisabb leírást kell alapul vennünk (Kálmán 2001: 87-89). - Ha az illesztés sikerrel jár, akkor pedig nem csak a megnyilatkozás szerkezeti leírását, hanem a szerkezeti leírással együtt a szemantikai leírását is megkapjuk.

(A hierarchikus felépítésről valójában a konstrukciós nyelvtanok sem mondanak le. Csupán a hierarchiát nem a szabályokban, hanem a mintázatoknál követelik meg. Egy általánosabb minta hierarchikusan a speciálisabb minta szülőjeként is értelmezhető.)

Magyarázat szintje

A nyelvelsajátítással kapcsolatban régebben is nagyobb viták alakultak ki, amelyek a mai napig sem értek nyugvó pontra. A vita fonalának felvételéhez vegyük azt az állítást, hogy a „nyelvhasználók képesek olyan mondatokat megérteni és produkálni, amelyeket még sohasem hallottak azelőtt”. Ez a képességünk, hogy valóban, olyan mondatok állítunk elő nap-nap után, amelyeket még sohasem hallottunk.

Ezt az állítást használhatjuk fel a generatív grammatika tételének bizonyításához, hogy a nyelvek grammatikája valójában egy generáló szerkezet, egy generáló gép. Ez az automata a nyelv szabályait felhasználva képes azelőtt nem létező mondatok előállítására és felismerésére.
Az állítást ne engedjük még el. Az állítás másik értelmezése is lehetséges. Erre hívja fel a figyelmünket a konstrukciós nyelvtanok. Bár valóban új megnyilatkozásokról beszélhetünk, ez az újdonság mégsem feltétlenül jelenti a teremtést, az alkotást abban az értelmben, ahogy fent használjuk, hogy egy új megnyilatkozást alkotunk. Ez az alkotási folyamat inkább közelít ahhoz a gondolkodási módhoz, amit minta-követő gondolkodásnak nevezhetünk. Nem a szabályszerűségeket ismeri fel a nyelvelsajátító és végképp nem a törvényszerűségeket a nyelvben, hanem „csak” arról van szó, hogy egy konstrukciót használ fel újra, tölt fel újra, mintázatukban nagyon hasonló megnyilatkozásokat produkálunk ilyenkor.

A „Nézd, itt egy tehén” mondatot lehet, hogy még soha életemben nem hallottam, de mégis, a „Nézd, itt egy ...” konstrukciós felismerem benne. Meg tudom állapítani róla, hogy egy rámutatásról van szó. A tárgya az, amire szeretné a beszélő felhívni a figyelmemet. - Ebben az esetben, ha én olyan környezetben élek, ahol nem gyakoriak a tehenek, mint például Máltán, akkor ez a mondat számomra teljesen új lehet, mert ritka, hogy a környezetben egy tehén jelenjen meg, amire ezzel a felkiáltással rá lehet mutatni. A konstrukciót, mintázatot ismerem azzal a tárggyal, hogy „Nézd, itt egy ló” vagy a „Nézd, itt egy kecske”, sőt, képes vagyok megkülönböztetni ezt a konstrukciót a „Nézd, itt a Jani” felkiáltástól, ami azt a plusz jelentést is hordozza a számomra, hogy egy olyan Janiról beszélünk, amely mind a beszélőnek, mind a hallgatónak közös ismerőse, mindketten ismerik. (Pontosítva csak azt feltételezhetjük, hogy a beszélő feltételezi, hogy hallgató is tudja, hogy ki az „a Jani”).

Ebben az esetben mégsem állíthatjuk azt, hogy egy olyan mondatot vagyok képes felismerni és értelmezni, amit soha nem hallottam. A kokrét megnyilatkozás új lehet a számomra, de ahhoz kísértetiesen hasonló mintázatok százai már a rendelkezésemre állnak.

Kompetencia – Performancia / Adatbázis – Esetalapú okoskodás

Ezt a nyelvelsajátítás területén megfogalmazhatjuk precízebben is. Míg a generatív grammatikában kompetenciáról és performanciáról szoktunk beszélni, tehát a nyelvnek a tudását és a nyelvtudásunk használatát; addig a konstrukciós nyelvelméletben a fogalompárnak az adatbázist és az esetalapú okoskodást feleltethetjük meg (Kálmán 2001: 20-21).

Az adatbázisunkba (kompetencia párja) olyan információk kerülnek tárolásra, mint az eset, amikor használjuk, ez tágabban a szituációnak felel meg. A döntés, hogy milyen konstrukciót használtunk vagy használnak mások. Végül az indoklás, hogy például megértette e a beszédpartner a mondanivalónkat.

Az esetalapú okoskodás (kompetencia párja) pedig az adatbázisunk felhasználásának módja. Ez a számítógépes nyelvészetben már ismerősebben cseng. Ilyen például, hogy az adatbázis bejegyzéseihez milyen valószínűséget rendelünk, rendelhetünk. Az aktuális szituáció mennyire hasonlít egy régebbi szituációra, mennyiben különbözik attól. A különbség megragadásának milyen módja áll a rendelkezésünk?

(Mielőtt félreérthetővé válna, az adatbázis itt inkább kognitív metafora. Formája hasonlíthat az adatbázisokra, de valójában senki nem állítja azt, hogy az emberi elme egy gép lenne, amelyben valódi adatbázis működik.)

Összefoglaló

Ebben a írásban áttekintettük a konstrukciós nyelvelméletek alapvető különbségeit, újításait. Megnéztük, hogy milyen válaszokat kínálnak a megfigyelés, a leírás és a magyarázat szintjén. Közben láthattunk egy példát és talán el is gondolkodtunk rajta, hogy ezt az új szemlélet hogyan és miként illeszthetjük be és alkalmazhatjuk a saját munkánk, a saját nyelvleírási gyakorlatunk során.

Kálmán, László 2001: Konstrukciós nyelvtan, Tinta könyvkiadó, Budapest

A nyelvleírás adekvátsági szintjei

2011-12-10T13:44:00.007+01:00

A nyelvtanok adekvátsági szintjeit, a helytállóság három szintjét fogjuk érinteni. A három szintet egyenként definiáljuk és párhuzamba állítjuk a példa kedvéért a transzformációs generatív nyelvészet válaszaival. Ezzel kicsit közelebb kerülünk a transzformációs generatív nyelvészethez és kezünkbe kerülnek azok a helytállósági kritériumok, amelyeket érdemes minden új nyelvelmélet, nyelvleírási modell esetén elővennünk és megvizsgálnunk.

A nyelvtanok adekvátsági (helytállósági) szintjeinek vizsgálatát minden új nyelvtan, nyelvleírási modell megismerése során érdemes körbejárni. Érdemes megnézni és megválaszolni a kérdéseket, hogy vajon az új modell, rendszer milyen választ kíván azokra a kérdésekre adni, amely olyan témákat ölelnek fel, mint az ember és a nyelv, vagy a nyelvtan és nyelv kapcsolata. Ez a vizsgálat segíthet számunkra, hogy jobban megértsük, hogy az új leírási forma miként illeszkedik az eddig megismert rendszerek közé, segít tőlük elválasztani, és nem utolsó sorban, élesen a szemünk előtt lesz az új határai és lehetőségei.

Az adekvátsági szintek

A megfigyelés szintje (observationally adequate )
A leírás szintje (descriptively adequate)
Magyarázat szintje (explanatorily adequate)

A megfigyelés szintje

Ez a szint a leírásnak azt a tulajdonságát vizsgálja, hogy jól írja-e le az adott nyelvközösség helyes mondatait. Ide tartozik például a jólformált mondatok. A nyelvleírásnak tehát számot kell adnia arról, hogy a leírás tényleg képes-e kiválogatni az összes lehetséges mondat közül azokat, amelyeket a beszélők jólformáltnak ítélnek. Ez egyfajta „elősorolást” is magába foglal, kvázi hierarchiát, hogy mely mondatok minősülnek elfogadhatónak, melyek talán elfogadhatónak, és melyek helytelennek.

A leírás szintje

Ez a szint feltételezi a megfigyelési adekvátságot. De ezen kívül fontos, hogy az adott nyelv mondatainak a szerkezetét is magába foglalja. A beszélők intuícióinak megfelelően írja le a nyelv szerkezetét. Itt jelennek meg a szerkezeti leírások és a mondatok közti összefüggés, párhuzamba állításuk.

A magyarázat szintje

A magyarázat szintjén helytálló a nyelvelmélet, ha leírás szintjét adekvát - tehát a megfigyelés szintjén is. Ez a helytállósági kritérium már a plauzibilitást is vizsgálja. Azt, hogy a nyelvelmélet elfogadható és valószínű modellje-e a nyelvnek. Valós-e az a hozzáállás, modell, paradigma, amelybe helyeztük a nyelvvizsgálatot?

A transzformációs generatív nyelvtan szintjei

Az előző részben röviden áttekintettük a helytállósági kritériumokat. Röviden definiálva és utalva arra, hogy melyik szint a nyelvleírás melyik szintjéhez áll közel. A definiálások után most vegyünk egy példát, a transzformációs generatív nyelvtant. A nyelvtan válaszait a különböző szinteken.

A megfigyelés szintje

A transzformációs generatív nyelvtanok a megfigyelés szintjén, a mondatok felszíni szerkezetéről képes eldönteni, hogy azok a vizsgált nyelv részei-e. Ezeket képes jólformáltásági kritériumok elé állítani és kiválogatni csak a jólformált mondatokat.

A leírás szintje

A leírás szintje tartalmazza a megfigyelés szintjét is, de továbbá képes párhuzamot állítani a mondat szerkezete és a kijelentések között. Minden kijelentéshez tud egy megfelelő szerkezetet rendelni. Ezzel nem csak képes felismerni a jólformált grammatikus mondatokat (megfigyelés szintje), hanem képes azokat generálni is. Ezzel nem csak felismerhetőségük, hanem előállítási lehetőségeit is tárgyalja és vizsgálja.

A magyarázat szintje

A magyarázat szintjén szokott az első probléma adódni a transzformációs generatív nyelvtanok megismerésénél. Az olvasónak is eszébe juthat, hogy az a nézet, hogy az ember nyelvtudását újraíró-szabályok halmazának felel meg: nagyon mellé lőtt a valóságnak. Nem feltételezhetjük és nem is feltételezi senki, hogy az ember úgy működne, mint egy gép. Nem úgy kezdünk el válaszolni a barátunknak, ahogy nem úgy kezdtem el írni én sem, hogy először vettem az S fráziscímként és ebből levezettem a mondat felszíni szerkezetét.

Az ötlet más. Az ötlet az, hogy nem azt modellálja ez a nyelvelmélet, ami az emberi elmében lezajlik. Nem azt feltételezi, hogy az ember a világon a legracionálisabb elme, hanem a célja, a magyarázat szintje itt a nyelv és nyelvtan között húzódik. A különbség az, hogy nem az emberi gondolkodásnak kíván modellt állítani, hanem „csupán” a nyelvtan és nyelv modelljének. Ez a modell viszont már plauzibilis. Helytálló és hihető, hogy a nyelvtan úgy viszonyul a leírandó nyelvhez, hogy vesszük az S címkét és ebből levezetjük a felszíni szerkezetet.

Összefoglaló

A helytállósági, adekvátsági szinteket jártunk körbe. A definiálásuk után egy példát tekintetünk át, ahogy a generatív transzformációs nyelvelmélet megfelel a definiált szinteknek. Példaként és érdekességként. Főként a magyarázat szintjét érintettük, ahol egy általános tévedés és félreértelmezést igyekeztünk kiköszörülni.

Így gondozd a nyelvészedet, avagy a metodológiai opportunizmus gyönyörei - 1.

2011-12-08T21:46:00.002+01:00

Volt szerencsém interneten keresztül előadni a fenti címen a Budapest Science Meetup novemberi összejövetelén. Szeretném megköszönni Sebestyén Endre és a többi szervező abszolút pozitív, segítőkész hozzáállását. Már régóta keresek egy sztorit, amiben elmesélhetem miért szeretem a (számítógépes) nyelvészetet, miért tartom értelmetlennek a generativisták és statisztikusok közötti “hitvitákat” valamint az alkalmazott és tiszta tudomány közötti megkülönböztetést. A Meetup felkérése remek alkalom volt arra hogy ráncba szedjem gondolataimat, most pedig egy rövid sorozatban kicsit hosszabban, írásban is megkísérelem ezt. Szeretném hangsúlyozni hogy részben nagyon személyes, részben pedig spekulatív gondolatokat teszek közzé most Feyerabend “Anything goes!” jelmondatának szellemében.

Személyes háttér

Manapság nem olyan egyszerű válaszolni a mivel foglalkozol kérdésre. Mivel foglalkozik a könyvelő? Könyvel... De hogy a könyvelés mit is jelent igazán, azt csak a könyvelők tudják. Persze azt se tudjuk hogy mit csinál egy informatikus, de jelentőségteljesen bólogatunk amikor magyaráz – hisz szakmája szinte életünk minden mozzanatában meghatározó. De mit csinál egy nyelvész? Erre sajnos bölcsész-jogász politikusaink jelentős része sem tud válaszolni, ezért bőszen nyesegetnék a BTK-n az államilag finanszírozott helyeket... Mit csinál egy számítógépes nyelvész? Köze van a számítógépekhez, a nyelvhez is, de ha akad valaki a kollégák közül aki el tudta magyarázni a nagymamájának rendesen hogy mit csinál amikor számítógépes nyelvészkedik az kérem írjon nekem! A szakma egyik poénja hogy mi egyszerre több dologhoz nem értünk ezért igazából se nem számítógépes, se nem nyelvészet a szakma igazi neve.

Habár egyre több helyen indul számítógépes nyelvészeti képzés, a területre általában valahonnét érkeznek az emberek. Informatikusok, matematikusok, pszichológusok, filozófusok és igen nyelvészek keverednek valahogy ide. Hogy tovább bonyolítsuk a dolgot, a nyelvészetre is igaz ez! A legtöbb ember nem nyelvészetet kezd tanulni, hanem valami mást (l. fent).

Nagyon emberi dolgok indulnak be ilyen vegyes társaságon. A “nyelvészek” szeretik az “infósok” gyakran tényleg gyermeteg, naiv nyelvelméletein köszörülni a torkukat. Az “infósok” pedig különbséget tesznek – sokszor joggal - “az igazi számítógépes nyelvészet” és “a számítógépes nyelvészet amire ti gondoltok” között. Van azonban egy másik törésvonal is a csoporton belül. A “klasszikus” iskola hívei akik általában nyelvészek és logikusok (megint egy olyan csoport ami csak úgy összegyűlt mindenhonnét) élesen szemben állnak az “új empirizmus” (leánykori nevén statisztikai megközelítés) már-már fanatikus propagálóival. Ezt egy kicsit megkapargatva előjön egy harmadik szembenállás is, ami az elméleti megközelítés (“mindent a tudományért”, “engem igazából nem érdekel ennek a gyakorlati haszna”) és az alkalmazott tudomány (“nlp és nem compling”) között áll fenn.

Én úgy gondolom hogy ezek a törésvonalak egyrészt természetes velejárói a tudománynak. Ez a business ezzel jár és kész. Másrészt nagyon szeretem a vitákat végigkövetni mert szórakoztatnak. Viszont nagyon is komolyan gondolom hogy gyakran értelmetlen és terméketlen a kihegyezni ezeket a szembenállásokat mivel semmi mást nem bizonyít vele az illető mint saját csőlátását. “Lent a mélyben”, a racionalizmus és empirizmus vitája épp a számítógépes nyelvészetben oldódik fel, ezt teszi lehetővé a metodológiai sokszínűséget és teremt alkalmat az alkalmazott kutatónak arra hogy megélje a módszertani opportunizmus gyönyöreit.

Kell-e nekünk paradigma

Thomas Kuhn paradigma fogalma mára már a köznyelvbe is beszivárgott. Alapvetően Kuhn a természettudományok, kiváltképp a fizika, érett szakaszának jellemzésére használta a fogalmat. Nagyon röviden (és kicsit slendrián fogalmazva) a paradigma a normál tudományos tevékenység határait jelöli ki. Normál vagy érett szakaszban egy tudomány nem vitatkozik az alapokról, hanem módszeresen fejti meg az eléje kerülő kérdéseket (ezt fejezi ki Kuhn rejtvényfejtés metaforája). A kérdések körét és megfejtésük módját a paradigma jelöli ki, ami nem csak a bevett eljárásokat foglalja magában hanem olyan “externális” dolgokat is mint pl. a bevett tankönyvek és képzési praktikák, a kutatói csoportok önképének szociológiája stb.

A szó klasszikus értelmében a nyelvészet, és általában a nyelvvel kapcsolatba kerülő tudományok nem rendelkeznek paradigmával. Ha nem szeretnénk elhagyni a kuhniánus fogalmi keretet, akkor egy pre-paradigmatikus állapottal jellemezhetnénk a területet. Több megközelítés szó szerint harcol azért hogy őt érje a megtiszteltetés hogy a “rendes” tudományok közé vezethesse be a nyelvtudományt.

De melyik tudományt tekintjük példaképnek? Ez nagyon nagy kérdés! Vannak akik a fizikai irigység felé húznak (erről egy nagyon jó vendégposzt volt a blogon kb egy éve). Ebben az irányban nagy előrelépések történtek. Nem csak az ún. probabilisztikus nyelvészet körébe tartozó publikációk száma gyarapszik egyre gyorsabban, hanem már elkezdtek megjelenni tankönyvek és felsőoktatásban is standardizálódnak a tantervek (l. a 2000-ben megjelent Probabilistic Linguistics kötet, majd az utóbbi három évben kijött rengeteg R-el és korpusznyelvészettel/nyelvészeti statisztikával foglalkozó könyvet). Az ezen a téren mozgó kollégák nagy örömére ez egybevág a számítógépes nyelvészetben Charniak Statistical Language Learning kötetével fémjelzett fordulattal.

A nyelvészetnek azonban van egy másik öröksége, mégpedig a matematika és a logika. Ezek is kemény tudományok ám! A physics envy egy másik lehetséges értelmezése szerint ahogy a matematika nyújtott egy nyelvet a fizika számára a világ leírására, úgy a logika egy eszközt ad nekünk saját magunk és nyelvünk megismeréséhez.

A matematika és a logika viszont nem írható le a kuhni tudományfejlődési modellel. A matematikai megismerést nem tarkítják forradalmak, egy-egy újabb felfedezés nem hordozza magában az egész elméleti keret átértelmzését, sokkal inkább felhalmozódik az ilyen tudás, azaz akkumulálódik.

Végezetül pedig nem mehetünk el amellett hogy a nyelvészet a bölcsészettudományok része. Ezen a területen megszokott hogy nincsenek paradigmák, minden probléma egy kicsit más megközelítést kíván meg és a konszenzus hiánya inkább kívánatos mint kerülendő. A megismerés ezen módjai közelebb állnak a művészetekhez, amennyiben szerves részük a szubjektivitás, ugyanakkor a “tudományos közösség” implicit módon kijelöli a játékszabályokat és nagyon komolyan veszi “ellenőrző” funkcióját.

Az egyszerre jelenlévő paradigmák nem csak közösségeket választanak el, hanem gyakran egy emberen életén belül keverednek! A számítógépes nyelvészet nagy erénye hogy ezzel együtt kell élni. Előnye ennek a skizoid állapotnak hogy probléma centrikusak lehetünk, az adott feladatra koncentrálva több megközelítés közül is választhatunk – hátránya hogy szépen cizellált, konzisztens elméletek nem tudunk ilyen alapokra építeni. De hát a hosszú elbeszélések kora amúgy is lejárt!

Egy égető kérdés azonban hátra maradt, az inkommenzurábilitás problémája. Ti. a különböző paradigmák látszólag egy dologról beszélnek és ugyanazt a nyelvet használják, ám ez elméletek jelentéstartalma igen különböző. A newtoni fizika és a relativitáselmélet szinte ugyanazokkal a szavakkal operál, mégis értelmezésük sokaban különbözik. A newton előtti, skolasztikus, arisztoteliánus fizika is használta a mai terminus technikusokat, azonban valami teljesen mást értett alattuk. A tudományos paradigmák, ahogy láthattuk, összemérhetetlenek, inkommenzurábilisak a természettudományok esetében. A bevezetőben említett sztori azt mutatná be hogy a nyelvészet esetében egy gyenge összemérhetőség áll fent, ezért elfogadható, sőt sikeressége miatt támogatandó hogy több iskola létezik egymás mellett.

MSZNY 2011 élménybeszámoló

2011-12-05T20:56:00.003+01:00

Pár napja zajlott le a VIII. Magyar Számítógépes Nyelvészeti Konferencia Szegeden (pontosan Dec. 1-2), amin a Weblibnek hála kibicelhettem (későn bukkantunk rá az infóra ahhoz hogy valamit be is tudjak adni, no majd jövőre!). Címszavakban: az előadások színvonalasak voltak, a helyszín (József Attila Tanulmányi és Információs Központ) nekem nagyon bejött, a szervezők (Szegedi Tudományegyetem Informatikai Tanszékcsoportja) kitettek magukért és nagyon jó emberekkel találkoztam (a beszédfelismeréssel foglalkozó kollégákkal eltöltött vacsorát nagyon élveztem!). A továbbiakban teljesen szubjektíven szeretnék kiemelni pár előadást, szeretném azonban hangsúlyozni hogy a többi előadás is remek volt, de nem értek minden témához és sajnos pénteken nem tudtam végig maradni ezért a merítésem koránt sem teljes. Szerencsére nyugodtan szemezgethetek, a konferenciakötet ugyanis elektronikus formában mindenki számára elérhető itt.

Az első nap első témája a többnyelvűség volt. Bevallom fogalmam se volt hogy a SZTAKI Elosztott Rendszerek Osztályán is kőkemény számítógépes nyelvészeti munkák folynak. Szerencsére Pataki Máté és Vajna Miklós előadásai eloszlatták a ködöt fejemben.

Vajna Miklós a többnyelvű dokumentumok nyelvének megállapításáról tartott egy jó előadást. A téma nagyon "egzotikus" ám nagyon is gyakorlatias problémát ragad meg hiszen egyre többször találkozhatunk többnyelvű dokumentumokkal a világhálón is. A kidolgozott eljárás nagyon ötletes (tessék elolvasni a kötetben) és eredményesnek is tűnik. A tesztekkel kapcsolatban van valami amit nem értek, ugyanis a többnyelvűséget egy adott Wikipedia szócikk változatainak keverésével érték el (magyarán pl. a francia és a magyar Wikipedia Szeged szócikkeit keverték össze meghatározott arányokban), de én még nem találkoztam olyan dokumentummal ami így lett volna többnyelvű... Persze jobb tesztet én se tudok kitalálni.

Pataki Máté a KOPI plágiumkeresőjének egy az ún. fordítási plágiumok keresését lehetővé tevő továbbfejlesztéséről számolt be. Itt megint naiv voltam, persze tudom hogy van plágium (akár akaratlanul, tudatlanságból is lehet ilyet elkövetni!) de arra nem gondoltam hogy az ötletes K-európai diákok anyanyelvükön írt tanulmányokat adnak be a brit egyetemeken. No az ilyen ügyeskedések kiszűrésére szolgál az új fejlesztés. Volt egy kis demo effektus, de ennek ellenére én nekem ez az előadás tetszett a legjobban. A tanulmányt tessék elolvasni!

Az ebéd után a korpusz, ontológia rész következett. Itt A Magyar szóelemtár megalkotása és a Magyar gyökszótár előkészítő munkálatai c. előadást emelném ki, mivel történeti érdekességgel is szolgált. A hatvanas években Debrecenben Papp Ferenc vezetésével a Magyar nyelv értelmező szótárára alapozva hozták létre az első számítógépes magyar gyökszótárat. Ennek lyukkártyái kalandos utat jártak be, a kártyákból szerencsére több másolta is készült, egy részük sajnos annyira megrongálódott hogy használhatatlanná váltak, de szerencsére Prószéky tanár úr és tsai. sikeresen megmentették az adatokat az utókornak és egy táblázatba konvertálták. Igazi élő "oral history" pillanat volt amikor az érintettek is felszólaltak az ügyben! Ezt a kutatási irányt viszi tovább a Tinta Kiadó, ennek munkálataiba pillanthatunk bele az előadás során.

A laptopos bemutatók és poszterek nekem kicsit furcsa volt. Lassú voltam és a poszterek előtt nem tudtam jól vegyülni hogy kérdezni is tudjak pedig Mihálzt Márton Magyar NP-felismerők összehasonlítása c. posztere nagyon felkeltette az érdeklődésemet. A laptopos bemutatókkal is én hibáztam nagyot, mindegyikbe szerettem volna belefigyelni, de csak párhoz fértem igazán oda. Megtanultam a leckét, legközelebb kiválasztok pár posztert és bemutatót előre és nem keringek!

A nap zárása a szintaxis, morfológia és névelem-felismerés jegyében telt. Ebből a blokkból a Magyar nyelvű klinikai dokumentumok előfeldolgozását emelném ki, hiszen ez szemléltett legjobban hogy mennyire "piszkosak" a nyelvi adatok. Mivel nincs mindenki mögött egy dühös nyelvművelő, az aki sokat ír (pl. ilyenek az orvosok) az bizony sokat is hibázik, és az ilyen dokumentumok feldolgozása még nehezebb mint a "rendesen" megírt szövegeké. Siklósi Borbála, Orosz György és Novák Attila tanulmánya már csak ez előbbiek miatt is kötelező olvasmány mindenkinek, de ezen felül is érdekes, tessék olvasni hiszen ingyen elérhető!

Ha már élménybeszámoló, akkor egy kicsit a nem-szakmai részéről is szólnék pár szót. Nagyon örültem hogy sok-sok év után ismét találkoztam Szekrényes István barátommal akivel sokat beszélgettem a HuComTech projektről, melynek keretében készül(t) az első magyar multimodális korpusz. Bizony, beszéltnyelvi korpusz, hang- és videoanyaggal, annotálva szépen! Két volt tanárommal is összefutottam. Bódog Alexa (Pisti barátom kollégája) egy alternatív idegenvezetéssel is színesebbé tette számomra a konferenciát, Abari Kálmánnal pedig sikerül kétszer is eltévednünk ugyanazon az útvonalon. Nem vagyok egy társasági ember, de nagyon jó szakmai és emberi beszélgetésekben volt részem. A vacsorán nem csak az étel volt remek, hanem a társaság is, a beszédtechnológiai vonalon dolgozó srácok nagyon jó fejek, élmény volt velük dumálni!

Pénteken sajnos nem maradhattam végig, csak a "beszédesek"-ről tudok így beszámolni. Akik ismernek azok tudják hogy ez az a terület amihez nagyon nem értek :D Ennek ellenére élveztem az előadásokat! Inkompetenciám visszatart attól hogy bővebben szóljak, a kötetben ott van minden.

Le a kalappal a szervezők előtt! Köszönet ezért a két napért!

Számítógépes nyelvfelismerés

2011-12-04T19:38:00.010+01:00

A számítógépes nyelvfelismerés problémája abból adódik, hogy rendelkezésünkre áll egy bizonyos számú karaktersorozat, amelyről el kell tudnunk dönteni, hogy vajon, milyen nyelvű szöveget takarhat. - Ez a feladat egy olyan környezetben, ahol több nyelvű szöveget is fel kell tudnunk dolgozni, nagyon lényeges. Hiszen ez az első lépés meghatározhatja azt, hogy megfelelő nyelvű elemzőket kezdjük-e használni vagy sem. Ez pedig meghatározhatja a végeredményt, az eredményes szövegfeldolgozást.

Problémák

Első felvetendő probléma a kapott szöveg mennyiségével kapcsolatos. Például egy szóról nehéz eldönteni, hogy milyen nyelvű. Az nyelvfelismerő rendszerek 90%-a biztosan hibás eredményt adhat, ha a szöveg mennyisége nagyon alacsony, hiszen a mennyiség nem teszi lehetővé több vizsgálat elvégzését, hogy az eredményességet biztosíthassuk.

A másik probléma az a feladat típusából következik. Csupán karakterek állnak a rendelkezésünkre ahhoz, hogy egy adott szövegről eldönthessük, hogy milyen nyelvű a szöveg.

A harmadik megemlítendő probléma, hogy természetesen, ezek a rendszerek is kijátszhatóak. Természetesen egy ilyen rendszer, amely eldönteni, hogy a tárgyszöveg milyen nyelvű, nem állítja ezzel párhuzamosan azt is, hogy ez valóban az adott nyelvű szöveg-e. Csupán arra szorítkozik, hogy a szöveg külső tulajdonságai arra a feltevésre engednek következtetni, hogy ez egy bizonyos nyelven íródott. Hogy az adott nyelven ez helyes-e, van-e értelme, ez kívül esik a vizsgálat tárgyán.

Módszerek

A problémát sok módon próbálták és próbálják megoldani. Mindegyik megoldási javaslat eredményes egy bizonyos szintig. De mindig az adott esetben kell tudnunk eldönteni, hogy a célunk elérése érdekében mekkora pontosságot kívánunk.

Speciális karakterek vizsgálata

Az egyik legegyszerűbb módszer, ha elkezdjük figyelni a karaktereket. Például vegyük a magyar nyelvet. Vegyük a magyar nyelv ábécéjének halmazát és vonjuk ki belőle a latin karaktereket. Ha kész vagyunk, rendelkezésünkre állnak azok a speciális karaktereket, amelyek elkülöníthetik a magyar a többi nyelvtől. - Ha ezek után a bejövő adatra, arra szövegre, aminek a nyelvét kívánjuk megállapítani megvizsgáljuk, hogy tartalmazza-e a magyar speciális karaktereket, akkor ebből az eredményből azt még nem fogjuk tudni kiolvasni, hogy ez egy magyar nyelvű szöveg. De azt biztosan állíthatjuk, hogy például nem angol vagy német szövegről van szó.

Ez a módszer természetesen csak nagyobb szövegen működik és a módszer valójában inkább kizáró módszer. A kizárásos módszer valódi hátránya pedig abból áll, hogy ezeket az ismeretek, pl. a speciális karaktereket nekünk kell összegyűjteni. Illetve, ha össze is gyűjtjük az összeset, akkor is lesznek teljes egyezések, ahol nem tudunk majd dönteni. Továbbá, talán a leglényegesebb ellenérv, hogy az eredményt befolyásolni fogja a feladat megvalósítása, a kódolás is. Akarva-akaratlanul lesznek olyan döntések, amelyek egy nyelv felismerését valószínűbbé teszik egy másikhoz képest. Ezzel elferdítve az eredményt.

Karakterek tartománya

Egy fokkal jobb megoldás. A módszer itt már nem a speciális karaktereket kikeresgetésével kezdődik. Ehelyett inkább veszünk egy adott nyelvű szöveget, amiről biztosan tudjuk, hogy az adott nyelven íródott. (Hogy ezt honnan tudjuk... itt már lehet egy buktató.) A vizsgált szövegre ráeresztünk egy programot, ami semmi egyebet nem csinál, mint megvizsgálja az összes karakter Unicode értékét. Ha rendelkezésünkre áll az összes karakter unicode éréke, akkor megvizsgálhatjuk ennek minimum és maximális értékét, ezzel megkapjuk az adott nyelvre jellemző Unicode-tartományt.

A tartomány ismeretében a módszer azonos a speciális karakterek vizsgálatával. A különbség csak az, hogy itt azt vizsgáljuk, hogy a karakterek melyik tartományban vannak benne. - Ez a módszer lényegében tényleg megegyezik az előzővel. Előnye csupán az, hogy valamivel pontosabb eredményt adhat. Főleg, ha jobban beleássuk magunkat a Unicode kódolásba. Bár nem minden nyelvhez ad támpontot, de a tartományok szabályosak. Például az arab és kínai nyelvet így nagyon könnyen megkülönböztethetjük. Ahogy egyből tudunk szűkíteni a kelet-európai nyelvekre is csupán a tartományok ismeretével. - Ha mi magunk nem szeretnénk tartományokat gyűjteni, akkor itt megleshetjük, hogy mely tartomány melyik nyelveknek felel meg. (Unicode Codepoint Chart)

N-gram-ok

Ez a módszer tűnik a legeredményesebbnek. Viszont ahelyett, hogy én próbálnám összeszedni, inkább Vázsonyi Miklós Nyelvdetekció Rejtett Markov Modell Alkalmazásávalcímű munkáját javaslom olvasásra. Tizenegy oldalon keresztül nagyon érthetően és kimerítően mutatja be a témát.

Egy-két működő megoldás

A továbbiakban inkább néhány működő megoldásra szeretnék koncentrálni.

NLTK és nyelvfelismerés

Ez a rövid leírás és kód azt mutatja be, hogy hogyan lehet felhasználni az NLTK trigramm modulját arra, hogy bizonyos nyelveket fel tudjunk ismerni. A példában öt nyelv felismerését mutatja be a szerző.

Google's Compact Language Detector

A cikk és a forráskód a Chrome böngésző nyelvdetekciós eljárást mutatja be. Ez a modul fut a Chrome böngészőkben, hogy felismerje az éppen böngészett oldal nyelvét. Természetesen van itt egy nagy segítség. Egy honlapon, a honlap fejlécében az esetek zömében megtalálható az oldal nyelve is. - De természetesen nem lehet minden ilyen egyszerű! - Úgyhogy a fejléc vizsgálatán túl a szöveget is meg kell vizsgálni. A vizsgálat pedig lehetővé teszi, hogy böngészőnk felkínálja, hogy szeretnénk-e lefordítani az aktuálisan böngészett oldal tartalmát.

Language-detection

Ez a Java-ban implementált programkönyvtárat beépíthetjük saját programunkba, vagy használhatjuk egyből a konzolból. A program nagy előnye, hogy nyíltforráskódú és könnyen bővíthető. A language-detection jó választás lehet a számunkra, ha csak szeretnénk kipróbálni vagy saját projektünket szeretnénk bővíteni.

Road-map – or n+1 steps to enlightenment (or loonybind)

2011-11-28T19:15:00.002+01:00

This post has been cross posted on Clojurelx

As we expressed in our previous post, we'd like to experiment with Clojure. Let us emphasis again, we are NOT developing a new library, we just believe that using Clojure in linguistic computing might be fruitful. In order to prove this assumption (or refute it), we are going to try some tools out, and summarize and share our experiences as blog posts. Here is our tentative road-map.

Topics

We don't want to cover everything since we are neither omniscient, nor experienced Clojure hackers – so take our words with a grain of salt. We've chosen a few “core” topics interesting to us. Naturally, the topics are divided into two categories; “classics” and “using Java power tools”. Please leave a comment; we'd appreciate your thoughts (even your critique!).

Classics

Algorithms for Computational Linguistics – we stole the title from the great (and open) book by Striegnitz, Blackburn, Erk, Walter, Burchardt and Tsovaltz. We'd like to approach finite state techniques from two perspectives: logical and functional.

Zipf's law – the well-known distribution – is the guinea pig of linguistic statistics. Inspired by the ZipfR package and Incanter, we examine some very basic stats about texts, like word length and frequency and we try out plotting our results.

Java power tools

OpenNLP and the Stanford parser are real power tools. Tagging, chunking and parsing are indispensable when we are working with data.

Latent semantics – using chisel to do LDA analysis with the MALLET package.

Kereső Mobilvilág

2011-11-23T16:02:00.001+01:00

Elkészült végre a Kereső Mobilvilág ekönyv! A Kereső Világ posztjaira alapozva, felkért szerzők írásaival kiegészítve készítettünk egy kis tanulmánykötetet a mobil keresésre fókuszálva. A mű pdf és mobi formátumban is elérhető itt, ill. egy beharangozó posztot olvashattaok itt. Én itt szeretném megragadni az alkalmat hogy köszönetet mondjak azoknak akik segítettek nekünk egy-egy írással:

Tolnai Timi (blogunk szerzője)
Albeker András (a bitxəšï-史 blog szerzője) és neje
Dóczi Tamás (a 豆腐块-欢迎欢迎! blog szerzője)
Vajda Gábor (a Kereső Világ szerzője)

Köszönöm továbbá munkatársamnak Tündének hogy mégsem őrültünk meg az elmúlt két hétben. Az érdem szerzőinké, minden hiba a miénk!

Jó olvasást mindenkinek!

scikit-learn: a gépi tanulás nltk-ja

2011-11-17T20:39:00.002+01:00

A Natural Language Processing (nltk) keretrendszer a nem csak számítógépes nyelvészt iránt érdeklődők tömegeit vezette/vezeti be a szakma rejtelmeibe, hanem már a "való világban", üzleti alkalmazásokba építve is bizonyított. A nyílt forráskódú projektekre leselkedő veszélyt - hogy nem alakul ki a lelkes önkéntesek köre - elkerülte, és az "alapító atyáknak" hála egy jó minőségű, immár több nyelvre is fordított, szabadon hozzáférhető könyv vezeti be a szakma rejtelmeibe a nagyérdeműt. A scikit-learn valami hasonlóvá próbál kinőni a gépi tanulás területén - remélem így már érthető a cím :D

Scikit-learn harnesses this rich environment to provide state-of-the-art implementations of many well known machine learning algorithms, while maintaining an easy-to-use interface tightly integrated with the Python language. [1]

A scikit-learn csomag első sorban azok számára készült akik más területekről érkeznek a gépi tanulás problémáihoz; ezek általában fizikusok, biológusok, társadalomtudósok, és nyelvészek, azaz nem számítástudománnyal foglalkoznak. Ahogy a nem rég megjelent Science Code Manifesto is fogalmazott, a programozás vagy szebb névvel kumputációs modellezés a tudományos munka részévé vált - igen, cakk-pakk a TUDOMÁNY praxisa megköveteli hogy programokba öntsük modelljeinket. Ez azzal jár hogy maga a programozás eszköz (és nem cél, vagy maga végeredmény) sokak számára. Ebből a szempontból a Python programozási nyelv választása telitalálat, nagyon jól dokumentált, kifejezetten kezdőbarát.

Természetes választás lehetne még az R nyelv, hiszen sok gépi tanulással kapcsolatos csomag áll a felhasználók rendelkezésére, valamint a korpusznyelvészek és pszicholingvisták körében kávzi lingua franca, azonban elsajátítása jóval több időt vesz igénybe, nem beszélve erről hogy az eltérő csomagok nem annyira egységesek mint a scikit-learn.

A különféle Java csomagok (WEKA, MALLET, stb.) sajnos nem jelentenek megoldást, nem csak azért viszonylag nehéz elsajátítani a nyelvet, hanem úgynevezett dizájn megfontolások miatt nehézkesebb az ilyen eszközök használata. A Java csomagok általában öröklődés útján kerülnek bevetésre, ezért használatuk során sok "felesleges" kódot kell írnunk. A scikit-learn ellenben az ún. interfészekre esküszik, ami a kezdők számára sokkal barátságosabb modell, hiszen egyszerűbben "mixelhetik" össze egy objektumba az adatokat és a rajtuk végzett műveleteket.

Az egyszerűségnek sajnos ára van. A csomag kis és közepes nagyságú adatokon muzsikál jól. Teljesítménye gondos kezek segítségével növelhető, de a kezdők és nem vér profi programozók számára ezek már barokkos díszítőelemek, nem biztos hogy könnyen megoldják. Nem kapunk kézhez egy könyvet a scikit-learn-nel, pláne nem olyat mint az nltk book. User Guide néven alatt fut valami könyvhöz hasonló de ez gyakran hiányos még, a példák és magyarázatok néha mint ha félbeszakadnának. Azonban józan ésszel, némi Python és gépi tanulási (statisztikai) háttérismerettel lehetővé teszi hogy kipróbáljuk, vagy saját munkákban is alkalmazzuk az egyes eljárásokat.

[1] Scikit-learn: Machine Learning in Python, Pedregosa et al., JMLR 12, pp. 2825−2830, 2011.

Why Clojure lx?

2011-11-16T18:30:00.000+01:00

This post is cross-posted on clojurelx, a new project blog

The NLTK is a natural choice for students of linguistics and computer science. It has matured into a stable project, its users are very active, and it is now used outside of academia. Those who are into functional programming can use the Scheme Natural Language Toolkit, or learn from the Natural Language Processing for the Working Programmer, and those who needs the JVM can turn to ScalaNLP. So why brother with Clojure?

First of all, we are NOT proposing a new framework/library here! Our main goal is to examine what Clojure offers to linguists. Although more and more linguistics departments offer courses in statistics and probability theory, the vast majority of students graduate with some background in discrete maths, mostly taught in an implicit way through a class in syntax and/or semantics (and the same is true for philosophy education). Using computer programs to test our scientific ideas is becoming a common practice in sciences, and this is true for linguists too. Stefan Th. Gries distinguishes linguistic computing from computational linguistics; following him, we think linguistic computing will become a common methodology used in the language sciences.

So, what's the difference between computational linguistics and linguistic computing? Well, there is no clear boundary! We'd say computational linguistics (or natural language processing) is a kind of applied science and engineering, and as such it is more “goal oriented”. Norvig's recent critique of Chomsky shows that commercial success is a measure of ideas, but despite the proliferation of statistical methods linguists are still doing research on rule based systems like HPSG, minimalism, etc., and new interdisciplinary research themes have emerged like Parikh's idea of the social software (and game theoretic semantics and dynamic epistemic logic, among others). But what is “pure” research today can become applied research tomorrow. To foster communication between pure and applied research, between linguistic computing and computational linguistics, we need a lingua franca.

As Clojure is the Lisp for the JVM, it is a convenient language for linguists. In the not-so-distant past, Touretzky wrote his Gentle Introduction to Symbolic Computation, an excellent book for beginners in the humanities. Gazdar and Mellish Natural Language Processing in X (where X stands for Prolog, Lisp or Pop11) is a good introduction to finite state techniques, grammars, parsing and it even has a chapter on question answering. We don't deny that these techniques are old, but they are still part of the well-educated linguists' body of knowledge. Also, although Norivig's PAIP is a real gem, one cannot argue against the “old” AI paradigm without seeing the past, and those ideas are still important for linguist, philosophers and cognitive scientists. Logic programming is a natural pair of functional programming. The basic techniques of computational linguistics can be expressed in logic programs, and although they have their computational limitations, these little programs has got unquestionable educational value.

Porting the classic into Clojure is not a novel idea, as some Google searching shows that people are turning the classic Lisp books like PAIP or the Structure and Interpretations of Computer Programs into modern Clojure. The core.logic library opens up the possibility to do the same with the Prolog literature.

The most common argument against NLTK is that you can't use mature, industry standard tools like the GATE framework, Stanford core, and openNLP. Clojure's Java interoperability solves this problem. If you are into machine learning, Weka, MALLET and etc. are at your service. The Incanter package provides an R-like statistical library.

With these tools in your hand, you can test your ideas in a language that's very close to what you learned about formal languages. Using Java libraries is like using rapid prototyping material when you are a marble sculptor. And as your works end result can be shared with the computational linguists, you can get more feedback, and even help from the greater community.

That's why we think that Clojure lx is an idea worths exploring. We'd like to test ourselves! Can we use Clojure to express our simple ideas? How easy is it to use Java libraries for a project? If you would like to join us, please send an email to zoltan.varju(at)gmail.com. We welcome everyone, linguists and Clojure hackers, philosphers, digital humanists, everyone who is interested!

About us
Zoltán Varjú – computational linguist at Weblib LLC, @zoltanvarju, Számítógépes nyelvészet
Richard Littauer – MSc computational linguistics student at the University of Saarland, @richlitt

Special thanks to
Neil Ashton - @nmashton

Könyvismertető: Personal Kanban

2011-11-10T10:20:00.002+01:00

Talán az egyik legnagyobb problémája a XXI. század emberének az hogy nem tud mit kezdeni a rászakadt információval. Hírek, szakirodalom, család, barátok, munka, tanulás stb mind egy időben szakad ránk és egymással "versenyez" az időnkért. Persze vannak akiknek nem okoz különösebb nehézséget kezelni ezt a helyzetet, de a maradék (szerintem többség) rászorul hogy valamilyen módon megszervezze életét, rendet rakjon a különböző kötelezettségek között. Rengeteg módszer létezik, ezek nagy része szerintem egyszerűen baromság, mások pedig jók, csak nem mindenre. A Personal Kanban - habár szerintem túl hype-olt - egy egész jó megközelítés, ami ha nem is mindenható, de jól alkalmazható.

Jim Benson - Tonianne DeMaria Barry: Personal Kanban: Mapping Work | Navigating Life
CreateSpace, 2011
216 oldal
Personal Kanban - a könyv és a módszer köré szervezett honlap (sok hasznos tanáccsal, az alapok ingyen elérhetőek, feltétlenül böngéssz itt mielőtt megvásárolnád a könyvet!)

Az első kérdés minden könyv esetében az hogy kinek lehet ez jó. Gondolom én hogy a kiadók marketingesei veszik rá a szerzőket hogy a válasz erre az legyen hogy mindenkinek, de érdemes pár dolgot megfontolni mielőtt a pénztárcánkat megterheljük. Bárki bármit is mond, minden ilyen könyv félig-meddig a self-help kategóriába tartozik, magyarán tele van közhelyekkel, a lényeg belesűríthető kb 2 oldalba, de részletes magyarázattal is max 20 oldal lenne a dolog. Tehát erősen javallott az elején tisztában lenni azzal hogy 1) sok a rizsa a könyvben 2) attól hogy elolvasunk egy ilyen könyvet nem változunk meg, cselekedni is kell 3) nem szentírás amit a könyv mond, magunkra kell adaptálni a bemutatott módszert.

A kötet elején a szerzők le is szögezik hogy ők nem új-hullámos életvezetési tanácsadók és kellő kritikával kell viszonyulni tanácsaikhoz, azonban az elhatárolódás ellenére az én ízlésemnek túl sok sztorit írnak le aminek a vége vagy az hogy hát a Personal Kanban módszerrel jól végződött volna a szitu, vagy hogy revelatív erővel hatott a szereplőre amikor a PK (mert hogy így rövidítjük, egyébként egy oldalon hatszor olvashatnánk hogy Personal Kanban) elintézte minden gondját. Ettől eltekintve olvasható a könyv.

Az alapvatés két pofon egyszerű szabály. 1) Vizualizáld a feladataid 2) limitáld hogy hány dologgal foglalkozol egyszerre (ez lenne a limit your work-in-progress WIP). A kanban a manapság divatos lean módszerből jön, amolyan munkaszervezési táblát jelent. Előnye hogy átláthatjuk milyen feladatok várnak ránk, mivel foglalkozunk, és végül hogy mire jutottuk, de talán egy kép jobban szemlélteti.

A hagyományos tennivaló listák egy idő után túl sok elemet tartalmaznak, átláthatatlanok és nincs semmi rendszer bennük (pl. hogy X feladatot elvégezzem, el kell végezni előtte A,B,..V feladatokat) és a rendszeres dolgokkal sem tudnak mit kezdeni (pl. jóga minden reggel - mikor húzom ki a listáról). Persze elsőre hülyeségnek tűnik, de ha látja maga előtt az ember egy táblán hogy mi vár rá, mit kell megtennie és mivel van kész az tényleg ösztönzőleg hat. Ugyanakkor kiábrándító is a dolog, mivel rájövünk hogy lehetetlen egyszerre hatvan dolgot csinálni! "Ha valamit csinálsz fiam, akkor csináld azt jól" hallottuk szüleinktől kiskorunkban, és a közhely igaz, a kanban tábla szó szerint megmutatja hogy jól csak pár dolgot csinálhatunk (ez a work-in-progress limit). Ez nagyon tud fájni ám, mivel rájövünk arra is magunkkal szemben támasztott elvárásaink gyakran hamisak, a multitasking nem megy, nem tudunk két hét alatt megtanulni könnyen gyorsan németül és közben mindennap edzeni, főzni, dolgozni, szakmailag fejlődni, élénk társaséletet élni. Döntenünk kell hogy mit csinálunk!

Arról hogy miképp döntünk viszont nem szól a könyv, persze nem is lehet általános szabályokat írni erről (nem csodaszer, de a Getting Things Done ebben ad némi fogódzót). Ahogy arról sem hogy miképp verekedjük át magunkat egy adott feladaton amin dolgozunk, habár megemlítik hogy a pomodoro módszer sok feladatnál bevált (és én a magam részéről ezt meg is tudom erősíteni, egy rövid írásban Enci már foglalkozott a dologgal). És ezzel le is lőttem a könyv lényegét, ennyit a PK honlapon is megtudhatsz, érdemes előbb próbálkozni az ott leírtakkal és ha érzed az ízéd és úgy gondolod tudnád alkalmazni te is ezt a módszert a mindennapjaidban, csak akkor vedd meg a könyvet.

Gépi fordítás -- a kétnyelvű korpusz feldolgozása 2

2011-11-05T20:58:00.000+01:00

A számítógépes fordítás nagy kérdése, milyen szabályok alapján lehet átalakítani az egyik nyelven írt szöveget egy másik nyelvű szöveggé. A statisztikai alapú megközelítés ahelyett, hogy morfológiai és szintaktikai szabályok mentén dolgozná át a szöveget, a fordítás műveletére úgy tekint, mint egy fekete dobozra, amely működését meg kell jósolni. Minél jobban kiismerjük, annál jobban előrejelezhetjük, vagyis: magunk is tudunk fordításokat előállítani. A probléma az, hogy a nyelv annyira bonyolult rendszer, hogy nagyon nehéz egyértelmű, "hu=t(en)" szerű szabályokat megfogalmazni.

Az egyértelmű szabályok helyett sokall inkább valószínűségekkel találkozunk a fordításban, ami azt is jelenti, hogy minél több tanuló-adat áll rendelkezésünkre, annál jobban kiismerhetjük ezeket a valószínűségeket. Ez azt is jelenti, hogy sokat kell számolnunk -- ahogy az az előző posztban is láttuk már.

Nézzük meg a következő, kétnyelvű "korpuszt" (direkt egyforma hosszú minden mondat, hogy ez se okozzon fejfájást):

simon fekete kutya   simon black dog
szép fekete kutya    nice black dog
nagy kutya           big dog
a kutya okos         dog is clever
a fekete szép szín   black is nice color

Ha nem tudunk (és a számítógép nem tud) se magyarul, se angolul, egyáltalán nem egyértelmű, melyik szó melyiknek a megfelelője. Ezen az egyszerű, próba-szövegen a szórend általában (de nem mindig) megegyezik, de egy "valódi" szövegben ez szinte biztos, hogy nem így van. A kérdés tehát az, hogyan találjuk ki, melyik szó melyiknek a megfelelője. Egyből felmerül az is, hogy vannak olyan szavak, amelyeknek nincs is megfelelője: pl. az "a" névelőnek és az "is" létigének. A mi eszmefuttatásunk ezek felett most átsiklik, és a számítógépre bízza, mit kezdjen velük -- a statisztikai alapú megközelítésben ez nem is feltétlenül probléma, hiszen nem a tökéletes, hanem az elérhető és viszonylag valószínű megoldást keressük.

Az előző posztban már láttuk, hogyan lehet "kézzel" kiszámolni és megoldani egy ilyen problémát. Most ugyanezt úgy fogalmazzuk meg, hogy könnyen átírható legyen számítógépre is -- pszeudokód következik.

A fő program így fog kinézni:

t-mátrix: a szavak egymáshoz való viszonyát tartalmazza, l. előző poszt. Minden kezdeti értéke megegyezik.
csináld n-szer:
    t-mátrix=bootrstrap(t-mátrix)

A t-mátrix kezdeti értékei mind megegyeznek (mondjuk, 0.5), mivel semmi sem tudunk az angol-magyar szavak egymáshoz való viszonyáról, mindegyik lehet mindegyiknek a fordítása. A bootstrap függvény elkezd számolni, és reményeink szerint egy nem-homogén t-mátrixxal tér vissza. Ezekkel az adatokkal újra meghívjuk, és ezt megismételjük addig, amíg nem látunk szabályszerűséget.

A bootstrap függvény ezt csinálja:

végighalad soronként a mondatpárokon
    felírja az angol nyelvű mondatot az összes lehetséges sorrenden
    végighalad ezeken a változatokon
        kiszámolja, mennyire jó az elrendezés
        (a t-mátrix adatai alapján)
        elmenti ezeket az értékeket egy "pontszám" nevű listába
    normalizálja a "pontszám" listát
    végighalad az angol mondat változatain
        a normalizált pontszámokat visszaírja egy új-t-mátrixba (összeadás)
    soronként normalizálja az új-t-mátrixot
visszatérés az új-t-mátrix értékével

* * *

Lássuk, körülbelül mit várhatunk ettől az algoritmustól:

Miután háromszor lefutott a bootstrap függvény, a t-mátrxiban már jól látszik, mely szó melyiknek a megfelelője. A szavak után következő értékek azt mutatják, ez mennyire valószínű -- például szép-nice párosítás jó eséllyel helyes, de a nagy-big ennél is valószínűbb. Ebben az egyszerű kis korpuszban minden szó megtalálta a saját párját, és ha tovább folytatnánk a program futtatását, 1-hez tartana az összes érték -- vannak azonban olyan korpuszok (minden "igazi" korpusz ilyen), ahol nincs egyértelműség, egyes szavak egyszerűen nem találják meg a saját párjukat, vagy éppen rossz párt találnak (ezt már mindenki tapasztalhatta a google translate-tel).

* * *

Ez az algoritmus rendkívül számításigényes. Már a három, egymásba ágyazott ciklus sem túl bizalomgerjesztő, de az igazi probléma a "változatok", vagyis a mondatok permutációinak a felírása. Ilyen rövid mondatoknál ez természetesen nem probléma, de nagyon gyorsan azzá válik: egy hat szó hosszú mondat 720 féle (6!) változatban írható fel, egy 10 szót tartalmazó már 3,6 millió-féle módon, és hamarosan kifogyunk a memóriából, az algoritmus pedig elviselhetetlenül sokáig fut. A t-mátrix is okozhat gondokat, hiszen elméletileg angolszavak*magyarszavak számú eleme van, ami egy rendes korpusz esetében százmilliós nagyságrendet jelent.

A következő poszt arról fog szólni, hogyan lehet mégis rávenni a számítógépet, hogy valódi, vagyis nagy mennyiségű és bonyolult adattal is megbírkózzon. Terítékre kerülnek az olyan kellemetlen kérdések, mint az adatok tárolásának a mikéntje, a véletlenszerű mintavétel, és végre fog szerepelni futtatható kód is.

Könyvismertető: The Lean Startup

2011-11-03T10:53:00.002+01:00

A legtöbben úgy képzeljük hogy egy startup pár flanelinges srác ötleteléséből születik egy kollégiumi szobában, aztán a srácok keményen dolgoznak és egyszer csak multimilliomosok lesznek. A történet akár igaz is lehet, de szeretjük elfelejteni hogy a történet gyakrabban ér véget azzal hogy vagy nem sikerül elég befektetést felhajtania a fiatal srácoknak, vagy elhasználnak (elégetnek) minden pénzt a zseniális ötletre, anélkül hogy sikerülne életképes üzletet létrehozniuk. Eric Ries Lean Startup módszere megpróbál segíteni abban hogy az ötlet életképessége mihamarabb kiderüljön és jól hasznosuljon a befektetett tőke.

Eric Ries: The Lean Startup – How Today's Entrepreneurs Use Continuous Innovation to Create Radically Successful Business
2011, Crown Business
336 oldal
a könyv honlapja

Kik olvassák el?

Habár a téma számomra egzotikus (ami alatt azt értem hogy nem olvastam sokat ilyen témákról és azt a keveset is csak az utóbbi 10 hónapban), a könyv nyelvezete nagyon élvezhető, nem hemzseg a szakzsargontól, az üzleti- és technikai szaknyelv épp annyira járja át amennyire szükséges és szinte minden alapfogalmat elmagyaráz a szerző – ami számomra ismeretlen volt, azt egyszerű Google kereséssel is meg tudtam találni.

A címből azt gondolná az ember hogy első sorban vállalkozóknak, azon belül is startupokkal foglalkozó szakembereknek íródott a kötet, de bátorítok mindenkit aki az ún. “tudásalapú” szektorban dolgozik hogy olvassa el, függetlenül attól hogy állami- vagy versenyszektorban, kkv vagy multi cégnél van, vezető, fejlesztő stb. A könyv nem csodaszer, sokkal inkább gondolatébresztő, ezt Ries – számomra nagyon is szimpatikusan – többször is hangsúlyozza, de legjobban a kötet vége felé fogalmazta meg: “Those who look to adopt the Lean Startup as a defined set of steps or tactics will not succeed” (270. o.)

Ha nem egy csodaszer, akkor viszont micsoda az a Lean Startup? Nagyon röviden olyan receptek gyűjteménye melyek segítenek eltüntetni a selejtet/veszteséget az innovatív munka során. Ahogy minden nagymama receptje egy kicsit különbözik, igazodik a család és a nagyi ízléséhez, úgy a bemutatott legjobb eljárásokat is hozzá kell igazítani a körülményekhez. Így a puszta definíciók mellett sokszor olvashatunk esettanulmányokat vagy inkább sztorikat arról miképp küzdöttek meg a feladattal mások – sikeres startupok, megállapodott cégeken belüli “belső vállalkozások” (intrapreneur) esettanulmányai, de egy mamut cégnél dolgozó fiatal személyes története is színesítik a könyvet.

Mi micsoda?

Ries alaptétele egyszerű: “Startup success can be engineered by following the right process, which means it can be learned, which means it can be taught” (9. oldal) Mielőtt bárki ellentmondást feltételezne az előző idézettel, gondolja végig hogy pl. a szakács mesterséget is iskolákban tanítják, de a gyakorlat és a tapasztalat érleli mesterré a nagyokat. Így a Lean Startup nem más mint a jó alapok lefektetése, amit idővel mindenki a maga számára tesz belsővé.

Steve Blank volt az aki rámutatott hogy egy startup nem redukálható az innováció technikai részére, a business és a marketing is része a folyamatnak. Ries (szerintem zseniális) ötlete röviden abból áll hogy a három oldalt integrálni kell egy folyamatos tanulási folyamatba. Így radikálisan megváltozik azonban pár alapvetőnek gondolt fogalom jelentése. A startup nem induló, technológiai vállalkozást jelent ahogy a szótárban írják, hanem “a human institution designed to create a new product or service under conditions of extreme uncertainty” (27. oldal). A startup célja pedig nem egy új “killer app” piacra dobása, hanem “to figure out the right thing to build – the thing customers want and will pay for – as quickly as possble” (20. oldal) És hogy mit épít egy startup: “I prefer to use the broadest definition of product, one that encompasses any source of value for the people who become customers. Anything those customers experience from their interaction with a company should be considered of that company's product” (28. oldal) Ennek megfelelően az innovációs folyamat is kitágul, a startup maga a termék, minden oldala folyamatos innováció során alakul.

A nagy kérdés általában nem az hogy megvalósítható-e egy ötlet, hanem hogy érdemes-e megvalósításába időt, energiát, kreativitást és pénzt ölnünk. A meglévő szoftverfejlesztési technikák (különösen az agilis szoftverfejlesztés) a technikai oldalon már lefektették a bevett gyakorlatot (gyors iterációk, tesztvezérlet fejlesztés, folyamatos fejlesztés stb). Azonban hogy mit fejlesztünk, mennyire vagyunk biztosak abban hogy jó irányban haladunk és sikeresek leszünk már más tészta. A Lean Startup Build-Measure-Learn módszere éppen azt a célt szolgálja hogy a fejlesztés fázisairól tapasztalat által hitelesített tényekre alapozva tanuljunk (validated learning).

Egy ötlet magában hordozza a bele fektetett hitet, hiszen ki vágna bele egy olyan idea megvalósításába amiben ő maga sem hisz. Azonban ahogy a mondás is szól, hinni a templomban kell. Saját meggyőződéseink gyakran becsapnak minket és rossz utakra vezetnek (Nassim Nicholas Taleb ezekről nagyon jó könyveket írt, ha nekem nem, neki remélem hisz az olvasó). Ries, az IMVU beindítása során szerzett tapasztalataira alapozva, egy olyan, a statisztikai hipotézis teszteléshez hasonló, keretet dolgozott ki ami a Build-Measure-Learn ciklust segíti. Első lépésben szükséges valamilyen terméket (a fenti idézet szerint ez lehet bármi amivel a fogyasztónk találkozhat, tehát akár egy honlap is) építeni (build), ez nem kell hogy teljesen profi legyen (számomra ez is nagyon fura, hiszen szeretünk kész, profi dolgokkal találkozni), de valósítson meg egy ötletet, ekkor következik a mérés (measure) szakasz, ami alapján tanulhatunk. Garantálni lehet hogy a valóság előbb utóbb összeütközésbe kerül előzetes elképzeléseinkkel, ilyenkor tanulunk csak igazán! Azonban ez oda is vezethet hogy a fejlesztés eredeti irányától el kell térnünk (pivot), azonban ezt nem vakon, hanem adatokra alapozva tehetjük meg, és remélhetőleg nem vagyunk annyira önfejűek hogy sokáig ellentmondunk az adatoknak. Ideális esetben ezzel rengeteget spórolhatunk, de az is benne van a pakliba hogy nagyon hamar kiderül hogy egy fabatkát se ér az ötletünk...

A kötet nagy része tkp. annak leírása miképp tesztelhetjük magunkat és hogyan vezethetjük be a lean startup metodikát különböző helyekre. Egyrészt nem lenne szép ezt lelőni, másrészt nem is tudom megtenni mert kétszeri átolvasás után addig jutottam hogy elhiszem hogy ezek a módszerek működnek és pár eszközt már meg is néztem. Annyi minden esetre biztos hogy nem lehet egyik napról a másikra átállni erre a gondolkodásmódra (ezt a szerző is hangsúlyozza, pl a 5 whys, módszernek egy leegyszerűsített változatát is ajánlja az áttérés folyamatára) és mivel mindenkinek magára kell szabni a praktikákat (meg gondolom egyéb okokból is) egy aktív közösség alakult ki a lean művelőiből és nekem egy nyílt társaság képét sugározzák, akik nem hét lakat alatt őrzik praktikáikat, hanem megosztják egymással amit csak lehet.

Rám revelatív erővel hatott a kötet, rögtön kétszer is elolvastam. Úgy sejtem hogy nem vagyok egyedül azzal hogy gyakran valami nagyon tuti kis elméletről gondolom azt hogy no az aztán igazi game changer lenne ha megvalósulna – igen ám, de mi van ha egyszerűbben, igaz elméletileg nem annyira elegánsan is meg lehet oldani a problémát? Az alkalmazott kutatás során pedig figyelembe kell venni olyan szempontokat is mint pl a véges erőforrások (ember, pénz, technika, stb) és a megrendelői igények. Az elméleti tudomány rengeteg ötlettel szolgálhat, az alkalmazott kutató dolga hogy ismerje ezeket, tudjon választani közülük a problémának és a lehetőségeknek megfelelően. A termékfejlesztés során pedig figyelembe kell venni a kutató számára külső tényezőket is, mert azok is a megoldandó feladat szerves részei.

So, you want a real job?

2011-10-31T19:56:00.003+01:00

A guest post by Christopher Phipps, The Lousy Linguist

Let’s play a little thought game. Let’s pretend you have an academic background in linguistics with at least some graduate level study and now you want to find a job outside of academics, in industry. What should you expect to find? In the USA (and this is probably largely true of Europe as well), you should expect to find that most people misunderstand your skill set (you will first and foremost be wrongly categorized as a translator).

To combat this, you’ll need to craft your resume in a way the discourages this misinterpretation and highlights your academic skills. One thing I recommend is to avoid the word “linguist” if possible, especially in prominent locations like the top of a resume or the first paragraph of a cover letter or email. Find another way to describe your knowledge like “cognitive scientist” while still being accurate. One caveat, I would avoid using “syntax” in a resume because most non-academics associate it with theory, and they’ll think you don’t know anything “valuable.” But words like “grammarian” or “phonologist” are good because they are technical without being burdened by negative connotations.

As a linguist, most of the skills that will help you in the non-academic job market are no different than those that help accountants, engineers, and managers: people-skills. Ultimately , your ability to write a good resume, interview, and work with colleagues will help you the most throughout a career.

I’ve worked in industry since 2004 at big fortune 100 companies and small start-ups and my experience is that most companies don’t have clearly defined personnel requirements (they’re not sure what they need people to do, they just need people). Success is about convincing an employer that you can add value to their team. You’ll need the confidence to help an employer understand how your specialized linguistics skill set can add that value. I find that employers can be remarkably open minded if you convince them you are smart and devoted.

That said, what kinds of jobs are actually open to linguists? To be clear, the market for pure linguistics outside of academics is small at best. Most linguistics related jobs in industry fall into one of these categories:

NLP (text mining, sentiment analysis, ontologies)
Pathologist (audiology, speech pathology)
Language specialist (lexicography, speech recognition, language learning)
Other (forensic linguistics, branding & marketing)

NLP (text mining, sentiment analysis, ontologies) Many non-academic linguistics related opportunities are in engineering for natural language processing and these jobs pay very well, but unfortunately those career have evolved into almost strictly engineering careers (hint, they’re not looking for linguists who can program; they’re looking for programmers who can learn a little NLP). If you can’t write code, develop algorithms, or do statistics, these jobs are not really open.

Pathologist (audiology, speech pathology) I don’t know much about these fields except that they typically require specialized training is departments like communicative disorders, audiology, and speech pathology. These fields look like a remarkably satisfying blend of linguistic theory and practice. But rumor has it that they are clique-driven as well (difficult to break into a new job even after finishing the training).

Language specialist (lexicography, speech recognition, language learning) Many speech recognition companies will hire language specialists to build language-specific lexicons or linguistic libraries, but these jobs tend to be for native-speakers of a language, not academic linguists, and they are often temporary or short-term (Nuance is a major player in speech recognition and often hires these kinds of temporary “linguists”). Also, many language learning software companies like Rosetta Stone will hire temporary or permanent language specialists, but again, they’re really looking for native speakers, your linguistics background will likely give you an edge, but it’s not the key.

Other (forensic linguistics, branding & marketing) By “other” I mean there are occasionally jobs that pop up that are unpredictable or emerging. Forensic linguistics is an emerging field so I don’t know what the job market looks like, but it strikes me as one of the most promising new fields that may very well be a good job market for academics. Time will tell. There are also a number of marketing and branding companies that hire linguists either part-time or full time to perform various kind of quasi-linguistic related research on brand names or marketing strategies. But like forensic linguistics, this market is unpredictable and difficult to make any generalizations about.

Let me re-state that success in industry has less to do with your specific technical skills and more to do with your personality and how well you work with others.

Finally, let me ask you to sit back and ask yourself, “what kind of company could I create if I primarily hired academic linguists?” After coming up with some ideas, ask yourself, “how would this company make money?” Would you produce a product or a service? Who would buy that product or service? How much would they pay? Could you make a profit off of linguistics? If your answer is yes, call me, I’ll arrange VC financing and rent some space and we’ll be the next Google.

Szösszenet - Szakzsargon, avagy értelmezési lehetőségek bölcsészek nélkül

2011-10-30T19:10:00.002+01:00

Zoli írásán felbuzdulva, én magam is késztetést éreztem, hogy kiálljak bölcsésztársaim mellett, s felhívjam a figyelmet a funkcionális analfabetizmus egyre terjedő jelenségére. Pedagógus-bölcsész révén sokszor szembesülök a társadalmunkon egyre inkább úrrá levő közönnyel a nyelvi formákkal szemben, amiket a homályosan fogalmazók, két(es) értelmű mondatokat alkalmazók jobbára ki is használnak.

A bölcsész tarisznyás, a bölcsész elvont, a bölcsész csak olvas…. Igen, olvasunk. Ki az, aki nem olvas? Ettől válunk egyedivé? Ili néni bemegy a boltba, leolvassa az árakat, Józsi bácsi kinyitja az újságot, elolvassa a híreket, Julcsi az iskolában elolvassa a megoldandó feladatot. Ám érdemes lenne végig gondolni, hogy mit is takar az olvasás folyamata. Ki, milyen céllal olvas? A bölcsész olvas, értelmez, kontextusba helyez, kritikusan gondolkodik a befogadottakon, tovább gondol, ír róla valamit… Na igen, ebben tényleg semmi nagy ügy nincsen, hiszen Ili néni a boltban szintén értelmezi a kiírt kódot (jelen esetben az árakat), konstatálja, hogy a tej drágább, mint tegnap volt, megállapítja, hogy ez valószínűleg a gazdasági helyzet miatt van (talán hallott is erről a tévében, vagy a szomszédoktól). Miben más, egy bölcsész, mint a hétköznapi olvasó, értelmező? Jobban látja az összefüggéseket, képzettebb? Az orvosok is képzettek…. Miben egyedi a bölcsész? Miért vagyunk mi hasznosak a társadalom számára? Tanítjuk a gyerekeket olvasni, gondolkodni, értelmezni, elemezni? Van valami, amit a nyelv tökéletes ismerete, a nyelvi kódok beazonosítása nélkül sem Ili néni, sem Józsi bácsi, sem a kis Julcsi nem tesz meg, de a bölcsész (lényegétől fogva) megteszi: olvas a sorok között, kódokat értelmez, legyen az nyelvi, képi, vagy auditív. Lássunk egy teljesen hétköznapi példát!

Kezemben az ideális használati utasítás: aprító gép. Világos, hogy aprít, hogy milyen feszültség alatt működik, ez szerepel a doboz oldalán nagy fekete betűkkel, ezt egy laikus is konstatálja. Hogy látja ezt egy bölcsész? Az árkategóriát tekintve az alacsonyabb jövedelemmel (képzettséggel) rendelkező emberek is megengedhetik maguknak, az utasítások nyelvezete számukra is értelmezhető. A szöveg nyelvezete érthető, világos, nem tartalmaz túlzott mértékű szakzsargont (a fali aljzat helyett konnektor szerepel). A szöveg logikusan van felépítve, a beüzemelés lépései lineárisan követik egymást. A mondatok szerkezete egyszerű, nem tartalmaz alárendelő szerkezetet, az utasítások rövidek, tömörek, egyértelműek.

Az iskolában, amikor a diákoknak feladatokat készítünk, ügyelnünk kell az életkornak megfelelő megfogalmazásra, a feladatok nehézségi fokára, a kognitív előismeretekre. Ki, vagy kik teszik ezt meg a felnőttek között? Vajon kik azok, akiknek figyelő szemei a nyelven keresztül a felnőtteket is körül veszik? Kik segítenek a politikusoknak a nyelv által céljaik elérésében? Kik segítenek érthetővé tenni a bonyolultabb nyelvi kódok befogadását? Kik fordítják le a bankok bonyolult világát az eltévedt emberek számára? Kik hívják fel a figyelmet a felnőttekre leselkedő apró-betűkre, bizonytalan mondatszerkezetekre? Ki értené azt a bizonyos használati utasítást, ha a mérnökök által használt szakszavakkal, hosszasan alárendelt mondatokkal, párhuzamos szerkezetekkel lenne tele? Kérek mindenkit, gondolja át ezeket a kérdéseket, s csak aztán kardoskodjanak a bölcsészek számának csökkentése mellett!

Olvasással, szövegértéssel kapcsolatos felmérések, hasznos cikkek az érdeklődők számára: az első pofon A PISA 2000 vizsgálatról, olvasás, mint dekódolási mechanizmus Gósy Mária: A szövegértő olvasás, Péter Adél Orsolya: Az olvasási készség fejlesztése, az olvasás társadalmasodása és az olvasás hiányában társadalom peremére szorultak története Csoma Gyula - Lada László: Az olvasás éve és a funkcionális analfabetizmus, napjainkban aktuális jelenséget vizsgált a PISA 2009-es digitális szövegértéssel kapcsolatos felmérése, melynek eredményei itt olvashatók.

Hitelválság és nyelv - avagy miért ne zárjuk be a bölcsészkarokat

2011-10-26T10:44:00.002+02:00

A nyelvi relativizmus kérdésében én radikális álláspontot képviselek, röviden szerintem nincs ilyen (vagy jobban mondva a nyelven kívüli dolgok miatt vannak bizonyos jelenségek amik kognitív szinten eltéréseket okozhatnak) de hát ez csak egy vélemény. Viszont megrökönyödve olvastam a hírt hogy Keith Chen viselkedésökonómus szerint azon nyelvek beszélői melyek nem bonyolítják túl a jövőidőt (pl. kínai, de nekem rögtön a magyar jutott eszembe!) sokkal nagyobb megtakarítási hajlandósággal rendelkeznek.

A hírt Lera Boroditsky Twitter feedjében "kaptam". Akik nem ismerik Boroditskyt, azok feltétlenül pótolják ezen hiányosságukat! A neves Stanford-i pszichológus a nyelvi relativizmus egyik legkreatívabb kutatója. A relativizmus egy gyengébb formáját nagyszerűen sikerült alátámasztania, Sex, Syntax and Semantics című tanulmánya pedig egyik kedvenc olvasmányom. Mivel csak műkedvelő vagyok a területen inkább az eredeti cikkekhez irányítanám az olvasót, vagy egy régebbi posztomat ajánlom a témáról (itt és itt), itt röviden csak annyit emelnék ki hogy Boroditsky kísérletei túllépnek a bevett kliséken (pl. a színnevek elemzésén) és eléggé meggyőzően érvelnek amellett hogy anyanyelvünk bizonyos értelemben meghatározza azt hogy miképp látjuk a világot (pl. hogyan tájékozódunk). Nem kell elfogadni persze az állításait, de olyan empirikus keretben próbál meg érvelni ami szimpatikus és gondolkodásra sarkall.

Keith Chen nagy szép címet adott ominózus tanulmányának "The Effect of Language on Economics Behavior: Evidence from Saving Rates, Health Behaviors, and Retirement Assets". Maga a tanulmány szerintem alapvetően rendben van, van benne szexi matek, mindenféle képlettel ami totál meggyőző azok felé akik nem értenek hozzá, akik meg értik bólogatnak szépen. Ezzel nincs semmi bajom, de ne feledjük hogy az okság fogalma (causation hogy szép angol szóval éljek) nem ilyen egyszerű dolog! Én még nem találkoztam statisztikai bevezetővel ami ne említené meg hogy (ha jól emlékszem Dél-Franciaországban) korrelációt találtak a falvak gólyapopulációinak nagysága és a szülések száma között. Akkor a gólya hozza a gyereket?

A hírt közlő cikkben John H. McWhorter kritikája azonban élesebb de szerintem nem is az a kérdés hogy az FTR (future time reference) besorolás helyes-e minden nyelvnek, hanem hogy tekintetbe veszünk-e más tényezőket. A nyelv és a kultúra (a szó legtágabb értelmében) nagyon összefüggő dolog, de ennyire összefüggne a kettő? Tényleg csökkenti a megtakarítási kedvet ha FTR-ben gazdag nyelvet beszélünk? Vegyük az alábbi ábrát a tanulmányból, ami azt mutatja hogy egy-egy országon belül mekkora arányban beszélnek FTR-ben gazdag nyelveket és mekkora a háztartások megtakarítása.

Észt rokonainkra olyan rossz hatással vannak az oroszok hogy csak na, azonban a svájciak majd fele beszél FTR-ben gazdag nyelvet, ergo nyilván a másik fele spórol serényen. Hol vagyunk mi? Másról se hallani a válság óta mint hogy csapnivaló pénzügy kultúránk van, alacsony a megtakarítási hajlandóságunk stb stb. Gondolom az észtekhez hasonlóan nálunk is van egy jelentős FTR-ben gazdag nyelvet beszélő kisebbség. Vagy az van hogy a térség kulturális, geopolitikai, stb öröksége olyan gazdasági szerkezetet és viselkedésformákat alakított ki (no meg olyan életszínvonalat) ami nem teszi lehetővé hogy sok legyen a bankszámlánkon. (Nem mellesleg sokat is iszunk, dohányzunk stb. pedig azt sem kellene, már csak nyelvünk okán sem a tanulmány szerint)

A lényeg szerintem itt nem az hogy valaki próbálkozott valamivel. Sokkal inkább az hogy nem ment oda a tarisznyás bölcsészhez, nem kérdezte meg hogy mi van haver, én ezt és ezt gondolom segíthetnél nekem jobban átlátni a problémát. És ilyen ezer meg egy alkalommal előfordul, sajnos egyre többször. Ezért kérem ne zárjuk be a bölcsészkarokat, a bölcsészek pedig alakítsanak ki magukról olyan képet hogy nyugodtan kérdezhessünk tőlük (magyarán fogják fel hogy azért tartjuk őket hogy legyen kitől kérdezni ilyen ügyben, és értsék meg hogy nem mindenki érti az inherens, hermeneutika, poszt-modern, elkülönböződés és egyéb bűvszavakat).

Könyvismertető: Faceted Search

2011-10-24T09:28:00.002+02:00

Mi is az a facetta? Erre a legjobb választ eddig Király Péter blogján találtam: "kategóriák különféle ortogonális halmazaiban fellelhető tulajdonságok együttese. De inkább: a találati halmaz automatikus kategorizálása az egyes rekordokban található mező-értékek alapján. Segítségükkel könnyűszerrel áttekinthető és szűrhető a találati halmaz." Daniel Tunkelang a CMU professzora és az Endeca információ menedzsment eszközt készítő cég egyik alapítója (no meg a TunkRank algoritmus megalkotója, a méltán népszerű The Noisy Channel blog szerzője stb stb) egy rövid, ám alapos könyvben foglalta össze a témát. Szépen, tisztességesen járja körül hogy mi is az a facettás keresés, honnét ered, mi fán terem és hogyan használható.

Daniel Tunkelang: Faceted Search
Morang & Caypool Publishers
Synthese Lectures on Information Concepts, Retrieval, and Services
80 oldal
a könyv adatlapja a kiadó oldalán

Tunkelang többször elsüti hogy a facettás keresés olyan mint a sakk, egy nap alatt el lehet sajátítani az alapjait, de egy életen át kell gyakorolni hogy igazán jók legyünk benne. A könyv (vagy inkább füzet) ennek megfelelően rövid. Három részre oszlik, összesen pedig nyolc fejezetből áll, nagyon olvasmányos nyelvezeten íródott, ezért igazán kellemes délutánt (vagy reggelt/estét az olvasó idejétől és szokásaitól függően) szerezhet. Ellenben az olyan technikai könyvekkel melyeket a marketing osztályok unszolására mindenkinek ajánlanak, ez a könyv tényleg olvasható minden különösebb előképzettség nélkül. Persze ez nem jelenti azt hogy nem kell minimális érdeklődés a keresés problémai iránt, és nem árt az sem ha az olvasó aktívan próbálja feldolgozni az információkat, de ennél több tényleg nem kell hozzá.

Az első rész (Key Concepts) három fejezte bemutatja az információ elrendezésének történetét, igen a görögöktől kezdve a facettás keresés megjelenéséig, az információ kinyerés (information retrieval) alapjainak bemutatását a kettő közé iktatva. Nincs túl bőre eresztve a bevezetés, de ad egy átfogó képet és egy fogalmi keretet a továbbiakhoz.

A második rész (Reasearch and Practice) áttekinti az akadémiai és ipari kutatásokat. Amolyan katalógus szerű felsorolásról van szó, nem árt a Google után nyúlni és vetni egy pillantást a felsorolt példákra élesben.

A harmadik rész (Practical Concerns) a front- és back-end (azaz a szerver és kliens/felhasználói) oldalról járja körül a problémát. Nem kell megijedni, ami technikai részként megjelenik, ahhoz pont annyi magyarázatot fűz a szerző ami segít megérteni a problémát a nem-programozó (pl. dizájner, könyvtáros, information architect) olvasó számára. Nekem a legizgalmasabb a front-end példák tárháza volt, de itt is szeretném hangsúlyozni hogy a szerző nem szószátyár, inkább igazodási pontokat sorol fel csupán.

Összegezve ez a könyv egy jó átfogó olvasmány. A kezdőknek pont annyit ad amivel elindulhatnak, a profiknak pedig segít összegezni, rendszerezni az eddig tanultakat.

Digitális tanulásszervezés

2011-10-21T20:55:00.010+02:00

Napjaink pedagógusai már nem a katedrán megtestesülő két lábon járó tudást jelképezik, sokkal többet annál: szervezők, koordinátorok, menedzserek, sőt mini-informatikusok is. A 21. század modern vívmányai a hétköznapokban is, így az oktatás színterein is egyre nagyobb teret hódítanak. A kakaó-biztos óvodai számítógépek után megjelentek a digitális táblák, a füzetet lassan leváltja a modern palatábla, s a tankönyveket a digitális tananyag. A pedagógusnak alkalmazkodnia kell a társadalom változó elvárásaihoz, s kompetenssé kell válnia a digitális környezet kialakításában. Ehhez szeretnék egy kis segítséget nyújtani.

Mit is jelent a digitális tanulásszervezés? A fogalmat nehéz lenne pár mondatban definiálni. Minden olyan hagyományos vagy konstruktív pedagógiai vagy tanulási folyamat, melyhez valamilyen digitális segédeszközt (laptop, számítógép, projektor, interaktív tábla stb..) használunk célunk megvalósításához.

Miért jó ez a diáknak, szülőnek, pedagógusnak? A gyerekek egy olyan digitális világba születnek bele, ahol interaktív felületek, mozgó, színes képek, ingerek tömkelege veszi körül őket. Ezzel szemben bekerül egy iskolába hol fekete-fehér nyomtatott, manuális eszközökkel veszik körül: könyvekkel, ceruzával, tollal. A könyv képei nem mozognak, a ceruza nem nyit meg új dimenziókat, a munkafüzet monotóniája pedig cseppet sem szórakoztató egy számítógépes játékhoz képest. Mi történik azonban akkor, ha mindezt digitális tananyaggal cseréljük le? A diákok ismerős terepen dolgozhatnak, a megszokott eszközökkel és módokkal. Motiváltak, s magabiztosabbak lesznek, és az ismerős környezet biztonságérzetet kelt bennük.

A szülő számára szintén új dimenziókat nyit a digitális környezet. Internetes naplón keresztül követheti gyermeke tanulmányi előmenetelét: nincs több elvesztett, iskolában felejtett ellenőrző könyv. A házi feladatok megoldásához otthonról is elérhető tanári jegyzetek nyújtanak segítséget, melyek révén nyomon követhető az aktuális tanulási folyamat. Szülői fórumok segíthetik a szülői közösség összetartását, az online felületek lehetőséget biztosítanak szülő és iskola, szülő és pedagógus közti naprakész kapcsolattartásához.

A pedagógus számára kezdetben több munkát és szervezést igényelnek majd az órára való felkészülések. Nem elégedhet meg a tankönyvcentrikus előadásokkal. Nem csupán módszertani, de készségei területen is fejlődnie kell. Az infokommunikációs technológiák elsajátítása elengedhetetlen a gördülékeny és sikeres digitális tanulásszervezéshez. Amennyiben az elhatározás tettekké válik, máris érezni fogja, hogy befektetett munkája megtérült. Az órák hangulata, a tanulók fejlődése, aktivitása miatt érzett büszkesége lesz az első gyümölcse munkájának.

Lássunk néhány példát a digitális tanulásszervezés gyakorlati megvalósíthatóságára. Számos weboldal működik a pedagógusok szakmai támogatására. Ezek közül ismertetek néhányat.

Digitális taneszközök használata a természettudományos tárgyak tanóráin (biológia, földrajz, fizika kémia) című oktatócsomag a pedagógusok digitális kompetenciáit hivatott fejleszteni. A kezdeti bevezető rész szaktárgytól függetlenül érdekes információkat tartalmaz minden tanár számára.

A Digitális tananyag című oldalon a megvásárolható digitális tananyagok mellett pedagógusi továbbképzések, online oktatóanyagok, oktatói fórumok érhetők el.

Az IKT hírportál pedagógusoknak elnevezésű weboldalon az iskolatípusokra lebontott tananyagok mellett e-tankönyvek és e-újságok is találhatóak. A Közösség fülre kattintva pedig pedagógusok blogjaiba nyerhetünk bepillantást.

Ezen az oldalon interaktív táblához kínálnak különböző tantárgy-specifikus programokat. E mellett használati útmutató, külföldi kollégák tapasztalatai és pályázatok is elérhetőek. Amennyiben szeretnénk kipróbálni egy-egy digitális tananyagot a Nemzeti tankönyvkiadó digitális tananyagokat forgalmazó oldalán ezt megtehetjük. A Demo fülre kattintva megnézhetjük a biológia, fizika, kémia, történelem tananyagok egy-egy részletét.

A Magyar nyelvtan című oldalon nyelvtani oktató programcsomagokat rendelhetünk iskolai vagy akár otthoni használatra is. Szintén engedélyezi a demo program megtekintését is.

Bízom benne, hogy a leírtak hozzájárultak ahhoz, hogy a digitális tanulásszervezés bonyolultnak tűnő világa kicsit ember közelibbé váljon, a kezdeti motivációt tovább erősítse, s a megadott források eszközt adjanak a tettre kész pedagógusok kezébe. Az érdeklődőknek ajánlom a következő két folyamatosan frissülő oldalt:interaktív tanító, digitális tanulásszervezés.

Lapszemle

2011-10-14T15:07:00.003+02:00

Péntek van és ismét összeállítottuk szubjektív lapszemlénket. Aki úgy gondolja hogy valamiről hírt kellene adnunk, kérjük írja meg a szamitogepes.nyelveszet(kukac)gmail.com címre, utólag reklamálni hogy miért nem szóltunk valamiről sajnos nem lehet :D Szintén állunk elébe egy-egy szakmai rendezvény meghirdetésének, de kérünk mindenkit hogy utólag ne írjon nekünk hogy miért nem kürtöltük világgá X rendezvényt - néma gyereknek stb, tessék írni (milyen rendezvény, hol, mikor + pár mondat hogy miért érdemes elmenni + linkek ha van honlap meg egyéb online jelenlét). Továbbra is lehet lájkolni Facebook oldalunkat, követni @sznyelveszet Twitter fiókunkat, és szamitogepesnyelveszet.tumblr.com blogunkon ontjuk a híreket.

Hírek a nyest.hu-ról

Az ábécé feltalálói - na ez egy tök jó cikk, több ilyen kellene
Kik is azok a palesztinok? - ismét sokat hallani róluk mióta az ENSZ-en keresztül szeretnének valamiféle önálló államiságot elérni, de kik is ők
Timosenko vagy Tyimosenko? - orosz-ukrán interferencia!

A hazai termésből

Felkapott témák keresése - posztom a Kereső világon (és igen, ott is írok egy ideje)
Mi újság (e-book) Európában? - a Kindle-varázs blog a Frankfurti Könyvvásár kapcsán írt az öreg kontinens e-könyv helyzetéről
Húzd barom, húzd - az e-könyv olvasók is hasonló témákról írt
Alakul az európai startup ökoszisztéma - a bécsi Startup Week 2011-ről szóló beszámoló
Fellángol a startup-láz - és a kapcsolódó Startup Live Budapest kapcsán a DotKom blog írt

Más

Sirimania - Liberman a LanguageLog-on a Siriről írt végre nyelvészeti szemszögből egy rövidet, de a videót kérem mindenki nézze meg, pénteken nem árt nevetni egy kicsit
Father of C and UNIX, Dennis Ritchie, Passes Away At Age 70 - nem kapott akkora publicitást ez a szomorú hír mint amennyit megérdemelt volna Ritchie....
Memo to newspapers: Let your readers inside the wall - a Guardian crowdsourcing kísérletbe kezd

Könyvajánló

Donald Metzler: A Feature-Centric View of Information Retrieval - frissen megjelent könyv, a random Markov modell lehetőséget nyújt a mostanában bevett bag-o-words modell mellőzésére és visszatér a nyelvészet egy kicsit erre a területre is

Videoajánló

Move Over Nielsen: Rethinking TV Ratings - Jodee Rich Strata előadása

A google világa 1. rész

2011-10-12T15:33:00.006+02:00

Mindannyian használjuk a világ legismertebb és legnépszerűbb keresőoldalát a Google-t, ám ki is használjuk? Mint az oktatásban, mint pedig a tanulásban óriási segítséget nyújtanak a keresők. A Google azonban olyan lehetőségeket és alklamazásokat is kínál, melyek a mindennapi tevékenységeinket is megkönnyíthetik legyen szó szövegszerkesztésről, fordításról, kutatásról, vagy kérdőív-szerkesztésről. Lássuk miket rejt a Google világa!

Pár szót a Google történetéről: a vállalat alapítói, Lerry Page és Sergey Brin közös projektjeként látta meg a napvilágot, BackRub néven. 1998-ra eladható szintre fejlesztették az immár Google névre keresztelt technológiát. A két ambiciózus fiatal elhatározta, hogy Ph.D. tanulmányaikat félre téve elköltöznek a kollégiumból és saját céget alapítanak. 1999-re nyolc alkalmazottal működött a cég, s napi 500 000 keresést bonyolítottak le. Egy éven belül 2000 végére népszerűségük töretlenül ívelt felfelé, s immár napi 100 millió (!) keresést végzett. A Google legnagyobb előnye, hogy relevancia alapján működik a keresés, és a listázás is. E mellett több mint 8 milliárd url-t böngész, csak a beírt kereső-kifejezést tartalmazó oldalakat jeleníti meg, proximity (szövegkörnyezet), tartalom kivonatolása, a kifejezés előfordulásából kiindulva, I'm Feeling Lucky” (a legmagasabbra rangsorolt oldalra visz), cache-ből is visszaszedhető oldalak, az oldalon is kiemelt kereső-kifejezést, keresés mozifilmekben, képek keresése, legközelebbi oldalak keresése, területi keresés url-ben keresés (lsd még itt). Az érdeklődőknek ajánlom A Google világa című filmet, mely a cég múltját, jelenét és jövőjét is bemutatja.

A Google szolgáltatásai tovább mutatnak az egyszerű szövegen belüli keresésen. Megjelennek olyan lehetőségek is, mint a képkeresés, könyvtárazás (hierarchikus katalógus), számológép, definíció, US telefonkönyv, US-utcatérkép, spell checker. 12 file-formátumra keres: PDF, MS Office, PS, Corel, WordPerfect, Lotus 1-2-3. Egyéb platformokon is alkalmazható: mobiltelefon, menedzser-kalkulátoron, palmokon.

Hogyan keressünk hatékonyan? Lássunk néhány fontosabb parancsot!

PARANCS	JELENTÉS	PÉLDA
+	feltétlenül szükséges szavak keresése	digitális+tananyagfejlesztés
„”	pontos szó vagy kifejezés keresése	„digitális”+”tananyagfejlesztés”
-	kizárás, szűkítés	„digitális”+”tananyagfejlesztés”-fényképezőgép
filetype:	file típus szerinti keresés	filetype:pdf „digitális”+”tananyagfejlesztés”-fényképezőgép
site:	weboldalt üzemeltető ország szerinti keresés	site:.hu filetype:pdf „digitális”+”tananyagfejlesztés”-fényképezőgép
intitle:	oldalcím részeként való keresés	intitle:”digitális tananyagfejlesztés”

SPECIÁLIS FUNKCIÓK
összeadás	szám+szám	2+3=5
kivonás	szám-szám	3-2=1
szorzás	szám*szám	2x2=4
osztás	szám/szám	4/2=2
százalékszámítás	százalék of szám	20% of 10=2
átváltás	pénznem átváltása	1000 huf in euro
	mértékegység átváltása	1 km in mile
tömegekre való keresés	konkrét testek súlyára való rákeresés (bolygók, stb..)	mass of earth

További érdekességek:

PARANCS	JELENTÉS	PÉLDA
in arabic	számok átváltása	MC in arabic
images	képkeresés	images gyerekek
defline:	magyarázatok, definíciók keresése	defline:watt
dob	híres emberek születésnapja	dob Barack Obama
capital	főváros	capital Malta
r_	bolygók sugara	r_Mars
m_	bolygók tömege	m_Jupiter

Mire képes még a Google? A Google dokumentumok használata kifejezetten előnyös akár a pedagógusok számára is, amennyiben egy mindenki által elérhető, egy időben szerkeszthető dokumentum jegyzéket kíván létrehozni és tárolni. Létrehozhatunk szöveges dokumentumot, táblázatot, prezentációt sőt kérdőíveket is. Képzeljük el, hogy kutatást végzünk! A kutatás kérdőívét a programmal gyorsan és egyszerűen elkészíthetjük, tovább küldetjük, sőt összegezhetjük is. Íme egy példa :

A kitöltött kérdőíveket ezután a program összegzi is:

Most bújjunk egy pedagógus bőrébe! Hozzunk létre közösségi felületet tanulóink számára. A Google dokumentumok közé minden diák szabadon megoszthatja jegyzeteit társaival, kiegészítő anyagokat, képeket, ábrákat tölthetünk fel és oszthatunk meg. Adhatunk csoportosan megoldandó feladatokat, melyeket a diákok otthonról, saját számítógépeikről, egy időben oldhatnak meg együtt, a csoportos egyidejű szerkeszthetőség révén. Az anyagok bárhonnan, bármely diák számára elérhetők, legyen az laptop vagy okostelefon. Igazi vérfrissítő módszer lenne ez, s a diákok is szívesen dolgoznának a számukra már megszokott digitális környezetben.

Legyünk cégvezetők! Kérjünk megoldási javaslatokat, kínáljunk szerkeszthető alternatívákat. Osszuk meg kollégáinkkal a szakterületünk szerinti tudományos innovációkat, cikkeket. Kérjünk véleményt, motiváljuk őket a közös előrehaladásra. Valószínűleg szívesebben böngészik ezeket a dokumentumokat kényelmesen otthonról, mint a munkahelyen, a főnök irodájában.

Felejtsük el az egyszerű két szavas kereséseket, a monoton böngészést! Legyünk részesei a Google világának! Vessük bele magunkat, és használjuk ki a lehetőségeit!

A számítástudomány "titkos" története dióhéjban

2011-10-09T18:32:00.002+02:00

A címet Steve Blank poszt-sorozatától és előadásától loptam előre megfontolt szándékkal. Blank zseniálisan meséli el miképp jelent meg a vállalkozói kultúra a Szilícium-völgyben, hogyan működött együtt a tudományos világ az üzleti élet és a biztonságpolitika. Azonban ez a történetnek csak az egyik fele. A 19. század vége felé valami egészen forradalmi történt, olyan ami megváltoztatta a világot mivel a számítógépek megalkotásához és a komputációs modellezés megjelenéséhez vezetett.

Walder Proofs Are Programs esszéjében írja:

For my money, Gentzen’s natural deduction and Church’s lambda calculus are on a par with Einstein’s relativity and Dirac’s quantum physics for elegance and insight.

A 19. századra a matematika megalapozása központi kérdéssé vált. Ebben a légkörben egy fiatal matematikus, aki nem mellesleg rajongott Kantért, megalkotta Begriffsschrift (azaz Fogalomírás) című művét, amivel nem kisebb tettet ért el mint hogy kimozdította az Arisztotelész óta szinte mozdulatlan logikát évezredes szendergéséből. Persze szinte visszhangtalan marad műve, de akadtak páran akik felismerték hogy történt valami. Frege jelölésmódja habár nagyon intuitív, szinte kezelhetetlen (és kinyomtathatatlan) de mégis magával ragadó. Sikerül túllépnie a szillogizmusokon és egy elsőrendű nyelvet alkotnia ami tkp. a mai klasszikus logika kalkulusa. A Függvény és fogalom című tanulmányában már egy informális szemantikát is ad elképzeléseihez, amit végül a Jelentés és jelöletben fejt ki teljesen. A matematikai függvény fogalmát általánosítva vezeti be a predikátum és argumentum fogalmakat, ezzel ki is jelölve a modern, halmazelméleti szemantika irányát. Később az Aritmetika alaptörvényeinek írása során Russel derít fényt a róla elnevezett paradoxonra. Azonban ez nem temeti maga alá az új tudományt, hanem a későbbi típuselméleti megközelítések magvát jelenti.

A Russel paradoxon is arra hívja fel a figyelmet hogy jobban kell koncentrálni a matematika alapjaira. Az aritmetika alapjaiban Frege egy sokkal olvasmányosabb formában veti fel a megalapozás kérdését, és kötelezi el magát a logicizmus mellett. Ez az irányzat minden matematikai alapfogalmat szeretne logikailag egzakt formában leírni. Frege kísérlete a halmazok számosságából kiindulva próbálja az aritmetikát megalapozni (mint később kiderült nem is volt ez egy elhibázott irány). Cantor naiv halmazelméletében is gondokat okoz azonban Russel paradoxona, és nagy erőket kell bevetni hogy ne űzettessenek ki a paradicsomból a matematikusok, de szerencsére sikerül megvédeni ezt a terepet.

Hilbert Fregevel ellenben egy formalista programmal állt elő; miért kellene interpretálnunk egyáltalán formális elméleteinket, legyen elég annyi hogy egy adott szabályrendszer kijelöli az érvényes levezetéseket, tök mindegy hogy narancsokon, geometriai pontokon értelmezzük azokat. Gentzen egy ilyen formális rendszert adott meg, egy kalkulust ami viszont remekül egybecseng intuíciónkkal és akár egy informális interpretációját is adhatjuk.

Gödel tételeit lassan mindenki idézi és lassan csak reméljük hogy legalább minden második ráhivatkozó ember érti legalább a lényegét: egy jól összerakott, ellentmondásoktól mentes formális rendszerben nem vezethetünk le minden igaz állítást. Attól függ honnét nézzük, van aki szereti kiemelni hogy akkor akadnak olyan mondatok melyek igazak de nem levezethetőek, másokat viszont az érdekel hogy ami igaz és levezethető, az "automatikusan", pusztán pár viszonylag egyszerű szabály követésével levezethetőek. Hilbert vetette fel az ún. eldöntés problémát (Entscheidungsproblem): ha adott egy formális nyelv és egy (matematikai) állítás, megadható-e egy olyan eljárás ami megadja igazságtartalmukat (azaz hogy levezethető-e vagy sem). Alonzo Church és Alan Turing egymástól függetlenül válaszolták meg a kérdést, Church verzióját negatív válasznak is szokták nevezni, Turing (amúgy Kleene munkáira alapozott) válaszát pedig pozitívnak (vagy általánosnak) szokták nevezni. Az eszköz ami "képes dönteni" egy elméleti konstruktum, a Turing gép. A pozitív válasz, annyiban pozitív hogy ha eldönthető egy állítás, akkor egy Turing gép képes azt eldönteni.

Turing el is utazott az USA-ba hogy Church mellett töltsön egy kis időd (1936 és 1938 között) ahol a kriptográfiával és a számítástudomány mérnök oldalával is megismerkedett. Nem sokkal visszaérkezése után kitört az második világháború, a lengyel tudósok munkáira és szerencsésen elfogott Engima rejtjelező gépekre alapozva a brit kormány létrehozta Bletchley Parkban a Rejtjelfejtő Iskolát, ahol Turing (és társai) egy nagyon gyakorlati problémával találta szembe magát. A megoldáshoz pedig az eldöntéselmélet megoldásához használt gépét valósította meg, hogy egy ma nagyon divatos algoritmikus gépi tanulási problémát oldjon meg. De akkor még nem volt divat nagy neveket adni mindennek, simán matematika névvel illeték az egészet :D

[...] in the business of searching through the 26³ possible rotor positions, no improvement was possible on serial trial using the equivalent of moving Enigma rotors, so that improvements rested on having ever faster, more reliable machines produced in larger numbers. For the question of the choice of rotors and their order, however, which was particularly relevant for the Naval Enigma problem, Turing developed a method called 'Banburismus' which, particularly in 1941, much improved upon the simple trial of the possibilities. This method rested on the logical details of the turnover positions of the different rotors, but also on assessing the statistical identification of likely 'depths' — two different stretches of message, both sent on the same Enigma settings. For detecting depths objectively, giving a reliable probability measure to them, Turing developed a theory of Bayesian inference. The most striking feature of his theory was his measurement of the weight of evidence by the logarithm of conditional probabilities. This was essentially the same as Shannon's measure of information, developed at the same time. This theory was developed into sophisticated methodology (Good 1979, 2000). Whilst the logical principle of the Bombe, and its amazingly effective application, was perhaps Turing's most brilliant single idea, his statistical techniques were more general and far-reaching. In particular, they were also applied to the quite different Lorenz cipher system employed by Germany for high-level strategic messages. Thus it was Turing's theory of probability estimation that underlay the methods mechanised by the large electronic 'Colossus' built in 1943-45 to decipher this type of traffic. (Andrew Hodges: The Military Use of Alan Turing)

A háború végeztével a lassan megkezdődött a számítógépek egyre szélesebb, nem csupán katonai alkalmazása. Az ötvenes évekre a mai ismert területek előfutárai is megjelennek, az első mesterséges intelligencia konferenciát is megszervezik, színre lép Chomsky, neurális hálókkal és gépi tanulással kísérletezgetnek sok helyen.

Az egyik első, és máig is aktívan fejlesztett nyelv a Lisp Turing és Churhc ötleteire épült - erről Paul Graham The Roots of Lisp esszéjéből többet is megtudhat a kedves olvasó - ami később a funkcionális paradigmát alapozta meg. Napjaink "hipster" nyelvei is mint az R, Haskell és Clojure (Incanter) a Lisp hagyományait követik (l. bővebben Back To The Future: Lisp as a Base for Statistical Computing).

Az elektronika fejlődése és a Szilícium-völgyben kialakult startup kultúra egyszer csak összetalálkozott és a kezdeti próbálkozások felgyorsultak, majd napjainkra átformálták világunkat. Természetesen ez azzal is jár hogy a szakosodás során egyre kevesebb ember látja összefüggőnek a különböző területeket, napjaink adattudomány-őrülete pedig gyakran eredményezi azt hogy sokan elfelejtik hogy alapvetően Turing Colossus-át építjük újra nap mint nap, a statisztikai elemzés nem mellőzheti a matematikai-logikai alapokat, nincs semmi ellentét.

Ennyi a mese dióhéjban. Ahogy időm engedi szeretném jobban kifejteni a következőket:

a matematika krízise és kiútkeresése
Frege szerepe és a modern analitikus filozófia megjelenése
a Bécsi Kör és a Prágai Kör megjelenése, mint ugyanannak a problémának a bölcseleti vonulata
az eldöntésprobléma és Turing gépek
az Enigma
a mesterséges intelligencia megjelenése
a mesterséges intelligencia krízise
Charniak és a statisztikai megközelítés megjelenése
a két kultúra (statisztikai elemzés vs algoritmikus modellezés)
tudományfilozófia/tudományszociológia avagy miért kell átnevezni a statisztikát, logikát, matematikát, nyelvészetet stb hogy eladható legyen

Akinek megjegyzése, észrevétele van, vagy úgy érzi megírná valamelyik részt helyettem, esetleg írna nekünk valamit ami nincs a listán de ide passzol, az kérem vegye fel velünk a kapcsolatot.

Lapszemle

2011-10-07T10:50:00.002+02:00

Kósza kísérletem a Lapszemle rovat befagyasztására sok levelet eredményezett, ezért elvetettem - viszont Enikő igazolt távollétében nem tudom garantálni a heti rendszerességet. Aki nem akar lemaradni híreinkről, az lájkoljon minket a Facebookon, kövesse @sznyelveszet Twitter fiókunkat és csekkolja szamitogepesnyelveszet.tumblr.com oldalunkat - én szóltam!

Hírek a nyest.hu-ról

Erromintxela, a baszk cigány nyelv - nem tudom ki hogy van vele, de én imádom az egzotikus nyelvekről szóló beszámolókat, ez pedig kvázi itt van a szomszédban.
Az egyetlen igaz Nyelvészet? - címével ellentétben a generativizmus és a pszicholingvisztika közötti kapcsolatokról szól az írás, amúgy jó gondolatébresztő

A hazai termésből

Mobil vs. desktop keresés - ajánlom magamat a Kereső világon :D Egy érdekes tanulmányról írtam összefoglalót, nagy meglepetésemre az okostelók keresési használat szempontjából sokkal közelebb állnak a hagyományos gépekhez.
Keressük a jövőt - továbbra is ajánlom magamat a Kereső világon. Ha azt gondoltad hogy a jövőt nem lehet keresni tévedtél, az írásból meg tudhatod hogy vannak szolgáltatások amik már ezt is lehetővé teszik.
Miért (NEM) vennék Kindle Mini-t? - nos igen az utóbbi napok egyik nagy híre az Amazon új termékeinek megjelenése. A Kindle-varázs a legolcsóbb modellt vette górcső alá.
Megmondtam... - az e-könyv olvasók blog pedig az egész Amazon jelenséget járta körül új kütyüstül cloud-on át meg minden.

Más

"Gibbs Sampling for the Uninitiated" for the Uninitiated - @wpmcn összedobott egy jó kis Python progit a Gibbs samplingre, ami tök jó mert momentán sokunkat érdekel ez az eljárás. Ha az olvasót ez nem hozta lázba, akkor is sok érdekességet találhat a Corner Cases blogon, szóval tessék klikkelni!
Data science: tools vs. craft - a mathbabe egy üdítően jó blog, nem buzzword gyűjtemény hanem igazi tudományos blog, egy csipet politikával fűszerezve
Why Startup Hubs Work - Paul Graham minden esszéje kötelező olvasmány, a cím meg magáért beszél
Machine Learning: Test feature extraction (tf-idf) I és II - a népszerű tf-idf technika részletesen elmagyarázva, Python kóddal megtámogatva

Könyvajánló

Bruno de Finetti - Alberto Mura: Philosophical Lectures on Probability -De Finetti az egyik legjelentősebb alak a probabilisztikus gondolkodók között, Mura '79-es előadássorozatát szerkesztette kötetbe. A könyv erősen ajánlott mindenkinek aki foglalkozik probabilisztikus módszerekkel.

Videoajánló

Designing Data Visualizations - hogy valami könnyed divatos témáról is legyen nézni való :D
</li>

Könyvismertető: Data Mining with Rattle and R

2011-10-05T19:19:00.003+02:00

Egyre többen érdeklődnek a az adattudományi (data science) és gépi tanulási módszerek iránt. Az adatbányászat napjainkban nem annyira felkapott téma, ahogy sokan igyekeznek elkerülni a statisztika és számítógépes statisztika (computatuional statistics) kifejezéseket, de megnyugtatunk mindenkit, a sok buzzword tkp. ugyanazt a dolgot fedi. A megnövekedett érdeklődés és a tény hogy életünket egyre jobban átszövik az említett területek eredményei együtt járnak az igénnyel egy egyszerű, gyakorlatorientált bevezetőre. Williams könyve remekül használható akár a programozásban kevésbé jártas, a statisztika alapjait ismerő érdeklődőknek.

Graham Williams: Data Mining with Rattle and R, The Art of Excavating Data for Knowledge Discovery
Springer, 2011
374 oldal
információs oldal a kiadó honlapján

Ahogy a matematikához, úgy az adatbányászathoz sem vezet királyi út, viszont egy jó pedagógiai érzékkel rendelkező ember a megfelelő eszközökkel felvértezve csodákra képes. Amit egy könyvvel meg lehet tenni, azt Williams megtette, de nyilván kell egy lelkes, türelmes és eltökélt olvasó is, aki valamennyire jártas a számítógép használatban és a statisztikában. Jó hír hogy aki fél a programozástól, vagy egyszerűen csak nem szeret programozni, az megúszhatja a kódolást hála a Rattle grafikus felhasználói felületnek.

A kötet három részre van felosztva, Explorations, Building Models, Delivering Performance. A negyedik rész tkp. a függelék hasznos információkkal szolgál a használt eszközök telepítéséről és a példa adathalmazokról.

Az első részben, miképp neve is mutatja, megismerkedhetünk azzal hogy mi is az adatbányászat, majd az eszközökkel is találkozhatunk. Ezek után a legalapvetőbb dolgokkal ismerkedhetünk meg, pl. miképp olvashatjuk be eszközeinkkel a különböző adatfájlokat, milyen egyszerű módszerekkel "fedezhetjük fel" az adatokat akár grafikusan is és az adatok kitisztításával is foglalkozik egy-egy fejezet.

A második részben jön az igazi móka, a modell építés. A leíró és prediktív analízis, klaszterelemzés, asszociációs analízis részek kifejezetten jók, a döntés fa (decision trees) és random erdő (random forests) valamint a boosting (nem tudom magyarul hogy mondjuk) fejezetek is jók és szemléletesek, de talán egy kicsit nehezebbek és érződik hogy nehéz beszuszakolni egy ilyen témát a "lehetőleg mindenki értse" kategóriába. És itt érkezünk el a support vector machines részhez, itt bizony kicsit kilóg a lóláb, habár a lényeget mindenki "leveheti" belőle, ettől cirka 12 oldaltól senki se lesz a téma szakértője.

A harmadik rész szólna a komoly, gyakorlati munkáról. Az elő fejezet kifejezetten jó! Nagyon érthetően és olvasmányosan ismerkedhetünk meg az adatbányászati módszerek hatékonyságának (performancia) mérésével. A "deployment" fejezet inkább csak egy útmutató. Keresem a megfelelő magyarítását a kifejezésnek, de szerintem a hadrendbe állítás a legjobb, a lényeg hogy "felfedező munkánkat" valahogy a világ és/vagy az ügyfelek felé konzisztens, újra lefuttattatható formában kell közölni, ehhez itt kapunk egy kis segítséget ami kezdetnek meg is teszi, de én bevallom nem ezért a fejezetért szerettem meg ezt a könyvet.

An Introduction to Scientific Workflows (For Linguists)

2011-10-04T07:51:00.000+02:00

A guest post by Richard Littauer

If you've been following @richlitt on Twitter for the past six months, you may have noticed that I've been talking about scientific workflows a lot. I was doing an internship for DataONE, an NSF-funded cyberinfrastructure initiative that tasked me with finding out all I could about scientific workflows from a site called myExperiment, which is a repository and social network for scientists who use them. However, if you're outside of the fields of bioinformatics or harder sciences, you may not know what I'm talking about when I talk about 'Scientific Workflows'.

The term came about in the 90s as a result of new changes in the way that science was being done due, largely, to computational advances. Scientists borrowed the term 'workflow' from the business world. A business workflow is basically a schema that shows how information is being transferred through a business.If you imagine a Subway restaurant, a workflow might look like this:

Subway

Customer order is the input.
The first person takes that order, and gets the bread and cuts it. He then adds in whatever the main constituents of the sandwich is, and then asks for more information.
The customer says she wants cheese.
The 'sandwich artist' (as they are called - I should know, I was one) then adds cheese, and passes on the sandwich to the vegetable handler.

And so on. You can imagine a graph of all of this happening - and you can be sure that someone, at some point, did actually draw that graph. Scientific workflows work in the same way - they are models that are used to take information, do whatever they are supposed to do with it, and then spit out modified information.

You can imagine these as processes that could run half of your lab work for you, as a geneticist - say, it could look up the gene id of the dna information you put in, and then spit out tons of published results from an online repository like PubMed (and, indeed, many workflows do stuff like this, like the one shown below.) Or, it could just convert your .xls file into an .csv so that it can be opened in R (such workflows, common, are called shims.) Or it could do different things, like generate information itself, pass data on via email to other people to check, get information offline, or tell you where in your lab work you - and the proverbial sub, your product - should currently be.

Generally, scientific workflows (or pipelines, as they are sometimes known) are on the computer. They could just be shell scripts that run in bash. However, recently, the term has been semantically narrowed to mean workflows that have been made in some sort of workflow workbench. These are programs that are designed to make workflows - they provide an easy way to string together bits of code that will do what you want to do, and mean that not every scientist needs to be a coder. There are many such programs available - Taverna and Kepler being the main two, along with others such as RapidMiner, VisTrails, and Knime. These workbenches help, specifically, the scientist with:

Creation: of workflows. Two core features that help with this are combinatoriality and recursion - you can combine different components together, and you can embed other workflows in a single workflow. You can see how this would help - you don't need to do the same work twice.
Mapping: Planning out, deciding where things go, doing the heavy work you don't want to do yourself.
Scheduling: You can imagine how this is useful.
Execution: And this - particularly when the code might involve lots of heavy processing, and therefore needs to be run on a cluster. If the program makes sure that it all runs simultaneously, it comes out much faster. There's a lot of grid programs that work like workbenches, and some that are both.
Visualisation: It's important to know exactly what you're doing, especially if your workflow is doing things to the data itself (such as when, say, it might be integrated with R or MATLAB). This helps you see how your experiment is working.
Re-use: This is, for me, the most important bit - workflows help you reproduce your own work, which is incredibly important, and they help others back up your claim by also getting your results. This is a major part of 'good' science practices.

So, this, in effect, is what I've been talking about. You can imagine this being useful for Linguistics. I'll give you an example. My dissertation focused on simulating different mechanisms used by 8-month-old children in word segmentation, using an iterated learning model. I hadn't been taught to program specifically before I took this on, and as such, I never had a plan laid out for what I wanted to do - I just started writing, and kept going until I reached the end of what I needed to write. This meant, first off, that there was a lot of bad code. Secondly, it meant that I couldn't clearly see what I was doing - if I had had some sort of visualisation of where the data was going in my code, I might have noticed a major, simple oversight early on. I didn't.

I struggled over a couple of months to understand the data I was getting. I say a couple of months, because the way I was coding it, I didn't know about efficient ways of executing my code, so I would run it overnight each night. I had around 160 runs to do, each taking around an hour. You can imagine how I felt when, three days before the dissertation was due, I found that major error in the code that invalidated all of my work. In case you didn't notice, three days is 72 hours - there as no way I was going to finish it in time.

So, I went for a walk, quickly started smoking again after trying to quit, and bought myself a pint to think about what to do. After some thought, I called up a buddy of mine. He came over, and we worked on it for around three hours. He, a PhD student in Informatics in Edinburgh, at one point started laughing when he saw my code. I didn't mind - by the end of the night, he had managed to schedule them using some simple bash scripts, and to run them on 50 clusters he had access to. We went out to celebrate, and by Saturday morning, I had all of the data to analyse. The next two days were a bit of a haul, and my thesis showed it, but that's not the point.

The point is that all of this could have been avoided - and I've heard similar stories with the same conclusion. If linguists had access to better workbenches, if they had standard practices for coding that start with the first bracket, and if they had any impetus to reuse and share each other's code in the interest of Open Science, I wouldn't have been where I was. I would have planned it better from the start (mapping), created it more efficiently, executed and scheduled it better, and had other open codes to use as a base (my error was in the iterated learning model, which was coded in almost every paper I referenced, although I saw almost none of their code), then this sort of situation would cease to happen (mostly), and we'd be better off a science.

That's why I keep talking about them - I think that they're something that can help linguists, and I don't just mean computational ones. Methodology wasn't a course at Edinburgh University for undergraduates, but it should be. Failing that, there should be an infrastructure for linguists that helps towards these ends.Since I don't see that happening currently, I'm going about making one. So, if you want to help out by designing a repository for pipelines and an open access journal based on reproducible research in the social sciences, get in touch. Otherwise, I hope you at least know what workflows are now.

Sublexical Semantics

2011-10-02T19:56:00.002+02:00

A guest post by Richard Littauer

I was asked by Zoltan a long time ago to write something for this post, and have so far neglected to come up with anything. I'm about to start a two year Computational Linguistics masters at the University of Saarbrücken, so I figure it is about time I do this, before I am too bogged down to do anything. So, here is some original research I did a couple of years ago for a Lexical Semantics assignment at the University of Edinburgh, while I was in my undergraduate, being taught by Nikolas Gisbourne. His research in this area is largely within the framework of Word Grammar, and he specialises in the event structure of perception verbs (which is the title of his 2010 book released with OUP. I had wanted to take his word grammar and apply it some sort of binary system, but my thoughts quickly went in a different direction. I cover a lot of ground responding to Rappaport Hovav and Levin's work in this are, as well as Pustejovsky, mostly as I didn't want to risk quoting Gisbourne wrong at the time. Here is that different direction, then - it's very rough, and I had no computational background at the time, so it might be a bit out there. Hopefully, I'll get some feedback on this, though, as I think it's interesting and might be an interesting route to pursue. (NB: It's mostly edited from a longer essay, if it sound a bit formal.)

Rappaport Hovav and Levin (1998) and Pustejovsky (1991) both posit representations that map the varying subevents for different types of verbs. Rappaport Hovav and Levin front an articulated, linear structure which uses rules following the aspectual, Vendler-Dowty classification of verbs. They show the varying complexity of verbs by embedding subevents within subevents. Pustejovesky (1991), on the other hand, uses a tiered, minimalist theory to cover the same ground. So, let's outline the differences and similarities between their representations, and then I'll go on to present my original theory that seeks to deal with some of the issues not covered by the other representations - generally by putting forth a system that codes the sublexical information in a computational-like framework.

Rappaport Hovav & Levin's Theory

Rappaport Hovav and Levin distinguish two components of verb meaning: the ‘constant’ and the primitive predicate. The former is useful as an idiosyncratic element of meaning for distinguishing a verbs classification, whereas the latter is “the lexical property of a verb that is taken to determine it’s syntactic behaviour...[so] a verb’s meaning consists of an association of a constant with a particular lexical semantic template.” (Rappaport Hovav and Levin 1998: 107) Lexical semantic templates, called event structure templates (ES) by Rappaport Hovav and Levin, are the rules presented in order to understand this meaning and what influences it. The classification is based on the aspectual classification of verbs first laid out by Vendler (1967) and Dowty (1979) , which essentially delegate a verb or a subevent into the template of a simple state; a simple action; a complex, inchoative/change-of-state achievement; or a complex, causative accomplishment. Rappaport Hovav and Levin posit the following ESs:

a. Activity: [ x ACT <MANNER> ]
b. State: [ x <STATE> ]
c. Achievement: [ BECOME [ x <STATE> ]
d. Accomplishment: [ [ x ACT <MANNER> ] CAUSE [ BECOME [ y <STATE> ] ] ]
e. Accomplishment: [ x CAUSE [ BECOME [ y <STATE> ] ] ]

As these are templates of verbal polysemy, not syntactic or categorical constructions, each verb aligns by default to one of these mappings. Importantly, they state that some verbs may be augmented to fill different templates: the result construction, for instance, allows an achievement verb to fit into the accomplishment template, as seen below: (Rappaport Hovav and Levin 1988: 103)

a. Cinderella scrubbed her fingers to the bone.
b. *The clumsy child broke his knuckles to the bone.

This system has its flaws, I think. Rappaport Hovav and Levin submit the Subevent Identification Condition, which demands that “each subevent in the event structure must be identified by a lexical head.” (Rappaport Hovav and Levin 1988: 112) They, correctly, do admit that a prototypical argument can be underspecified. However, their model does not specify participants for each subevent, nor does it clearly state how the semantic arguments and events link to the syntax. I may only want these because I'm used to studying this with Word Grammar as the framework, but I still think it is necessary in a theory. As well, the <MANNER> and <STATE> predicates are not clearly defined: <STATE> is identified in different examples as WITH <THING>, <PLACE>, and <DRY>, without adequate expression of the argument slots or their ability to be modified; <MANNER> is used as a specifier of the ‘constant’ for in- strumental, transitive verbs like HAMMER, without mapping hammer onto an participant. This would be expected for John hammers the nail, where a hammer is underspecified syntactically but understood semantically (that is, the verb constant is inconceivable without an expression of instrumentality). Finally, It is also not clear why there are two types of accomplishments: an example for an ‘untypical’ situation is not presented, even though “accomplishments are complex events composed of two subevents: the causing event - typically an activity - and the change of state it brings about.” (Rappaport Hovav and Levin 1988: 104 (stress added)).

Pustejovsky's Theory

Pustejovsky (1991) also works with an aspectual system, but he approaches it using a tiered system organised through formal logic. He factors out the event structure (ES) from two lexical conceptual structures (LCS), one an annotaion on the event structure, which essentially maps out the specifications of the arguments (LCS’), and the other with lexicalisation of the participants (LCS). His system has transitions, processes, and states. A transition is a complex event which has an initial process and a resultant state, equivalent to Rappaport Hovav and Levin’s ”BECOME”. A process maps the basic relationships between events and states. The purpose of the tiered nature of the system is to stop erroneous conflation of meaning, and to present a logic-based but psychologically real system. An example of his accomplishment structure is given here: (Pustejovsky 1991: 60)

I think this has its drawbacks, as well. The main flaw in this system is that factoring out the relations between events into a separate tier fundamentally would change the way that the event is conceptualised, as well as changing the participant’s relations to events. As well, the temporal relationships between subevents is completely underspecified: Pustejovsky states that the difference between an accomplishment and an achievement is specified in the LCS’ (Pustejovsky 1991: 59), such that an accomplishment has [act(x, y)], as above, but this disregards the temporal differences, which would most clearly lie in the event structure. This can be seen clearly in John closed the door slowly, where the [act(j, the-door)] must have a different temporal aspect from the transition from [¬closed(the-door)] to [closed(the-door)].

My Theory

So, skipping out on a lot of comparison between the two and tje pointing out of some individual failures in either theory - If it follows that a good theory is one that explains all of the data, then a mix of Pustejovsky and Rappaport Hovav and Levin could perhaps offer more than either alone. Pustejovsky fined tuned his minimalism, but neglected some of the finer details, particularly involving temporal elements and participants. Rappaport Hovav and Levin, on the other hand, failed to suitably provide a general theory, instead splitting up the data into more LCSs than were strictly necessary: a good example of this is the two accomplishment rules, even though for x to influence ‘CAUSE’ it would have to perform [x ACT <MANNER>] in any event (as the nature of ‘CAUSE’ is underspecified in their system). A proposed theory, then, would need to present suitable processes for the realisation of subevents, as well as a system of mapping each subevent onto it’s particular participants, and finally an output that can link it suitably to the syntax. So, that's what I propose here.

This system has four functions, each representing a different Vendler-Dowty classification. There are four tiers, but it does not factor out event structure as Pustejovsky does.

The first tier specifies the input, which is only of importance in an Accomplishment, when there is a third variable. (Note - I haven't considered ditransitives here, and probably would have to in a fuller system.)
The second tier is the function by which the verb’s primitive predicate is called, and the ‘constant’ features (identified with the variable c ) are altered or spread to the participants. This roughly equates to the ES tier in Pustejovsky, and to the implied ESs in Rappaport Hovav and Levin’s linear system.
The third tier is the mapping of participants for each event or state: each classification is taken to have embedded within it the lower classification. The linear, embedded nature present in Rappaport Hovav and Levin and Pustejovsky is employed here, as well.
The fourth tier is the output, which specifies what arguments can be recalled semantically or syntactically. This is most important for Achievements, where the subject’s pre-functional state cannot be recalled, thus performing the function of ‘BECOME’ or Pustejovsky’s transition. This does not entail cognitive memory, which can clearly recall, say, John, after the sentence 'John died' is processed: what it entails is semantic mapping, such that John in 'John died' has undergone a change of state. This change is represented by the pre-functional mapping of x as x1 , and the post-functional mapping as x2.

In this system ”the accomplishment representation is the most complex representation.” (Rappaport Hovav and Levin 1998: 105) This is most likely due to processing limits, as generally more than two embedded clauses are too complex to parse (evident in the failure to process 'John, who the cat, who the dog that the mouse scared didn’t like hated ran away'). The justification for the fourth-degree depth in Accomplishments is that ‘State(x, y)’ can be stored as a variable, as the bottle being broken does not have to be syntactically analysed for the parsing of 'John broke the bottle'. Finally, it should be noted that in each function tier, a temporal relation is specified as a time index. These (as well as an uncertain amount of features in the predicate) can be modified by adverbials, prepositional phrases, and certain constructions. The resultive construction, for instance, would specify telicity by demanding an extra event for +bounded in the achievement phase, thus positing ‘manner’ verb in the accomplishment template.

Finally: A state is the function of X = xc + yc, where x is the subject and y is the predicate, and c is the ‘constant’ qualia of each. The definition or the subject is changed by the function, and that change is the spreading of features from y. (If I haven't lost you yet, don't worry, I probably will in a few seconds.)

Note that the copula in a state does not need to be specified syntactically, necessarily.

‘dancing c’ is included in the output, as it can be syntactically called as a gerund. An event specifies the manner of existence for a state, with it’s own mapped arguments.

An achievement verb entails a specification of temporality, with an inability to semantically recall the previous argument as an argument.

I guess I think this is pretty self-explanatory, because I didn't have any notes on this in my original write-up. That might be a grave mistake - this didn't just confuse me just now -- it also confused the heck out of my professors.

Conclusion?

Pustejovsky’s and Rappaport Hovav and Levin’s theories come from different standpoints. Pustejovsky acknowledges the four main terms of aspectual classifications, and then seeks the most minimal theory to encapsulate them in general. Rappaport Hovav and Levin seek to provide templates the cover all possible sublexical polysemic constructions, and so have sacrificed generality for detail. In doing so, they put more meaning into the lexical: their verbs are split into ‘manner’ and ‘result’ groups, the first of which Pustejovsky equates merely to a simple process. He puts meaning somewhere else from event complexity - but his representations are necessarily linear, as there is no ordering. The claim of event ordering is in the event structuring of the representation, whereas in Rappaport Hovav and Levin the event ordering is actually in the template.

The theory presented in this paper seeks to bridge the divide between these two theories by clearly mapping out arguments, by specifying the manner of feature spreading, by indexing temporal quality for each event, and by attempting to link up the semantic arguments with syntactic input. It is hoped that the algorithmic application of such a model illuminates the need for further work and clarification of the present representations of lexical complexity structures.

And that pretty much sums up that paper. If you have any comments or suggested reading or further research, I would love to hear them.

Adatbázis építés gyorsan és egyszerűen, függetlenül

2011-10-01T23:57:00.003+02:00

Vajon hol húzódik az a határ, amikor egy alkalmazásunk elengedhetetlenül rászorul arra, hogy adatainkat külön, egy külső adatbázisba tároljuk? - A határ meghúzásához nem közvetlen választ szeretnék adni. Helyette a leírásban arra törekszem, hogy megmutassam, hogy hogyan lehet gyorsan, egyszerűen, adatbázis típusától független megoldásokat készíteni. Ezzel serkentve, és közvetve válaszolni a kérdésre: ahol lehetséges, használjuk bátran az adatbázisok által kínált megoldásokat. Válasszuk szét a logikát, a megvalósítást és felhasznált adatokat.

Sok helyen olvashatunk tanácsokat arról, hogy mikor kell adatbázishoz nyúlnunk. Mekkora az az adatmennyiség, amikor elkerülhetetlenné válik, hogy egy külön adatbázist építsünk adataink tárolásához. Ezek a tanácsok kezdve a 15 recordtól az 1000 fölötti recordokat említik. Én úgy ítélem, hogy itt nem a mennyiség a mérvadó. Inkább utalnék itt arra, hogy aki már szerzett tapasztalatokat az adatbázisokkal kapcsolatban, az már „jövőheti programjaim” feladatnál is automatikusan egy adatbázis vázát látja maga előtt. Itt nem komoly tervezési, előkészítő munkára gondolok. Egy egyszerű MS Access vagy LibreOffice Base-re gondolok. Ez a két program már grafikus felületen biztosít lehetőséget a számunkra, hogy átlássuk az adatbázisban tárolt információk előnyeit.

Objektum-relációs leképezés (ORM)

Először ejtsünk szót a program alapjáról. Az objektum-relációs leképezésekről (Object-relational mapping, ORM). A témáról bővebben egy BME-s prezentációt olvashatunk (pdf). Maga a mögöttes logikát úgy tudjuk a legegyszerűbben elképzelni és értelmezni, hogy ha az adatbázis megtervezését elkezdjük közelíteni az objektum-orientált (OO) programok megtervezéséhez. Az osztályok maguk a táblák. Míg ezen osztályok példányai a tábla sorait prezentálják. A példány tagfüggvényeivel érhetjük el, módosíthatjuk, törölhetjük a sorok recordjait. Továbbá az osztályok közti öröklődés fedi le a relációkat a különböző táblák között. Ezzel a megközelítéssel egyből visszajutunk a relációs adatbázis-tervezéshez. Csupán a fogalmakat cseréltük le. A szavak lecserélésével viszont egyből átkerültünk egy másik informatikaelméleti (és -gyakorlati) paradigmába, az objektum-orientált programozás területére. - Ezzel a modellcserével pedig az adatbázis felépítése és megtervezése egyből segítséget és mankót nyújt az adatok kezeléséhez. Az adatok elérésére egy másik, külső alkalmazás szempontjából.

Összefoglalóan úgy tekinthetünk az Objektum-relációs leképezésre mint egy olyan modellre, ami az adatbázist egy osztályként definiálja. Ennek az osztálynak a leszármazottai a különböző táblák. A leszármaztatott osztályok példányai pedig az aktuális sorok, amelyeket a példány tagfüggvényeivel érhetünk el.

Miért használjam?

Áttekintettük az elméleti megfontolásokat. De én ezt miért használjam? A paradigmaváltás itt is előreutal. Azzal, hogy az adatbázisok fogalmát átemeltük az Objektum-orientált programozás gondolatvilágába: elszakadtunk az eredeti, a fogadó adatbázis típusától. A típus alatt érthetjük a két fő családot, a relációs adatbázisokat vagy a NoSQL-t. De gondolhatunk ezen típusok bármelyik altípusára is. Ez a modellezésünk szempontjából lényegtelen.

A gondolat, hogy szakadjunk el a fogadó adatbázistól, annak lehetőségeit, konkrét megvalósítási lehetőségeitől, ehelyett átkerültünk egy absztraktabb, elvontabb közegbe. Ez a közeg teszi lehetővé számunkra egy olyan adatbázis-kezelő rendszer felépítésének a lehetőséget, ahol adatbázisrendszertől függetlenül építhetjük fel a szükséges keretrendszert, amiben tárolni kívánjuk az adatainkat. - Konkrét megvalósítását pedig a rendszer újra specifikációja nélkül megváltoztathatjuk.

ORM-ek megvalósítása

Maga a gondolat, az objektum-relációs leképezés az adatbázis-kezelő rendszerek egy új generációját hívta életre. Ma már szinte bármelyik programozási nyelven találkozhatunk ilyen modullal, gem-el, beépített könyvtárral (az adott programozási nyelv zsargonjának megfelelően). A lényegük a konkrét megvalósítást, hogy milyen adatbázisrendszeren fut az alkalmazásunk, elválasszuk az adatbázis logikáját. Hiszen ez adatbázisrendszertől független. Egy-egy függvény, lekérési módszer, a különböző adatbázisok sebessége és a többi rendszerspecifikus jellemző a program logikájától független változó. Lehetséges, hogy alkalmazásunk szerkezete olyan, hogy gyorsabban fut az egyik rendszeren, míg a másikon elviselhetetlen lassú. Ezt egy ilyen modul bevezetésével, beiktatásával kényelmesen ki is próbálhatjuk a gyakorlatban, hiszen lehetőségünk nyílik, hogy néhány sor hozzátoldásával (a beállítási fájlok módosításával) tíz perc múlva egy új adatbázisrendszer környezetében futtathatjuk az adatbázisunkat.

Összefoglaló

Ez a rövid poszt most csak arra törekedett, hogy felhívja a figyelmünket a lehetőségre. Felkeltse az érdeklődésünket az ORM-ek iránt. Egy későbbiekre tervezett folytatásban egy konkrétan megvalósított példával fogom folytatni, ahol egy példán keresztül be is mutatom, hogy milyen szabadságot jelenthet a számunkra, ha az adatbázisunk megépítése során egy ilyen rendszert használunk.

Fordítási modell 4: A bootstrapping módszer a gyakorlatban

2011-09-27T22:36:00.000+02:00

Ha egy kétnyelvű korpusz szavaira úgy tekintünk, mint nyers adatokra, akkor felfedezhető valamifajta rendszeresség az eloszlásukban. Ez érthető is, hiszen ugyanazt az információt tartalmazza mindkét nyelven, csupán “más a kódolás”. Az általunk feltételezett rendszeres eloszlás az a szabályrendszer, ami leírja a két nyelv egymáshoz való viszonyát, vagyis: a fordítási modell. Most megnézzük, számolhatjuk ki a fordítási modell paramétereit a szöveges adatokból.

Az előző posztban a bootstrap módszer lényegét abban jelöltük meg, hogy sok véletlenszerű mintavétel során észreveszünk egy szabályosan visszatérő eloszlást. A kétnyelvű mondatpárok szó-szó megfeleléseit tekintve ez azt jelenti, hogy bizonyos szó-szó kombinációk valószínűbbek másoknál – hiszen ugyanazt jelentik. Az (érdekes|interesting) kombináció valószínűbb egy magyar-angol korpuszban, mint az (érdekes|monkey). Persze, az utóbbi sem zárható ki teljesen.

Tulajdonképpen itt van a kutya elásva: két, körülbelüli megegyező jelentésű, összepárosított mondatnál nem tudjuk, melyik szó melyiknek felel meg, hiszen ismeretes, hogy a szórend nyelvenként változik (és persze még sok más, de ismét egyszerűsítünk).

érdekes majom
interesting monkey

Az érdekes szót párosíthatjuk az interesting-hez is (ez a jó megoldás), de a monkey-hoz is. Valószínűleg mindenki emlékszik az iskolából “párosítsd össze a szavakat” típusú feladatra. Ha ezt úgy kell megoldanunk, hogy az egyik mondat kínaiul van, a másik pedig albánul, akkor elég nagy bajban vagyunk – leginkább csak tippelgetni tudunk. Két szónál két lehetőség van, vagyis 50% eséllyel jól oldjuk meg a feladatot, 3 szónál már csak 16%, 4 szónál pedig csak kicsit több, mint 4% az esély arra, hogy eltaláljuk.

(A párosítások száma ugyanis szavak-száma-faktoriális (n!); a magyar mondatot érintetlenül hagyva ennyi módon írhatjuk fel alá az angol mondat szavait, l. http://hu.wikipedia.org/wiki/Kombinatorika)

Mivel fogalmunk sincs, melyik kombináció a legjobb, ha az összeset szemügyre venni. Így néz ki:
(az A B C a magyar mondat szavait jelöle – ezeket nem bántjuk; az 1 2 3 pedig az angol szavakat – ezeket permutáljuk)

A B C
1 2 3

A B C
1 3 2

A B C
2 1 3

A B C
2 3 1

A B C
3 1 2

A B C
3 1 2

Korábban már volt arról szó, hogy a szavak egymáshoz való viszonyát érdemes egy mátrixban tárolni, például egy ilyenben:

   A    B    C
1    0.2 0.7 0.1
2    1    0    0
3    0    0    1

Ha rendelkezésünkre állna ez a mátrix, akkor elég lenne kiszámolni minden párosításnál a fordítási modell képlete alapján egy értéket, aztán pedig a kiválasztani legmagasabb pontszámot elérőt – ez a legjobb lehetséges megoldás!

Ez egy különös zsákutca, mert ha ismerjük a szavak egymáshoz való viszonyát megadó t(szó)-adatokat (a mátrix tartalma), akkor könnyen meglelhető a legjobb párosítás; a t-mátrix pedig akkor írható fel, ha ismerjük a legjobb párosításokat. De egyiket sem ismerjük.

* * *

A bootstrap módszer azt mondja, hogy ennek ellenére kezdjünk el számolni “a semmivel”, talán menet közben kijön valami. “Semmivel számolni” majdnem olyan, mint “véletlenszerűen mintát venni”, mindkét esetben akkor járhatunk sikerrel, ha elég sokszor ismételjünk meg, és az adatainkban van valamiféle rendszer.

Számoljuk ki tehát az össze lehetséges kombináció t-értékét egy fiktív t-mátrixból, amelynek minden sora és oszlopa ugyanaz, pl.:

0.33    0.33    0.33
0.33    0.33    0.33
0.33    0.33    0.33

Ez azt jelenti, hogy minden angol szó fordítása egyforma eséllyel minden magyar szónak, következésképpen: minden lehetséges mondatpárosítás egyformán jó értéke pontszámot fog kapni. Ezzel még nem megyünk sokra, de próbáljuk ki a dolgot két mondattal:

Budapest érdekes város | Budapest interesting city
Ági érdekes lány    | Ági interesting girl           (direkt így, az egyszerűség kedvéért!)

Ha a fenti mondatpárokat felírjuk az összes lehetséges elrendezésben, arra leszünk figyelmesek, hogy az (érdekes|interesting) szópár kétszer olyan gyakran fog előfordulni, mint a többi (fejszámolási feladat: pontosan hányszor?) Persze, mert visszatér mindkét mondatban. Így már csak annyi a dolgunk, hogy “húzunk egy strigulát” egy új t-mátrixba, minden alkalommal, ahogy előfordul egy angolSzó-magyarSzó párosítás, miközben elolvasunk minden egyes lehetséges szó-szó párosítást.

          B    i    c    Á    g    (angol kezdőbetűk)
Budapest    4    4    4    4    4
érdekes    4    8    4    4    4
város       4    4    4    4    4
Ági         4    4    4    4    4
lány        4    4    4    4    4

A fenti mátrixból már kiolvasható, hogy az érdekes szó némiképp gyakrabban fordul elő az interesting szóval párosítva. A többi szóról továbbra sem tudunk mondani semmit, hiszen csak egyszer fordultak elő. Ha írnánk még egy mondatot, amiben mondjuk a Budapest szó fordul elő, könnyen belátható, hogy a megfelelő sor-oszlop metszetben szintén változást tapasztalnánk.

A mátrixunk még egy komoly ráncfelvarrásra szorul: a t-mátrixban valószínűségi adatokat tárolnunk, melyek 0 és 1 közé kell hogy essenek, a mostani mátrixunkban pedig egyszerűen az előfordulásokat számoltuk. Ezen könnyen segíthetünk: amikor szó-szó párosítások előfordulásait számoljuk meg, ne egyszerűen “strigulát húzzunk”, hanem az adott mondatpárosítás által elért pontszámot. Az adott mondatpárosítás összes szó-szó párjához ugyanaz az érték fog így tartozni, ami egyébként teljesen megalapozott: fogalmunk sincs ugyanis, hogy melyik részén találtunk el egy jó párosítást, lehet, hogy az összesnél, lehet, hogy csak egynél. Másrészt, érdemes “normalizálni” ezeket az értékeket – ez annyit jelent, az összes mondatpár pontszámát egyenként elosztjuk a mondatpárok összesített pontszámával; ez azt biztosítja, hogy a pontszámok összege 1, az egyes pontszámok pedig az összpontszámból való részesedés arányát mutatják. Végül tehát ezt a normalizált értéket írjuk hozzá a t-mátrix adott elemének értékéhez. (ez az eljárás azt is biztosítja, hogy a hoszabb mondatokban lévő szavak ne legyenek indokolatlanul túlsúlyozva)

Másrészt, a t-mátrix sorait is érdemes normalizálni, a sorok összegével – emögött is az a megfontolás áll, hogy a t-mátrixban valószínűségeket számolunk, így egy érték nem lehet több 1-nél. Például, ha az stupid szó 0.9 eséllyel jelent hülyét, akkor az ostobának már csak 0.1 esély marad (ez a teljes valószínűség szabálya).

* * *

És most következik az igazi trükk: a számolást egy teljesen homogén t-mátrixxal kezdtük. De mi történik, ha ismét kiszámolunk mindent, már az új, az első számolás során kapott t-mátrixxal? Már láttuk, hogy a visszatérő szó-szó párok nagyobb nagyobb súllyal jelennek meg az eredményekben; most már azonban a számolás során is nagyobb értéket kapnak azok a mondatpárok, melyekben előfordulnak ezek a bizonyos, jó pontszámot elért szópárok. Az egész rendszer elbillen ezek felé a “kedvezményezett” szópárok felé – melyek, reményeink szerint, a megfelelő fordítások lesznek.

A következő posztban ugyanezt számítógéppel oldjuk meg, mert ennyit kézzel számolni egyszerűen lehetetlen.

Lapszemle

2011-09-24T09:40:00.002+02:00

Kicsit megkésve jelentkezünk megszokott hétvégi rovatunkkal, de akik nem akartak lemaradni azok követik @sznyelveszet Twitter fiókunkat és szamitogepesnyelveszet.tumblr.com oldalunkat is olvasgatják. Lássuk a medvét!

Hírek a nyest.hu-ról

Oktatási államtitkárság: bűncselekmény a szakdolgozat-vásárlás - Nekem ehhez annyi megjegyzésem van hogy; VÉGRE!
Utazás a Hold és egy filozofikus nyelv felé - avagy készíthetünk-e egy tökéletes nyelvet (és akkor gyorsan lelövöm a poént hogy ez a cikk alapozta meg könyvajánlónkat)
Mi állított Kertész Ákos? - gondolom mindenki tudja, de tényleg? A racionális vita első lépésben megköveteli pl. hogy el is olvassuk az ominózus cikket, de nem árt érteni is hogy mit jelentenek az egymás után rakott szavak...

A hazai termésből

Digitális bölcsészet nálunk és más nemzeteknél - ühm, és ez nem a posztnak szól, hanem hogy milyen érdekes hogy a hazai kutatók elszigetelve vannak valahol, a kutya nem tud róluk és össze se lehet rántani nagyon őket. Reméljük ez változni fog.
Új eszközök - az e-könyv olvasók blogon új kütyüket mutatnak be
http://doufukuai.blogspot.com/ - sok új posztolt Chouwen ezen a héten, ezért cakk-pakk ajánlom a blogját, mert oszakai élményeitől kezdve a kínai élelmezésen át megismerkedhetünk azzal is hogyan parasztozhatunk kínaiul.

Más

Big data, Where the geeks go - kell magyaráznom?
Linguistics - Stack exchange - tessék lehet kérdezni, a szakértők pedig válaszolnak minden nyelvészeti kérdésre :D A Stackoverflow sikere sok tudrományt megihletett, mosmár a nyelvészek is kiélhetik magukat.
The Better Angels of Our Nature by Steven Pinker - Pinker új könyvének kritikája (vagy inkább ismertetője) a the Guardian-en.

Könyvajánló

Umberto Ecco: A tökéletes nyelv keresése, Atlantisz, 1998 - a nyelvvel csak a baj van. Miatta nem tudjuk úgy igazán elmondani amit akarunk, és Bábel óta nem beszélhetünk csak úgy bárkivel. A megoldás egy tökéletes nyelv, egy nyelv ami megvalósítja Leibniz álmát s minden vitánk eldönthető segítségével (Calculemus!). Persze azért ott motoszkál az ember fejében hogy lehet nincs is ilyen, de azért csak keresték ezt évezredeken át, a mellékterméke pedig roppant hasznosnak bizonyult.

Videoajánló

What we learned from 5 millions books - TED talk a Google n-gram viewer és a hozzá kapcsolódó Culturomics projektről.

Twitter az oktatásban (?)

2011-09-22T09:46:00.006+02:00

Korábban A tömegkommunikáció hatása az anyanyelv elsajátítás menetére című posztban esett már szó a közösségi színterek közkedvelt használatáról. Most ezek közül is a Twitter használatába szeretnék egy kis bepillantást engedni, és annak oktatásban való felhasználási módjairól, lehetőségeiről lesz szó.

Először is említsünk pár szót a világ legkedveltebb csiripelő oldaláról, a Twitterről. A Twitter ismeretségi hálózat és mikroblog-szolgáltatás, mely lehetővé teszi a felhasználóknak, hogy rövid bejegyzéseket vagy egymásnak szánt üzeneteket írjanak (formázatlan szövegként, maximum 140 karakter hosszúságban) SMS-ben, a Twitter honlapján, azonnali üzenetküldő alkalmazásokon, egyéb, a Twitter API-t használó programokon (például Tritterrific) vagy webes szolgáltatásokon (például Netvibes) keresztül. A Twitter rendszerét 2006 októberében a San Franciscói Obvious Corp. létesítette (lsd itt).

A e-learning avagy az online oktatás számos szoftverrel, illetve felülettel szivárgott be a köz- és a felsőoktatásba. A közoktatásban a digitális táblák, elektromos palatáblák, online naplók jelentek meg, a felsőoktatásban az Egységes Tanulmányi Rendszer (etr) a Neptun Rendszer a Coospace illetve a Moodle rendszere. Ezeknek előnye és hátránya is egyben az, hogy zárt rendszerként működnek, azaz az adott intézmény tanulói a tanulmányi felelősöktől kapott jelszóval és felhasználónévvel tudnak bejelentkezni. Mindegyik felület alkalmas fórumokon való kommunikálásra, e-mailek küldésére, dokumentumok megosztására pedig a Moodle és a Coospace hivatott. A közoktatás ezzel szemben még kicsit le van maradva az e-learninget tekintve. Ezért lenne kitűnő lehetőség a Twitter felületének ez irányú kihasználása.

A közösségi oldalak oktatásban való felhasználása nem új keletű gondolat. A digitálistananyagokat fejlesztő szakemberek régebb óta foglalkoznak ezen oldalak tanulmánnyal kapcsolatos összefüggéseivel. Így például Amerikában, kutatók vizsgálták azoknak a felsőoktatásban részt vevő hallgatóknak a tanulmányi eredményeit akik Twittert használtak a vizsgákra való felkészülés alatt (lsd itt). A kutatás megállapította, hogy a gördülékeny és folyamatos kapcsolattartás nem csupán a diákok eredményére, de munkakedvére is kihatott. Motiváltabbak, és elhivatottabbak lettek azoknál a társaiknál, akik nem használták a szolgáltatást. Első éves főiskolások (125 fő) vettek részt a kísérletben, akik közül 70-et kértek fel arra, hogy tanulás céljára használja a Twittert. A többi tanuló csupán hagyományos eszközökkel kommunikált egymással. A twitterező csoport tagjai között a hetek múltával egyre aktívabb kapcsolat bontakozott ki a posztok számát tekintve. A Twittert használó csoport a félév végén 0,51-dal magasabb átlagot produkált, mint a Twittert nem használó társaik.

Az e-lairning szempontjából a Twitter rengeteg hasznos segítséget kínál. Nem pusztán a felületet, az azonnali időben közzétehető bejegyzéseket, a kurzusok/tantárgyak számára létrehozható színtereket, hanem a hashtagen keresztül való szűrést is lehetővé teszi. A hashtag lehetővé teszi, hogy a színtér résztvevői egy adott kódon keresztül megjelöljék az egymásnak címzett bejegyzéseiket. Ez megkönnyíti a bejegyzések keresését, és nyomon követését. Íme egy példa: A képen a Digitális tananyagfejlesztés című kurzus által használt hashtag alkalmazása látható:

A tanulás-tanítás folyamatában a pedagógus optimális esetben törekszik arra, hogy közös nevezőt hozzon létre a diákjaival. A fiatalok többsége manapság már aktívan részt vesz/jelen van a közösségi portálokon pl.: Twitter, Facebook. Hozhatunk létre osztályunknak/csoportunknak külön felületet, ahol lehetőség van feladatok kiosztására, problémák megbeszélésére. Felajánlhatjuk online segítségünket a házi feladatok, házi dolgozatok elkészítéséhez, vagy az órán meg nem értett területek kijavításához. Ezen kívül házi feladat helyett esetleg a Twitteren is feldobhatunk számukra egy-egy problémát, melyet hozzászólásaikkal, virtuális vitával, vagy ötletbörzével oldhatnak meg. Ez hasznos, hiszen számukra ismerős terepen juthatnak szóhoz, mindenki saját üteme, kedve, ideje szerint. Biztos, hogy mindenkire sor fog kerülni, s a bátortalanabbak is írnak pár sort, hiszen személytelenebb jellegű, mint a szemtől szembe történő kérdezz-felelek.

Nyitottság, rugalmasság és némi idő ráfordítása szükséges csupán ahhoz, hogy ezzel az új online oktatási formával tegyük változatosabbá és élményszerűbbé az oktatást. Használjuk ki a lehetőségeket!

Filmismertető: The Linguists

2011-09-21T07:30:00.004+02:00

Filmet már ajánlottunk, de hát ritka mint a fehér holló amikor egy szakmai blogon ilyet tehetünk. A The Linguists című dokumentum film Greg Anderson és David Harrison "világkörüli útját" mutatja be mely során veszélyeztetett nyelvekről gyűjtenek anyagot. Mindenkinek csak ajánlani tudom ezt a gyöngyszemet mert odaszegezi az embert a képernyő elé a nyelvészeti terepmunka bemutatása.

The Linguists, Ironbound Films, 2008
rendezte: Seth Karmer, Daniel A. Miller, Jeremy Newberger
64 perc
imdb adatlap, a film honlapja
angol - nagyon idegennyelvű

Anderson a Living Tongues Institute for Endangered Languages igazgatója, az indai szubkontinensen beszélt munda nyelvek szakértője, Harrison a Swarthmore College oktatója és a NatGeo ösztöndíjasa, szibériai török nyelvekkel foglalkozik elsősorban - kettejük érdeklődési köre erősen érezhető is a filmen, de India és Szibéria mellett ellátogatunk még Bolíviába és Arizonába is hogy megfigyeljük miképp próbálják meg dokumentálni és megőrizni számunkra az eltűnőben lévő nyelveket.

Sokan legyintenek arra hogy egyre több nyelv tűnik el, sőt olyan hangok is akadnak hogy ez hasznos, hiszen mennyire egyszerű lenne ha mindenki ugyanazt a nyelvet beszélné... A számítógépes nyelvészet dolgát bizony sokkal de sokkal könnyebbé tenné ez, de hát néha szinte már most is úgy viselkedünk mintha csak az angol nyelv létezne. A biteken túli világban azonban a nyelv nem csak egy eszköz, hanem Wittgenstein-nel szólva egy életforma. Minden nyelv az emberi létezés és megismerés különös aspektusába nyújt betekintést, rávilágít arra hogy mennyire mások vagyunk és mégis mennyi dologban egyezünk. A nyelv összefonódik a kultúrával, és sajnos az előítéletekkel is - hiszen amennyire összeköti a nyelv a közösséget ami beszéli, annyira legalább el is választ másoktól akik nem beszélik.

Anderson és Harrison, no meg a többi nyelvmentő és leíró kolléga, munkája csodálatra méltó, a film pedig tisztában van ezzel, de nem válik csöpögőssé, nem ajnározza őket és nem kongatja a vészharangot állandóan, de persze ez a nagyközönségnek szóló film így senki ne várja hogy a terepmunka csínját-bínját mutatják be neki. Tessék megnézni ha mód van rá! Sajnos megrendelni túl drága, de nyelvészeti tanszékek közelében biztos akad valaki akinek megvan.

Könyvismertető: Philosophy of Science: A Very Short Introduction

2011-09-18T13:50:00.002+02:00

Szeretjük azt hinni hogy a tudós objektíven csak is az igazságot kutatja, ebben pedig olyan következetes hogy még akár saját magát is feláldozza. Talán éppen ezért hiszünk abban hogy a tudományos tudás kitüntetett, nem csak megbízunk a tudományos eredményekre alapozott termékekben, de manapság már politikai döntések születnek rájuk alapozva, vagy legalábbis hivatkozva. A tudomány mindennapi életünk részévé vált, az iskolákban már egészen kis kortól tanítják, egyre több pénzt költünk (vagy legalábbis érezzük hogy kellene költeni) kutatásra és fejlesztésre. Talán nem árt egy kicsit mögé látni ezeknek a folyamatoknak, elgondolkodni azon hogy mit adhat a tudomány nekünk, mennyire megbízható, mennyire demokratikus minden esetben szakértőért kiáltani. Ez a rövid kis könyv remekül összefoglalja a tudomány filozófiai kérdéseit és megadja a keretet hogy alaposan elgondolkodjunk ezeken a kérdéseken.

Samir Okasha: Philosophy of Science: A Very Short Introduction
Oxfor University Press, 2002
160 oldal
a kiadó oldala

A szerző Samir Okasha kiválló tudományfilozófus, szakterülete az általános tudományfilozófia és a biológia filozófiája. Amellett hogy nagyszerű tudós, nagy hírű pedagógus is, ez a rövid kis könyve csak alátámasztja ezt. Nagyon élvezetes stílusban, követhető nyelvezetet használva mutatja be a tudományfilozófiát. A hat fejezet probléma centrikusan mutatja be a főbb kérdéseket: What is science, Scientific reasoning, Explanation in science, Realism and anti-realism about science, Scientific change and scientific revolutions, Philosophical problems in physics, biology and linguistics, Science and its critics.

A problémák kb. egybeesnek a tudományfilozófia történetének alakulásával is, de a történeti példák nem tolakodóak, csupán szemléltető eszközök (Lakatost idézve; a tudománytörténet tudományfilozófia nélkül vak, a tudományfilozófia tudománytörténet nélkül üres). A naiv tudományfelfogás problémáinak bemutatása után nagyon hamar eljut a szerző a tudományos érvelés problémáihoz, melyek ma központi problémák. Ez tkp. az indukció problémája, hogyan lehetséges egyedi, partikuláris megfigyelésekből általános érvényű szabályokat alkotni? Ehhez kapcsolódik annak kérdése hogy az elméletek által befolyásolt észlelés, ill. az elméletek által feltételezett, közvetlenül meg nem figyelhető entitások milyen metafizikai státusszal rendelkeznek (tényleg léteznek, vagy csak elméleti konstrukciók?).

Az elméletek az idő során változnak. Newton fizikája ma is használatban van sok helyen, de a relativitáselmélet és a kvantumfizika az elfogadott, bevett nézet a mai fizikában. De hogyan változnak az elméletek? Folyamatosan növekednek, vagy hirtelen ugrásokkal? Fejlődésnek nevezhetjük a tudomány változását?

A hatodik fejezetben tudománytörténeti példákon keresztül mutatja be a szerző az elméletek mögötti filozófiai kérdéseket. Leibniz és Newton vitája remekül szemlélteti hogy az abszolút térrel már az elmélet megszületésének idején is akadtak problémák, a biológiai rendszerezés pedig megmutatja hogy milyen komoly metafizikai problémákat vet fel az osztályozás. A nyelvi innátizmus kérdése nyilván számunkra a legizgalmasabb kérdés pedig ismeretelméleti kérdéseket is boncolgat.

Az utolsó fejezet már-már Feyerabend szellemében felveti a tudomány határainak kérdését. Mennyire engedjük hogy a tudósok beleszóljanak mindennapi életünkbe, miért áldozzunk irdatlan összegeket alapkutatásokra és különválasztható-e a tudományos igazság keresése annak etikai vetületétől.

A nem bölcsész olvasó talán furcsállni fogja hogy nem kap válaszokat. A filozófia lényege a kérdések feltevése, a problémák körüljárása és nem feltétlenül a kész válaszok megtalálása. De hát életünk során gyakran nem biztos információk alapján döntünk, a gondos mérlegelés azonban sokszor fontos. A tudósnak reflektálnia kell saját munkájára, annak lehetséges, nem-szándékolt következményeivel számolnia kell, de talán a legfontosabb hogy tudnunk kell a ma ünnepelt elméletek holnap akár régi naiv kísérleteknek tűnhetnek...