Álláslehetőség: junior Python programozó @ CEU CNS

A Közép-európai Egyetem NETWORKS kutatócsoportja Python programozót keres november 1-től egy kutatási projektre. A programozó feladata, hogy egy Python-fejlesztő team tagjaként olyan programokat írjon, amelyek szöveges adatokból strukturált adatokat állítanak elő. A pozíció megállapodás szerinti, de várhatóan heti 20 munkaórával jár, rugalmas időbeosztásban. A munkavégzés helye az Egyetem V. kerület, Nádor u. 11. szám alatti épülete.

Feltételek:

•     Python 2.x-ben szerzett tapasztalat
•     Linux felhasználói szintű ismerete

Előnyt jelent:

•     angolnyelv-ismeret
•     szövegfeldolgozásban szerzett tapasztalat

Versenyképes fizetést ajánlunk. Az Egyetem nem diszkriminál.

Ha érdekel, küldd el a CV-det és, ha van, egy Pythonban írt munkádat Koren Miklósnak, korenm@ceu.hu

PySpread: Python és táblázatkezelő

A Pyspread egy táblázatkezelő program, amiben függvényeinket és makróinkat Python nyelven hozhatjuk létre és használhatjuk. A fejlesztés maga is e nyelven zajlik, de a mi lelkesedésünket inkább az előbbi: a táblázatkezelés és egy magas fokú scriptnyelv összekapcsolása hozta meg. Tovább fokozta, hogy az Rpy segítségével táblázatkezelőnket könnyedén bővíthetjük az R nyelv által nyújtott magas szintű statisztikai műveletekkel és könyvtárakkal, hogy adatainkat könnyebben, gyorsabban és egy megszokott kényelmes formában érhetjük el. - A kiforratlanságtól és a sok helyütt érezhető ügyetlenségektől eltekintve egy nagyszerű kezdeményezést köszönthetünk.

Állás: Python fejlesztő@Pulilab

A Pulilab egy StartUp, nemzetközi projekteken dolgozunk (dán, norvég) már egy éve itt Budapesten, a csapat innovatív, dinamikusan fejlődő, minden adott ahhoz, hogy kreativitásunk, innovativitásunk kibontakozhasson. :)

Ha kipróbálnád magad egy innovatív környezetben, ahol egyetlen egy korlátot ismerünk: saját magunkat, akkor várom visszajelzésed. 

http://www.pulilab.com/#job-128001 

Info: work@pulilab.com,

Agnes File: 06 70 337 1181

Hosszabban és hivatalosabban a Pulilab-ről: 

A Pulilab szoftverfejlesztők, animátorok, grafikusok és üzletemberek ötletei által vezérelt együttes, mely arra hivatott, hogy innovatív technológiák használatával olyan termékeket hozzon létre, melyek pozitív hatással vannak a társadalomra és az azokat használó egyénekre.

A kollektíva célja felölelni a tanulókat és a szakembereket az informatika területéről Magyarországon, és összekötni őket nemzetközi IT projektekkel Európában.

E vízió megvalósításának céljából a vállalat hidat kíván létrehozni a tehetséges szakemberek és a megrendelők projektjei között, megépítve a szoros köteléket néhány, stratégiailag jól kiválasztott partnerrel.

A célunk megismerni és használni minél több kortárs új technológiát a web és mobil applikációk fejlesztéséhez.

Ezen felül a Pulilab elhivatott a helyi közösség formálására is különböző szakmai események megrendezésére, valamint különböző IT területek iránt érdeklődő közösségek kialakítására.

Számítógépes nyelvészet 101: Programozás

Sorozatunk korábbi részeiben áttekintettük hogy milyen matematikai és információtechnológiai alapismeretekkel illene magunkat felvértezni. Most érkeztünk el oda, amit mindenki triviálisnak tart; egy számítógépes nyelvész programozni szokott. Ellenben itt sem olyan egyszerű a helyzet, mint látni fogjuk.

Kulcsszavak kinyerése szöveges dokumentumból

Bár ismeretes, hogy már létező megoldást újra megírni nem igazán érdemes, talán alapvető eljárások esetében mégis más a helyzet: tanulni és megérteni szerintem sok dolgot így lehet a legjobban. Tehát, egy klasszikus keyword-extraction eljárással és egy hasznos python könyvtárral való ismerkedésem dokumentálása következik.

Gépi fordítás -- a kétnyelvű korpusz feldolgozása 3

Miután elméletben felvázoltunk egy lehetőséget arra, hogyan lehet párhuzamos, kétnyelvű korpuszban egymásnak megfelelő nyelvi elemeket találni, ideje kipróbálni, hogyan működik az elképzelés a valóságban: egyfajta automatizált szótár-írásra szeretnénk a számítógépet rábírni.

Python: adattípusok és algoritmusok

Az írás könyvismertető és bemutató egyszerre. Egy könyv, ami ezt a folyamatot segítheti, illetve példa, amit felhasználunk is ebből a könyvből származik. Egy ideje keresek egy olyan könyvet, ami az alapokat könnyedén és célzatosan rendbe rakja a fejembe. Ezt a könyvet fogom ajánlani és egy fejezetét példának kiemelni.

scikit-learn: a gépi tanulás nltk-ja

A Natural Language Processing (nltk) keretrendszer a nem csak számítógépes nyelvészt iránt érdeklődők tömegeit vezette/vezeti be a szakma rejtelmeibe, hanem már a "való világban", üzleti alkalmazásokba építve is bizonyított. A nyílt forráskódú projektekre leselkedő veszélyt - hogy nem alakul ki a lelkes önkéntesek köre - elkerülte, és az "alapító atyáknak" hála egy jó minőségű, immár több nyelvre is fordított, szabadon hozzáférhető könyv vezeti be a szakma rejtelmeibe a nagyérdeműt. A scikit-learn valami hasonlóvá próbál kinőni a gépi tanulás területén - remélem így már érthető a cím :D

Könyvismertető: Reliable Reasoning - gépi tanulás mindenkinek

Manapság a gépi tanulás (leánykori nevén statisztikai tanuláselmélet) egyre elterjedtebb, érthető hát az igény arra hogy egy minnél közérthetőbb könyv segítségével ismerkedhessen meg alapfogalmaival a nagyérdemű. Nem szabad azonban összetéveszteni a bevezetést az ismeretterjesztéssel! Tudjuk hogy a matematikához (és a formális elméletekhez) nincs királyi út, mivel azonban a gépi tanulás már rég olyan területek ajtaján kopogtat mint a társadalomtudományok és a digitális bölcsészet szükség van egy könnyen emészthető bevezető könyvre. A most bemutatásra kerülő kötet ennek teljesen meg is felel, bónuszként pedig szabadon letölthető a nyomtatás előtti nyers verziója.

• Gilbert Harman - Sanjeev Kulkarni: Reliable Reasoning: Induction and Statistical Learning Theory
• MIT Press, 2007
• 114 oldal
• ingyenes, nyers verzió ezen a linken érhető el

Nyelvi modellezés, házilag

Ismeretes, hogy a számítógépek alapvetően még mindig nem értik az emberi nyelveket, de ezt az apró hiányosságot azzal ellensúlyozzák, hogy nagyon gyorsan tudnak számolni. A gépi fordítás, az internetes keresés vagy éppen Watson sikere bizonyítja, hogy a statisztikai alapú megközelítés járható út, nem kell mindenáron “megértetni” a géppel a szövegek jelentését. Ebben a posztban arról lesz szó, hogyan dolgozza fel a gép a szöveget, és egy házi készítésű magyar nyelvi modellt is bemutatok.

Dzsudzsák a Twitteren!

Először egy népszerű oldal  Twitter feedjét szerettem volna elemezni, jobban mondva hogy mennyi RT-t kap egy-egy hír, de úgy tűnik a magyar felhasználókat nem kapta el a Twitter láz és nem lehet elég adatot találni egy-egy hírre. Így hát váltottam a nyest.hu Hol van az a Mahacskala cikkétől inspirálva első körben begyűjtöttem pár Dzsudzsákról szóló csiripelést, mivel mostanában sok hír kering(ett) leghíresebb futballistánk körül és a hab a tortán hogy nem csak magyarul! Így a begyűjtött tweeteken sok-sok dolgot bemutathatunk :D Figyelem, ez egy technikai poszt, Python kóddal, pip_/easy_install használatát lehet hogy nem úszod meg.

Python és az SQLite – adatbázis, lájtosan

Előbb vagy utóbb eljön az a pillanat, amikor az ember úgy érzi: az addig értelmes és szép adathalmaz túl nagyra hízott, kaotikus, átláthatatlan, kezelhetetlen és lassú. Igen, ilyenkor kell egy adatbázis. A Python programozásban az a szép, hogy egyszerű mégis elegáns, és szerencsére a beépített adatbázis-modulja is ilyen: a SQLite a széleskörben elterjedt SQL szabványon nyugvó relációs adatbázisok kistestvére. Használata hasonlít hozzájuk, viszont kellemes előnye, hogy nincs szükség külön adatbázis-szerverre (az SQLite egyébként egy C-könyvtár, és nem csak a python használja; a szinte szabványos SQL szintaxis miatt a későbbi esetleges váltás nagyobb adatbázisokra sem túl fájdalmas).

Könyvismertető: Data Analysis with Open Source Tools

Az adatelemzés lassan de biztosan a (számítógépes) nyelvészeti munka részévé válik, azonban sajnos még nincs külön kialakult szakirodalma a területnek. Janert könyve azonban nagyon hasznos technikákkal és ami még fontosabb szemléletmóddal gazdagítja az olvasót és egy kis kreativitással ami területünkre is alkalmazhatóak a bemutatott módszerek. Azonban alapos előismeretek szükségesek ahhoz hogy haszonnal tudjuk forgatni a kötetet.

• Philipp K. Janret: Data Analysis with Open Source Tools - A Hands-On Guide for Programmers and Data Scientists
• O'Reilly Media, 2011
• 520 oldal
  

Wikipedia API – sok szöveg, gyorsan, tisztán

Már volt szó korábban az API-k használatáról a New York Times és a Guardian adatai kapcsán. Az API (alkalmazásprogramozási interfész) egy olyan szabványosított felület, amin keresztül hozzá lehet férni egy másik program funkcióihoz – anélkül, hogy részletesen ismernünk kéne azok működését. Minket ez elsősorban a webes alkalmazások miatt érdekel : sok oldal lehetővé teszi, hogy megkerülve a webes felületet férjünk hozzá az adatokhoz, vagy akár interakcióba lépjünk velük (közismert példa a facebook-os alkalmazás).

A Wikipedia is szabadon hozzáférhető a web megkerülésével, és ez valójában mindenkinek jó: a fejlesztők pontosan olyan adatokat kapnak, amilyet kívánnak, a Wikipedia szervereinek pedig nem kell azon erőlködniük, hogy emberi fogyasztásra alkalmassá tegyék az adathalmazt (ezzel csökken a terhelés). 

Útikönyvek az algoritmusok világába - ahogy megígértük

A Legyél te is számítógépes nyelvész posztban megígértük hogy megpróbálunk olyan anyagokat is ajánlani melyek segítenek belépni az algoritmusok gyönyörű világába. Azonban figyelmeztetni kell az olvasót hogy ha hátizsákos turistaként maga szervezi meg az utazást nagyon sok kellemetlenséggel találkozhat, gyakran el fog akadni és néha idegen, fura nyelven beszélő emberek jóindulatára lesz utalva, és soha nem fogja tudni hol éri az este. Ellenben rengeteg élményben lesz része, és ahogy egyre több tapasztalata halmozódik fel, egyre jobban fogja érteni magát és az őt körülvevő világot. Mielőtt azonban elindulnál győződj meg arról hogy minden benne van-e a hátizsákodban (a fent említett poszt ebben segíthet neked)!

Legyél te is számítógépes nyelvész - tíz év alatt

Úgy néz ki hogy májusban megszaporodnak a levelek melyekben arról érdeklődnek a kedves olvasók hogy miképp is válhat valaki számítógépes nyelvésszé. Ahhoz hogy valaki szakértő legyen egy területen, kb tíz év gyakorlás és gyakorlat szükséges (l. Norvig Teach Yourself Programming esszéjét vagy Mérő László Mindenki másképp egyforma könyvét), rossz hír hogy az interdiszciplináris területeken talán több is. Jó hír viszont hogy ezt egyáltalán nem kell úgy érteni hogy ennyi időt kell az iskolapadban eltölteni (habár ha egy PhD-t bevállal valaki, akkor nyolc kellemes évet tölthet el a felsőoktatásban - talán nem véletlenül). Tovább bonyolítja a helyzetet hogy a számítógépes nyelvészet területére különböző hátterű emberek érkeznek ezért nincs egységes recept. Blogunkon megpróbálunk olyan forrásokat is bemutatni amik segíthetnek az érdeklődőknek, most ezeket szedegettem össze és megpróbáltam egy egységes keretbe foglalni hogy ki-ki megtalálja a maga forrásait útja elkezdéséhez.

On NLTK and Python - an interview with Jacob Perkins

Getting into natural language processing has never been easier these days thanks to the popular natural language toolkit (nltk). Python, nltk and even the book that teaches you nlp are free! Although nltk was designed by its creators with pedagogical considerations, Jacob Perkins (@japerk) showed with his nltk demos that it can serve as a serious API. His blog http://streamhacker.com has become a standard source of tips and hacks for nltk users, and his "Python Text Procesing with NLTK 2.0 Cookbook" is the natural choice for everyone who wants to be a pro nlp guy.

Könyvismertető: Head First Programming és Python - a legjobb páros kezdőknek

Sok olvasónk keres meg minket akiket érdekel a számítógépes nyelvészet, vagy szeretnék nyelvészeti munkájukat/tanulmányaikat kiegészíteni számítástudományi eszközökkel, azonban nem tudják hogy hogy vágjanak bele a dologba. Sajnos a nyelvészeti tanulmányoknak még nem mindenhol szerves része az adatok feldolgozása és elemzés és az alapvető programozási ismeretek oktatása. Az elsőre már ajánlottunk olyan köteteket melyek akár önállóan is feldolgozhatóak (Statisztikai túlélőkészlet és Könyvismertető: Statisztika és adatelemzés kezdőknek posztjainkban), most azonban két olyan kötetet ajánlunk melyek bevezetik az olvasót a Python programozási nyelvbe és ezzel megnyitják az utat a komolyabb tanulmányok felé is.

Szófaj-elemzés 2 – néhány újabb tapasztalat

Előző posztomban, melyben saját szófaj-egyértelműsítő programom írását kezdtem bemutatni, kiderült, hogy egy egyszerű tanuló-adatbázis és a Bayes-osztályozó algoritmus segítségével egészen tűrhető eredményeket lehet elérni. Intuitív módon belátható azonban, hogy csak ilyen módszerrel nem lehet elérni tökéletes eredményt az ige-felismerés terén, hiszen csak végződések alapján képtelenség megmondani, miért főnév az “embert”, mikor a “megvert” ige. Programom kizárólag morfológiai adatok alapján akar dönteni, azonban, sajnos, itt a kulcsfontosságú ismerni a szavak tövét is – ez már lexikai adat, amely kinyeréséhez ismerni kell (intuitív módon) a szó szemantikáját, vagy legalábbis valamilyen módon meg kell határozni, milyen szerepet tölt be a mondatban: tárgy-e vagy predikátum (szintaktikai szint). Ebből a kicsi példából is látható, hogy a természetes nyelv egy több szintű rendszer, amely szintek közt úgymond “kötelező” az átjárás az értelem megragadásához.

Hogyan kezdtem szófajelemzőt írni?

Tempfli Péter vendégposztja

A probléma

Ahhoz, hogy lehessen valamit mondani egy mondatról, jó tudni, miféle cselekvést vagy történést ír le; egy vagy több alany csinálja-e, megtörtént, történni fog, esetleg csak vágyunk arra, hogy megtörténjen. Egyszóval, az ige és a kapcsolódó elemek számos hasznos információt hordoznak. Ha géppel akarom megkeresni ezeket az adatokat, egy olyan eszközre van szükség, ami felismeri az igéket egy adott szövegben és kinyeri a fenti információkat. Erre való a szófajelemző(felismerő), angolul part-of-speech tagger (POS-tagger). Az NLTK-ról szóló könyv ötödik fejezete ismertet néhány, az NLTK-be beépített eszközt, de ezeket sajnos csak angol nyelvű szövegeken lehet használni. Magyar nyelvű morfológiai elemző is létezik (a HUNMORPH ill. a HUNSPELL), azonban ezek azon túl, hogy nagyon nehezen konfigurálhatók, azt az örömet is elveszik, hogy magam gondolkozzam el a problémán;) (természetesen ezek nagyon jó eszközök, de professzionális felhasználásra készültek, ezért nem nagyon veszik figyelembe a "barkács-programozók" igényeit)