NLP 2019 vizsgatematika

1. Bevezetés, a nyelvi algoritmusok korszakai, fejlődése: Turing, Chomsky, Bayesiánus, empirikus (versus szabály alapú) megközelítés, neurális hálók.
2. A szavak megszámolása, Zipf (és Zipf-Mandelbrot) törvény. Szó ill. betű statisztikák. A szótár mérete és a különböző frekvencia-kategóriák.
3. Morfológia véges állapotú automatákkal, Hunspell.
4. Levenshtein távolság és fajtái, körülbelüli találat keresése szövegben.
   • Hamming, Levenshtein, Damerau–Levenshtein, ezek súlyozott változatai
5. Indexépítés: prefix-kód, Huffman-fa, várható értékben legsekélyebb fa, Shannon tétele.
   • entropia, KL divergencia és egyenlőtlenségeik
6. Szófaj címkézés (POS tagging): Hidden Markov Model, Viterbi algoritmus segédanyagok itt
   • backtracking, mondat inicializálás
7. Környezetfüggetlen nyelvtanok (CFG) és CYK parser és kiterjesztéseik (szórend, morfológia)
8. n-gram, nyelvmodellezés, Markov tree (trie), perplexitás, n-gram simítások
9. Hangfelismerés
   • MFCC vektorok, fonémák
10. Szóvektorok
    • word2vec és film-vektorok (k-SVD dekompozícióval)
11. Neurális hálók
    • seq2seq, rekurrens, GRU, LSTM, mondat fordítás, attention, sub-word modell