Index tárolási módszerek

Ahhoz, hogy az információ visszakeresési műveleteket nagy sebességeel tudjuk végrehajtani, szükségünk van olyan hatékony és kompakt dokumentum és index tárolási módszerekre, amelyek ezt lehetővé teszik. Általában már a szövegfeldolgozás első lépéseiben a szöveges karakterek szerepét számok veszik át, és a szavakat, sztringeket, szubsztringeket onnantól kezdve számok segítségével, hivatkozási indexekkel fejezzük ki, és matematikai tömbökkel, mátrixokkal, vektorokkal hivatkozunk rájuk. Az ilyen index tárolási módszerek célja, hogy igényeinktől függően veszteségmentesen vagy bizonyos fokú veszteséget megengedve ki tárhelyigény mellett és a gyors használhatóság igényének figyelembevétele mellett alkalmas formában tudjuk tárolni a korpuszt, illetve annak lexikonját. Az index tárolási és tömörítési módszerek közül az alábbiak a legismertebbek:

• Bináris szó-dokumentum mátrix
• Bináris fák
• Végesállapotú automaták
• Szuffix fák
• Huffman kódolás
• Aritmetikai kódolás
• Unary kódolás
• Gamma kódolás
• Delta kódolás
• Golomb kódolás.

Vázsonyi Miklós