LAPORAN LATENT SEMANTIC INDEX

Pendahuluan

Bab I

1.1 Latar Belakang

Perkembangan pengetahuan dan teknologi yang begitu cepat membuat manusia harus terus belajar. Belajar akan lebih mudah apabila akses terhadap informasi mudah diperoleh. Semakin canggihnya teknologi di bidang komputasi dan telekomunikasi pada masa kini, membuat informasi dapat dengan mudah didapatkan oleh banyak orang. Kemudahan ini menyebabkan informasi menjadi semakin banyak dan beragam. Informasi dapat berupa dokumen, berita, surat, cerita, laporan penelitian, data keuangan, dan lain-lain.

Seiring dengan perkembangan informasi, banyak pihak menyadari bahwa masalah utama telah bergeser dari cara mengakses informasi menjadi memilih informasi yang berguna secara selektif. Usaha untuk memilih informasi ternyata lebih besar dari sekedar mendapatkan akses terhadap informasi. Pemilihan informasi ini tidak mungkin dilakukan secara manual karena kumpulan informasi yang sangat besar dan terus bertambah besar.

Suatu sistem otomatis diperlukan untuk membantu pengguna dalam menemukan informasi. Information retrieval (IR) system adalah sistem yang digunakan untuk menemukan informasi yang relevan terhadap kebutuhan penggunanya secara otomatis dari suatu koleksi informasi.

1

I.2 Rumusan Masalah

IR system bertujuan untuk mendapatkan atau menemukan kembali informasi yang sesuai atau relevan dengan kebutuhan informasi pengguna secara otomatis. IR system yang ideal adalah IR system yang

(1) Menemukan seluruh informasi yang relevan

(2) Menemukan hanya informasi yang relevan saja dan tidak menemukan informasi yang tidak relevan.

Kedua hal di atas menunjukkan kualitas atau performansi dari suatu IR system.

Informasi yang dibutuhkan pengguna diekspresikan dalam query. Query dapat berupa kata atau kalimat. Dengan query sebagai input, IR system melakukan pencarian informasi di dalam koleksi informasi untuk mencari informasi yang relevan dengan query (3).

Pencarian informasi dilakukan dengan mencari informasi yang memuat query. Informasi yang relevan dapat diperoleh dengan menemukan informasi yang

(1) Memuat kata atau kalimat yang sama dengan query atau

(2) Memuat kata atau kalimat yang bermakna sama dengan query.

Sebagai contoh, terdapat query satu kata yaitu “pintar”. Pada point 1, informasi yang memuat kata “pandai” atau “cerdas” dinilai tidak relevan karena informasi yang relevan adalah informasi yang memuat kata “pintar”. Sedangkan pada point 2, informasi yang memuat kata “pandai” atau “cerdas” dinilai relevan karena “pandai” atau “cerdas” bermakna sama dengan “pintar”.

Makna kata sama dapat ditinjau dari dua istilah, yaitu sinonim dan polisemi (8). Sinonim adalah istilah untuk kata yang bermakna sama. Contoh, kata “pintar” merupakan sinonim untuk “pandai” karena “pintar” dan “pandai” bermakna sama. Sedangkan polisemi adalah istilah untuk kata yang sama namun maknanya berbeda. Contoh, kata “membajak” dalam “membajak sawah” dan “membajak pesawat” merupakan polisemi karena kata “membajak” di kedua frase sama namun mempunyai arti yang berbeda.

Salah satu metode pencarian informasi dengan melihat kecocokan makna antara query dengan informasi adalah metode Latent Semantic Indexing (LSI). Metode Latent Semantic Indexing diajukan untuk memperbaiki performansi IR system dalam mencari informasi yang relevan dengan query. Informasi yang relevan bukan hanya sama kata namun makna kata juga.

2

I.3 Tujuan Penelitian

Tujuan yang ingin dicapai melaui penelitian ini adalah:

(1) Mempelajari metode Latent Semantic Indexing dan proses pembangunan IR system.

(2) Merancang dan mengimplementasikan metode Latent Semantic Indexing dalam IR system.

(3) Melakukan pengujian IR system metode Latent Semantic Indexing dengan menggunakan koleksi pengujian (test collection).

I.4 Batasan Masalah

Batasan masalah dalam tesis ini adalah

(1) Koleksi dokumen yang digunakan untuk pengujian berupa dokumen tekstual tanpa format. Hal ini dimaksudkan untuk menghilangkan kebutuhan untuk mempelajari format dokumen seperti Microsoft Word Document Format, Adobe Portable Document Format, dan lain-lain.

(2) Bahasa yang digunakan dalam koleksi pengujian adalah bahasa Inggris saja.

3

Bab II

PEMBAHASAN

2.1       LATENT SEMANTIC INDEX

Mendapatkan hasil pencarian yang sesuai dengan kebutuhan dalam suatu koleksi dokumen yang besar merupakan hal sulit. Usaha pengguna secara manual untuk memilah-milah dokumen yang sesuai dengan kebutuhannya ternyata sangat besar. Hasil pencarian merupakan sejumlah dokumen yang relevan menurut sistem, namun relevansi merupakan hal yang subjektif. Pada umumnya, dokumen dikatakan relevan dengan query apabila dokumen (1) Memuat kata atau kalimat yang sama dengan query atau (2) Memuat kata atau kalimat yang bermakna sama dengan query. Sebagai contoh, terdapat query satu kata yaitu “sulit”. Pada point 1, informasi yang memuat kata “susah” atau “sukar” dinilai tidak relevan karena informasi yang relevan adalah informasi yang memuat kata “sulit”. Sedangkan pada point 2, informasi yang memuat kata “susah” atau “sukar” dinilai relevan karena “susah” atau “sukar” bermakna sama dengan “sulit”. Makna kata dapat ditinjau dari dua istilah, yaitu sinonim dan polisemi (8). Sinonim adalah istilah untuk kata yang bermakna sama. Contoh, kata “sulit” merupakan sinonim untuk “sukar” karena “sulit” dan “sukar” bermakna sama. Sedangkan polisemi adalah istilah untuk kata yang sama namun maknanya berbeda. Contoh, kata “membajak” dalam “membajak sawah” dan “membajak VCD” merupakan polisemi karena kata “membajak” di kedua frase sama namun mempunyai arti yang berbeda. Metode Latent Semantic Indexing (LSI) adalah metode yang diimplementasikan di dalam IR system dalam mencari dan menemukan informasi berdasarkan makna keseluruhan (conceptual topic atau meaning) dari sebuah dokumen bukan hanya makna kata per kata.

4

2.2  Metode Latent Semantic Indexing Secara Keseluruhan

Secara global, alur proses metode Latent Semantic Indexing (LSI) dapat diilustrasikan dalam gambar

Gambar Alur proses dari metode latent semantic indexing Alur proses dari metode Latent Semantic Indexing dibagi 2 (dua) kolom, yaitu :

5

a.)    kolom sebelah kiri yaitu query dan kolom sebelah kanan kanan yaitu, koleksi dokumen. Pada proses sebelah kiri, query diproses melalui operasi teks,
17 kemudian vektor query dibentuk. Vektor query yang dibentuk dipetakan menjadi vektor query terpeta (mapped query vector). Dalam membentuk query terpeta, diperlukan hasil dekomposisi nilai singular dari koleksi dokumen. Pada koleksi dokumen, dilakukan operasi teks pada koleksi dokumen, kemudian matriks katadokumen (terms-documents matrix) dibentuk, selanjutnya dilakukan dekomposisi nilai singular (Singular Value Decomposition) pada matriks kata-dokumen. Hasil dekomposisi disimpan dalam collection index. Proses ranking dilakukan dengan menghitung relevansi antara vektor query terpeta dan collection index. Selanjutnya, hasil perhitungan relevansi ditampilkan ke pengguna. Dalam subbab-subbab berikutnya dibahas mengenai konsep aljabar linier elementer yang mendasari metode LSI.

6

2.3  KONSEP LATENT SEMANTIC INDEX

Konsep Latent Semantic Indexing (LSI) merupakan metode IR yang membangun struktur koleksi dokumen dalam bentuk ruang vektor dengan menggunakan teknik aljabar linier, yaitu singular value decomposition.
35 Secara umum, konsep LSI meliputi beberapa point seperti dilustrasikan pada gambar III.1 yaitu:

(1) Text Operations pada Query dan Document Collection.
Query dari pengguna dan koleksi dokumen dikenakan proses text
operations. Proses text operations meliputi, (i) mem-parsing setiap kata dari koleksi dokumen, (ii) membuang kata-kata yang merupakan stop words, (iii) mem-stemming kata-kata yang ada untuk proses selanjutnya.

(2)        Matrix Creation. Hasil text operations yang dikenakan pada koleksi dokumen dikenakan proses matrix creation. Proses matrix creation meliputi, (i) menghitung frekuensi kemunculan dari kata, (ii) membangun matriks kata-dokumen seperti dilustrasikan pada. gambar

Baris matriks menunjukkan kata dan kolom matriks menunjukkan dokumen. Sebagai contoh, elemen matriks pada baris ke-1 dan kolom ke-2 menunjukkan frekuensi kemunculan kata ke-1 pada dokumen ke-2.

7

(3) SVD Decomposition.

- Dua matriks ortonormal U dan V

- matriks quasidiagonal S

                        A=USV^T

Dengan            U € R ^{m x m}

                        V € R ^{n x n}

                        S = diag.... (∂₁,...,∂_p)

S  adalah elemen diagonal berupa nilai singular A

·         Tidak negativ dengan urutan menurun

·         ∂₁, ≥ ∂₂, ≥ ... ≥ ∂_p dengan P= min (m,n)

Matriks S memiliki bentuk

1.      M x n [diag.... (∂₁,...,∂_p)|0_{m x (n-m)}]

2.      M = n [diag.... (∂₁,...,∂_p)]

3.      M>n  [diag.... (∂₁,...,∂_p)

8

Penutup

Bab III

3.1 Kesimpulan Dan Saran

Dalam tesis ini dikembangkan metode Latent Semantic Indexing untuk

Information Retrieval System. Beberapa point yang dapat disimpulkan dalam tesis

ini adalah

1. Metode LSI menghasilkan performansi yang lebih baik daripada metode

vektor dalam IR system karena metode LSI memasukkan faktor polisemi dan

sinonim dalam komputasi metode LSI. Faktor polisemi dan sinonim

diperhitungkan ketika proses pembentukan vektor kata-vektor kata untuk

ruang kolom dari matriks kata-dokumen.

2. Nilai rank yang direkomendasikan untuk koleksi dokumen ADI adalah

sekitar 60. Dengan pemilihan nilai rank sekitar 60, rata-rata NIAP

maksimum dapat dicapai.

3. Meskipun rata-rata NIAP maksimum dapat dicapai dengan nilai rank

sekitar 60, terdapat nilai-nilai NIAP yang sangat kecil untuk query-query

tertentu, seperti untuk query ke-8 diperoleh nilai NIAP adalah 0.04545.

Oleh karena itu, masih harus dilakukan studi lanjut untuk meningkatkan

nilai NIAP untuk semua query.

Saran untuk perbaikan metode LSI dalam tesis ini adalah

1. Pengelolaan memori yang lebih baik sehingga banyak dokumen yang

diproses dapat lebih banyak.

2. Faktor normalisasi untuk dokumen perlu juga diperhatikan sehingga

dokumen yang panjang dan dokumen yang pendek tidak dibedakan.