Visible web adalah sebuah istilah yang digunakan untuk menyebut bagian dari Internet yang terlihat dan dapat dicari oleh mesin pencari (search engines). Google, yang kita kenal sebagai mesin pencari yang dapat mendeteksi lebih dari 8 miliar halaman web dalam indeksnya, ternyata belum dapat mendeteksi  bagian internet lain, yang dikenal sebagai invisible web.

Versi pertama dari halaman web ini ditulis pada tahun 2000. Saat itu topik seperti yang dimunculkan memang mengherankan banyak orang.  Sejak itu  mesin pencari melakukan pengindeksan dan membuat program untuk mengatasi banyak hambatan teknis yang membuatnya mustahil bagi mereka untuk menemukan halaman web “tidak kelihatan”.  Tak heran sekarang  kita sudah dapat menemukan  jenis halaman yang tak terlihat itu di sebagian besar hasil mesin pencari.  Seperti apa?

- Halaman-halaman dalam format non HTML (pdf, Word, Excel, PowerPoint), kini diubah menjadi HTML. Naskah berbasis halaman, yang berisi coding atau script lainnya.

- Halaman-halaman yang dihasilkan secara dinamis oleh database jenis perangkat lunak lainnya (misalnya. Active Server Pages. Cold Fusion), ini dapat diindeks jika ada suatu alamat URL yang stabil, maka  mesin pencari dapat menemukannya.

Mengapa tidak semuanya terlihat?
Masih ada beberapa rintangan mesin pencari crawlers untuk menemukan Invisible Web. Berikut adalah beberapa contoh bahan yang masih tersembunyi dari mesin pencari secara umum:

- Database. Ketika Anda mencari di perpustakaan katalog, artikel, database, statistik database, dll. Karena program crawler tidak dapat melacak, misalnya password di layar login atau kata kunci dalam kotak pencarian. Dengan demikian, database ini harus dicari secara terpisah.

- Excluded Pages (halaman pengeculian). Mesin pencari mengecualikan beberapa jenis halaman dengan beberapa pertimbangan, untuk menghindari cluttering mereka dengan database konten yang tidak diinginkan. Atau halaman yang dihasilkan oleh buku-buku di perpustakaan katalog publik yang menyimpan database, dimana mesin pencari tidak akan menampilkan semua halaman web mereka dalam database, karena umumnya tidak untuk kepentingan umum.

- Halaman web yang sengaja tidak ingin ditampilkan oleh pemiliknya. Halaman Web pencipta yang tidak ingin dia muncul di halaman search engine dapat menyisipkan script “meta tag” khusus yang nantinya tidak akan ditampilkan pada layar, dan akan menyebabkan kebanyakan mesin pencari ‘crawlers untuk tidak mendeteksinya.

Ingat bahwa Invisible Web itu ada. Ini menjadi celah orang untuk menemukan semua lisensi dari artikel, majalah, referensi, arsip berita, dan sumber daya lainnya.