Crawler olarak da bilinen arama motoru örümceği (spider) Google gibi arama motorlarının web üzerinde ne olup bittiğini bulması için geliştirilmiş bir yazılımdır. Web dünyası çok geniş bir alandır, bu yüzden bu alanda gezinen ve her gün her saniye webe ne önerildiğini gören bir şeye ihtiyaç vardır. İşte bu noktada, örümcekler devreye girer.
Bilgilerinize bakan örümcek, sayfa yüklendikten sonra, her bir sayfadaki köprülerinizin (hyperlink) hepsini takip eder. Bir örümceğin ağlarda sürünüp diğer böcekleri yakaladığı gibi, bu örümcek yazılımı da web üzerindeki siteleri tek tek dolaşır ve sonunda sizin bilgilerinize de ulaşır.
Örümcek sitenizi ziyret ettiği zaman, sayfanızdaki içerik bir veri tabanına yüklenir. Web siteniz alındıktan sonra, arama motorları, içeriğinizi indekslerine yükler. Google örümcek dolaşıp sayfalarınızı bulur, sayfanızdaki bütün kelimeleri analiz eder ve sonra bütün URLlerinizi programı içinde güçlendirir.
Sayfanızı ziyaret ettiği zaman bir örümceğin yaptığı ilk şey, robots.txt denilen dosyayı bulmaktır. Bu, örümceğe neyi indeksleyip indekslememesi gerektiğini söyleyen özel bir dosyadır. Eğer örümcek dosyayı bulamazsa, bu sayfayı dikkate almayacaktır. Bu yüzden de, arama motorları tarafından fark edilmeyebilirsiniz.
Bir örümceğin sayfanızı görmesini sağlamanın tek yolu robots.txt dosyasına sahip olmaktır. Örümcek, sayfanızı köprüleri veya aranan sayfaları takip ederek bulacaktır.
Arama motorunun, sitenizi onun indekslerine ekleme talebini isteyeceğiniz bir URL teslim formu olabilir ve bu da çoğu durumda yapılması iyi bir fikirdir. Söylemek istediğim son şey, sitenizi bir arama motoruna verdiyseniz, bunu, bulduğunuz sitelere veya sitenizi yüzlerce arama motoruna önerecek bir yazılıma vermemeniz çok önemlidir. Bu işe yaramaz. Ayrıca son olarak, sahip olacağınız çok fazla link, arama motorundaki sıralamanızı yükseltecektir.
