Τι είναι Crawler
Λεξικό για το Internet, τη φιλοξενία ιστοσελίδων - web hosting και την καταχώρηση ονομάτων διαδικτύου - domain names

Ένας Crawler (ή αλλιώς spider) είναι ένα πρόγραμμα που κυκλοφορεί στο διαδίκτυο συλλέγοντας ιστοσελίδες. Ένα τέτοιο πρόγραμμα ακολουθεί κάθε σύνδεση μέσα σε μια ιστοσελίδα, καταχωρώντας τoν κάθε σύνδεσμο και σελίδα, έως ότου φτάσει σε αδιέξοδο. Έπειτα αρχίζει από την αρχή με μια νέα ιστοσελίδα.

Οι Crawlers χρησιμοποιούνται κυρίως από τις διάφορες μηχανές αναζήτησης για να συγκεντρώσουν στοιχεία για τη βάση δεδομένων τους ώστε να εμφανίζουν γρηγορότερα και πιο σχετικά αποτελέσματα αναζήτησης. Στην πραγματικότητα οι μηχανές αναζήτησης δεν ψάχνουν σε ολόκληρο το διαδίκτυο όταν εισάγει ένας χρήστης κάποιον όρο αναζήτησης αλλά εξετάζουν την βάση δεδομένων των ιστοσελίδων που έχουν συλλέξει οι Crawlers τους.

Υπάρχουν επίσης μηχανισμοί για τις ιστοσελίδες που δεν επιθυμούν να ανιχνευθούν από κάποιο Crawler. Για παράδειγμα, ένα αρχείο robots.txt μπορεί να ζητήσει από τον Crawler να προσθέσει στο ευρετήριο του μόνο τμήματα μιας ιστοσελίδας ή ακόμη και κανένα τμήμα της.