Τι είναι Crawler
Λεξικό για το Internet, τη φιλοξενία ιστοσελίδων - web hosting και την καταχώρηση ονομάτων διαδικτύου - domain names

Τι είναι Crawler

Ένας Crawler (ή αλλιώς spider) είναι ένα πρόγραμμα που κυκλοφορεί στο διαδίκτυο συλλέγοντας ιστοσελίδες. Ένα τέτοιο πρόγραμμα ακολουθεί κάθε σύνδεση μέσα σε μια ιστοσελίδα, καταχωρώντας τoν κάθε σύνδεσμο και σελίδα, έως ότου φτάσει σε αδιέξοδο. Έπειτα αρχίζει από την αρχή με μια νέα ιστοσελίδα.

Οι Crawlers χρησιμοποιούνται κυρίως από τις διάφορες μηχανές αναζήτησης για να συγκεντρώσουν στοιχεία για τη βάση δεδομένων τους ώστε να εμφανίζουν γρηγορότερα και πιο σχετικά αποτελέσματα αναζήτησης. Στην πραγματικότητα οι μηχανές αναζήτησης δεν ψάχνουν σε ολόκληρο το διαδίκτυο όταν εισάγει ένας χρήστης κάποιον όρο αναζήτησης αλλά εξετάζουν την βάση δεδομένων των ιστοσελίδων που έχουν συλλέξει οι Crawlers τους.

Υπάρχουν επίσης μηχανισμοί για τις ιστοσελίδες που δεν επιθυμούν να ανιχνευθούν από κάποιο Crawler. Για παράδειγμα, ένα αρχείο robots.txt μπορεί να ζητήσει από τον Crawler να προσθέσει στο ευρετήριο του μόνο τμήματα μιας ιστοσελίδας ή ακόμη και κανένα τμήμα της.

 
IPGLOBAL IKE   |  IP.GR   Web Hosting and Domain Name registration services in Greece
Προτιμήσεις Cookies
 Λειτουργικά  Στατιστικά  Marketing


Μπορείτε να δείτε αναλυτικές πληροφορίες για τη χρήση των cookies στη σελίδα: Όροι χρήσης