A differenza di quanto accade per Yahoo!, il funzionamento che sta alla base degli altri motori di ricerca è più o meno il seguente: questi censiscono i siti Web in base alla rilevanza delle parole contenute in ogni pagina del sito, evidenziando quelle riportate più spesso, che si presume rappresentino l'argomento principale della pagina stessa.
Per fare ciò, scandagliano continuamente l'intero Web attraverso degli specifici software (i cosiddetti spider o crawler), acquisendo tutte le pagine non ancora presenti nei loro archivi. Tra i primi ad applicare questa tecnica Lycos, Excite e HotBot e lo stesso Google.