De eerste internetzoekmachine was Archie. Het zoekprogramma werd gecreëerd in 1990. Alle directorybestanden
van publieke FTP-sites werden door Archie gedownload, waarbij een te doorzoeken database van bestandsnamen
werd opgebouwd. Gopher begon in 1991 met het indexeren van platte tekstbestanden. Doordat deze bestanden tekstgeoriënteerd waren, werden de meeste Gopher sites na de creatie van het World Wide Web omgezet naar web sites. Deze eerste zoekmachines creëerden indexbestanden gebaseerd op menunamen, identiek aan de werkwijze in de bekende Gouden Gids.

In 1993 creëerde een student aan het fameuze MIT de eerste robot, genaamd World Wide Web Wanderer. Het programma was oorspronkelijk bedoeld om het aantal webservers te tellen om de grootte van het web te weten te komen. Later werd het programma gebruikt om URL’s te verkrijgen, waarmee de eerste database van websites ontstond, Wandex genaamd. Naar deze zogenoemde web robots wordt ook wel verwezen als web wanderers, web crawlers of spiders. De huidige generatie robots wordt vooral gebruikt om met behulp van zoekmachines de indexes op te bouwen voor die zoekmachines.

Vanaf 1993 zijn diverse zoekmachines geïntroduceerd:

• Excite werd in 1993 ontwikkeld door studenten van de Stanford universiteit. Het programma gebruikte statistische
  analyses van verbanden tussen woorden om het zoekproces te helpen.
• Jerry Yang en David Filo creerden Yahoo! in 1994. Oorspronkelijk werd het opgezet als een lijst van hun favoriete websites. Maar ze namen toen bij iedere URL al een korte beschrijving van de pagina op, waarmee ze zich onderscheidden van andere.
• WebCrawler werd geïntroduceerd in 1994. Het was de eerste full-text zoekmachine voor internet; de gehele tekst van een pagina werd geïndexeerd. Het programma werd al snel zo populair dat het zoekprogramma overdag niet meer kon worden gebruikt.
• Lycos introduceerde de zogenoemde ‘relevance retrieval’, ‘prefix matching’, en ‘word proximity’ in 1994. Het werd al snel de grootste zoekmachine met meer dan zestig miljoen geïndexeerde documenten in 1996. Zoals vele andere zoekprogramma’s was Lycos gecreëerd in de atmosfeer van een befaamde universiteit, in dit geval de Carnegie Mellon Universiteit
• Alta Vista begon in 1995. Het werd de eerste zoekmachine die een natuurlijke taal als interface toestond. Tevens werd gezocht in verschillende media als foto’s, muziek en video’s.
• Inktomi startte in 1996 bij UC Berkeley. In juni 1999 introduceerde Inktomi een directory zoekmachine die met gebruikmaking van ‘concept induction’ de ervaringen van menselijke analyses toepaste op de geautomatiseerde analyse van links, gebruik en andere patronen om te bepalen welke sites het meest populair waren.
• MSN Search werd gelanceerd in 1998. 
• Google
  Met de lancering van Google in 1998 werd tegelijkertijd een geheel nieuwe zoektechnologie, genaamd PageRank, geïntroduceerd. Google werd ontwikkeld door Sergey Brin en LarryPage als onderdeel van een onderzoeksproject aan de Stanford universiteit. Zij noemden hun zoekmachine BackRub omdat ze daarmee aangaven dat hun techniek gebaseerd was op het identificeren en analyseren van verwijzende links. Later werd hun product Google genoemd, verwijzend naar het woord ‘googol’ dat staat voor een 1 met 100 nullen.
  
  Tot op heden is Google de meest krachtige zoekmachine gebleken. De ontwikkelaars besloten om websites te waarderen op basis van het aantal ingaande (verwijzende) links. Dat maakt het web democratisch, omdat elke uitgaande link een stem is. De techniek die Google hiervoor gebruikt is geheim, maar iedereen kan de basisversie gratis gebruiken als zoekmachine voor zijn eigen website. Belangrijke internetproviders als AOL en Go (van Disney) gebruiken Google als zoekmachine binnen hun portaal. Daarmee neemt Google wereldwijd momenteel meer dan de helft van alle zoekopdrachten voor zijn rekening.
  Google heeft in de loop der jaren nog een groot aantal andere toepassingen geïntroduceerd om te komen waar het nu staat (zie ook labs.google.com en www.google.com/options):
  
  In 2000 werd de Google toolbar geïntroduceerd.
  In 2000 werd voor specifieke marketingactiviteiten het programma AdWords ingevoerd.
  In 2003 stelde Google een context gerelateerd programma met de naam AdSense beschikbaar, waarmee men inkomsten kon verwerven door het automatisch plaatsen van relevante advertenties. Google voegde daarnaast in dat jaar belangrijke semantische elementen aan haar zoekmachine toe.
  In 2004 introduceerde Google onder andere Froogle, Google Deskbar, Google SMS en Google Desktop Search.
  In september 2004 kondigde Google aan om nauwe betrekkingen te gaan onderhouden met uitgevers om ook in boeken te zoeken, overeenkomstig de ‘Look Inside’ optie van Amazon.
  In oktober 2004 publiceerde Google het bericht dat ze serieus keek naar de mogelijkheid om Instant Messaging te gaan aanbieden.
  In 2005 stelde Google de eerste betaversie van haar software beschikbaar om in academische literatuur te zoeken (scholar.google.com).
  In 2005 introduceerde Google ook haar eigen e-maildienst: Gmail (www.google.com/gmail). In de betaversie kreeg elke gebruiker 1GB opslagruimte.