首先,搜索引擎会向万维网派出一个能够发现新网页并抓取网页文件的程序,这个程序通常被称为蜘蛛(Spider)。其在工作的时候从网站的某一个页面开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样一直循环下去,直到把这个网站所有的页面都抓取完为止。如果把整个互联网当做一张大网,那么这个程序就像是蜘蛛一样抓取所有的网页内容。
在蜘蛛程序抓取了网页文件之后,通过对网页内容的分析和处理,对网页信息进行提取并组织建立索引库,即建立一定的搜索原则,也就是说当用户查找某一关键词时,搜索引擎能根据关键词在数据库中进行查找和搜索,找到相应的位置。
当搜索引擎对网络数据建立了数据库之后,接下来就是用户使用阶段了,当用户在搜索栏输入搜索词,单击“搜索”按钮后,搜索引擎即对输入的搜索词进行处理,以提取出相应的关键词,通过关键词在数据库中进行索引和查找,实际的应用中,搜索词的处理是十分快速的。