어떠한 검색어를 입력했을때 그 단어를 포함하고 있는 웹 서버의 주소목록을 알려주는 웹서버들을 검색엔진이라 하는데, 웹 검색엔진이란 인터넷에 존재하는 정보들의 위치를 자신의 데이터베이스에 구축하여 놓고사용자들이 원하는 정보의 위치를 알려주는 웹사이트로 로봇 에이전트라는 것을 이용해서 데이터베이스를 구축한다.로봇 에이전트란 하나의 웹 검색 프로그램으로 한 웹 사이트에서 시작해서 연결된 이웃 사이트로 이동하는 방법으로 모든 사이트를 검색하여 각 각의 주소를 웹 검색엔진의 데이터베이스로 보내 저장하는 역할을 한다.