クローリング

スクレイピング の説明中に クローリング の説明も含まれますので、そちらをご参照ください。
スクレイピングと併せて理解すると良いでしょう。