Linux で Web スパイダーをビルドする

Web スパイダーはインターネットを検索および移動する手段として主に HTTP を使っています。HTTP はメッセージ指向のプロトコルで、このプロトコルではクライアントがサーバーに接続して要求を発行し、サーバーが応答を返します。それぞれの要求と応答は、ステータスに関する情報を示すヘッダー、そしてコンテンツを記述する本文とで構成されます。 HTTP の要求には 3 つの基...

http://www.ibm.com/developerworks/jp/linux/library/l-spider/index.html

スクレイピング
スクレイピング
wgetってこんな使い方もあったのか→wget -A mp3,mpg,mpeg,avi -r -l 3 http:// URL>
I
なるほど

http://b.hatena.ne.jp/entry/http://www.ibm.com/developerworks/jp/linux/library/l-spider/index.html