FreeBSD初心者運用日記 このページをアンテナに追加

 | 

2011-01-15

wgetコマンドについて 22:57 wgetコマンドについて - FreeBSD初心者運用日記 を含むブックマーク はてなブックマーク - wgetコマンドについて - FreeBSD初心者運用日記 wgetコマンドについて - FreeBSD初心者運用日記 のブックマークコメント

  • 基本的な使いかた
$ wget -w 1 -np --html-extension --convert-links -m {the url which you want.}
オプションr: 再帰的にリンクをたどる
オプションnp: no parentの略で、親の階層をみにいかない
オプション--html-extension: phpなどのファイルをhtmlファイルとしてローカルに作成する。
オプションconvert-links: 絶対パスを相対パスに変換する(重要。これを指定しとかないと、ローカルで見れない)
オプションm: ミラー。よくわからないけど、指定したほうがよさそう。
  • 応用
オプションAで取得するファイルの拡張子を指定できる。
オプションRで取得しないファイルの拡張子を指定できる。
(ファイル名も指定できる。グロブパターンで指定できる。ファイル名の後ろに続くURLパラメタも指定できる。グロブパターンなので?とか=はエスケープの必要あり。ちなみに指定できるのはファイル名だけで、ディレクトリまでは指定できない。あと--html--extensionつけた場合はファイル名は.htmlとなるので注意する。)
オプションIで、取得するディレクトリを指定できる
オプションXで、取得しないディレクトリを指定できる(http://localhost/hoge/を無視したいなら、 -X /hoge とする)

  • 注意事項
wgetでphpのホームページを、htmlとしてローカルに作成した場合、
そのホームページのリンクを、他のページに設置する場合は、Aタグに指定するURLは、?を%3fとかに変えないとうごかない。
そうしないと、aaa.php?a=b.htmlというURLは、サーバ側では、aaa.phpを要求された!と判断するから。

?を%3fに変換するawk

http://freebsd.g.hatena.ne.jp/py4s-tnk/20110119/1295452671

参考にさせていただいたページ

ttps://forums.ubuntulinux.jp/viewtopic.php?id=8300&action=new


  • 応用
オプションlでリンクをたどる階層を指定。-l 1と指定すれば、パラメタで指定されたページとそこからリンクされているページだけを取得する。
あと、指定した拡張子のファイルだけ取得したりなんてこともできるし、ページを取りに行く秒数の間隔を指定することもできる。
 |