curl の履歴(No.14)

情報
- 概要
- スクレイピング

情報†

概要†

ウェブページを取得して、ローカルファイルに名前を付けて保存：
curl -o thatpage.html http://www.netscape.com/

POST

curl によるデータのポストは簡単である。 -d データ オプションを用いる。 ポストデータは URL エンコードしておかなければならない。
簡単な name と phone のポスト：
curl -d "name=Rafael%20Sagula&phone=3320780" http://www.where.com/guest.cgi

curl コマンド使い方メモ - Qiita

-O だと、リクエスト先の名前でファイルを保存します。

cURLでHTTPステータスコードだけを取得する - Qiita
```
$ curl -LI mazgi.com -o /dev/null -w '%{http_code}\n' -s
```

curlでファイルをダウンロードする - ksaitoの日記

-Lがリダイレクトに対応、-Oがファイルに保存（指定しないと標準出力です。）
$ curl -L -O [URL]

curl を使って JSONデータをPOSTする - // Takuya71 の日記

% curl -v -H "Accept: application/json" -H "Content-type: application/json" -X POST -d '{"user":{"first_name":"first name", ...}}'  http://localhost:3000/api/1/users

よく使うcurlコマンドのオプションまとめ（12個） - Qiita

# NTLM認証もしくはDigest認証のかかったサイトにアクセス（--anyauth）
$ curl --anyauth --user USERID:PASSWORD http://www.example.com/

curl option 覚え書き - Qiita

curl コマンド、ちょくちょく使うけどオプション忘れてまう

curl と cron でHTTPレスポンスを監視するシェルスクリプト (結果をSlack に飛ばす) - Qiita

インターネットに出られるけれど、インターネットから入ってこれないサーバの死活監視を、お気軽にしたい。

cURL で取得できるレスポンスタイムの内訳 - 元RX-7乗りの適当な日々

curl -L --output /dev/null --silent --show-error --write-out 'lookup:        %{time_namelookup}\nconnect:       %{time_connect}\nappconnect:    %{time_appconnect}\npretransfer:   %{time_pretransfer}\nredirect:      %{time_redirect}\nstarttransfer: %{time_starttransfer}\ntotal:         %{time_total}\n' 'google.com'

↑

スクレイピング †

curl+xpath から始めるお手軽スクレイピング（２） - それマグで！

curl でも、連続したページの取得ができます。それが --next オプションです。
curl に--config/-K オプションをつけると連続してデータ取得をバッチ処理してくれます。

Linux/Macのシェルを使ってrssの分解をする方法 - ジャンカーな日々

たとえば、RSSを取得してタイトルと要素を引っ張り出す場合は
cat /rss/channel/item[0]/title" | xmllint --shell "抽出したいxmlファイル

気象庁防災XMLのPull型提供（Atom Feed）について - Qiita

最低限の取得スクリプト例
わかりやすいようにシェルスクリプトです。長時間試験していません。

curl の履歴(No.14)

情報†

概要†

スクレイピング†

スクレイピング †