Scrapy の履歴(No.5)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Scrapy へ行く。
  • 1 (2021-01-10 (日) 12:52:51)
  • 2 (2021-01-10 (日) 20:42:58)
  • 3 (2021-01-21 (木) 11:24:58)
  • 4 (2021-02-07 (日) 14:26:56)
  • 5 (2021-04-14 (水) 17:32:04)

Tag: スクレイピング Python

情報†

• Scrapy 2.4 documentation — Scrapy 2.4.1 documentation

  Scrapy is a fast high-level web crawling and web scraping framework, used to crawl websites and extract structured data from their pages.

• Scrapy 1.7 文書 — Scrapy 1.7.3 ドキュメント

  Scrapyは高速で高レベルのWebクロール(web crawling)およびWebスクレイピング(web scraping)フレームワークであり、Webサイトをクロールし、ページから構造化データを抽出するために使用されます。

• Python, Scrapyの使い方（Webクローリング、スクレイピング） | note.nkmk.me

  Scrapyはスクレイピングだけでなくクローリングも行う。複数ページを対象とするのならScrapyのほうが便利。

• 10分で理解する Scrapy - Qiita

  Scrapy はこれらのライブラリと違うレイヤーのもので、クローラーのアプリケーション全体を実装するためのフレームワークです

• python - How can I get all the plain text from a website with Scrapy? - Stack Overflow

  The easiest option would be to extract //body//text() and join everything found:
  ''.join(sel.select("//body//text()").extract()).strip()

  • コメント：別案のBeautifulSoupを使う方がテキスト抽出の精度が良かった。(2021/01/10)

    Another option is to use BeautifulSoup's get_text():

パイプライン†

• Scrapyでけ日記をクローリングする (2. PipelineでPostgreSQLに保存する) - け日記

  今回はクローリングで得られた値を、バリデーションしてPostgreSQLに保存するPipelineを実装します。

Python3†

Python 3.8†

• Can't install python 3.8.1 scrapy in venv on windows 10 64 bits - Stack Overflow

  See this answer for an explanation and a workaround if you don't want to download all 4GB: stackoverflow.com/a/43409948/5910149 –

Python 3.9†

• Release notes — Scrapy 2.5.0 documentation

  Scrapy 2.5.0 (2021-04-06)
  - Official Python 3.9 support

• error on "pip install scrapy" · Issue #3633 · scrapy/scrapy

  you can't install scrapy using python 3.9+, it depends on Twisted which can't be installed using pip starting 3.9 because of deprecation issue, the only way to do it is to downgrade you're python version (can be done easily with pyenv) or to download and install Twisted manually

関連†

• Python

• BeautifulSoup
• Python
• Python3

• スクレイピング
• Mechanize
• BeautifulSoup
• Nokogiri
• Scrapy