Jupyter Notebook ブラウザ上で動作するPythonの対話型実行環境です。データ分析には欠かせないツールの一つです。オープンソースで無料です。 メリット 手軽に実行できる。 ファイルの場合は修正するた…

• Python
• コメントを書く

事前準備 1.Google Cloud Platformのプロジェクトを作成する。 以下のURLにアクセスします。 https://console.developers.google.com/ もし、Googleアカウントでログ…

• Python
• コメントを書く

事前準備 1.Scrapyのプロジェクトを作成する。 [crayon-680e52e610127196568712/] 2.projects/プロジェクト配下にchromedriverを配置します。 chromed…

• Python
• コメントを書く

ImagePipelineとは？ ScrapyにはURLを渡すと画像ファイルをダウンロードして所定のフォルダに入れてくれる便利機能があります。ただ、以下の特徴になっているので適宜カスタマイズが必要になります。 デフォルトでランダ…

• Python
• コメントを書く

SQLite3とは インストール不要で使える手軽なRDBです。Pythonの環境にはデフォルトでインストールされているのでMySQL、PostgreSQLなどの本格DBで試すより、お試しでDB保存などをする場合はこれで十分でしょう。 登…

• Python
• コメントを書く

MongoDBとは？ NoSQLの一種です。NoSQLにも種類がありますがその中でもドキュメントDBに分類されます。 コレクション RDBで言えばテーブルに当たります。 ドキュメント RDBで言えばレコードに当たります。J…

• NoSQL, Python
• コメントを書く

Scrapy Itemとは？ Webサイトから取得したデータを格納する入れ物（オブジェクト） あらかじめ定義したフィールドに対してデータを定義する。 データ構造を正確に保つことができる。（定義していないフィールドに…

• Python
• コメントを書く

スパイダーをVSCodeのステップ実行でデバッグする。 scrapy.cfgファイルがあるディレクトリに対して、ファイルを任意の名前をつけて保存します。（例：xxx_debug.pyなど） [crayon-680e52e61120c87…

• Python
• コメントを書く

ログイン画面 ログイン画面は通常の入力と異なりCSRFトークンをPOSTリクエストに合わせて送信する必要があります。ログイン処理が必要なWebアプリのスクレイピングの場合は、CSRFトークンが設定されているinput要素からCSRFトーク…

• Python
• コメントを書く

crawlテンプレートとは？ 通常のWebサイトをクロールするためのspiderのテンプレートになります。ルールを定義してリンクを辿っていきます。デフォルトのbasicテンプレートに比べてリンクをたどりやすくなっています。 Basicテ…

• Python
• コメントを書く