-
pyinstallerとは? Pythonコード、パッケージを全て一つの実行ファイル(exe)にまとめることができるライブラリです。通常のPythonのソースコードだとPythonがインストールされている環境でしか動作させることがで…
-
Jupyter Notebook ブラウザ上で動作するPythonの対話型実行環境です。データ分析には欠かせないツールの一つです。オープンソースで無料です。 メリット 手軽に実行できる。 ファイルの場合は修正するた…
-
06.11
【Python】スプレットシート操作
事前準備 1.Google Cloud Platformのプロジェクトを作成する。 以下のURLにアクセスします。 https://console.developers.google.com/ もし、Googleアカウントでログ…
-
事前準備 1.Scrapyのプロジェクトを作成する。 [crayon-673485b8329d2440763772/] 2.projects/プロジェクト配下にchromedriverを配置します。 chromed…
-
ImagePipelineとは? ScrapyにはURLを渡すと画像ファイルをダウンロードして所定のフォルダに入れてくれる便利機能があります。ただ、以下の特徴になっているので適宜カスタマイズが必要になります。 デフォルトでランダ…
-
SQLite3とは インストール不要で使える手軽なRDBです。Pythonの環境にはデフォルトでインストールされているのでMySQL、PostgreSQLなどの本格DBで試すより、お試しでDB保存などをする場合はこれで十分でしょう。 登…
-
06.09
【NoSQL】MongoDBの基本
MongoDBとは? NoSQLの一種です。NoSQLにも種類がありますがその中でもドキュメントDBに分類されます。 コレクション RDBで言えばテーブルに当たります。 ドキュメント RDBで言えばレコードに当たります。J…
-
Scrapy Itemとは? Webサイトから取得したデータを格納する入れ物(オブジェクト) あらかじめ定義したフィールドに対してデータを定義する。 データ構造を正確に保つことができる。(定義していないフィールドに…
-
06.08
【Python】Scrapyのデバッグ方法
スパイダーをVSCodeのステップ実行でデバッグする。 scrapy.cfgファイルがあるディレクトリに対して、ファイルを任意の名前をつけて保存します。(例:xxx_debug.pyなど) [crayon-673485b833aff73…
-
ログイン画面 ログイン画面は通常の入力と異なりCSRFトークンをPOSTリクエストに合わせて送信する必要があります。ログイン処理が必要なWebアプリのスクレイピングの場合は、CSRFトークンが設定されているinput要素からCSRFトーク…