Pythonにはさまざまな環境構築手法やキーワードが出てきて始めたばかりの人は間違いなく混乱するので混乱しないよう備忘録として環境構築手法をまとめておきます。 環境構築手法のイメージ図 オフライン環境 実務ではこ…

• Python
• コメントを書く

pyinstallerとは？ Pythonコード、パッケージを全て一つの実行ファイル(exe)にまとめることができるライブラリです。通常のPythonのソースコードだとPythonがインストールされている環境でしか動作させることがで…

• Python, 未分類
• コメントを書く

Jupyter Notebook ブラウザ上で動作するPythonの対話型実行環境です。データ分析には欠かせないツールの一つです。オープンソースで無料です。 メリット 手軽に実行できる。 ファイルの場合は修正するた…

• Python
• コメントを書く

事前準備 1.Google Cloud Platformのプロジェクトを作成する。 以下のURLにアクセスします。 https://console.developers.google.com/ もし、Googleアカウントでログ…

• Python
• コメントを書く

事前準備 1.Scrapyのプロジェクトを作成する。 [crayon-687c001126edf873881294/] 2.projects/プロジェクト配下にchromedriverを配置します。 chromed…

• Python
• コメントを書く

ImagePipelineとは？ ScrapyにはURLを渡すと画像ファイルをダウンロードして所定のフォルダに入れてくれる便利機能があります。ただ、以下の特徴になっているので適宜カスタマイズが必要になります。 デフォルトでランダ…

• Python
• コメントを書く

SQLite3とは インストール不要で使える手軽なRDBです。Pythonの環境にはデフォルトでインストールされているのでMySQL、PostgreSQLなどの本格DBで試すより、お試しでDB保存などをする場合はこれで十分でしょう。 登…

• Python
• コメントを書く

MongoDBとは？ NoSQLの一種です。NoSQLにも種類がありますがその中でもドキュメントDBに分類されます。 コレクション RDBで言えばテーブルに当たります。 ドキュメント RDBで言えばレコードに当たります。J…

• NoSQL, Python
• コメントを書く

Scrapy Itemとは？ Webサイトから取得したデータを格納する入れ物（オブジェクト） あらかじめ定義したフィールドに対してデータを定義する。 データ構造を正確に保つことができる。（定義していないフィールドに…

• Python
• コメントを書く

スパイダーをVSCodeのステップ実行でデバッグする。 scrapy.cfgファイルがあるディレクトリに対して、ファイルを任意の名前をつけて保存します。（例：xxx_debug.pyなど） [crayon-687c001127fc076…

• Python
• コメントを書く