IT技術で仕事を減らしたい!

ITエンジニアのメモ+α

Python

Python pytubeでyoutube動画情報取得

どうも、nippa です。 今回はネタ記事で、たまたま見つけた pytube というライブラリを紹介したいと思います。 pytube は 軽量なライブラリで、ライブラリ依存性がない youtube の動画情報をするためのライブラリになります。 動画のダウンロードは法律に触…

Python Poetry pyinstallerのインストールエラー

どうも、nippa です。 poetry で pyinstaller をインストールしようとした際にエラーが出ました。 他のパッケージでも起こりうることなので、その解決方法をまとめておきます。 環境 インストールのエラー内容 解決方法 poetry のバージョンの書き方 感想 (a…

Python Seleniumスクレイピング

どうも、nippa です。 スクレイピングの必要性が出てきたので、Selenium で Web 操作を自動化したいと思います。 Web 開発でのモンキーテストにも使えるので、知っていて損はないかと思います。 Web サイトによってはスクレイピングが禁止されているところも…

Python Poetry AssertionErrorエラー解消

どうも、nippa です。 Poetry のパッケージ管理で、AssertionError が起きたので解決策をまとめておきます。 環境 AssertionError の原因 感想 (adsbygoogle = window.adsbygoogle || []).push({}); 環境 macOS 11.6 poetry 1.1.14 AssertionError の原因 今…

Python 人名データセットを使ってみる

どうも、nippa です。 膨大なテストデータを生成するために、人名のデータセットを使ってみようと思います。 今回試してみるのは、names-datasetになります。 README を見る限り、結構充実してるように思います。 このデータセットは Facebook からリークさ…

Python ランダムな文字列生成

どうも、nippa です。 テストデータ作るときに、数字は簡単に乱数生成できますが、 文字列はどうするのか気になったので、まとめておきます。 環境 アルファベット 1 文字のランダム生成(chr) アルファベット 1 文字のランダム生成(string) ランダムな文字列…

Python Poetry主なコマンド一覧

どうも、nippa です。 Python パッケージ管理に Poetry を使ってるので使いそうな poetry でコマンドについてまとめておきます。 Poetry のインストール方法については、前回の記事を確認してください。 https://timesaving.hatenablog.com/entry/2022/02/05…

Python Poetryでのパッケージ管理

どうも、nippa です。 Python 記事は久しぶりになります。 今回は Python のパッケージの管理方法についてです。javascript や node.js、typescript だと npm、yarn などのパッケージ管理ツールがあります。 Python では requirements.txt を使って管理する…

Python pyenv アップデートでpathの設定が変更

どうも、nippa です。 pyenv をアップデートしたら、Homebrew の python と confliction を起こしました。 その解決方法を記載しておきます。 原因はアップデートで python の環境変数を指定しないといけなくなったことが原因のようです。 また anyenv を使…

Python pyinstallerで実行ファイル化(exe化)

どうも、nippa です。 python のライブラリの pyinsteller を使って配布用の実行ファイルの作成ができます。 プログラマを他人に渡したいが、ソースコード自体は渡したくないような場合に便利です。 少し使ってみたところ意外と便利だったため、まとめておこ…

Python GoogleSheetsAPIでスプレッドシートへ書き込み

どうも、nippa です。 前回に続き、Google スプレッドシートの操作についてまとめておきます。 今回は GoogleSheetAPI を利用して、スプレッドシートのセルに書き込みをしていきたいと思います。 GoogleSheetsAPI の詳細については、こちらを参考にしてくだ…

Python GoogleSheetsAPIでスプレッドシートの情報取得

どうも、nippa です。 python で便利な操作を勉強中です。 本日は、python で Google スプレッドシート(SpeadSheets)から情報を取得してみたいと思います。 Google の公式のクイックスタートを参考にして、python で GoogleSheetAPI を利用してみたいと思い…

python PyArmorでコードの難読化

どうも、nippa です。 python cryptography で暗号化についてまとめましたが、key をどのように保存するかについて考えていました。 セキュリティ的に可能な方法としては、 実行サーバとは別のサーバに保存 API 化 key 自体を難読化 1.と 2. は key を物理的…

Python cryptography 暗号化ライブラリを利用してみる

どうも、nippa です。 python で暗号化をできないかと思い、ライブラリを調べていました。 暗号化のライブラリとしては PyCryptodome pyca/cryptography があるようです。 PyCryptodome は pycrypto からフォークされたライブラリになります。 今回は後者の …

Python datatimeでの時間の取り扱い

どうも、nippa です。 本日は python の datetime に関してです。 時系列データで dataime を使うのですが、毎回使い方を忘れてしまい時間のロスが起きています。 この際ある程度まとめてしまって、この記事を参照しようと思います。 正式なドキュメントは p…

CentOS anaconda インストール

どうも、nippaです。 CentOSでpythonでの開発環境を準備になります。 今回はパッケージ管理にanacondaを利用しようと思います。 必要最低限であれば、minicondaを利用するのがおすすめです。 環境 anacondaのインストール 1. インストーラーのダウンロード 2…