IT技術で仕事を減らしたい!

ITエンジニアのメモ+α

Python pytubeでyoutube動画情報取得

どうも、nippa です。 今回はネタ記事で、たまたま見つけた pytube というライブラリを紹介したいと思います。 pytube は 軽量なライブラリで、ライブラリ依存性がない youtube の動画情報をするためのライブラリになります。 動画のダウンロードは法律に触…

Docker MongoDBの構築

どうも、nippa です。 NoSQL のデータベースを利用したく、MongoDB を docker で構築しようと思います。 今回はMongoDB の公式 imageを利用します。 環境 ディレクトリ構造(フォルダ構成) docker-compose ファイル docker compose の起動 docker compose …

Python Poetry pyinstallerのインストールエラー

どうも、nippa です。 poetry で pyinstaller をインストールしようとした際にエラーが出ました。 他のパッケージでも起こりうることなので、その解決方法をまとめておきます。 環境 インストールのエラー内容 解決方法 poetry のバージョンの書き方 感想 (a…

Docker Swarmモードのネットワーク設定

どうも、nippa です。 今回は Docker の Swarm モードでコンテナ同士の通信設定をまとめたいと思います。 コンテナ同士の通信ができると、サービスごとに設定もできるため広がりが出てきます。 環境 ネットワークドライバの種類 Docker のネットワークの生成…

Docker Swarmモードでのnode管理

どうも、nippa です。 Docker Swarm モードを利用していますが、ノードの管理方法を記事にまとめておこうと思います。 環境 node 一覧表示 node の詳細確認 manager node の Drain manager node の active manager node への昇格 manager node からの降格 no…

Python Seleniumスクレイピング

どうも、nippa です。 スクレイピングの必要性が出てきたので、Selenium で Web 操作を自動化したいと思います。 Web 開発でのモンキーテストにも使えるので、知っていて損はないかと思います。 Web サイトによってはスクレイピングが禁止されているところも…

Docker Swarmモードの設定

どうも、nippa です。 docker をマルチサーバで共通して使いたいと思い、 swarm モードを利用してみようと思います。 今回は swarm モードの設定をになります。 Docker Swarm モードとは 環境 ホストの登録 Manager サーバ Swarm モードの設定 Worker サーバ…

Python Poetry AssertionErrorエラー解消

どうも、nippa です。 Poetry のパッケージ管理で、AssertionError が起きたので解決策をまとめておきます。 環境 AssertionError の原因 感想 (adsbygoogle = window.adsbygoogle || []).push({}); 環境 macOS 11.6 poetry 1.1.14 AssertionError の原因 今…

Docker 一般ユーザーでのdockerコマンドの利用

どうも、nippa です。 Linux で docker をインストールすると初期設定では root ユーザーでのみでしか利用できません。 今回は、一般ユーザーで利用する方法をまとめておきたいと思います。 環境 docker のインストール docker グループの作成・確認 ユーザ…

Python 人名データセットを使ってみる

どうも、nippa です。 膨大なテストデータを生成するために、人名のデータセットを使ってみようと思います。 今回試してみるのは、names-datasetになります。 README を見る限り、結構充実してるように思います。 このデータセットは Facebook からリークさ…

Python ランダムな文字列生成

どうも、nippa です。 テストデータ作るときに、数字は簡単に乱数生成できますが、 文字列はどうするのか気になったので、まとめておきます。 環境 アルファベット 1 文字のランダム生成(chr) アルファベット 1 文字のランダム生成(string) ランダムな文字列…

Next.js + Typescriptの環境構築

どうも、nippa です。 フロントを触り始めるために、Next.js を利用しようと思っています。 今回は Next.js + Typescript の環境構築方法を紹介します。 環境 1. create-next-app を利用した構築 2. create-next-app コマンドをインストールして、環境構築 3…

本紹介「図解 コンサル一年目が学ぶこと」

どうも、nippa です。 久しぶりに本の紹介です。 今回は「図解 コンサル一年目が学ぶこと 著者:大石哲之(Amazon リンク)」を紹介します。 コンサル以外の職種の方こそ読むべき本かと思っています。 エンジニアで言えば、コーディングのお作法はというより…

Python Poetry主なコマンド一覧

どうも、nippa です。 Python パッケージ管理に Poetry を使ってるので使いそうな poetry でコマンドについてまとめておきます。 Poetry のインストール方法については、前回の記事を確認してください。 https://timesaving.hatenablog.com/entry/2022/02/05…

Python Poetryでのパッケージ管理

どうも、nippa です。 Python 記事は久しぶりになります。 今回は Python のパッケージの管理方法についてです。javascript や node.js、typescript だと npm、yarn などのパッケージ管理ツールがあります。 Python では requirements.txt を使って管理する…

GCP 永久無料枠でインスタンスの作成

どうも、nippa です。 今回 GCP の永久無料枠でインスタンスを作成しようと思います。 インスタンス代は無料ですが、通信量は多少かかるので、完全無料とはなりませんが、月 100 円もかからない予定なので、GCP でテストサーバーを作成します。 前提事項・環…

ラズパイ Rocky LinuxのDocker環境構築

どうも、nippa です。 ラズパイ+ Rocky Linux(64bit) の運用を始めましたが、最近便利で使っている Docker 環境を Rocky Linux(64bit) に構築したいと思います。 環境 Docker のインストール 1. Locky Linux のレポジトリを登録します。 2. dnf のアップ…

ラズパイ Rocky Linuxのインストール

どうも、nippa です。 久しぶり Raspberry Pi を触り初めました。自宅のサーバとして今後使っていこうと思い 、動かし始めました。 今日は Rocky Linux (64bit) を Raspberry Pi にインストールしたいと思います。 今回は Rocky Linux Wiki を参考に Raspb…

Docker MySQLの環境構築(その2)

どうも、nippa です。 前回の内容: timesaving.hatenablog.com Docker MySQL を docker-compose 化を行います。 ツール化して持っておけば、今後簡単に開発環境ごとにデータベースを用意することがで きるようになります。 環境 ディレクトリ構造 dockerfil…

Docker MySQLのアクセスエラーについて

どうも、nippa です。 Docker で MySQL の環境構築のテストをしていたんですが、アクセスできない問題が起き たので備忘録として記事に残しておきます。 今回は MySQL の以下のエラーについてです。 ERROR 2002 (HY000): Can't connect to local MySQL serve…

Docker PostgreSQLの環境構築(その3)

どうも、nippa です。 前回の内容: timesaving.hatenablog.com docker で postgresql の環境を構築してきましたが、コマンドの長さやコンテナの停止 、削除が非常に煩わしいです。 そこで今回は前回の内容を利用して docker-compose 化を行いと思います。 …

Docker MySQLの環境構築(その1)

どうも、nippa です。 テスト用の MySQL 環境が必要になり、Docker で準備したいと思います。 Docker mysql を参考にしています。 dockerhub mysql 環境 Docker のインストール Docker + MySQL の構築 1. Docker のイメージをダウンロード 2. Dockerfile の…

Docker PostgreSQLの環境構築(その2)

どうも、nippa です。 前回の内容: timesaving.hatenablog.com docker で postgreSQL の構築を行いましたが、より便利に使うためにホストのストレー ジとコンテナのストレージの共有設定を行いたいと思います。 コンテナの初回起動時に、データベース構築 S…

Docker grafanaの環境構築

どうも、nippa です。 今回は Grafana の環境を手軽に準備、開発環境によって簡単に切り替えれるように Grafana の環境を Docker で構築したいと思います。 docker-compose を使えばコマンド 1 つで grafana 環境が構築できます。 お手軽に環境を作ってしま…

Docker nginxを使った静的なWebサイト

どうも、nippa です。 今回は Docker で静的サイトを公開したいと思います。 Docker を使う理由としては、 サービスのコード管理 移行作業の簡略化 サービスのスケーラビリティの向上 など、数々のメリットがあります。 今回は、サービスのコード管理・移行…

Git リモート先にsshの秘密鍵を引き継ぐ

どうも、nippa です。 リモートサーバに SSH 接続して、Github のソースコードを取得したいことがあると思います。 その際に、Github からのコード取得には ssh のみが許可されているの場合の対処法になります。 AWS や GCP でインスタンスを利用してサービ…

Docker PostgreSQLの環境構築(その1)

どうも、nippa です。 テスト用の PostgreSQL 環境が必要になったのですが、VM で OS からインストールするのは時間がかかる、かつ 直接マシンにインストールすると後始末が面倒だということで、Docker を使うことにしました。 今回は Docker を利用して Pos…

Docker はじめました

どうも、nippa です。 夏になりつつあるので、うちでも「Docker はじめました」の看板を出そうと思います。今更感はあります。 これまで、VMを使っていたのですが、以下の不満がありました。 ホストPCのリソースをかなり消費する 立ち上げ、シャットダウンに…

Python pyenv アップデートでpathの設定が変更

どうも、nippa です。 pyenv をアップデートしたら、Homebrew の python と confliction を起こしました。 その解決方法を記載しておきます。 原因はアップデートで python の環境変数を指定しないといけなくなったことが原因のようです。 また anyenv を使…

VScodeでdraw.ioを使ってみる

どうも、nippa です。 drawio を使う機会が出てきたので、便利に使う方法を調べたら、VScode で使えるようなので、まとめておこうと思います。 基本的には local で drawio を利用できるという内容です。 エンジニアならフローチャート、ネットワーク図、ER …