見出し画像

ローカル依存を変えるべくDockerでコンテナ上で自然言語処理を行う

更新が空きましたね。。

transformerやら画像認識やら、その他自分のタスクなどかなりペンディングや積んでいるものがありふれているのですが、徐々に消化してここでも書いて行けたらと思います。

ちょっとGoogle Colab上で自然言語処理をしてきましたし、今後のtransformerやその他の重い処理では引き続きColabを使う予定ですが、どうしてもローカルで作業したい時もあったりします。(少なくとも私はw)


ですが、ローカル依存で作業することに慣れるとPCの容量やモジュールのバージョンアップを忘れるとかいろいろ微妙な部分もあります
(自分は最近これに妙に沼ってしまった)

なので、自然言語処理のMeCabとかを使うときは素直にDockerを使うことにしましょうかね?って思い至り、Docker imageを作成しましたので、ここでそれを少し書いていこうと思います。

では、今回もよろしくお願いいたします。

・作ったImageの使い方

もし私のDocker imageを使いたい場合は、ご自身のローカルで

docker pull dockyupy/nlp-mecab-python:latest

と打つだけでご自身の環境にimage を作ることができます(dockerのpath通すとかは確か必要です)し、

実際に使うには

docker run -p 8888:8888 -v ~/(どこかしらの作業したいPath):/work --name (好きな名前。とくになければ--nameごと省略可能) dockyupy/nlp-mecab-python

ですぐに使えます。

docker のインストールとか各種コマンドをここで扱いたいわけではないですが、一応どのようなことを書いているのかをDockerfileを添付しているので、興味ある方はご覧ください。

実際にこれを使うとneologdとかも普通に使えます。

スクリーンショット 2021-09-26 0.43.51

気が向いたらDockerのコマンドとかもちゃんと勉強したりAWS上での操作とかもろもろ書きたいですが、一旦ペンディングしますw

実際にnotebookとかはローカルでの作業ですが、必ず必要なmecabとかのインストールは不要で、import MeCabですぐに使えるので開発時に便利だったりします。

なんか開発しようかしらと思いつつ、優先度的にまだ低いのでちゃんとtransformer, BERT, OpenCVとか一通りおわらせますw

かっなり短いですけど、この辺で〜〜


この記事が気に入ったらサポートをしてみませんか?