jniimi

大学でデータ分析とかAI開発とかやってる人です。音楽とかアートの仕事もたまに。

jniimi

大学でデータ分析とかAI開発とかやってる人です。音楽とかアートの仕事もたまに。

  • Python超基礎

    大学で持っているPython実習の資料を共有しています。

  • 固定された記事

右耳に耳管ピンを入れた話

これは耳管開放症 (Patulous Eustachian tube) というかなりふざけた病の患者の話です。 まずは前提の話僕自身の基本情報として、2024年4月現在33歳で身長185cm、体重48kg。かれこれ10年ぐらいこんな感じ。耳管開放症には中学時代から悩まされてきて、大学時代にたまたま行った病院で相談したところ難治性耳管開放症の診断をいただきました。一時期、『耳管開放症と10年付き合って』というブログをやっていました。 症状の程度としては、横になるか、頭を真下に

jniimi

    • Colabのkerasとtransformers最新版で出る変なエラーへの対処メモ

      情報が少ないのでメモを残しておく。 1. 問題の再現最近いよいよスパコンで計算することが多くなってきてColabはあんまり触ってなかったんだけど、ちょっと個人的なプロジェクトのために触ってみたら変なエラーが出た。 2024年4月26日現在、ColabでKeras + transformersでBERTあたりを組み込んだモデルを構築する場合、デフォルトの環境は - tensorflow: 2.15.0 - transformers: 4.40.0 になっている。 impor

      jniimi

      • ファイルのアップロードから短縮URL取得まで一気に行うPythonスクリプトの作成

        僕はクラウドストレージの同期ソフトを常駐させるのがとにかく嫌いなので、特にGoogle Driveはブラウザーで使っています。というのも、クラウドで触るのはデータ周りが多いのでローカルと同期する必要はほとんどなくて、たまにちょっとしたファイルをサクッと共有する必要があるぐらいなんですよね。するとファイルをクラウドストレージに（一方的に）アップロードしつつ短縮した共有リンクがすぐ返ってきたら便利だなーなんて思っていて、しかしなかなか一気通貫のコードを書く余裕がなかったんですよね

        jniimi

        • Python超基礎1: 変数型と変数化

          ＊授業資料をnoteに移植することにしたので、改訂しつつ上げていきます。 ＊この授業の目的はプログラミングを習得することではないため、情報学的な観点から見るとかなり大雑把な内容になっています。 今回はインターネット環境さえあれば誰でも簡単にプログラミング言語Python（パイソン）を用いて解析を行うことができるGoogle Colaboratory（以後 Colab）を利用した解析例を示す。（使用にはGoogleアカウントでのログインが必要だが、名城生はメイネットIDを用い

          jniimi
        • 固定された記事

        右耳に耳管ピンを入れた話

        jniimi

        • Colabのkerasとtransformers最新版で出る変なエラーへの対処メモ

          jniimi

        • ファイルのアップロードから短縮URL取得まで一気に行うPythonスクリプトの作成

          jniimi

        • Python超基礎1: 変数型と変数化

          jniimi

        マガジン

        • Python超基礎
          1本

        記事

          音楽業界のブロックチェーン活用に関する一考察：KENDRIXの事例から考える

          僕は大学で深層学習（いわゆる今のAIの基盤技術というか）の研究をしている身なのでブロックチェーンは専門外なんだけど、一方で楽曲をリリースしたりライブ活動したりする中で音楽関係の企業さんとの付き合いも多い（一応アドバイザー的なポジションにいる）ので、音楽テック関係の情報はそれなりに追い続けてきた。 なんだか知らないけど、生成AIが話題になる一瞬前までのほんの一時期に限っては、AIとブロックチェーンが各種メディアで一緒に取り上げられることがとても多かった。今思えばそう大した関係

          jniimi

          音楽業界のブロックチェーン活用に関する一考察：KENDRIXの事例から考える

          jniimi

          何ごともアルゴリズム次第だなと思った話

          『アルゴリズムが世界を支配する』なんて本もあったように、現代はビッグデータというよりアルゴリズムの方が重要だと思う。もちろんデータが下支えになって初めて現代のAI系アルゴリズムが走るわけではあるんだけど。 最初に書いたコード1行に1つのJSONが並んだテキストファイルを1行ずつパースしながらpandasのDataFrameを作る作業をしなきゃいけなくて、とりあえず以下のようなコードを書いた（正確にはもうちょっと複雑だけど）。 with open(path, 'r') as

          jniimi

          何ごともアルゴリズム次第だなと思った話

          jniimi

          EditageのJournal Selectionを使ってみた

          Editageに英文校正をお願いするついでに、ものは試しということでJournal Selectionのオプションもつけてみたところ、校正から数日してPDFとdocmの2つのファイルでレポートが納品された。公式で公開されているサンプル(PDF)どおりのものが届いた。 すでに50件ぐらい比較検討してますので、投稿先も自分で選べないのかというのはとりあえず置いておいてください。純粋な興味なんです。 このレポートの作成にあたっては、Editage reviewerなる人物が私の

          jniimi

          EditageのJournal Selectionを使ってみた

          jniimi

          ColabでWeights & BiasesのAPI KEY入力を自動化する

          Weights & Biases (wandb) をColab上で使う場合、（いちいち環境変数を登録しない限りは）wandb.login()でトークンを入力する形が多いように思う。こんなふうに。 しかし、最近とにかくColabをちょろっと立ち上げてはモデルを組んでぶん回してノートブックを複製してまたモデルをいじって、みたいなことがとにかく多くて、インスタンス立ち上げのあといちいちログインで引っかかると正直面倒臭い。この入力プロセスを省略するためには、公式にもあるとおりで基本

          jniimi

          ColabでWeights & BiasesのAPI KEY入力を自動化する

          jniimi

          2つの赦し: 映画"Dogville"から

          映画『ドッグヴィル』Dogvilleを観た。勧められてから2年ぐらい放置していたような気がする。すみません。まだこれから英語字幕でもう一回観たいのだが、現状で書ききれないほどメモが溜まっているので、とにかく一周目の感想を書き残しておく。 1. はじめに人間は、誰しも自身の置かれた環境に由来する原罪や、あるいはこれまで積み重ねてきた罪から赦されたいものである。ただ、その赦しには2つのパターンがあるように思う。ある者は、自身の行いは置かれた環境や状況がそうさせるものに過ぎず、あ

          jniimi

          2つの赦し: 映画"Dogville"から

          jniimi

          超知能、あるいは愛のようなもの。〜アンドロイドは電気羊の夢を見るか？〜

          この小説『アンドロイドは電気羊の夢を見るか？』のタイトルをサンプリングした、「〜は〜の夢を見るか」というフレーズはいろんなところで頻繁に出てくる。ところで、このタイトルの原文は"Do Androids Dream of Electric Sheep?"である。この表現をどうとるかというのは、当たり前だけど小説の核となる問題提起とかなり直接的に連関している（というかそのまま表しているといっても過言ではない）。もちろん、「（眠っている間に）電気羊に関する夢を見るか？」と訳すことは

          jniimi

          超知能、あるいは愛のようなもの。〜アンドロイドは電気羊の夢を見るか？〜

          jniimi

          Weights & BiasesをStatsmodelsで使う

          僕は最近acceptされたマルチモーダルモデルやら来月あたりpreprintに投げるつもりのBERT使ったモデルなど、ここしばらくのモデル比較をほぼ全部Weights & Biases (W&B) ＋kerasで管理しており、気づけばすっかりW&Bのヘヴィユーザーになってしまった。ただ、一方で僕は統計的な指標開発のためにかなりシンプルな線形回帰なんかでも論文を書く人なので、statsmodelsの解析結果も管理できるとありがたい。ということでちょっとやってみる。 準備まあと

          jniimi

          Weights & BiasesをStatsmodelsで使う

          jniimi

          エラーSSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLEDへの対応

          ドバイのコワーキングスペースで書いています。 新しいプロジェクトの予備的な分析のためにスクレイピングでデータを集めようと2年前に書いたコードを走らせたら動かなくなっていた。[SSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED]とのことで、SSL通信周りのエラーっぽい。requestsでURL指定してgetしただけなんだけど、おおよそのエラー内容を貼っておく。 SSLError: [SSL: UNSAFE_LEGACY_RENEGOTIATIO

          jniimi

          エラーSSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLEDへの対応

          jniimi

          ドバイ一人修行2023

          全てのしがらみから逃れるため、2023年8月28日〜9月13日までドバイ(アラブ首長国連邦)に行ってきた。今回は修行という名目なので、「なるべく自分で調べてなんとかする」「原則タクシーは使わない」などの縛りをつけた。 下調べしててもドバイ旅行は本当に情報が少ないので、ここに細かく書き連ねていこうと思う。 0. 基本情報（為替, クレカ, 言語, 治安...）0.1物価 現地通貨ディルハム(AED)は1 USD = 3.67 AEDの固定為替なので、今の円安で1ドル = 1

          jniimi

          ドバイ一人修行2023

          jniimi

          Clumpinessを計算するPythonパッケージclumpiを作りました

          RFM分析の文脈で使われるClumpiness（C指標, Zhang, Bradlow & Small, 2015）を簡単に算出できるPythonパッケージ clumpi [klˈʌmpάɪ] を公開しました。非常にニッチですね。発音は決してｸﾗﾝﾋﾟではないことに注意してください。 https://github.com/jniimi/clumpi 詳細はまた時間のある時に書き足すけど、とりあえずログデータからClumpinessを非常に簡単に計算できます。RFMの他の指

          jniimi

          Clumpinessを計算するPythonパッケージclumpiを作りました

          jniimi

          Colabでstable-diffusion-videosを動かすv3

          ただでさえGoogle Driveは同期が遅い上に，macOSでfileproviderを使って同期させるようになってからというもの，Google Driveを使っていると頻繁にfileproviderdが落ちるようになった．ColabとStable Diffusion Videosで動画生成を行う場合，バックグラウンドで走らせっぱなしにすることにメリットがあるのに，画像を1枚生成するたびにGoogle Driveに吐かれてローカルに流し込まれるのではSSDが消耗するだけなの

          jniimi

          Colabでstable-diffusion-videosを動かすv3

          jniimi

          Pythonのdatetimeで月間の日数を計算する

          月間の日数を計算するPythonコード。なんか前にも書いた気がするけど、もうちょっと綺麗に書いたので載せ直しておく。 from datetime import datetime, timedeltadef get_ndays(year: int, month: int) -> int: if (month > 12) or (month < 1): raise ValueError('month must be between 1 and 12.')

          jniimi

          Pythonのdatetimeで月間の日数を計算する

          jniimi