マガジン
記事一覧
「真のデジタルネイティブ」こと現30代に襲い来るAI変革の大波
1. 「真のデジタルネイティブ」たるぼくら僕は以前から、真のデジタルネイティブは90年代前半（とその前後あたり）に生まれた世代なのではないかという漠然とした考えを持っています。
たとえば僕は1991年生まれの現33歳で、小学校低学年にISDNによるパソコンでのインターネット世界を経験し（ネットのやり過ぎで家の固定電話が使えずよく怒られた）、中学時代におもしろフラッシュ倉庫に入り浸り、高校時代はガラ
Colabのkerasとtransformers最新版で出る変なエラーへの対処メモ
情報が少ないのでメモを残しておく。
1. 問題の再現最近いよいよスパコンで計算することが多くなってきてColabはあんまり触ってなかったんだけど、ちょっと個人的なプロジェクトのために触ってみたら変なエラーが出た。
2024年4月26日現在、ColabでKeras + transformersでBERTあたりを組み込んだモデルを構築する場合、デフォルトの環境は
- tensorflow: 2.15
ファイルのアップロードから短縮URL取得まで一気に行うPythonスクリプトの作成
僕はクラウドストレージの同期ソフトを常駐させるのがとにかく嫌いなので、特にGoogle Driveはブラウザーで使っています。というのも、クラウドで触るのはデータ周りが多いのでローカルと同期する必要はほとんどなくて、たまにちょっとしたファイルをサクッと共有する必要があるぐらいなんですよね。するとファイルをクラウドストレージに（一方的に）アップロードしつつ短縮した共有リンクがすぐ返ってきたら便利だな
もっとみる
Python超基礎1: 変数型と変数化
＊授業資料をnoteに移植することにしたので、改訂しつつ上げていきます。
＊この授業の目的はプログラミングを習得することではないため、情報学的な観点から見るとかなり大雑把な内容になっています。
今回はインターネット環境さえあれば誰でも簡単にプログラミング言語Python（パイソン）を用いて解析を行うことができるGoogle Colaboratory（以後
Colab）を利用した解析例を示す。（使
何ごともアルゴリズム次第だなと思った話
『アルゴリズムが世界を支配する』なんて本もあったように、現代はビッグデータというよりアルゴリズムの方が重要だと思う。もちろんデータが下支えになって初めて現代のAI系アルゴリズムが走るわけではあるんだけど。
最初に書いたコード1行に1つのJSONが並んだテキストファイルを1行ずつパースしながらpandasのDataFrameを作る作業をしなきゃいけなくて、とりあえず以下のようなコードを書いた（正確
ColabでWeights & BiasesのAPI KEY入力を自動化する
Weights & Biases (wandb) をColab上で使う場合、（いちいち環境変数を登録しない限りは）wandb.login()でトークンを入力する形が多いように思う。こんなふうに。
しかし、最近とにかくColabをちょろっと立ち上げてはモデルを組んでぶん回してノートブックを複製してまたモデルをいじって、みたいなことがとにかく多くて、インスタンス立ち上げのあといちいちログインで引っか
2つの赦し: 映画"Dogville"から
映画『ドッグヴィル』Dogvilleを観た。勧められてから2年ぐらい放置していたような気がする。すみません。まだこれから英語字幕でもう一回観たいのだが、現状で書ききれないほどメモが溜まっているので、とにかく一周目の感想を書き残しておく。
1. はじめに人間は、誰しも自身の置かれた環境に由来する原罪や、あるいはこれまで積み重ねてきた罪から赦されたいものである。ただ、その赦しには2つのパターンがある
Weights & BiasesをStatsmodelsで使う
僕は最近acceptされたマルチモーダルモデルやら来月あたりpreprintに投げるつもりのBERT使ったモデルなど、ここしばらくのモデル比較をほぼ全部Weights & Biases (W&B) ＋kerasで管理しており、気づけばすっかりW&Bのヘヴィユーザーになってしまった。ただ、一方で僕は統計的な指標開発のためにかなりシンプルな線形回帰なんかでも論文を書く人なので、statsmodelsの
もっとみる
エラーSSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLEDへの対応
ドバイのコワーキングスペースで書いています。
新しいプロジェクトの予備的な分析のためにスクレイピングでデータを集めようと2年前に書いたコードを走らせたら動かなくなっていた。[SSL: UNSAFE_LEGACY_RENEGOTIATION_DISABLED]とのことで、SSL通信周りのエラーっぽい。requestsでURL指定してgetしただけなんだけど、おおよそのエラー内容を貼っておく。
SS
Clumpinessを計算するPythonパッケージclumpiを作りました
RFM分析の文脈で使われるClumpiness（C指標, Zhang, Bradlow & Small, 2015）を簡単に算出できるPythonパッケージ clumpi [klˈʌmpάɪ] を公開しました。非常にニッチですね。発音は決してｸﾗﾝﾋﾟではないことに注意してください。
https://github.com/jniimi/clumpi
詳細はまた時間のある時に書き足すけど、とりあ
Colabでstable-diffusion-videosを動かすv3
ただでさえGoogle Driveは同期が遅い上に，macOSでfileproviderを使って同期させるようになってからというもの，Google Driveを使っていると頻繁にfileproviderdが落ちるようになった．ColabとStable Diffusion Videosで動画生成を行う場合，バックグラウンドで走らせっぱなしにすることにメリットがあるのに，画像を1枚生成するたびにGoo
もっとみる