あべい｜Pythonでデータ分析
私のNotionの活用方法を紹介します。
自分の生活傾向が見えるような解析を行います
カメラで撮影した写真データには、Exifと呼ばれる撮影情報がついています。 今まで撮ってきた写真の撮影情報を解析することで、使用したレンズや焦点距離、F値、シャッタースピードなど、自分がどんな設定を好んでいるのか、どんな設定をまだあまり試していないか、など見えてきて面白いです。 このマガジンでは、Pythonというプログラミング言語を使った撮影情報の解析方法を紹介します。
Lightroomのカタログ(.lrcat)にデータベースとしてアクセスする方法について解説します。（カタログにLightroom以外からアクセスする場合は、コピーを取ってコピーにアクセスすることを推奨します）
はじめまして！「あべい」と申します。 興味・趣味・関心データ分析, AI, 機械学習 カメラ, 写真 Kindleで読書 Notion 経歴・スキル国立大院卒（情報系専攻） 製造業でのデータ分析職（３年） 現在はWeb系のデータ分析職（１年～） Pythonは大学院の時から学び始めました。 他にはC, Java, HTML, CSS, JavaScriptも扱えます。 情報発信の内容Pythonデータ分析の集計・可視化 豆知識 Pythonで身近なデータを
Amazon商品に関する各種URLには、ASINという商品IDが組み込まれており、Notionの「数式」プロパティを使えばそれらのURLを生成可能です。 Notionにおいて、ASINをプロパティに入れておけば、数式で様々なURLリンクを生成することができます。 商品ページ 商品画像 ブラウザで書籍を読むためにリンク ハイライトとメモへのリンク これらのリンクのプロパティ作成方法を紹介します。 便利プロパティまとめASINのプロパティを作った状態で、数式プロパテ
概要Notionからkindleハイライトを呼び出す方法を、以下の2段階で紹介します。 すぐ実装できるやり方（ただし、表示が見にくい） 表示が見やすい&応用性があるやり方（ただし、実装がちょっと手間） 利用イメージ まず、Notionでこんな形でハイライトを表示するページへのリンクを持つプロパティを作り、このリンクをクリックすると すぐ実装できるやり方だと以下のような表示 表示が見やすい&応用性があるやり方だと以下のような表示がされます はじめに知っている方も
はじめにNotionで読書管理をしている方は多いかと思います。本を一覧化して眺めたり、読書メモを見返したりする際、「書籍の中では具体的にどう書いてあったっけ」となることがあると思います。このときkindleを開いてその書籍を探して、、、とするのはちょっと手間です。 そこで、Notionから、Kindleの該当の本を呼び出す方法を紹介します。 完成イメージプロパティに数式により作られたリンクが加えられ、これをクリックするとその本が開かれます。 概要やり方は2通りあります。
はじめに私はKindleで書籍を購入したり、Kindle Unlimitedでレンタルしたりすることが多いのですが、あとで読もうと思っていつまでも読んでいない本があったり、どの本が良かったか悪かったかなどの記憶が薄れてきたりしていました。 そこで、Amazonのストアページから商品画像や商品説明などの情報を抽出してNotionに送信するChrome拡張機能を作成し、読んだ書籍を管理できようにしました。 作成したChrome拡張について、Notion APIの備忘録として記事
過去にexif情報の読み込み方法を紹介しましたが、pillowを用いた方法では、MakerNotesは取得できても内容を解読することはできませんでした。 Exifはどのメーカーのカメラでも存在するような必要最低限の設定項目しかわかりませんが、MakerNotesはもっと幅広い設定、また、各社固有の設定なども得られます。 私はSONYのカメラを利用しているのですが、調べてみるとSONYのMakernotesの中身を解読して公開されている方がいました。 さらには、「exif
概要Googleタイムラインの情報をエクスポートしてpythonで集計します。エクスポートした情報には、時間ごとの緯度経度、訪問地の名称などが含まれています。 これらの情報はjsonファイルになっていて、構造がやや複雑です。 下記の有志の書いたリファレンスを参考に、jsonファイルをテーブル形式に変換する処理を書きました。 準備タイムラインのエクスポート方法 エクスポート方法に関しては、下記のサイトが参考になります。 得られる情報について 以下の時系列情報を得ることが
私はMoneytreeで家計簿をつけているのですが、月次の入出金や総資産の推移を1年程度しか表示できない（スクロールする必要がある）という点が不便に感じていました。 長期スパンで収入支出額の推移を一目で確認したいと思い、Moneytreeの有料プランでcsv出力し、pythonで集計・可視化しました。 Moneytreeの有料プランについてMoneytreeで個人向けの有料プランは二つあります。 CSV出力だけが目的なら1か月だけ契約すれば十分です。 https://ge
Lightroomのカタログファイルの中身を可視化します。 せっかくなのでexif情報でなくLightroomで付与される情報、レーティング・都道府県情報を見ていきます。可視化にはplotlyというライブラリを使用しました。 クエリを読み込み・実行lrcatのデータを読み込むためのクエリはここに置いてあります。 https://github.com/abay-qkt/lightroom-lrcat-as-sqlite/tree/main/sql 注意事項は前回の記事を参
Lightroomのカタログから以下のようなテーブル情報を取得します。 注意事項これからPython、SQLでカタログ(.lrcat)にアクセスしますが、Adobeが想定していない使い方になりますのでカタログを破損する可能性があります。 カタログはコピーをとって、コピーに対してアクセスすることを推奨します。（基本ここではSELECT文しか使わないのでカタログを壊すような操作はないはずですが、考慮できていない要素がないとも言い切れないため） lrcatにアクセスlrcatに
Kindle for PCがver2にアップデートされたのを機に、前々から作っていた自分のKindle本棚アプリを改修しました。 アプリのソースコード・実行ファイルはMITライセンスで公開しているので、ぜひ使ってみてください。 概要2種類の方法で購入した書籍の一覧表示、閲覧ができます。 エクセル：単純にリスト化するだけで十分な人向け ブラウザ：購入した書籍をずらっと並べて眺めたい人向け 主な特徴書籍リストのエクセル出力・ブラウザ表示 Kindle for PC、We
lightroomのカタログファイル（.lrcat）の中身は、sqlite3というデータベースでできています。 このデータベースには、F値や露光時間、ISO感度といったexif情報に加え、GPS情報から得られた市区町村情報、ユーザがLightroomで付与したレーティング(星)やカラーラベル情報が得られます。 このデータをPython等で集計すれば、自分がどういった撮影設定の写真に高いrating(星)を付けているか、撮影頻度の高い都道府県はどこか、など可視化できたりします
Kindle for PCが久々にアップデートされたようです。 Webブラウザ版のKindleと同じようなUIになっています。（ただし「本」と「コミック」の区別はできません） UIが変わっただけでなく、いくつか機能が追加されていますが、動作がまだ不安定なようです。 アプデ内容と私の状況バージョンアップの内容と私の状況は以下の通りです。 UIが改良された バージョンアップ後もたまに前のバージョンのUIで表示されることがありました。（どういう条件で発生するかわかりませんで
Webブラウザ版のkindleのUIがいつのまにか更新されていました。 更新内容と、知っておくと便利な情報を載せます。 更新内容これまでのWebブラウザ版Kindleである「Kindle Cloud Reader」と「kidleマンガ本棚」が統合されたような形になってました。UIは旧kindleマンガ本棚に近いです。 この新しいWebブラウザ版のKindleを「Kindle Library」と呼びます。 URLはこちらです。 https://read.amazon.co.j
前回の続きですが、最後にコピペすれば動くコードをまとめて掲載したので、この記事だけ読むでも大丈夫です。 また、今までのコードに一部不足があったため修正しています。 最後のまとめコードを実行すると以下のようなデータフレームを得ることができます。 Exifの構造について前回までの実装だと、ModelやSoftwareなんかもExif IFDタグにあると勘違いした実装になっていて、これらの情報が取れていなかったのですが、 正しくは以下のような構造になっています。 以下の二つの
前回の続きです。 今回の記事までの処理で、例えば月ごとにどの焦点距離を頻繁に使っているかなど集計できるようになります。 前回までで、一応データフレームができましたが、まだ扱いづらい形になっています。具体的に以下の問題あり、それを今回解決します。 型が適切ではなく集計や可視化できない列がある ⇒適切な型に変換 露出プログラム等、値が番号表記で、何を示しているかわからない ⇒その番号が示す露出プログラムの名前に変換 最後おまけで、「広角」、「望遠」など焦点距離に応じたカ
