Mstudy

AIやDXによる業務改善に興味あり。

Mstudy

AIやDXによる業務改善に興味あり。

マガジン

  • データサイエンティスト検定補習ノート

    データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックを勉強しているときに躓いた点をまとめておきます。 https://www.datascientist.or.jp/dskentei/

最近の記事

  • 固定された記事

知識経験ゼロでもノーコードでアプリを爆速開発できた

ふとしたきっかけでノーコードツールを触り始め、開発経験・知識ともゼロでしたが、あっという間にWebアプリを開発できました。本当に簡単ですので一人でもノーコードに興味を持っていただける方が増えると嬉しいです。 きっかけきっかけはNewsPicksの特集記事。プログラミング未経験にも関わらず、短期間で美麗なWebサービスを次々に開発していく姿に圧倒されました。こんなに簡単なら自分にもできそう!と軽い気持ちで始めました。 作ったもの愛知県産地直売所の一覧を見れるWebアプリをG

    • 3D生成AI Meshyでクルマの3Dモデルを作ってみた(Text→3D, 2D→3D)

      3D生成AIであるMeshyという商用サービスでクルマの3Dモデルをテキストまたは画像から生成してみました。 以前の記事ではOne-2-3-45という1ショット画像から3Dモデルを作る手法を試しましたが、ここでは商用サービスの実力を見てみたいと思います。 Meshyとは?3D生成AIの商用サービスです。現在のところ、3Dテクスチャ生成、2D画像→3D、テキスト→3Dの3つのサービスがあるようです。 3Dの生成スピードが速く、だいたい1~2分程度で作れます。インターフェースも

      • DALL-E3+3D生成AIでクルマの3Dモデルを作ってみた(CG,3DCAD不使用)

        ChatGPTでDALL-E3が使えるようになったので、3D生成AI(One-2-3-45)を組み合わせてクルマの3Dモデルを作ってみました。いろいろ課題はあるものの、CGツールも3DCADもいらないのは魅力的です。 ChatGPT+DALL-E3クルマのデザインを模索する 未来的なクルマのデザインを作ってみたいと考えたのですが、そもそも未来的なクルマってどういうものか考えがまとまらなかったので、ChatGPTとディスカッションしてみました。 なるほど。いろいろ意見があ

        • データサイエンティスト検定の受験体験記:G検定保有者向け

          はじめに2021年9月から始まったデータサイエンティスト検定(リテラシーレベル)の第一期試験を受講してきました。ここでは特にG検定保有者向けに勉強法や感想などを書いておこうと思います。 データサイエンティスト検定(リテラシーレベル)とは? これからの時代、AIやデータサイエンスがビジネスにとって大きな力になっていくことは間違いないと思います。一方で「データサイエンティスト」は何をやる人たちなのか?どうやったらなれるのか?がフワフワしている印象があります。 このデータサイエ

        • 固定された記事

        知識経験ゼロでもノーコードでアプリを爆速開発できた

        • 3D生成AI Meshyでクルマの3Dモデルを作ってみた(Text→3D, 2D→3D)

        • DALL-E3+3D生成AIでクルマの3Dモデルを作ってみた(CG,3DCAD不使用)

        • データサイエンティスト検定の受験体験記:G検定保有者向け

        マガジン

        • データサイエンティスト検定補習ノート
          21本

        記事

          DE139,140,141:共通鍵・公開鍵・ハッシュ関数【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 DE139,140はデータの機密性の担保に重要な暗号化についての話です。たぶんテキストを見ただけだと片手落ちだと思うので、補足してまとめておきます。 暗号鍵データを暗号化するための鍵です。 復号鍵データを復号する(暗号化されていない状態に戻す)ときに使う鍵です。 共通鍵暗号方式暗号鍵と復号鍵が同じである方式です。これはわかりやすいと思います。もし1対1で情報をやり

          DE139,140,141:共通鍵・公開鍵・ハッシュ関数【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE129:セキュリティの3要素(機密性・可用性・完全性)データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 DE129ではセキュリティの3要素(いわゆるCIA)について、具体的な事例を用いて説明できることが求められています。しかし、テキストには具体的な事例が出ていません。幸いなことにITパスポート試験でもよく出てきますので、ITパスポート試験の過去問から事例を拾ってみます。 機密性(Confidentiality)JIS Q27000では「認可されていない個人、エンティティ

          DE129:セキュリティの3要素(機密性・可用性・完全性)データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE78,79,80,83,85,86,87,91,121:SQL【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 自分を含めデータベースの経験がない人にとってはSQLが一番鬼門だと思います。DS検定でもSQLが関わる部分は広く、何かしら出題されるものと思っておいて間違いないと思います。ここではSQLの簡易版であるSQLiteを使って、SQLの操作を体験してみたいと思います。 SQLiteSQLとは異なりサーバー無しで単独で動作します。SQL文が使えて、インストールも超絶簡単で、日

          DE78,79,80,83,85,86,87,91,121:SQL【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE61:NoSQL【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 NoSQLNoSQLはNot only SQLのことです。SQLに縛られないという意味でしょうか。実は最初Not SQLの意味だと思ってました(汗) SQLはデータの整合性を重視したカッチリしたデータベースなのに対し、テーブル構造に固定されずスケーラビリティが高いのが特徴です。 NoSQLには様々な種類があるのでまとめておきます。 キーバリュー型最もシンプルなNoS

          DE61:NoSQL【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE60:Hadoop・Spark【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 HadoopやSparkは大規模データの蓄積・分析を分散処理技術によって実現する技術です。簡単にまとめておきます。 HadoopHDFS(Hadoop Distributed File System:分散ファイルシステム) サーバーを動的に追加することで容量・処理性能の強化を図れる。サーバー追加時にもHadoopクラスタの停止不要。 データを格納しているノードに対して

          DE60:Hadoop・Spark【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE58:DWH【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 DWH(データウェアハウス)テキストにいきなりDWH(データウェアハウス)なる用語が出てきました。データベースとの違いがわからなかったので簡単にまとめておきます。 データベースとDWHウェアハウス(WareHouse)は「倉庫、貯蔵所」という意味です。イギリス英語では「卸売り店」という意味もあるようです。 一見するとデータベースと似ていますが、DWHはデータの分析に

          DE58:DWH【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE51:正規化手法【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 データベースを使った経験がほぼゼロなので、正規化手法と聞いてもなんのことだかさっぱりわかりませんでした。ちなみにデータの範囲を0~1の間に収めることではありません(汗)。これは試験にでるとキツイ。。。ということで、自分のような初歩レベルが理解した形でまとめておきます。不正確な部分があるかもしれませんがご容赦ください。 第一正規化レコード単位の情報にばらすこと。 のよ

          DE51:正規化手法【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE48:ER図【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 DE48にER図(Entity Relationship Diagram、直訳するとエンティティ関係性ダイアグラム)というのが出てきます。関係データベースの構造を可視化するために使われるようですが、自分はデータベースに関わる経験がゼロで見るのも聴くのも初めてなので、用語をまとめておきます。 エンティティ(Entity)データのまとまりのこと。たとえば「顧客」とか「店舗

          DE48:ER図【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DE9:オープンデータ【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 DE9ではオープンデータの例がいくつか挙げられていますが、よく知らないものもあったので調べておきます。 DATA.GO.JPデジタル庁が整備、運営するオープンデータに係る情報ポータルサイトです。各省庁横断で様々なデータセットにアクセスできるようです。データセットの一覧はこちらから確認できます。 2021/09/12現在、27,526 件のデータがあります。ただ大半は

          DE9:オープンデータ【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DS82:標本誤差・標準誤差【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 標本誤差標本誤差とは、標本によって得られる推計値と母集団から得られる値との差のことです。標本からの推計がどれぐらい正しいかを表す指標ですが、そもそも全数検査しなければ母集団が未知なので、標本誤差は算出できません。そのかわりに標準誤差を使います。 標準誤差(Standard Error)標準誤差は次の式で求められます。テキストでは左辺をσxと記載していますが、標準誤差は

          DS82:標本誤差・標準誤差【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DS56:クラスター分析【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 クラスタリングではデータ間の距離、そしてクラスター間の距離の測定方法にいくつかあるので、それぞれの特性を知ったうえで選ぶ必要があります。テキストには詳しく書かれていなかったので補足します。 2つのデータ間の距離の測定方法ユークリッド距離:日常生活でいうところの距離です。特に理由がなければこれを使えばいいと思います。 標準ユークリッド距離:テキストには出てきませんでし

          DS56:クラスター分析【データサイエンティスト検定(リテラシーレベル)補習ノート】

          DS39:回帰分析の評価指標MSE,MAE,RMSE,MAPE,RMSLE【データサイエンティスト検定(リテラシーレベル)補習ノート】

          データサイエンティスト検定(リテラシーレベル)の公式リファレンスブックで躓いたところをまとめていきます。 回帰分析の評価指標には様々なものがあります。テキストで数式がまとまって書かれていないのと、説明がない指標もあるのでまとめておきます。 MSE (Mean Squared Error)平均二乗誤差実測値と予測値の残差の二乗の平均。予測を大きく外すとMSEも大きくなる。事前に外れ値を除外したほうが良い。 RMSE (Root Mean Square Error)平均平方

          DS39:回帰分析の評価指標MSE,MAE,RMSE,MAPE,RMSLE【データサイエンティスト検定(リテラシーレベル)補習ノート】