コグラフ株式会社 データアナリティクス事業部

コグラフ株式会社 データアナリティクス事業部(cograph_data) データアナリ…

コグラフ株式会社 データアナリティクス事業部

コグラフ株式会社 データアナリティクス事業部(cograph_data) データアナリスト募集中!未経験OK!詳しくは記事下部にあるWantedly、Twitterリンクから

マガジン

最近の記事

SAS-Python書き換えメモ ~SASと向き合うことになった貴方へ~

こんにちは。コグラフ株式会社データアナリティクス事業部のワダです。今度からSASを主に使用する案件への参画が決まり、未経験の状態からキャッチアップすることになりました。 この記事ではSAS言語の基本構成とデータ操作、分析の流れを紹介し、Pythonで記述する場合の書き換え例も併記します(Google Colaboratory上での実装を想定)。 私のようなPython、SQL知識が少しある人がスムーズにSAS言語をインプットする最初の足掛かりになる、そんな記事を目指します。

    • TableauをPythonで再現!?お手軽分析ライブラリpygwalkerのすすめ

      こんにちは。コグラフ株式会社データアナリティクス事業部のワダと申します。 Pythonでデータを可視化する際は主にmatplotlib,seaborn,plotly等が用いられます。それらを使用してコードを書く前に、気軽にデータを可視化して傾向をつかみたい、分析の方針を立てたいと感じる方はいるのではないでしょうか。 今回はドラッグ&ドロップで簡単にデータ分析・可視化を行うことができるPythonライブラリ「pygwalker」の概要と使い方についてご紹介します。 Googl

      • AWS Batchでできること

        こんにちは。コグラフ株式会社データアナリティクス事業部のモロズミです。この記事では、データサイエンスの分野で使われているサービスのAWS Batchでできることを紹介します。 AWS Batchの基礎AWS Batchは、AWS上でのバッチ処理をするためのサービスです。 これは、開発者がサーバーを管理することなく大規模な計算ワークロードを実行できるように設計されています。 大量のデータを日次などで一気に処理したいときや、大規模なバックエンド処理が必要なアプリケーションの

        • pythonでする地理空間データ入門~GeoPandas~

          コグラフ株式会社データアナリティクス事業部の平松です。 今回は、地理空間データ(GISデータ)の簡単な処理や、説明をします。 なんせ検索してもGeopandasの記事が少ないです。だから私が書きます!これからはGeopandasの公式ドキュメントだけでなく、コグラフの記事も参考にしましょう!!! もう内容入ります。 GeoPandasとはGeoPandasはpandasの拡張で、「GeoDataFrame」を処理、操作できるライブラリです。地理空間データフレームを用いて、

        SAS-Python書き換えメモ ~SASと向き合うことになった貴方へ~

        マガジン

        • Pythonで統計学を学ぶ
          1本
        • SQLまとめ
          2本
        • Tableau記事まとめ
          3本
        • データ分析ロードマップ
          4本

        記事

          AWS Fargateでできること〈基本・応用・発展〉

          こんにちは。コグラフ株式会社データアナリティクス事業部のモロズミです。この記事では、AWS Fargateでできることについて、基本的な内容から具体的にできることとしての応用、それらを管理する方法としての発展まで紹介します。 1.Fargateの基本1-1.Fargateの概要 AWS Fargateは、サーバを管理することなくコンテナを実行できるサービスです。デプロイメント、管理、スケールアップのプロセスを簡素化します。 1-2.Fargateの利点 Fargate

          AWS Fargateでできること〈基本・応用・発展〉

          AWSでできること

          こんにちは。コグラフ株式会社データアナリティクス事業部のモロズミです。この記事では、データサイエンスの分野で使われているサービスのAWS (Amazon Web Services)でできることを紹介します。 AWSが対応できるクラウドコンピューティングの三つのタイプAWSはクラウドコンピューティングサービスの一つです。 クラウドコンピューティングサービスは、ITリソースを提供するサービスのことです。 米国国立標準技術研究所(NIST: National Institut

          同じデータでもP値が変わる話

          こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 統計的仮説検定を行うと、同じデータからは同じ検定結果が得られるものだと思っていませんか。そのように考えたくなりますが、実際には必ずしもその通りではありません。 例えば、コイン投げをして24回中7回が表になるという単純なデータを考えてみましょう。このようなデータでも、実験の設定や投げる回数の制約によって、統計的仮説検定の結果が変わることがあるのです。Pythonで計算しながら説明します。 統計的仮説検定の流れ

          Amazon Virtual Private Cloudでできること

          こんにちは。コグラフ株式会社データアナリティクス事業部のモロズミです。この記事では、AWS(Amazon Web Services)が提供しているサービス、Amazon Virtual Private Cloud (Amazon VPC)でできることを紹介します。 Amazon Virtual Private CloudとはAmazon Virtual Private Cloud (Amazon VPC)とは、Amazonによる仮想ネットワークを提供するサービスです。Pri

          TableauとPower BIの違い

          コグラフデータ事業部のモロズミです。 今回は、BI(Business Intelligence:ビジネスインテリジェンス)の代表的なツールのPower BIとTableauについて比較し、それぞれのツールがどのように活用されているかについて解説します。 Tableauの特徴Tableauの特徴は、精巧かつ柔軟なデザイン性に優れたツールであることと、優れた制作物を作ることを支援する制作者同士の交流が存在することです。 Tableauは、質的な値のディメンションと量的な値の

          転置インデックスを構築しましょう!

          こんにちは。コグラフソフトウェアサービス事業部のルイスです。 プログラマーとして面接に行ったとき、ある単語を含むすべての文書を検索するコードを作るよう求められたとしたら、どんな風にコードを書くのでしょうか? 本日は便利なツールを紹介したいと思っています。 転置インデックス引とは?シナリオ多くの文書を含むリストがあり、特定の用語に基づく文書が返されるとします。例えば、"Python "という単語を検索する場合、コードはその単語を含むすべてのドキュメントを含むリストを返す必要が

          転置インデックスを構築しましょう!

          第二弾:Pyspark 問題集(基礎編)

          こんにちは。コグラフSSD−2事業部の安山です。 データサイエンスの世界では、大規模なデータセットを扱う能力が不可欠です。その中核をなすのが、Apache SparkとそのPythonインターフェイスであるPySparkです。PySparkは、ビッグデータ処理における強力なツールであり、データ分析、機械学習、リアルタイムデータストリーミングなど、多岐にわたる用途に利用されています。 PySparkを使った具体的なデータ処理の例と解答例を示し、理解を深めることができるように設計

          尤度(ゆうど)

          こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 データサイエンスの勉強をしていると、尤度(ゆうど)という言葉がよく登場します。インターネットで検索するといくつも解説が出てきます。 これらを読んで尤度とは何か理解できた方はそれで大丈夫です。この記事では、理解できなかった方のためにもっとわかりやすい説明に挑戦します。 ベルヌーイ分布成功と失敗のような、二種類の値をとる現象を考えてください。ベルヌーイ分布はそのような現象を表現できる確率分布です。 $${\t

          バタフライ効果 - 予測という行為の本質的な難しさについて -

          こんにちは。コグラフ株式会社データアナリティクス事業部の塩見です。 自然現象や人間の経済活動では、初期条件のわずかな差が時間経過にしたがって無視できないほどの大きな差が生まれることがあります。この記事では運動方程式をシミュレーションして、磁石に引きよせられる振り子の軌道を描いてお見せします。振り子がまったく予測不可能な動きをする様子をお楽しみください。Pythonを使ってシミュレーションを行っています。Google Colaboratory環境で動きますので、ぜひお試しくださ

          バタフライ効果 - 予測という行為の本質的な難しさについて -

          セットで覚える!基本のLinuxコマンド

          こんにちは、コグラフデータアナリティクス(DAD)事業部のナカムラです。 データを扱う仕事柄、Linuxに触れる機会が多いので、本日は基本的なLinuxコマンドを紹介したいと思います。 Linuxは、そのコストメリットと高い安定性から多くのサーバで活用されています。Linux操作にはコマンドを使用するので、それらを覚えておくと非常に便利です。 今回はよく使用する、ファイル・ディレクトリ操作に関する基本的な12のLinuxコマンドをピックアップしました。 コマンドは関連した

          セットで覚える!基本のLinuxコマンド

          ExcelとSnowflakeを接続する(EXCELERATOR)

          こんにちは!! コグラフSSD−2事業部のルイスです。 本日、ExcelからSnowflakeにデータを取得、登録、更新する方法を紹介したいと思います。この記事に使うツールはSnowflakeやMicrosoft・Excelは必要です。 Exceleratorは、ExcelテーブルからSnowflakeのデータベースにデータを転送する際に非常に便利なツールです。このマイクロソフトのツールにアドインされた拡張機能です。ご存じない方のために、今日はそのインストール方法と使い方を

          ExcelとSnowflakeを接続する(EXCELERATOR)

          SnowflakeからAWSのS3バケットにテーブルを保存の手順

          こんにちは!! コグラフSSD−2事業部のルイスです。 本日、Snowflakeのアウトプット出力テーブルをAWSのS3バケットに保存する方法を紹介したいと思います。この方法は、Snowflakeで外部ステージを作成することです。 この手順を実行するには、SnowflakeとAWSの両方のアカウントが必要です。 S3バケットを作成最初のステップでは、ファイルを保存するため、S3バケットを作成する必要があります。S3バケットを作成するには、AWSコンソールを開いて、検索バー

          SnowflakeからAWSのS3バケットにテーブルを保存の手順