業界初!Webデータを自動収集できるWebスクレイピングテンプレート

今では、副業としてAmazonと楽天市場に出店している人がたくさんいるでしょう。Amazonの販売者だった場合、競合店がどのような価格で同様の製品を販売しているのかを調査しなければなりませんね。Amazonデータベースに直接アクセスすることはできないので、出品者と価格のテーブルを作成するためにすべてのページを閲覧する必要があります。もちろん、Pythonを書いて、製品名、レビュー、価格などのような

もっとみる

ウェブ解析士、ディレクター、マーケターなら知っておきたい Google Analytics の罠

1st. note です。
仕事で「何度かこの話したな」と思った話をアウトプットすることにしました。「これ読んどいてください」で済めば業務効率化につながるし、それが誰かの役に立てば尚良しと思って。

今回は、Google Analytics(以下GA)の罠というか仕様をまとめました。
※ほかにもハマりがちな罠があったら追加していきます。

1. セッションの罠

まずはセッションのタイムアウトにつ

もっとみる

Day 81

越境者。" Fuc*kin look at me boy " って言われた感じのなめ猫感(懐)
のある彼の表情がお気に入りの一枚です。
この後リスは木に移り、僕の帰りを見守ってくれました。

何もしない

何もしない土曜日。1ヶ月半ぶりくらいにラボに行かない日にしましたw

家だと勉強も捗らないので、医療系の情報にキャッチアップするためのメールチェックとかでも基本的にラボでワークタイム外や土日にや

もっとみる
スキありがとうございます。また読んでくれると嬉しいです。
4

データ分析は料理である!数式のないデータ分析入門書(『データ分析の力 因果関係に迫る思考法』著:伊藤公一朗)

今回の本

はじめに

カスタマーサクセスに取り組むにあたって、データ分析における考え方をインプットしたいと思い、『データ分析の力 因果関係に迫る思考法』という本を読みました。

意図的に数式を一切出さない構成となっているため、非常にサクサクと読み進められる内容でした。各種手法についての細かい説明は本書に任せるとして、以下、読んでいて心に残ったポイントです。

データ分析は"調理法"が大事

デー

もっとみる

DataOpsへの招待

DataOpsという言葉をこの資料で知りましたが、見た瞬間にDevOpsから繋がるコンテキストを踏まえた意図が伝わってきて、うまいこと言うなと半分前のめりになり、期待に心踊らせページをめくりましたが、期待以上に納得感のある資料でした。実際に昨年のデブサミでもアンケート満足度No1だったようです。既に手にされている方も多いかと思いますが、更により多くの方に届けたいとの思いでこれを書きました。なお著者

もっとみる

Amazonの「歴史から学ぶビジネス書」ランキング上位100書をワードクラウド解析にかけると「孫子」が最強すぎた!

「歴史を学びたければ漫画を読もう!」というテーマで、フランス史~イタリア史と進めてきましたが、次のネタを探している中で面白い調査方法を試してみました。

・Amazonの「歴史から学ぶビジネス書」の売れ筋ランキングページをクローリングする(※2019.06.10時点で取得したデータとなります)

・上位100位までの売れ筋書名を抜き取る

・統計ソフトにかける(フリーソフトのRを使います)

・固

もっとみる

ロジスティック回帰モデル演習で感じたこと|Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day3メモ

◆前回までのメモ

・Day1
・Day2

◆Day3のテーマ

・ロジスティック回帰モデルの概要理解
・変数の線形加工, 外れ値の丸め
・変数の選定(相関係数の確認)
・Submit(投稿)

◆ロジスティック回帰モデルについて

・一般化線形モデルの一種で、2群分類に対して確率を返すモデル。多くの業種でよく用いられる。
・任意のZの値に対して、pは0~1の値を取る単調増加。
・p/(1-p)

もっとみる

Pandas でよく忘れてしまう事柄(随時追加)

Pythonを使ったデータ解析をする際によく忘れてgoogle検索しがちなものを下記に書き留めておく(随時追加予定)

Excelファイルのimport(read_excel)

'xlrd'をインストールすると下記方法でxlsxファイルをデータフレームとして読み込み可能(06/03/2019)

pd.read_excel('filename.xlsx')

Excelファイルのexport(t

もっとみる

決定木によるクラス分類~決定木モデル構築, 可視化|Kaggle Masterによるデータ分析技術者養成講座【R言語版】Day2メモ

以下の研修を受講しました。全5回のうちの2回目(Day2)の講義および復習時のメモです。

参考:過去の受講メモ

Day1

◆Day2のテーマ

・決定木によるクラス分類~決定木モデル構築, 可視化~
・過学習と精度検証法~過学習 Hold Out 法 , Cross Validation 法~

◆予測モデルの使い方

・重病確率が10%以上の場合はアラートを出す(精密検査の推奨)
・株価の

もっとみる

【簡単】ツイッター、インスタのフォロワー数を自動的に記録してデータを蓄積する方法

こんにちは。アラフォー ワーママのあられと申します。初めて有料noteを作成しました。

このnoteでは、グーグルスプレッドシートをつかって、TwitterとInstagramのフォロワー数・フォロー数・投稿数などを自動的に取得し、定期的なデータを蓄積する方法をご説明します。

最終的に出来上がるもののイメージはこのようなものです。

プログラミングは必要ありません。Twitter APIの申請

もっとみる