見出し画像

【コピペで動く】 note で有料記事だけを抽出するツールを作って人気そうな記事を探してみた！

furuuchi

目次

- 自己紹介
- 経緯
- この記事でできること
- 免責事項
- 必要なもの
- 準備
- ソースコード
- ソースコードの解説
- 情報の抽出 ( CSV )
- Google スプレッドシートにインポート
- Google スプレッドシートでソート
- あとがき


自己紹介

こんにちは、スタートアップでエンジニアとして働いている古内と申します。

過去にも記事を書いております。

「Dish」 を支えるランチ推薦アルゴリズム

非エンジニアのスタートアップ 0 年生


経緯

私は売れる記事を書きたいと思ってまず、競合の有料記事がどんなのかあるか調査しようと思いました。

しかし、note には有料記事だけを見れるページがなく手動でスクロールしてやるにはあまりにも大変でした。

そこで、note に負荷がかからない程度に自動化しようと思ったのが始まりです。( 悪用はしていません )


この記事でできること

このように特定のキーワードで note の有料記事を自動で抽出して Google スプレッドシート上で「スキ」や「値段」、「タイトル」を分析できます！

検索してスクロールしながらその記事が有料なのかを判断して、更に「スキ」とか「値段」、「タイトル」を判断するはめっちゃ大変ですよね。

画像1

この動画のような作業が自動化されます。

最終的にはこういった形で有料記事一覧を見れます。

(「エンジニア」で検索して有料記事のみの「スキ」が多い順 )

画像2

人気そうな有料記事を見つけたら読んでみて参考にしましょう！

付録みたいな感じですがソースコードの解説もするので Python の知識も少し付きます！

追記 2020 / 08 / 31 メンテナンス難しくなったのでトラブルシューティングが得意な方だけご購入ください。

なお、2020 / 08 / 31 時点では動いていました。

コマンド ( 古内で有料記事を検索 )
python crawler.py 古内

結果 ( CSV )

author,like,price,publish_at,title,url
スキャット後藤 (フリーランス作曲家),18,100,2018/11/11 14:52,館山で取材うけました。,https://note.mu/scatgoto/n/n97f216b7255e
ニューヨーク子,3,100,2016/12/02 06:56,和泉／婚活　14,https://note.mu/nyc_love/n/nb5e8cd700a7d
長岡まどか,10,100,2020/07/30 18:34,帰りには絶好調になっている不思議なお店,https://note.mu/trigger7wisdom10/n/n4a471e231771
姫乃たま,33,800,2018/12/30 22:00,2018年12月14日〜12月20日　明日は、明後日は、ほんとにあるのかなー？,https://note.mu/himenotama/n/nf24686218378
furuuchi,10,480,2018/09/03 14:20,【コピペで動く】 note で有料記事だけを抽出するツールを作って人気そうな記事を探してみた！,https://note.mu/furuchin/n/n556d13e996a8

Twitter: https://twitter.com/furuuchin


免責事項

このツールを使う際はすべて自己責任でお願いします。

また、このツールではなるべく note のサーバに負荷を与えないよう仕組みを取り入れています。

使う際はその仕組を外さないよう使ってください。


必要なもの

- Python 2.7 / 3.x どちらでも可
- Google スプレッドシート
- ターミナル

以上です。

Python に関しては Progate の Python コースを修了していたら理解できるレベルです。

全くプログラミングを知らなくてもコピペでも動くようにソースコードを作っていますので Python を知らなくても有料記事の抽出は出来ます。


準備

最近の Mac であれば Python 2.7 がインストールされていると思います。

もし入っていなければこういった記事を参考に Python をインストールしてください。

Mac: https://www.python.jp/install/macos/index.html

Windows でしたらこういった記事を参考にしてください。

Windows: https://qiita.com/taiponrock/items/f574dd2cddf8851fb02c

Python のバージョンは 2.7 か 3.7 どちらでもお好きな方で大丈夫です。

Python ダウンロードリンク : https://www.python.org/downloads/

もし、Python をインストールして抽出ツールが動かなさそうであれば Twitter の DM でご連絡ください！

Twitter: https://twitter.com/furuuchin


ソースコード

まず、デスクトップに note の名前でフォルダを作ってください。

作った note フォルダにメモ帳とかで crawler.py ファイルを作って下記のソースコードをコピペして保存してください。

ここから先は

8,653字 / 19画像

¥ 480

この記事が気に入ったらサポートをしてみませんか？