Torをスクレイピングで使いやすくするPythonのモジュール作ってみた

かつを

2019年9月15日 04:28

TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。

reCaptchaが出現した時のリトライ、匿名性の維持などにも役立つため、是非導入していただければと思います。

事前準備：Torエキスパートバンドル版のインストール

Tor本体のダウンロード
Torのエキスパートバンドル版を公式サイトからダウンロード

リンクはwin32版のエキスパートバンドルへの直リンクです。

ダウンロードしたTor本体を解凍

解凍した状態でのフォルダの構造はこんな感じです。

Tor
├─ libeay32.dll
├─ libevent-2-1-6.dll
├─ libevent_core-2-1-6.dll
├─ libevent_extra-2-1-6.dll
├─ libgcc_s_sjlj-1.dll
├─ libssp-0.dll
├─ libwinpthread-1.dll
├─ ssleay32.dll
├─ tor-gencert.exe
├─ tor.exe
└─ zlib1.dll

tor.exeがTorの本体です。

解凍して、任意のディレクトリTorフォルダを設置してください。
こだわりがなければ以下の例に沿って設置していただければ問題は起きにくいと思います。

TorのディレクトリにPathを通す

例えば以下のフォルダに上で解凍したTorフォルダを設置したとします。

C:
└─ProgramData
   └─Tor
      ├─ libeay32.dll
      ├─ libevent-2-1-6.dll
      ├─ libevent_core-2-1-6.dll
      ├─ libevent_extra-2-1-6.dll
      ├─ libgcc_s_sjlj-1.dll
      ├─ libssp-0.dll
      ├─ libwinpthread-1.dll
      ├─ ssleay32.dll
      ├─ tor-gencert.exe
      ├─ tor.exe
      └─ zlib1.dll

すると、Pathを通すディレクトリは以下のようになります。

C:\ProgramData\Tor

システム環境変数を検索して開きます。

システム環境変数を選択。

Pathを選択。

新規を選択して出てきた項目に先ほどのPathをコピペ。

C:\ProgramData\Tor

これを追加してOKを押します。

Pathが通ったか確認

コマンドプロンプトを立ち上げる。

スクリーンショット-2019-08-23-17.36.51

どのディレクトリでもいいので"tor"と入力する。

プログラムが立ち上がればOK。

'tor' は、内部コマンドまたは外部コマンド、
操作可能なプログラムまたはバッチファイルとして認識されていません。

このメッセージが出る場合は設定が間違っていますので、確認してください。

Bootstrapped 100% (done)というメッセージまで進むようであれば、前提のTor本体の設定は完了です。

モジュールの依存関係のライブラリをインストールする

標準モジュール以外で依存関係にあるライブラリは以下です。
全てpipでインストール可能です。

pip install stem
pip install attrdict

このTor操作モジュールでできる事と基本操作

TorをPythonから扱いやすくするためのモジュールです。
Python3系、Windowsを前提として作成しました。

ここでは、基本的な操作方法とできる事を紹介します。

基本的な使い方：インスタンスの生成

※インポートするにはモジュールのファイルをパスに配置する必要があります。

# インポート
from tor_control import TOR
# インスタンスの生成
tor = TOR()

モジュール、Tor本体共にPathが通っている場合はこれでインスタンスが作成されます。

そうでない場合は、インスタンス生成時に各種Pathを引き渡す必要があります。
設定用のtorrcファイルをがある場合も、インスタンスの生成時に指定できます。

tor_path = "C:\ProgramData\Tor"
rc_path = "C:\Users\Owner\AppData\Roaming\tor\torrc"

tor = TOR(tor_path=tor_path, rc_path=rc_path)

torrcを設定しない場合はディフォルトで起動されますので、なくてもインスタンスの生成は可能です。

Torを起動させるコマンド

生成したインスタンスに対して、色々なコマンドを出すことが出来ます。

モジュールにはいくつかのTorを起動するためのコマンドがあります。
少しずつ役割が違いますので、紹介します。

runメソッド：通常起動

tor.run()

Tor starting port: 9050
Out:0

runメソッドは通常起動用のメソッドです。
起動されたポート番号が標準出力されます。

0がreturnされてきている場合は、起動成功を意味しています。
何らかのエラーで起動のコマンドが通らなかった場合は0以外の数字が返ってきます。

runメソッド：ポートを指定しての起動

runメソッドに引数を渡さない場合は、通常のTor起動と同じ9050番のポートを開放して起動します。

tor.run(9060)

Tor starting port: 9060
Out:0

int(整数型)の数値を引数としてrunメソッドに渡すとそのポート番号でTorが起動します。

multiメソッド：複数のTorを起動

複数のTorを起動させ、同時に複数のIPアドレスを利用してインターネットにアクセスすることが出来ます。もちろん、スクレイピングなどにも利用できます。

tor.multi()

Out:
Tor starting port: 9070
Tor starting port: 9080
Tor starting port: 9090

何も引数に指定しなければ3つのTorを起動させます。
利用するportは極力、衝突を回避するように設計しています。

tor.multi(5)
Out:
Tor starting port: 9050
Tor starting port: 9060
Tor starting port: 9070
Tor starting port: 9080
Tor starting port: 9090

整数を引数にして渡すと、その数だけTorを起動させます。

Torを終了させるコマンド

Torを終了させるコマンドは二つあります。

killメソッド：portを指定して終了させる

portを整数で指定して、Torを終了させます。killした結果、残っているportをリスト型で返却します。

tor.kill(9160)

Out:[9050, 9060, 9070, 9080, 9090, 9100, 9110, 9120, 9130, 9140, 9150]

force_killメソッド：複数のTorをリストで指定して終了させる

tor.force_kill([9120, 9130, 9140, 9150])

返却はありません。

force_killメソッド：全てのTorを終了させる

引数を渡さないと、全てのTorを終了させます。

tor.force_kill()

プロキシの情報を返却するコマンド

現状起動しているTorの情報を返却するメソッドと、アトリビュートを紹介します。

socksメソッド：socksポートを指定するための文字列を返却

他のライブラリでsocks形式でプロキシを指定するための文字列を返却するメソッドです。

tor.socks()
Out:'socks5://127.0.0.1:9050'

引数を渡さないと、現状起動されているTorが使っているportの中から最小のものを返却します。

socksメソッド：requestsにプロキシを指定する

socksメソッドを利用して、このような形でrequestsにプロキシの指定をすることが可能です。

import requests

# proxies変数を作成
proxies = {
  'https': tor.socks()
}

url = "https://ipinfo.io"
# getメソッドproxies引数に渡す
requests.get(url, proxies=proxies).json()

Out:{'ip': '23.129.64.192',
'hostname': '192.emeraldonion.org',
'city': 'Seattle',
'region': 'Washington',
'country': 'US',
'loc': '47.6036,-122.3256',
'org': 'AS396507 Emerald Onion',
'postal': '98104',
'timezone': 'America/Los_Angeles',
'readme': 'https://ipinfo.io/missingauth'}

socksメソッド：selenium(Chrome)にプロキシを指定する

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# optionsで指定する
options.add_argument(f'--proxy-server={tor.socks()}')
# 指定したoptionsでchromeを起動
driver = webdriver.Chrome(options=options)

driver.get('https://ipinfo.io')

seleniumでアクセスした結果がこちら。

socksメソッド：利用するsocksポートを指定

利用するsocksを整数型で指定することが可能です。
起動されているTorがそのportを開放していない場合は起動を伴って文字列を返却します。

# 指定したportでTorが起動されていなければ、そのportでTorを起動します。
# 更に、socksプロキシ指定用の文字列を返却します。
tor.socks(9060)
Out:'socks5://127.0.0.1:9060'

socksメソッド：requestsのproxies引数に直接渡せる形で返却する

socksメソッドのfor_req引数にTrueを渡すと、requestsのproxies引数に直接渡せるdict型のデータを返却します。

# for_req引数にTrueを渡す
tor.socks(for_req=True)
# proxies引数に直接渡せる形の辞書データが返ってくる。
Out:{'http': 'socks5://127.0.0.1:9050', 'https': 'socks5://127.0.0.1:9050'}

# 実際に直接引き渡してみる
url = "https://ipinfo.io"
requests.get(url, proxies=tor.socks(for_req=True)).json()

Out:{'ip': '173.244.209.5',
'hostname': 'slc-exit.privateinternetaccess.com',
'city': 'New York',
'region': 'New York',
'country': 'US',
'loc': '40.7145,-74.0029',
'org': 'AS29854 WestHost, Inc.',
'postal': '10118',
'timezone': 'America/New_York',
'readme': 'https://ipinfo.io/missingauth'}

socksメソッド： portをランダムで返却する

Torを複数起動している場合、rand引数にTrueを渡すと、現在オープンしているportの中からランダムに選択した文字列を返却します。

これは複数のIPを入れ替わり立ち代わり、ランダムに利用できることを意味します。for_req引数との組み合わせでも動作します。

実用的に使うと、このようなコードになります。

# 10回アクセスしてIPを調べる。
# ipはtor.socks(rand=True, for_req=True)で毎回ランダムに取得される
# multiメソッドなどで複数のTorが立ち上がっていることが条件です。

url = "https://ipinfo.io"
for i in range(10):
   res = requests.get(url, proxies=tor.socks(rand=True, for_req=True))
   print(res.json()['ip'])

Out:199.249.230.122
Out:199.249.230.66
Out:199.249.230.75
Out:162.247.74.27
Out:64.113.32.29
Out:162.247.74.201
Out:162.247.74.27
Out:173.244.209.5
Out:199.249.230.66
Out:162.247.74.201

繰り返しアクセスしても、ランダムに別のTorサーキットを使うのでIPが毎回変わっています。

reqメソッド：requestsのproxies引数に直接渡せる形で返却する

socksメソッドにfor_req=Trueを渡した時と同じ動作をします。基本的には短縮形です。

tor.req()

Out:{'http': 'socks5://127.0.0.1:9050', 'https': 'socks5://127.0.0.1:9050'}

portを指定することも可能。

tor.req(9080)

Out:{'http': 'socks5://127.0.0.1:9080', 'https': 'socks5://127.0.0.1:9080'}

rand引数も使えます。

tor.req(rand=True)

Out:{'http': 'socks5://127.0.0.1:9110', 'https': 'socks5://127.0.0.1:9110'}

少しsocksメソッドと違うのは、reqメソッドでportを指定した場合、ディフォルトでは、そのportが実際にTorが使っているかの確認は取りません。
つまり、実際に使われていないportを指定しても結果を返します。

tor.req(999999)

Out:{'http': 'socks5://127.0.0.1:999999', 'https': 'socks5://127.0.0.1:999999'}

# そのportの起動確認を取りたい場合、run引数を使います。
tor.req(10000, run=True)

Tor starting port: 10000
Out:{'http': 'socks5://127.0.0.1:10000', 'https': 'socks5://127.0.0.1:10000'}

Torの起動状況を確認するコマンド

Torの起動状況を確認するためのアトリビュートを紹介します。

Torが利用しているportの確認

現在起動しているTorが使っているportの中で最小のport番号を返却します。

tor.port
Out: 9050

Torが利用している全てのportの確認

tor.ports

Out: [9050, 9060, 9070, 9080, 9090, 9100, 9110, 9120, 9130]

Torが利用しているtorrcのファイルpathの確認

tor.torrc
Out: WindowsPath('C:/Users/Owner/AppData/Roaming/tor/torrc')

type(tor.torrc)
Out: pathlib.WindowsPath

str(tor.torrc)
Out:'C:\\Users\\Owner\\AppData\\Roaming\\tor\\torrc'

Pathはpathlibのオブジェクト形式で返却されます。

Torのconfig関係のコマンド

Torのconfigをこのモジュールを通して設定することも可能です。
各設定項目はこちらで確認できます。

setアトリビュート：現在のtorrcの設定を参照

インスタンス生成時に、torrcファイルにある設定を自動的に読み込みます。

torrcで設定した項目に追加して、よく使いそうな項目をディフォルトでセットしています。以下のコマンドで設定を確認できます。

tor.set
Out: AttrDict({'CircuitBuildTimeout': '', 'NewCircuitPeriod': '', 'MaxCircuitDirtiness': '30', 'NumEntryGuards': '100', 'ExcludeExitNodes': '200.9.255.32', 'ExcludeNodes': 'SlowServer,200.9.255.32', 'EntryNodes': '', 'ExitNodes': '', 'StrictNodes': '1'})

tor起動時はこの設定を元に起動されます。

setアトリビュート：設定項目を追加/書き換える

tor.setに設定項目名をアトリビュートで続けて参照/代入できます。
設定を書き換えると、新たにTorを起動するコマンドを使った時にその設定を使って起動します。

tor.set.MaxCircuitDirtiness = 60

tor.set.MaxCircuitDirtiness
Out: 60

ディフォルトで表示されない項目名でもここで追加設定することが可能です。
アトリビュートで項目名にアクセスして、直接代入します。
項目名が間違えていると、Tor起動を拒否される場合があります。

tor.set.ClientOnly = 1

apply_settingメソッド：既に起動済みのTorに現在の設定を反映させる

設定を書き換えただけでは、現在すでに起動しているTorに対してその設定は反映されません。

設定を起動済みのTorに反映させるためにはapply_settingメソッドを使います。

# portを指定して起動済みのTorに現在の設定を反映させる
tor.apply_setting(9050)

# portをリストで指定することも可能
tor.apply_setting([9050, 9060, 9070])

# portを指定しなければ、起動済みの全てのTorに対して設定を適用
tor.apply_setting()

write_rcメソッド：setアトリビュートの内容をテキストにしてtorrcに出力

現状のsetアトリビュートに登録されている設定内容を元に、新規にtorrcファイルとして出力します。出力先のファイルパスはtorrcアトリビュートで確認できます。

# 出力先のファイルパスを確認できます。
tor.torrc
Out: WindowsPath('C:/Users/Owner/AppData/Roaming/tor/torrc')

tor.write_rc()

出力されたtorrcファイルは以前のtorrcファイルに上書きはされません。
古いtorrcファイルは "torrc.orig.x"として別に保存されます。

stemモジュールのコマンドを使う

より、上級者向けの操作として、tor_controlモジュールは、stemモジュールのラッパー的な役割も果たします。

実行しているTor全てに対してcontrol portを設定しています。control port を通して、起動済みのTorを自在に操作できる、stem.control.Controllerオブジェトを内部的に生成しています。

ctrlアトリビュート：Controllerオブジェクトへのアクセス

# port番号とオブジェトが辞書型で確認できる
tor.ctrl
Out: {9050: <stem.control.Controller at 0x2c9249eae48>}

# これでControllerオブジェクトへアクセスできる。
tor.ctrl[9050]
Out: <stem.control.Controller at 0x2c9249eae48>

# Controllerオブジェクトで使えるコマンドを続ける事が出来る。

stemモジュールのcontrol.Controller オブジェクトをインスタンス内に格納しています。Controllerオブジェクトに対して有効なコマンドは、基本的に全て使うことが出来ます。

以下に実行可能なコマンド一覧を記載します。（stemドキュメントより日本語訳しています。リンクは下部）

詳細は：https://stem.torproject.org/api/control.html

tor.ctrl[9050].reset_conf('ExitNodes')

当モジュールのソースコードは以下有料エリアにて公開しています。

ここから先は

16,390字

¥ 10,000

ログイン

この記事が気に入ったらサポートをしてみませんか？