スクレイピンングとは
どうも、こんにちは。
いとらーです。
僕はせどりや情報発信やプログラミングで生計を立てているフリーランスです。
僕はせどりを効率化させるためにプログラミングを始めました。
初めはPHPという言語で仕入れの管理ツールを作ったのですが、最近はPythonを勉強しながら電脳仕入れの効率化を図るツールを開発しています。
このPythonというプログラミング言語で行っているのは主に作業の自動化です。
webサイトにアクセスして、その表示されたページに書かれているタイトルや値段を抽出するのですが、こういう行為をスクレイピングと言います。
このスクレイピングが非常にせどりと相性が良いのです。
例えば僕の場合10分間程度で300ページほどの商品ページを調べています。
これは別に手動でもできなくはないのですが、ずっとマウスをカチャカチャ操作しなければならずとても疲弊すると思います。
大変だなと思うのでそもそもやりたいとも思いません。
しかし、プログラミングならそれも勝手にやってしまいます。
朝起きてパソコンを立ち上げてプログラムを動かせば後は自動的に結果をどんどん出してくれます。
僕はそのままキッチンへ行ってコーヒーを淹れてそれを飲みながら画面を眺めるだけです。
リサーチと言ってもやっている動作は商品の価格差を調べているだけですから同じ作業の繰り返しなのでそういうのはプログラミングが向いているんですよね。
だから、せどりとこのスクレイピングという行為は非常に相性が良いです。
スクレイピングの適否
このスクレイピンという行為の適否がよく議論されます。
スクレピングというのはハッキング行為のようにも思われがちですが、そうではありません。
webページの要素というのは誰もが見ることができます。
試しにこのブログをGoogleChromeでアクセスして、F12を押してみてください。
このブログのソースコードが表示されたと思います。
このようにサイトの情報というのは誰もが見ることができるのです。
そしてスクレイピングはこのソースコードの内の○○の場所の情報を表示させるツールなのです。
だからその運営サイトに対して悪いことをしている訳ではないのです。
問題は次に述べるアクセス過多によるサーバーへの負荷です。
これは次項のクローリングの部分で述べます。
クローリング
上記の通りスクレピングは表示されたページの情報を抽出するだけですので、自動化の部分はクローリングという行為になります。
このクローリングが自動化の要と言っても過言ではないと思います。
自動で次々とサイトのページにアクセスして調べて行きます。
しかし、このクローリングはやりすぎると当該サイトのサーバーへ負荷をかけてしまい問題になります。
大抵はアクセスが増えるとアクセスを遮断してしまうのですがそれでも一時的に負荷をかけてしまうのはいけません。
なのでサーバーに負荷をかけない程度、人間が手動でアクセスする程度の秒数でアクセスをするように設定してクローリングします。
これはサイトにスクレイピング禁止と書かれていなくてもマナーとしてきっちりやるべきでしょう。
こう書くと手動と同じ速さなら手動で良くないですか？と反論がきそうですが、僕なら手動で連続３００回もアクセスしていたら飽きてやめてしまいます。疲れますし。
だから手動と同じ速さでも自動でやってもらう方が良いのです。
せどりとスクレピングの相性
せどりや物販の転売の場合は販売サイトとの価格差のあるものを調べる必要があります。
そこでこのスクレピングとクローリングによる自動化が欠かせません。
大量に調べる必要があるためプログラムを介在させたほうが効率的なのです。
だからせどりとスクレイピングは非常に相性が良いです。
今後の電脳仕入れ
そして、そうである以上は今後せどりにスクレイピングを使った電脳仕入れがもっと今まで以上に普及するのは間違いないと思います。
僕のように自分で作る人もいれば、ツールを売りに出す人も出てくるでしょう（こんなツールは売りに出すべきではないと思いますが）。
煽るわけでありませんが、そうなったら手動で太刀打ちするのは非常に辛いのではないかなと思います。
なので今のうちからPythonやプログラミングを勉強しておいた方が良いと思います。
そうすれば、プログラミングだけで食えるようなスキルも身について一石二鳥ですしね。
そんな感じです。
それでは。
コメント