AWS を使って 40 時間で 2.5 億件のウェブページをクロールした話
https://ja.epitomeup.com/sources/106012
How to crawl a quarter billion webpages in 40 hours
http://www.michaelnielsen.org/ddi/how-to-crawl-a-quarter-billion-webpages-in-40-hours/
Pythonでスレッド実装。
580ドル。
https://ja.epitomeup.com/sources/106012
How to crawl a quarter billion webpages in 40 hours
http://www.michaelnielsen.org/ddi/how-to-crawl-a-quarter-billion-webpages-in-40-hours/
Pythonでスレッド実装。
580ドル。