「No more data! Scraping will stop now.」でtwintが止まる問題

■環境

CentOS Stream9

■問題

久々にtwintを使おうと思いまして、昔書いた記事に従ってインストール・実行したんですが、以下のエラーが出てどうにも取得が止まってしまう。

[!] No more data! Scraping will stop now.
found 0 deleted tweets in this search.

通常、このメッセージは全てのツイートを取得し終わった際に出力されるメッセージなんですが、実際には大量にツイートがあるにも関わらず、10件・20件ほど取得したあたりで止まってしまいます。

仕様でも変わったのかなと、twintのgithubも見てみたのですが、どうやら仕様でもないらしい。

Issueを見ても特に問題にはなっていないようでよくわからん。

■対策

というわけで、仕方ないのでresumeファイルを作って、while文で10秒ごとに取得しました。

コマンドはこんな感じ。たまにチェックして終わるまで放置しておけばいいです。

while true; do twint -u xxxxx -o xxxxx.txt --resume resume_file.txt; sleep 10; done

一応、–yearで最初のツイートの時期は確認しておいたほうがいいかも。

twint -u xxxxx --year 2012

なんとなく、twitter側のtwint対策の一環でやられてるんじゃないかと予想しています。分かりませんけどね。

コメント

タイトルとURLをコピーしました