スケジューラで実行されるロボットにおけるTimeout errorの多発

フォローする

attention_archive.png

JavaScript の処理等が多く含まれるサイトのクローリングロボットにおいて、ロボットの同時実行数を増やしたところ、ロボット内ページロードにおけるTimeout errorが頻発。

運用環境:CentOS 6.4 (4 Processor、6 GB RAM)、 KapowKatalyst 9.1.7 64bit (2 instance of RoboServer

err_timeout.png

KCUには余裕あり、設定した全てのロボットが同時に実行されたものと思われるが、サーバ自体が同時に実行できるキャパシティを超えたために待ち状態が発生し、結果的にRoboServerによってTimeoutが発生したものと思われる。

対応策としては、同時ロボット実行数を減らし、サーバの負荷を軽減することで解決。

参考:RoboServerの環境設定