スケジューラで実行されるロボットにおけるTimeout errorの多発

フォローする

JavaScript の処理等が多く含まれるサイトのクローリングロボットにおいて、ロボットの同時実行数を増やしたところ、ロボット内ページロードにおけるTimeout errorが頻発。

運用環境:CentOS 6.4 (4 Processor、6 GB RAM)、 KapowKatalyst 9.1.7 64bit (2 instance of RoboServer

err_timeout.png

KCUには余裕あり、設定した全てのロボットが同時に実行されたものと思われるが、サーバ自体が同時に実行できるキャパシティを超えたために待ち状態が発生し、結果的にRoboServerによってTimeoutが発生したものと思われる。

対応策としては、同時ロボット実行数を減らし、サーバの負荷を軽減することで解決。

参考:RoboServerの環境設定

0人中0人がこの記事が役に立ったと言っています

コメント

0件のコメント

記事コメントは受け付けていません。