JavaScript の処理等が多く含まれるサイトのクローリングロボットにおいて、ロボットの同時実行数を増やしたところ、ロボット内ページロードにおけるTimeout errorが頻発。
運用環境:CentOS 6.4 (4 Processor、6 GB RAM)、 KapowKatalyst 9.1.7 64bit (2 instance of RoboServer)
KCUには余裕あり、設定した全てのロボットが同時に実行されたものと思われるが、サーバ自体が同時に実行できるキャパシティを超えたために待ち状態が発生し、結果的にRoboServerによってTimeoutが発生したものと思われる。
対応策としては、同時ロボット実行数を減らし、サーバの負荷を軽減することで解決。