クローリングロボット運用ガイドライン

フォローする

  1. ロボットファイルをMCにアップロードする際には、Input(入力値)に設定したvalue(値)(特にBinary型)はクリアすること。
    • Design Studio 中のvalue(値) に直接指定された文字列やBinary情報は.robotファイル内に直接保存され、ロボットファイル自体の肥大化の原因になります。また、MCでのロ ボット実行時には当然.robotファイルの内容がJVMに読み込まれることになり、無駄なHeap領域を使用することにもなる。
  2. 定期的なロボットのパフォーマンスチェックを実施すること。
    • 月に一度はロボットの中身を棚卸し。調査対象サイトのSEO対策ツール、アクセス解析ツール、読み込みJSの種類などに変化がないか調査し、場合によっては変化に合わせてロボットを最適化することにより、パフォーマンスの劣化やアクセス拒否のリスクを低減できる。