DAのステップ作成におけるファインダー・キープレス(Press Key)・画像認識の使い分け

概要

ロボットでDA操作を行う際、安定した操作をさせるために、
ファインダー⇒キープレス(Press Key)⇒画像認識の優先順位で、実装の検証をすることを推奨します。
※ここでいう安定とは、バージョン移行や端末状況などの環境に依存しにくく、ロボットが安定して稼働する状態を指します。

●ファインダー

操作対象にステップを設定した際に、ロボットにより自動生成されます。
※ファインダーの内容はユーザーによる調整が必要な場合があります。

DA端末の環境（処理速度、ネットワーク負荷状況など）により、ステップが正しく実行されない等の問題が発生した場合は、
「Guarded Choice」でWAITを追加するか、代替策としてキープレス及び画像認識を実施してください。

なお、バージョンアップごとにファインダーの安定性は向上しています。
＜参考＞
DAフローを安定して実行するためのFinder（ファインダー）設定

●キープレス(Press Key)

PCのキーボード操作をエミュレートしており、DA上でコピー（Ctrl＋C）やペースト（Ctrl＋V）などのショートカットキーの操作ができます。

しかし、ファインダーと異なり、ステップ内で操作対象を指定しても結果は保証されません。
そのため、キープレスを使用する際は、事前に操作対象を指定する必要があります。
このとき、他のウィンドウがアクティブになっていたり、環境要因でフォーカスがずれている場合、ロボットは意図しない動作を行うことがあります。

＜参考＞
Calculated Keyの設定方法
Press Keyステップを使用して文字を入力する方法
DA端末がWindows10の場合、「Press Key」ステップのStandard Keyで動作しないキーがある

●画像認識

ファインダー及びキープレスで認識できないオブジェクトの要素を抽出し、操作対象を特定します。

しかし現行の「画像認識」では、100％一致する画像でないと認識されません。
つまり、DA端末側の通信状況や外部環境によって、色の深度などが人の見た目ではわからない程度の差異があった場合も、
画像データとしては100%一致とはならないため、要素を特定できず、Timeoutエラーとなってしまいます。
このような場合は見た目で判断できず原因に気づきにくいため、開発における問題の解決に時間がかかることが懸念されます。

また、画像認識での要素抽出の精度をより上げるための機能として、
「Nine-Grid Image Finder」(Ver.10.2以降)や「ISA」(Ver.10.3以降)がありますので、環境に合わせてご活用ください。
＜参考＞
DeviceAutomationで画像認識を使用する方法
ISA（Intelligent Screen Automation）の説明
DAにて動的に変わる部分の値を抽出する方法

具体例

ロボットの開発時には以下の順序で検証ください。

①まずはDAを使用せず、DSにて対象が操作できるか検証する。
※Webブラウザ操作を検証する際の指針として、BizRobo!のWEBブラウザエンジンの使い分けについて知りたいを参考にしてください。

②1の検証の結果、DAでの操作が必要になった場合、ファインダー⇒キープレス⇒画像認識の順で開発の状況に適した（安定する）方法を検討し、ステップを作成する。

③デバック（テスト）時と本番適用時では環境が異なり、安定性に欠ける場合は、本番環境に適した方法を模索し、チューニングする。
※注意事項を確認

＜補足＞
弊社では、本ナレッジに記載の機能を含めて製品を皆様がより使用しやすく、より安定的に稼働させられるように改善に努めております。
バージョンアップを重ねるごとに安定性・操作性ともに向上しているため、バージョンアップによって不安定だった挙動が改善されることもあります。

注意事項

ロボットが環境要因などで期待通りの結果にならない場合、
都度ロボットの修正を実施や、作り込みによって期待する動作に近づく可能性もございますが、
ステップなどが複雑になることでロボット自体の保守性（可読性）が低くなり、維持・管理が難しくなる可能性があります。
そのため、修正や作り込みよりも、エラー検知方法やエラーが起きた際のリカバリー手順の整備を重視し開発してください。
エラーについての詳細はこちらを参照してください。