DAのステップ作成におけるファインダー・キープレス(Press Key)・画像認識の使い分け

フォローする

ロボットに安定したDA操作をさせるには、ファインダー・キープレス(Press Key)・画像認識をうまく使い分けながら開発することが重要です。

これらの機能は、安定性の観点から、下記の優先順位で実装し検証することを推奨します。
※ここでいう安定とは、バージョン移行や端末状況などの環境に依存しにくく、ロボットが安定して稼働する状態を指します。

①ファインダー
②キープレス(Press Key)
③画像認識

2015_1.png

それぞれの特徴や、開発時の検証の順序と考え方については下記を参考にしてください。

 

■特徴

①ファインダー

操作対象にステップを設定した際に、ロボットにより自動生成されます。※ファインダーの内容はユーザーによる調整が必要な場合があります。

DA端末の環境(処理速度、ネットワーク負荷状況など)により、ステップが正しく実行されない等の問題が発生した場合は、「Guarded Choice」でWAITを追加するか、代替策として②、③の方法を実施してください。

なお、バージョンアップごとにファインダーの安定性は向上しています。

<参考>
DAフローを安定して実行するためのFinder(ファインダー)設定

 

②キープレス(Press Key)

PCのキーボード操作をエミュレートしており、DA上でコピー(Ctrl+C)やペースト(Ctrl+V)などのショートカットキーの操作ができます。

しかし、①と異なり、ステップ内で操作対象を指定しても結果は保証されません。
そのため、キープレスを使用する際は、事前に操作対象を指定する必要があります。
このときに他のウィンドウがアクティブになっていたり、環境要因でフォーカスがずれている場合、ロボットは意図しない動作を行うことがあります。

<参考>
Calculated Keyの設定方法
Press Keyステップを使用して文字を入力する方法
DA端末がWindows10の場合、「Press Key」ステップのStandard Keyで動作しないキーがある

 

③画像認識

①、②で認識できないオブジェクトの要素を抽出し、操作対象を特定します。

しかし現行の「画像認識」では、100%一致する画像でないと認識されません。つまり、DA端末側の通信状況や外部環境によって、色の深度などが人の見た目ではわからない程度の差異があった場合も、画像データとしては100%一致とはならないため、要素を特定できず、Timeoutエラーとなってしまいます。
このような場合は見た目で判断できず原因に気づきにくいため、開発における問題の解決に時間がかかることが懸念されます。

ただし、画像認識での要素抽出の精度をより上げるための機能として、「Nine-Grid Image Finder」(Ver.10.2以降)や「ISA」(Ver.10.3以降)がありますので、環境に合わせてご活用ください。

<参考>
DeviceAutomationで画像認識を使用する方法
ISA(Intelligent Screen Automation)の説明
DAにて動的に変わる部分の値を抽出する方法

 

■開発時の検証の順序と考え方

1. DAを使用せず、DSにて対象が操作できるか検証する。

※Webブラウザ操作を検証する際の指針として、BizRobo!のWEBブラウザエンジンの使い分けについて知りたいを参考にしてください。

 

2. 1の検証の結果、DAでの操作が必要になった場合、「■特徴」の①→②→③の順で開発の状況に適した(安定する)方法を検討し、ステップを作成する。

 

3. デバック(テスト)時と本番適用時では環境が異なり、安定性に欠ける場合は、本番環境に適した方法を模索し、チューニングする。(※1)

 

 

補足

・(※1)ロボットが環境要因などで期待通りの結果にならない場合、都度ロボットを修正したり、作り込むことで期待する動作に近づくかもしれませんが、ステップなどが複雑になることでロボット自体の保守性(可読性)が低くなり、維持・管理が難しくなる可能性があります。
そのため、修正や作り込みよりも、エラー検知方法やエラーが起きた際のリカバリー手順の整備を重視し開発してください。エラーについて詳しくはこちらを参照してください。

・RPAテクノロジーズは、本ナレッジに記載の機能を含めて製品を皆様がより使用しやすく、より安定的に稼働させられるように、改善に努めております。
バージョンアップを重ねるごとに安定性・操作性ともに向上しているため、バージョンアップによって問題が解決されることもあります。また、現状のバージョンでも本ナレッジに記載の方法で改善される可能性があります。

3人中2人がこの記事が役に立ったと言っています

コメント

0件のコメント

記事コメントは受け付けていません。