DeviceAutomationで画像認識を使用する方法

フォローする

DeviceAutomationではオブジェクトを指定してロボットが操作を行いますが、操作対象のアプリケーションや実行環境によってはオブジェクトを取得することができないことがございます。

そのような場合は画像認識を利用することで要素のクリックや選択を行うことができます。

■手順

今回は例として、ブラウザで開いたWebサイトの画面左部の「製品」というボタンを画像認識でクリックするという動作を行います。

1) クリックしたい部分をペイントソフトのトリミングの要領で矩形に選択します。(紫色の枠)

2)選択した部分を右クリックして、Clickを選択します。

3)画像認識でFinder(ファインダー)を指定するClickステップが作成されました。

画像認識を使用すればオブジェクトを認識できない状態でも多くの操作を行うことが可能なため、積極的にご活用ください。