Ver10.3からTree ModeのISA機能が追加されました。
ISAは、対象画面の内容を自動的に判断してオブジェクト(要素)を生成する機能です。
これによって、従来のDA(Device Automation)で認識できなかった画面のオブジェクト認識と操作が可能となりました。
ISAの詳細については、以下ナレッジをご参照ください。
ISA（Intelligent Screen Automation）の説明
ISAによるオブジェクト認識で生成される要素(属性)は、ISA独自のものとなります。
本ナレッジでは、これらの各属性がどのように生成されるかについて解説いたします。
■ISAの主な属性
・lt_16_5、rb_15_4
・der_x、der_y
・der_width、der_height
・name、label
以下、ISAを設定した画面のエレメントツリーです。
今回はこの要素を使用して説明いたします。
<element lt_16_5="0x00601b" rb_15_4="0x010028" name="Name" der_x="101" der_y="139" der_width="147" der_height="25">Name</element>
画面内の座標を確認したい場合は、Automation Device View内の該当位置にカーソルを置き、エディターのこの部分を見ます。
※赤と黄色の矢印が現在のカーソル位置の場合
■ 画面全体(Automation Device Viewに表示された範囲内)のカーソル位置の座標
■ 緑枠内(選択中の要素)のカーソル位置の座標
■ 紫枠内(イメージ選択した範囲)のカーソル位置の座標
■ オレンジ枠内(Finderに設定した要素)のカーソル位置の座標
■ 青枠内(For Each Loopステップの対象範囲)のカーソル位置の座標
■lt_16_5 と rb_15_4 の計算方法
lt_16_5は要素の左上の座標、rb_15_4は要素の右下の座標を基準に計算された数値になります。
lt_16_5とrb_15_4の数値の定型は「0x0xx0yy」であり、xxはx座標、yyはy座標をもとに計算された数値が入ります。
・lt_16_5=”” だった場合
lt_16_5のxxはx座標を16、yyはy座標を5で割った数を16進数に変換した数値が入ります。
・x=101
101÷16=6.31
6(10進数) = 6(16進数)
・y=139
139÷5=27.8
27(10進数) = 1b(16進数)
・rb_15_4=”” だった場合
rb_15_4のxxはx座標を15、yyはy座標を4で割ったものを16進数に変換した数値が入ります。
・x=247
247÷15=16.46
16(10進数) = 10(16進数)
・y=163
163÷4=40.75
40(10進数) = 28(16進数)
■der_x と der_y について ※現在は不具合のため使用不可な属性です
der_xとder_yは要素の座標です。
der_xが画面全体の左端から要素までの座標、der_yが画面全体の最上から要素までの座標です。
■der_width と der_height について
※不具合の影響によりVer10.3.0.7から使用可能です
der_widthとder_heightは要素のサイズです。
der_widthが要素の横幅、der_heightが要素の高さになります。
■name と label について
nameとlabelは要素の種類によって、付属する属性が異なります。
※要素と属性の対応の詳細については製品ドキュメント(「User’s Guide」の「Tree Mode」)からご確認いただけます。
以下例の画像では要素にテキストが含まれるため「name」となります。
また、要素にnameがある場合、その要素を使用してステップを作成するとFinder(Component)にはnameが使用されます。
それ以外の場合は、lt_16_5が使用されます。
nameとlabelの値はTesseract OCR エンジンによって認識したテキストが入ります。