RPA、WinActor の便利機能、画像マッチングについて、とりわけ状態チェックの使い方・用途に関する記事になります。
僕が普段の作業の中で、画像マッチングを利用する用途としては、
- 画像認識した上での「画面操作（クリックやダブルクリック）」
- 画像認識した上での「状態チェック」
こちらの2つがメインになります。
IEなどのブラウザでの作業はもちろんのこと、基本的にはウィンドウ名（デスクトップも可）さえあれば画像マッチングできるので、非常に重宝している機能ですね。
画像マッチングの基本
改めて画像マッチングの使い方をおさらいすると、
- ①ウィンドウ識別名
- ②マッチ率
- ③アクション
- ④状態取得結果
主にこちらの4つを設定することになります。
おそらく当ブログをご覧になっている方は、これらの設定項目を利用して画像マッチングを完成させていくことはイメージできていると思うので、
ここからは「状態チェック」の基本と、実際に状態チェックで画像マッチングを設定した例を紹介したいと思います。
画像マッチングで状態チェック
そもそも状態チェックはどんなときに使う？
状態チェックはどんなときに登場するのか、今ひとつイメージできない方に向けて、個人的にこんな風に使っているという具体例をリスト化してみました。
- データ量が多いエクセルを開く・起動するまでの間、起動進捗を確認するため繰り返し状態チェック。
- FTPからデータをダウンロードするまでの間、ダウンロード進捗を確認するため繰り返し状態チェック。
- ブラウザでデータをアップロードするまでの間、「アップロード完了」という文字が出るまで繰り返し状態チェック。
他にも使っている場面があるのですが、より身近な例を参考に挙げてみました。
この中にみなさんの業務に関連性のあるものがあれば、以下の記事の内容はとても参考になると思いますので、最後まで読んでいただけると幸いです。
状態チェックは、次の作業に行くまでの待機時間を、節約するために使われることが多い気がするなあ。
状態チェックの使い方
状態チェックの使い方は非常に簡単です。
先程の基本のところで挙げた③アクション、②マッチ率、シナリオによっては④の状態取得結果も操作することになります。
②マッチ率
ウィンドウ識別名を設定したのち、マッチ率を設定します。
マッチ率のパーセントは、ケースバイケースなのですが僕は基本的には「90％」にセッティングしています。
これは状態チェックのみならず、それ以外のアクションでもだいたい「90％」にしていて、逆に100％に設定することはほぼありません。
③アクション
続いて「アクション」については「状態チェック」に設定。
④状態取得結果
そして状態取得結果については、画像マッチングの目的が「ただ画面の状態を確認するのみ」であり、特に必要なければ空欄でも問題ありません。
ただ実務上、状態チェックのアクションを用いるときには、たいていの場合のちほど紹介するような「繰り返し確認する」「条件分岐」で画面の状態を確認するような作業になると思います。
ですので分岐のために状態取得結果の設定方法も覚えておくことをおすすめします。
実際の導入例
ここからは実際に画像マッチングをシナリオに組み込んだ事例を紹介します。
このような流れで進めていきたいと思います。
エクセルを開く
まずは「Explorerでファイルを開く」にて対象となるエクセルファイルを開きましょう。
全然ほかのノードでも大丈夫です。画像マッチングでダブルクリックさせて開くのもよし、ここはみなさんそれぞれやりやすい方法で進めて大丈夫です。
状態チェックを繰り返す
データ量の多いエクセルを開くと、このように読み込みのパーセンテージが出て、しばらく読み込みに時間がかかりますよね。
もちろん「指定時間待機」で待つのもアリなのですが、ある程度余裕をもって時間指定しないといけないため、シナリオに無駄が発生してしまいます。
そこで…
読み込み画面が消えるまで、状態チェックを繰り返す
こういうシナリオを作っていきたいと思います。
それで実際作ったのがこちらのシナリオ。
「後判定繰返」の中に、状態チェックを仕込んだ画像マッチングを入れ込み、
読み込み画面が消えるまで繰り返し状態チェックをする。
そして読み込み画面が消えたら…この繰り返しを抜ける…というシナリオになります。
言葉で説明するとイメージが難しいので、画像マッチングの中身を見ていきましょうかね。
状態取得結果のところは、空の変数を入れましょう。
僕はわかりやすい変数名として「結果」としていますが、変数名はなんでも良いです。
これで「読み込み画面が消えたら（偽の場合）→後判定繰返を抜ける」という流れが完成しました。
別の言い方をすれば「画像マッチングが偽の場合→後判定繰返を抜ける」と表現しても良いかもしれません。
ここは非常に重要なポイントになります。
開いたら状態チェック終了
こちらが実行中の画面。読み込みが100％になってエクセルが開きましたら繰り返しを抜けるはずです。
指定時間待機のように、物理的に時間を待ったりすることもないので、より人間がやっているのに近い形で再現できるのが特徴です。
今まで無駄に指定時間待機をしていた…！という方はぜひ試してみて！
状態チェックでよくあがる質問
以上、状態チェックを実際に導入した事例を紹介していきました。
ここで２つ、状態チェック関連でよくあがる質問に答えていきたいと思います。
画像マッチングの解像度は？
１つ目は画像マッチングの解像度について。
画像マッチングは基本的に100％で設定されていますが、個人的には90％ぐらいがおすすめ。
100％だと同じ画面を読み取るのでも、ときどきエラーが出たりするんですよね。
どんなエラーが出やすい？
エラーについてはどちらかというとパソコン側の環境によってエラーが起こりやすい印象です。
例えば何らかの影響で起動が想定よりも早かったり、あるいは遅かったりして、画像マッチングが空振りしてしまったり。
ただそれ以外はあまり思いつかないので、比較的精度の高い機能だと思います。
コメント