特表 2024-509709 人工知能基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-05

(54)【発明の名称】人工知能基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法およびシステム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240227BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023547575

(86)(22)【出願日】2022-02-18

(85)【翻訳文提出日】2023-08-03

(86)【国際出願番号】 KR2022002418

(87)【国際公開番号】W WO2022177345

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】10-2021-0021501

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ

２．ＪＡＶＡＳＣＲＩＰＴ

３．ＭＡＣ ＯＳ

４．Ｌｉｎｕｘ

５．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】523296483

【氏名又は名称】インフォフラ インコーポレイテッド

【氏名又は名称原語表記】ＩＮＦＯＦＬＡ ＩＮＣ．

【住所又は居所原語表記】３８２， Ｇａｎｇｎａｍ－ｄａｅｒｏ Ｇａｎｇｎａｍ－ｇｕ Ｓｅｏｕｌ ０６２３２， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】チェ、イン ムク

(57)【要約】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法は、ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラを登録すること、スケジューラが登録されればウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジューラの登録を知らせること、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送すること、ＡＩスクリーンエージェントがウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、学習済みＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論した情報データを要請すること、ＡＩスクリーンが伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論すること、推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送すること、およびＡＩスクリーンエージェントが伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させることを含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法であって、
ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；
スケジューラにスケジュールが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；
上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；
ＡＩスクリーンエージェントがウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；
ＡＩスクリーンが伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；
推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送する段階；および
ＡＩスクリーンエージェントが伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含み、
ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項2】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項１に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項3】

１ステージ検出器は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、またはＹＯＬＯ、またはＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）である、
請求項２に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項4】

上記一つ以上のオブジェクトは、選択されることができるコンピュータ画面上のコンソールウィンドウ、Ｗｉｎｄｏｗｓのウィンドウ、チャットウィンドウ、選択されることができるリンク、選択されることができるボタン、情報の入力が可能なカーソル位置、ＩＤ入力位置、パスワード入力位置、検索バー入力位置のうち一つ以上である、
請求項１に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項5】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法であって、
ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；
スケジューラにスケジュールが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；
上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；
ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンでユーザＰＣの画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；
ＡＩスクリーンが画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；および
ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンで推論した一つ以上のオブジェクトの位置を基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含み、
ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項6】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項５に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項7】

１ステージ検出器は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、またはＹＯＬＯ、またはＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）である、
請求項６に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項8】

コンピュータを用いて請求項１～７のいずれか一項に係る画面上のオブジェクトにイベントを発生させる方法を遂行するようにプログラミングされたプログラムを保存したコンピュータ読み取り可能な記録媒体。

【請求項9】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステムであって、
上記システムは、ＡＩスクリーンエージェントを含むユーザＰＣ；および
ウェブ基盤ＩＴオペレーティング管理システムプラットホームを含むサーバ；を含み、
上記ＡＩスクリーンエージェントは、ウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録し、
上記サーバは、スケジューラにスケジュールが登録されれば、上記サーバ内のウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせ、上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送し、
上記ユーザＰＣのＡＩスクリーンエージェントは、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論した情報データを要請し、
上記ＡＩスクリーンは、伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論し、推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送し、そして、
上記ＡＩスクリーンエージェントは、伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させ、
学習済みＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステム。

【請求項10】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項９に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステム。

【請求項11】

コンピュータ内でＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる画面オブジェクト制御装置であって、
スケジュールを登録するスケジューラ登録部；および
ＡＩスクリーンエージェント；を含み、
スケジューラ登録部は、ＡＩスクリーンエージェント１１０にスケジュールの登録を知らせ、所定時間にコンピュータ内でスケジューラの開始を知らせ、
ＡＩスクリーンエージェントは、
コンピュータ画面上に表示されたオブジェクトの位置を学習させオブジェクトにイベントを発生させるために、コンピュータのディスプレイ装置から全体画面に関するデータおよび画面上に表示されたオブジェクトの位置データを収集するデータ収集部、
収集されたデータを基礎としてディープニューラルネットワークを介して学習させる人工知能モデル学習部、
人工知能モデル学習部で学習された結果を基礎として、画面内オブジェクトを検出する画面オブジェクト検出部、および
オブジェクト検出部で検出し分類した全体画面上のオブジェクト位置を基礎としてオブジェクトにイベントを発生させる画面オブジェクト制御部を含み、
上記人工知能モデル学習部から学習されたＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
画面オブジェクト制御装置。

【請求項12】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項１１に記載の画面オブジェクト制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能基盤の画面情報認知方法を利用して画面上のオブジェクトにイベントを発生させる方法およびシステムに関するものであり、より詳しくは、人工知能基盤の画面内容推論方法を利用してディスプレイ画面上でオブジェクトのイベントを発生させる方法およびシステムに関するものである。

【背景技術】

【0002】

ＲＰＡ（ロボットプロセス自動化）は、以前は人間がしていたルーティンタスクをソフトウェアロボットが代わりに行うことである。

【0003】

先行技術である韓国公開特許第１０－２０２０－０１２７６９５号公報は、チャットボットを通してＲＰＡに業務が伝達されると、ＲＰＡがＰＣ画面でウェブブラウザを駆動して情報を探し、これを再びチャットボットに伝達することができる。このとき、ＲＰＡがウェブブラウザの検索ウィンドウまたは検索ボタンなどを認識する方法は、ウェブスクリプト言語であるＨＴＭＬおよびＪＡＶＡＳＣＲＩＰＴのソースから予め学習済みの該当検索ウィンドウまたは検索ボタンのＣｌａｓｓ Ｉｄなどを探して画面に存在するかを確認し、もしあれば該当検索ウィンドウのＣｌａｓｓ Ｉｄに検索語などのテキストを入力し、検索ボタンのＣｌａｓｓ Ｉｄにマウスクリックイベントを入力してウェブブラウザを動作させる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】韓国公開特許第１０－２０２０－０１２７６９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところが、最近、保安およびＲＰＡ自動化への対抗のために、ＨＴＭＬのＣｌａｓｓ Ｉｄを毎回変える方式でウェブページを構成する事例がますます増えており、この場合、ＲＰＡが学習済みのＣｌａｓｓ Ｉｄを探すことができず認識および入力が不可能である。

【0006】

また、ウェブブラウザではなくＲＤＰ（Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ Ｐｒｏｔｏｃｏｌ）のように遠隔ターミナル形態のオペレーティングやＩｏＴなどのような非Ｗｉｎｄｏｗｓ ＯＳではＲＰＡ動作が不可能であるとの問題点があった。

【課題を解決するための手段】

【0007】

上述の課題を解決するための本発明の一実施例に係る画面を調整する方法および調整装置は、ＡＩ技術を基盤としてディスプレイ上の画面の画質または画面内容を推論して遂行されることができる。

【0008】

具体的に、ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法は、ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録すること、スケジュールが登録されればウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせること、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送すること、ＡＩスクリーンエージェントがウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論した情報データを要請すること、ＡＩスクリーンが伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論すること、推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送すること、およびＡＩスクリーンエージェントが伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させることを含むことができる。

【0009】

本発明の他の実施例において、学習済みＡＩモデルは、全体画面のイメージおよび全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力することができる。

【0010】

本発明の他の実施例において、ＡＩモデルは、一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であり得る。

【0011】

本発明の他の実施例において、上記一つ以上のオブジェクトは、選択されることができるコンピュータ画面上のコンソールウィンドウ、Ｗｉｎｄｏｗｓのウィンドウ、チャットウィンドウ、選択されることができるリンク、選択されることができるボタン、情報の入力が可能なカーソル位置、ＩＤ入力位置、パスワード入力位置、検索バー入力位置のうち一つ以上であり得る。

【0012】

本発明の他の実施例において、一つ以上のオブジェクトのうち一つはパスワード入力部であり得る。

【0013】

本発明の他の実施例において、ウェブ基盤ＩＴオペレーティング管理システムプラットホームはクラウドサーバに設けられることができる。

【0014】

本発明の他の実施例において、ユーザＰＣ１００にＡＩスクリーン２３０が含まれている場合で、ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法は、ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；スケジューラにスケジュールが登録されればウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンでユーザＰＣの画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；ＡＩスクリーンが画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；および、ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンで推論した一つ以上のオブジェクトの位置を基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含むことができ、ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力することができる。

【0015】

本発明の他の実施例において、コンピュータを利用して画面上のオブジェクトにイベントを発生させる方法を遂行するようにプログラミングされたプログラムがコンピュータ読み取り可能な記録媒体に保存されることができる。

【0016】

本発明の他の実施例において、ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステムは、ＡＩスクリーンエージェントを含むユーザＰＣ；および、ウェブ基盤ＩＴオペレーティング管理システムプラットホームを含むサーバ；を含み、ＡＩスクリーンエージェントはウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録し、サーバはスケジュールが登録されればサーバ内のウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせ、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送し、ユーザＰＣのＡＩスクリーンエージェントはウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論した情報データを要請し、ＡＩスクリーンは伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論し、推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送し、そしてＡＩスクリーンエージェントは伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させることができる。

【0017】

この他にも、本発明を具現するための他の方法、他のシステムおよび方法を実行するためのコンピュータプログラムがさらに提供されることができる。

【0018】

上述以外の他の側面、特徴、利点が以下の図面、特許請求の範囲および発明の詳細な説明から明確になるはずである。

【発明の効果】

【0019】

本発明は、既存のＲＰＡの問題点を解決するために、データ学習部ではＰＣなど多様なデバイスの画面関連データ、すなわち、ブラウザ、検索ウィンドウ、検索ボタンなど画面上に現われ得る多様なオブジェクトデータを学習して認識することができるＡＩスクリーンモデルを生成することができる。

【0020】

サーバでスケジューラが一定時間に動作して、ユーザ端末、ノートパソコン、デスクトップパソコンにプログラムまたはアプリケーション形態で実行される人工知能エージェントにウェブソケットなどのＴＣＰ／ＩＰソケット通信で実行を指示することができ、人工知能エージェント自身の画面写真をサーバまたは自身のＰＣに位置したＡＩスクリーンモデルに伝送して、学習済みモデルを通して所望のオブジェクトを予測することができる。

【0021】

予測されたデータ値を人工知能エージェントにソケット通信で伝送してユーザＰＣ画面の座標上でテキストデータ入力またはマウスボタンクリックなどを入力制御して処理することができ、画面認識と画面座標入力制御を繰り返して人間がユーザＰＣなどの画面で遂行する作業を人工知能が自動で遂行することができる。

【0022】

本発明を利用すれば、期待するブラウザ、イメージ、入力ウィンドウなどのオブジェクトが画面にあるか画面写真で判断することにより、ウェブ、Ｃｏｍｍａｎｄ Ｌｉｎｅ、ＲＤＰ（Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ Ｐｒｏｔｏｃｏｌ）などの環境を全てサポートすることができ、画面の座標を利用して直接テキストデータ入力、ボタンクリックなどが可能であるため、大部分の環境で入力が可能である。したがって、ＰＣ、ＩｏＴ、Ｃｏｎｎｅｃｔｅｄ Ｃａｒ端末機、キオスクなどネットワークに連結された画面を利用する大部分の装備で画面を認識し、入力制御することができる。

【0023】

本発明は、画面認知人工知能技術が画面中の多様なプログラムのオブジェクトを学習させることができるという長所がある。ＲＰＡが製品別の特徴によってサポートする環境（ウェブ、ＣＬＩ、ＲＤＰなど）に制約があるのに対して、画面認知人工知能技術は画面に現われるすべてのオブジェクトを認知することが可能である。また、ＲＰＡがブラウザ内のインプットボックスやボタンなどのオブジェクトを探すためにはアンカーと呼ばれる基準値が必要であるが、画面認知人工知能技術はアンカーなしにオブジェクトを直接認識してアクセスすることができる。

【0024】

既存のＲＰＡは、ＰＣで業務自動化という特性上ウェブを主に使用することになり、ウェブを迅速によりよく理解するためにｈｔｍｌ内でテキスト検索を主に行う。しかし、保安ｈｔｍｌのようにｈｔｍｌが変わると、既存のＲＰＡは作動するという問題点があった。本発明の画面認知人工知能技術を使用すれば、保安ｈｔｍｌのようにｈｔｍｌが変わっても、保安ｈｔｍｌを検索せず画面でオブジェクト認識が可能である。また、Ｗｅｂ、Ｗｉｎｄｏｗｓ、Ｍａｃ ＯＳ、ＬｉｎｕｘのようにオペレーティングシステムにかかわらずＯＳが提供する画面を見て認識するため、本発明の人工知能を利用した画面オブジェクト認識技術は作動可能である。

【0025】

また、ＲＤＰの場合、ＲＰＡは特定のＲＤＰ製品のＡＰＩを利用して画面中のオブジェクト情報を得るのに対して、画面認知人工知能技術は何らのＲＤＰ製品のＡＰＩも必要とすることなく画面中のオブジェクトを認識することができる。

【0026】

本発明を利用すれば、画面オブジェクトの連続的な認識および画面座標への文字／ボタン入力を通して人間が作業する一連の行為を自動化することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施例に係る画面オブジェクト制御システムの例示図である。

【図2】本発明の一実施例に係るＡＩスクリーンエージェントのブロック図である。

【図3】本発明の一実施例に係る画面オブジェクト制御過程のフローチャートである。

【図4】図１の画面のオブジェクトの位置を推論する人工知能スクリーン学習モデルを学習させるためのフローチャートである。

【図5】ブラウザ画面で学習済み人工知能モデルを通してオブジェクトの位置を推論した結果を示した例示図である。

【図6】ＰＣデスクトップで学習済み人工知能モデルを通してオブジェクトの位置を推論した結果を示した例示図である。

【図7a】図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させる画面を示した例示図である。

【図7b】図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させる画面でオブジェクトにラベリングをした例示図である。

【図7c】図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させた後、オブジェクトを実際認識した結果の例示図である。

【図7d】図７ａの学習させる画面からＭａｓｋ－ＲＣＮＮを適用して学習させる過程を示した例示図である。

【発明を実施するための形態】

【0028】

本発明の利点および特徴、並びにそれらを達成する方法は、添付図面と共に詳しく説明される実施例を参照すれば明確となるはずである。しかし、本発明は、下記に提示される実施例に限定されるものではなく、互いに異なる多様な形態で具現されることができ、本発明の思想および技術範囲に含まれるあらゆる変換、均等物ないし代替物を含むものと理解されなければならない。下記に提示される実施例は、本発明の開示を完全にするものであり、本発明の属する技術分野において通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものである。本発明の説明にあたって関連する公知技術に関する具体的な説明が本発明の要旨を不明瞭にする可能性があると判断される場合、その詳しい説明を省略する。

【0029】

本出願で使用された用語は、単に特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なる意味を示さない限り、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書上に記載の特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないことと理解されなければならない。第１、第２などの用語は、多様な構成要素を説明するにあたって使われることができるが、構成要素は上記用語によって限定されてはならない。上記用語は一つの構成要素を他の構成要素から区別する目的でのみ使われる。

【0030】

以下、本発明による実施例を添付図面を参照して詳しく説明することにし、添付図面を参照して説明するにあたって、同一の又は対応する構成要素は同一の図面番号を付与し、これについて重複する説明は省略することにする。

【0031】

図１は、本発明の一実施例に係る画面オブジェクト制御システムの例示図である。

【0032】

画面オブジェクト制御システムは、ユーザＰＣ１００およびサーバから構成されることができる。

【0033】

ユーザＰＣ１００は、ディスプレイに表示されるユーザＰＣ画面１２０およびＡＩスクリーンエージェント（Ａｇｅｎｔ）１１０を含むことができる。ＡＩスクリーンエージェント（Ａｇｅｎｔ）１１０は、ＡＩウェブソケット１１２を含むことができる。

【0034】

ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００は、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のホームページ２１０、ＡＩウェブソケット２２２、ＡＩスクリーン２３０を含むことができる。ＡＩスクリーン２３０は、学習済みＡＩモデル２３２を含むことができる。

【0035】

本発明の他の実施例において、ユーザＰＣ１００のコンピューティングパワーが十分な場合、ＡＩスクリーン２３０はユーザＰＣ１００に含まれることができる。

【0036】

本発明で「オブジェクト」は、画面においてマウスやキーボードなどの入力装置で活性化させることができる画面上のあらゆる対象を意味する。このような画面上のオブジェクトは、人工知能モデルに学習させる対象になり得る。例えば、ユーザがＰＣ画面上で使用するプログラムウィンドウ、チャットウィンドウの入力ウィンドウ、ブラウザの検索ウィンドウであるか、ログインボタンおよび加入ボタンなどの各種ボタンであるか、またはロゴ、ＩＤ、パスワード、会社名などの特定文字や記号であり得る。本発明で「オブジェクト」の「制御」と言えば、プログラムウィンドウの活性化、チャットウィンドウに入力事項入力、ブラウザウィンドウの検索バー入力、ＩＤ入力、パスワード入力、会社名入力をしてオブジェクトのイベントを発生させるあらゆる行為を示す。

【0037】

サーバは、クラウドサーバであってもよく、一般的な独立サーバであってもよい。ＩＴＯＭＳは、（株）ｉｎｆｏｆｌａのウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００である。

【0038】

ユーザＰＣ１００は、自動でまたはユーザのスケジューラボタン２１２のクリックでサーバのウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００に接続してスケジューラを登録することができる（Ｓ３０２）。

【0039】

スケジューラが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩウェブソケット２２２にスケジューラの登録を知らせることができる（Ｓ３０４）。

【0040】

上記ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩウェブソケット２２２から所定時間にユーザＰＣ１００のＡＩスクリーンエージェント（Ａｇｅｎｔ）１１０にあるＡＩウェブソケット１１２に通信を介してスケジューラの開始を知らせるデータを伝送することができる（Ｓ３０６）。

【0041】

ＡＩスクリーンエージェント１１０は、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩスクリーン２３０にユーザＰＣの画面１２０イメージを伝送し、学習済みＡＩモデル２３２を含むＡＩスクリーン２３０から画面上のオブジェクトの位置を推論した情報データを要請することができる（Ｓ３０８）。学習済みＡＩモデルは、全体画面のイメージおよび上記全体画面のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面でオブジェクトのイベントを発生させるオブジェクト位置を推論するオブジェクト位置探索モデルであり得る。一般的に、ＡＩ学習データの構築のためには学習データの収集が必要である。このような学習データの収集は、例えば、ＰＣ画面イメージを集めた後、アノテーションツールで主要オブジェクトにバウンディングボックスを作り、ラベリング作業をして収集することができる。例えば、Ｇｏｏｇｌｅ検索サイトウェブ画面でＧｏｏｇｌｅ検索ウィンドウにボックスを作り、Ｇｏｏｇｌｅ検索ウィンドウとラベリングして、Ｇｏｏｇｌｅ検索サイト全体画面データおよびＧｏｏｇｌｅ検索ウィンドウのオブジェクトに対するラベルデータを収集することができる。

【0042】

伝送された画面イメージからＡＩスクリーン２３０の学習済みＡＩモデル２３２を通して画面のオブジェクトの位置を推論することができる（Ｓ３１０およびＳ３１２）。

【0043】

ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００は、推論されたオブジェクトの位置に関する情報データをＡＩスクリーンエージェント１１０のＡＩウェブソケット１１２に通信を介して伝送することができる（Ｓ３１４）。

【0044】

伝送されたデータを基に、例えば、ＡＩスクリーンエージェント１１０を通してユーザＰＣの画面１２０でオブジェクトに対するイベントを発生させることができる（Ｓ３１６）。

【0045】

本発明の他の実施例において、ユーザＰＣ１００にＡＩスクリーン２３０が含まれることができる。この場合、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００にデータを伝送せず、自体的にＡＩスクリーン学習モデルを生成することができる。ユーザＰＣ１００にＡＩスクリーン２３０が含まれた場合において、ＡＩスクリーンエージェント１１０がウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩスクリーン２３０にユーザＰＣの画面１２０のイメージを伝送し、学習済みＡＩモデル２３２を含むＡＩスクリーン２３０から画面上のオブジェクトの位置を推論した情報データを要請する段階（Ｓ３０８）およびウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００が推論されたオブジェクトの位置に関する情報データをＡＩスクリーンエージェント１１０のＡＩウェブソケット１１２に通信を介して伝送する段階（Ｓ３１４）は、その対象がクラウドサーバ２００内のＩＴＯＭＳ ＡＩスクリーン２３０からユーザＰＣ１００内のＩＴＯＭＳ ＡＩスクリーンに変更され、ＡＩスクリーンエージェント１１０のＩＴＯＭＳ ＡＩスクリーンは、下記図２のデータ収集部１３１、人工知能モデル学習部１３２、およびオブジェクト検出部１３３がＩＴＯＭＳ ＡＩスクリーン２３０の機能と同一の機能を遂行する。

【0046】

ユーザＰＣ１００にＡＩスクリーン２３０が含まれた場合において、ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法は、ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；スケジューラにスケジュールが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンでユーザＰＣの画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；ＡＩスクリーンが画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；およびＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンで推論した一つ以上のオブジェクトの位置を基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含むことができ、ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力することができる。

【0047】

図２は、本発明の一実施例に係るＡＩスクリーンエージェントのブロック図である。

【0048】

画面オブジェクト制御システムは、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００なしにユーザＰＣ１００内に画面オブジェクト制御装置で構築されることができる。

【0049】

画面オブジェクト制御装置は、スケジューラ登録部（図示せず）およびＡＩスクリーンエージェント１１０を含み、ＡＩスクリーンエージェント１１０は、画面上に表示されたオブジェクトの位置を学習させ、オブジェクトにイベントを発生させる機能を含むことができる。ＡＩスクリーンエージェント１１０は、自体的にオブジェクトの位置を学習させるために、ディスプレイ装置から全体画面に関するデータを収集するデータ収集部１３１、収集されたデータを基礎としてディープニューラルネットワークを介して学習させる人工知能モデル学習部１３２、画面オブジェクト検出部１３３を含むことができる。ＡＩスクリーンエージェント１１０は、画面オブジェクト制御部１３４、映像画面関連データ、学習データなど各種データを保存するメモリ１０２、サーバまたは外部装置と通信する通信部１０３、および入力／出力調整部１０４を含むことができる。

【0050】

スケジュールを登録するスケジューラ登録部は、ＡＩスクリーンエージェント１１０にスケジューラの登録を知らせ、所定時間にユーザＰＣ１００でスケジューラの開始を知らせる機能をする。

【0051】

スケジューラ登録部の知らせによって、ＡＩスクリーンエージェント１１０のデータ収集部１３１は、ディスプレイ上のＰＣ画面１２０上の全体画面に係るデータを収集することができる。オブジェクト検出部１３３は、学習済み人工知能学習モデルを通して収集されたデータについて、上記全体画面上でオブジェクトの位置を検出（ｄｅｔｅｃｔ）することができる。

【0052】

人工知能モデル学習部１３２は、ＰＣ画面のイメージ、およびＰＣ画面のイメージにラベリングされたオブジェクトの特定位置を学習用データ（または学習データセット）として、全体画面上でオブジェクトの位置を推論するように学習させる。人工知能モデル学習部１３２は、ＮＰＵのような並列処理に特化したプロセッサを含むことができる。人工知能モデル学習部１３２は、オブジェクト位置学習のためにメモリ１０２に学習用データを保存した後、ＮＰＵがメモリ１０２と協業してオブジェクト位置を学習させて、オブジェクト検出部１３３に学習済みＡＩモデルを生成し、新たな学習用データが収集されれば、特定時期にまたは周期的に学習させて人工知能学習モデルを持続的に改善させることができる。

【0053】

本発明の一実施例において、人工知能モデル学習部１３２は、一旦オブジェクト検出部１３３に学習済み人工知能モデルが生成されれば、データ収集部１３１で新たな学習用データが収集される前まで機能を停止することができる。この場合、データ収集部１３１および収集された人工知能モデル学習部１３２は機能を停止し、ユーザＰＣ画面から受信された画面イメージをすぐオブジェクト検出部１３３に伝達することができる。新たな人工知能モデル学習部１３２は、教師あり学習を利用して人工知能モデルを生成するが、教師なし学習、または強化学習を利用して一つ以上のオブジェクトを学習させることができる。

【0054】

オブジェクト検出部１３３は、人工知能モデル学習部１３２で学習済み人工知能モデルを通して、画面上に所望のオブジェクトがあるか否かおよび一つのオブジェクトの位置を検出し、複数個のオブジェクトの位置を検出することができる。学習済みＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する。本発明の他の実施例において、上述のように、オブジェクト検出部１３３は、サーバから伝送された学習済み人工知能モデルを通してユーザＰＣの画面１２０上のオブジェクト位置を検出および分類するように構成されることができる。

【0055】

オブジェクト制御部１３４は、オブジェクト検出部１３３で検出し分類した全体画面上のオブジェクト位置を基礎としてオブジェクトにイベントを発生させることができる。オブジェクト制御部１３４は、画面オブジェクトの連続的な認識および画面座標への文字／ボタン入力を通して人間が作業する一連の行為を自動化するように制御することができる。例えば、オブジェクト制御部１３４は、図５のようにブラウザ上の検索バー４０１を検出し、所望の検索クエリを検索するイベントを発生させることができる。また、オブジェクト制御部１３４は、図６のようにＰＣデスクトップ上の複数個のプログラムウィンドウでログイン４１０のチャットウィンドウを検出し、ＩＤおよびパスワードの入力位置、および検索ウィンドウブラウザ上の検索バー４０１の位置、各種ボタンなどを検出し、所望の会社名４２０、ＩＤ４３０、およびパスワード４４０を入力するか、または検索クエリを検索するイベントを発生させることができる。

【0056】

ＡＩスクリーンエージェント１１０がユーザ端末、ノートパソコン、デスクトップパソコンにプログラムまたはアプリケーション形態で実行される方法で含まれているならば、ＡＩスクリーンエージェント１１０は通信部１０３を介してユーザ端末、ノートパソコン、デスクトップパソコンの通信部１０３を用いてサーバのような外部機器と通信することができる。

【0057】

他の実施例において、ＡＩスクリーンエージェント１１０は、ユーザＰＣの外部にあるウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してウェブ基盤ＩＴオペレーティング管理システムプラットホームから学習済みオブジェクト位置情報データを受信し画面上のオブジェクトに対するイベントを発生させることができる。この場合、データ収集部１３１、人工知能モデル学習部１３２、およびオブジェクト検出部１３３を使用せず、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００がデータ収集部１３１、人工知能モデル学習部１３２、およびオブジェクト検出部１３３を含んで、ＡＩスクリーンモデル学習を進行し、ＡＩスクリーンエージェント１１０は通信部１０３を介してウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００にユーザＰＣ画面イメージを伝送し、オブジェクト位置情報データを受信してオブジェクトに対するイベントを発生させることができる。

【0058】

図３は、本発明の一実施例に係る画面オブジェクト制御過程のフローチャートである。

【0059】

ユーザＰＣ１００などのような画面認識を望む端末機でＡＩスクリーンのオブジェクト制御を開始すると（Ｓ２００）、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００を自動でまたはユーザのスケジューラボタン２１２のクリックでサーバウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００に接続してスケジューラを登録することができる（Ｓ２０２）。

【0060】

スケジューラが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩウェブソケット２２２にスケジューラの登録を知らせることができる。スケジューラの登録によってウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００は所定時間に動作し（Ｓ２０４）、所定のスケジューラ機能を実行し（Ｓ２０６）、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩウェブソケット２２２から所定時間にユーザＰＣ１００のＡＩスクリーンエージェント（Ａｇｅｎｔ）１１０のＡＩウェブソケット１１２に通信を介してスケジューラの開始を知らせるデータを伝送することができる。

【0061】

ＡＩスクリーンエージェント１１０は、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩスクリーン２３０にユーザＰＣの画面１２０のイメージを伝送し、学習済みＡＩモデル２３２を含むＡＩスクリーン２３０から画面上のオブジェクトの位置を推論した情報データを要請することができる。

【0062】

ＰＣ１００からイメージ認識データ要請があるかを判断し（Ｓ２０８）、ＰＣ１００からイメージ認識データの要請があれば、データ要請が完了するまで（Ｓ２１２）、伝送された画面イメージからＡＩスクリーン２３０の学習済みＡＩモデル２３２を通して画面のオブジェクトの位置を推論することができ、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００は、推論されたオブジェクトの位置に関する情報データをＡＩスクリーンエージェント１１０のＡＩウェブソケット１１２に通信を介して伝送することができ、ＰＣ１００のＡＩスクリーンエージェント１１０は伝送されたデータを基にユーザＰＣの画面１２０でオブジェクトに対するイベントを発生させて、テキストまたはマウス入力イベントを処理する（Ｓ２１４）。

【0063】

ＰＣ１００からイメージ認識データの要請がなければ、与えられた過程すべての処理完了時またはエラー時にログを作成し（Ｓ２１６）、ＡＩスクリーン２３０のオブジェクト制御を終了する。

【0064】

図４は、図１の画面のオブジェクトの位置を推論する人工知能スクリーン学習モデルを学習させるためのフローチャートである。

【0065】

図４を参照すれば、ＡＩスクリーンエージェント１１０またはＡＩスクリーン２３０で画面上のオブジェクト位置を推論するための人工知能モデル学習が開始して進行する（Ｓ１００）。人工知能モデルの学習は、教師あり学習、教師なし学習および強化学習のうちいずれか一つの形態で遂行されることができる。

【0066】

ユーザＰＣ画面１２０上の画面イメージに係るデータおよび上記データにオブジェクト位置をラベリングしたデータを含む人工知能モデル学習用データで人工知能モデル学習が進行し（Ｓ１１０）、学習が完了すれば、ＡＩスクリーン学習モデルを生成する（Ｓ１２０）。ＡＩスクリーンエージェント１１０またはＡＩスクリーン２３０のデータ収集部１３１は、一定周期で画面イメージデータ値および上記画面イメージデータ値に対してラベリングされたオブジェクト位置を人工知能学習用データおよびテスト用データとして生成することができる。学習用データおよびテスト用データの割合は、データ量によって異なってよく、一般的に７：３の割合に定めることができる。学習用データの収集および保存は、オブジェクト別に収集して保存することができ、実際使用画面をキャプチャアプリケーションを通して収集することができる。このような学習データの収集および保存は、サーバ２００で画面イメージを取りまとめて保存することができる。人工知能モデル学習用データは、正確な学習結果を得るためにデータ前処理およびデータ増強過程を経ることができる。図５のような結果を得るために、人工知能モデル学習は、ブラウザのサイトに表示されたユーザＰＣ画面１２０上の画面イメージデータ値を入力データとし、検索ウィンドウおよびクリック可能なアイコンなどオブジェクトの位置をラベリングしたデータを出力データとして学習データセットを構成して進行されることができる。

【0067】

人工知能モデル、例えば、Ｍａｓｋ－ＲＣＮＮやＳＳＤのような人工ニューラルネットワークは、教師あり学習を通して収集された学習データを利用して全体画面上でオブジェクトの位置が学習される（Ｓ１００）。本発明の一実施例において、ディープラーニング基盤の画面分析機が使用されることができ、例えば、人工知能プログラミングに使用される人工知能言語ライブラリであるＴｅｎｓｏｒＦｌｏｗまたはＫｅｒａｓのＭｏｂｉｌｅＮｅｔＶ１／ＭｏｂｉｌｅＮｅｔＶ２基盤で人工知能学習モデルをチューニングして使用することができる。

【0068】

ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）はディープニューラルネットワークの最も代表的な方法で、イメージを小さな特徴から複雑な特徴に特徴化する。ＣＮＮは、一つまたは複数個の畳み込み層と、その上に積み上げられた一般的な人工ニューラルネットワーク層とからなり、畳み込み層で前処理を行う構造を有する人工ニューラルネットワークである。例えば、人の顔のイメージをＣＮＮを通して学習させるために、一番先にフィルタを用いて簡単な特徴を抜き出して一つの畳み込み層を作り、この特徴からより複雑な特徴を抽出する新たな層、例えばプーリング層を追加する。畳み込み層は、畳み込み演算を通して特徴を抽出する層であり、規則的なパターンを有する乗算を行う。プーリング層は、入力空間を抽象化する層であり、サブサンプリングを通してイメージの次元を縮小する。例えば、２８ｘ２８サイズの顔イメージをストライドが１である４個のフィルタを使ってそれぞれ２４ｘ２４の特徴マップを作り、サブサンプリング（またはプーリング）で１２ｘ１２に圧縮することができる。その次の層で８ｘ８サイズで１２個の特徴マップを作り、再び４ｘ４にサブサンプリングをして、最終的に１２ｘ４ｘ４＝１９２の入力を有するニューラルネットワークとして学習してイメージを検出することができる。このように複数個の畳み込み層を連結してイメージの特徴を抜き出し、最終的に既存のような誤差逆伝搬ニューラルネットワークを用いて学習をさせることができる。ＣＮＮの長所は、人工ニューラルネットワーク学習を通してイメージの特徴を特徴化するフィルタを自ら作るということである。

【0069】

オブジェクト検出（Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，客体検出）とは、コンピュータビジョンの下位分野のうちの一つであり、全体デジタルイメージおよびビデオ内で有意味な特定客体を感知する作業を行う。このようなｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎは、Ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ（イメージ検索）、Ｉｍａｇｅ ａｎｎｏｔａｔｉｏｎ（イメージ注釈）、Ｆａｃｅ ｄｅｔｅｃｔｉｏｎ（顔検出）、Ｖｉｄｅｏ Ｔｒａｃｋｉｎｇ（ビデオトラッキング）など多様な分野の問題を解決するために使われることができる。本発明でｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎは、一画面（またはイメージ）内にｏｂｊｅｃｔとして分類したオブジェクト（客体）に対して、どの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のｏｂｊｅｃｔがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるものである。

【0070】

ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎは二つで構成される。一つ目はｏｂｊｅｃｔ自体が存在する位置を探し出すｌｏｃａｌｉｚａｔｉｏｎであり、二つ目は該当ｌｏｃａｌに存在するｏｂｊｅｃｔが何か確認するｃｌａｓｓｉｆｉｃａｔｉｏｎである。一般的にｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎのディープラーニングネットワークは、２－Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒと１－Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒとに区分される。簡単に言えば、ｌｏｃａｌｉｚａｔｉｏｎとｃｌａｓｓｉｆｉｃａｔｉｏｎが別に行われれば２－Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒであり、同時に行われれば１－Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒである。２－Ｓｔａｇｅでは、まずｏｂｊｅｃｔがあると思う領域を選択し、その領域それぞれに対してｃｌａｓｓｉｆｉｃａｔｉｏｎをする。１－Ｓｔａｇｅでは、この過程が同時に行われるため、速度がより早いとの長所がある。元々、２－Ｓｔａｇｅと１－Ｓｔａｇｅとでは、２－Ｓｔａｇｅは正確度が高いが遅く、１－Ｓｔａｇｅは早いが２－Ｓｔａｇｅよりは正確度が低いということで区分されていたが、最近は、１－Ｓｔａｇｅ方法が２－Ｓｔａｇｅの正確度に追い付くにつれて１－Ｓｔａｇｅ方法が脚光を浴びている。Ｒ－ＣＮＮは、ＣＮＮにＲｅｇｉｏｎ Ｐｒｏｐｏｓａｌを追加して物体がありそうな所を提案し、その区域でｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎをする２－ステージディテクタ（２ Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒ）系列のアルゴリズムである。Ｒ－ＣＮＮ系列モデルは、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｍａｓｋ Ｒ－ＣＮＮの計４種類がある。Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮはいずれもＯｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎのためのモデルである。Ｍａｓｋ Ｒ－ＣＮＮは、Ｆａｓｔｅｒ Ｒ－ＣＮＮを拡張してＩｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎに適用しようとするモデルである。Ｍａｓｋ Ｒ－ＣＮＮは、Ｆａｓｔｅｒ Ｒ－ＣＮＮに各ピクセルが客体であるか否かをｍａｓｋｉｎｇするＣＮＮを追加したものである。Ｍａｓｋ Ｒ－ＣＮＮは、ＣＯＣＯ ｃｈａｌｌｅｎｇｅｓのすべてのｔａｓｋで以前のモデルよりも優れた性能を示すものとして知られている。図７ｄは、図７ａの学習させる画面からＭａｓｋ－ＲＣＮＮを適用して学習させる過程を例示する。

【0071】

ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、ＹＯＬＯ、ＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）などは、１－ステージディテクタ（１ Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒ）系列のアルゴリズムである。１－ステージディテクタ（１ Ｓｔａｇｅ Ｄｅｔｅｃｔｏｒ）系列のアルゴリズムは、物体がありそうな区域提示とｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎを分けずに同時に実行するため実行速度が早いという長所があることから、本発明の実施例では適用対象に応じて１－ステージディテクタまたは２－ステージディテクタを使用することができる。

【0072】

ＹＯＬＯは、２－Ｓｔａｇｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎモデルの遅いという短所を解決した最初のｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒである。ＹＯＬＯでは、ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒを通してｆｅａｔｕｒｅ ｍａｐを抽出し、ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒを経てすぐにｂｏｕｎｄｉｎｇ ｂｏｘとｃｌａｓｓ ｐｒｏｂａｂｉｌｉｔｙを予測することができる。また、ＹＯＬＯではｉｎｐｕｔイメージをＳｘＳ ｇｒｉｄに分け、各ｇｒｉｄ領域に該当するｂｏｕｎｄｉｎｇ ｂｏｘとｃｏｎｆｉｄｅｎｃｅ、ｃｌａｓｓ ｐｒｏｂａｂｉｌｉｔｙ ｍａｐを求めることができる。

【0073】

ＹＯＬＯではイメージをｇｒｉｄで分けて各領域に対してｂｏｕｎｄｉｎｇ ｂｏｘを予測したならば、ＳＳＤはＣＮＮ ｐｙｒａｍｉｄａｌ ｆｅａｔｕｒｅ ｈｉｅｒａｒｃｈｙを利用して予測することができる。ＳＳＤでは、ｉｍａｇｅ ｆｅａｔｕｒｅを多様な位置のｌａｙｅｒで抽出してｄｅｔｅｃｔｏｒとｃｌａｓｓｉｆｉｅｒを適用することができる。ＳＳＤは、ＹＯＬＯよりも学習速度および認識速度や正確度の側面でより高い性能を示した。ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるための学習モデルに適用されたＭａｓｋ ＲＣＮＮ、ＹＯＬＯ、およびＳＳＤの性能を比較すると、Ｍａｓｋ ＲＣＮＮは分類および位置探し正確度が相対的に高いが学習速度およびオブジェクト認識速度が相対的に遅く、ＹＯＬＯは分類および位置探し正確度が相対的に低いが学習速度およびオブジェクト認識速度が早く、ＳＳＤは分類および位置探し正確度が相対的に早く、学習速度およびオブジェクト認識速度も早かった。

【0074】

ＤＳＳＤは、既存のＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｏｔｒ）において性能向上のために、Ｃｏｎｔｅｘｔ特徴を付加しようとＤｅｃｏｎｖｏｌｕｔｉｏｎ演算を追加した。既存のＳＳＤにＤｅｃｏｎｖｏｌｕｔｉｏｎ演算を追加することにより、速度を相対的に維持しながら検出性能を高めようとした。特に、小さな客体（ｓｍａｌｌ ｏｂｊｅｃｔ）に対してＳＳＤの前部分で使われたＶＧＧ ｎｅｔｗｏｒｋをＲｅｓｎｅｔ基盤のＲｅｓｉｄｕａｌ－１０１に交替し、ネットワークでテストするとき、バッチ正規化過程を除去することによりテスト時間を１．２～１．５倍減らした。

【0075】

学習済み人工知能モデルの評価を通して人工知能モデルが生成される。学習済み人工知能モデルの評価は、テスト用データを使って遂行される。本発明の全体で「学習済み人工知能モデル」は、学習用データを学習させ生成された特別な言及がなくてもテスト用データを通してテストした後、学習されたモデルを決定したことを意味する。

【0076】

人工ニューラルネットワークは、生物学的ニューロンの動作原理とニューロン間の連結関係をモデリングしたものであり、ノード（ｎｏｄｅ）または処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）という多数のニューロンがレイヤ（ｌａｙｅｒ）構造の形態で連結された情報処理システムである。

【0077】

人工ニューラルネットワークは、機械学習で使われるモデルであり、機械学習と認知科学で生物学のニューラルネットワーク（動物の中枢神経系のうち特に脳）からインスピレーションを得た統計学的学習アルゴリズムである。

【0078】

具体的に、人工ニューラルネットワークは、シナプス（ｓｙｎａｐｓｅ）の結合でネットワークを形成した人工ニューロン（ノード）が学習を通してシナプスの結合強度を変化させて、問題解決能力を有するモデル全般を意味することができる。

【0079】

用語「人工ニューラルネットワーク」は、用語「ニューラルネットワーク」（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と混用使用可能である。

【0080】

人工ニューラルネットワークは、複数の層（ｌａｙｅｒ）を含むことができ、層それぞれは複数のニューロン（ｎｅｕｒｏｎ）を含むことができる。また、人工ニューラルネットワークは、ニューロンとニューロンとを連結するシナプスを含むことができる。

【0081】

人工ニューラルネットワークは、一般的に次の３つの因子、すなわち、（１）異なる層のニューロン間の連結パターン、（２）連結の加重値を更新する学習過程、（３）以前の層から受信される入力に対する加重和から出力値を生成する活性化関数によって定義されることができる。

【0082】

人工ニューラルネットワークは、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＢＲＤＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、およびＭａｓｋ－ＲＣＮＮのような方式のネットワークモデルを含むことができるが、ここに限定されるものではない。

【0083】

本明細書で用語「レイヤ」は、用語「層」と混用使用可能である。

【0084】

人工ニューラルネットワークは、層数に応じて、単層ニューラルネットワーク（Ｓｉｎｇｌｅ－Ｌａｙｅｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）と多層ニューラルネットワーク（Ｍｕｌｔｉ－Ｌａｙｅｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）とに区分される。

【0085】

一般的な単層ニューラルネットワークは、入力層と出力層とで構成される。

【0086】

また、一般的な多層ニューラルネットワークは、入力層（Ｉｎｐｕｔ Ｌａｙｅｒ）と一つ以上の隠れ層（Ｈｉｄｄｅｎ Ｌａｙｅｒ）と出力層（Ｏｕｔｐｕｔ Ｌａｙｅｒ）とで構成される。

【0087】

入力層は外部の資料を受け入れる層であり、入力層のニューロン数は入力される変数の数と同一であり、隠れ層は入力層と出力層との間に位置し、入力層から信号を受け取って特性を抽出して出力層に伝達する。出力層は、隠れ層から信号を受け取り、受信した信号に基づいた出力値を出力する。ニューロン間の入力信号はそれぞれの連結強度（加重値）と掛けられた後、合算され、この和がニューロンの臨界値よりも大きければニューロンが活性化されて活性化関数を通して受信した出力値を出力する。

【0088】

一方、入力層と出力層との間に複数の隠れ層を含むディープニューラルネットワークは、機械学習技術の一種であるディープラーニングを具現する代表的な人工ニューラルネットワークであり得る。

【0089】

一方、用語「ディープラーニング」は、用語「深層学習」と混用使用可能である。

【0090】

人工ニューラルネットワークは、訓練データ（ｔｒａｉｎｉｎｇ ｄａｔａ）を利用して学習（ｔｒａｉｎｉｎｇ）することができる。ここで、学習とは、入力データを分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）したり、回帰分析（ｒｅｇｒｅｓｓｉｏｎ）したり、群集化（ｃｌｕｓｔｅｒｉｎｇ）したりするなどの目的を果たすために、学習データを利用して人工ニューラルネットワークのパラメータ（ｐａｒａｍｅｔｅｒ）を決定する過程を意味することができる。人工ニューラルネットワークのパラメータの代表的な例として、シナプスに付与される加重値（ｗｅｉｇｈｔ）やニューロンに適用される偏向（ｂｉａｓ）が挙げられる。

【0091】

訓練データによる学習済み人工ニューラルネットワークは、入力データを入力データが有するパターンによって分類または群集化することができる。

【0092】

一方、訓練データを利用した学習済み人工ニューラルネットワークを、本明細書では学習モデル（ａ ｔｒａｉｎｅｄ ｍｏｄｅｌ）と称することができる。

【0093】

次は、人工ニューラルネットワークの学習方式について説明する。

【0094】

人工ニューラルネットワークの学習方式は、大きく、教師あり学習、教師なし学習、半教師あり学習（Ｓｅｍｉ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）に分類されることができる。

【0095】

教師あり学習は、訓練データから一つの関数を類推するための機械学習の一方法である。

【0096】

そして、このように類推される関数のうち、連続的な値を出力することを回帰分析（Ｒｅｇｒｅｓｓｉｏｎ）といい、入力ベクタのクラス（ｃｌａｓｓ）を推論して出力することを分類（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ということができる。

【0097】

教師あり学習では、訓練データに対するラベル（ｌａｂｅｌ）が付けられた状態で人工ニューラルネットワークを学習させる。

【0098】

ここで、ラベルとは、訓練データが人工ニューラルネットワークに入力される場合、人工ニューラルネットワークが推論しなければならない正解（または結果値）を意味することができる。

【0099】

本明細書では訓練データが入力される場合、人工ニューラルネットワークが推論しなければならない正解（または結果値）をラベルまたはラベリングデータ（ｌａｂｅｌｉｎｇ ｄａｔａ）と称する。

【0100】

また、本明細書では、人工ニューラルネットワークの学習のために訓練データにラベルを設定することを、訓練データにラベリングデータをラベリング（ｌａｂｅｌｉｎｇ）すると称する。

【0101】

この場合、訓練データと訓練データに対応するラベルは、一つのトレーニングセット（ｔｒａｉｎｉｎｇ ｓｅｔ）を構成し、人工ニューラルネットワークにはトレーニングセットの形態で入力されることができる。

【0102】

一方、訓練データは、複数の特徴（ｆｅａｔｕｒｅ）を示し、訓練データにラベルがラベリングされるということは、訓練データが示す特徴にラベルが付けられるということを意味することができる。この場合、訓練データは入力客体の特徴をベクタ形態で示すことができる。

【0103】

人工ニューラルネットワークは、訓練データとラベリングデータを利用して、訓練データとラベリングデータとの連関関係に対する関数を類推することができる。そして、人工ニューラルネットワークで類推された関数に対する評価を通して人工ニューラルネットワークのパラメータが決定（調整）されることができる。

【0104】

人工ニューラルネットワークは、モデルの構成、活性関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）、損失関数（Ｌｏｓｓ Ｆｕｎｃｔｉｏｎ）または費用関数（Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ）、学習アルゴリズム、調整アルゴリズムなどによってその構造が特定され、学習前にハイパーパラメータ（Ｈｙｐｅｒｐａｒａｍｅｔｅｒ）があらかじめ設定され、以降、学習を通してモデルパラメータ（Ｍｏｄｅｌ Ｐａｒａｍｅｔｅｒ）が設定されて内容が特定されることができる。

【0105】

例えば、人工ニューラルネットワークの構造を決定する要素には、隠れ層の個数、各隠れ層に含まれた隠れノードの個数、入力特徴ベクタ（Ｉｎｐｕｔ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）、対象特徴ベクタ（Ｔａｒｇｅｔ Ｆｅａｔｕｒｅ Ｖｅｃｔｏｒ）などが含まれることができる。

【0106】

ハイパーパラメータは、モデルパラメータの初期値などのように学習のために初期設定しなければならない色々なパラメータを含む。そして、モデルパラメータは、学習を通して決定しようとする色々なパラメータを含む。

【0107】

例えば、ハイパーパラメータにはノード間加重値初期値、ノード間偏向初期値、ミニバッチ（Ｍｉｎｉ－ｂａｔｃｈ）サイズ、学習反復回数、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）などが含まれることができる。そして、モデルパラメータにはノード間加重値、ノード間偏向などが含まれることができる。

【0108】

損失関数は、人工ニューラルネットワークの学習過程で最適のモデルパラメータを決定するための指標（基準）として利用されることができる。人工ニューラルネットワークで学習は損失関数を減らすためにモデルパラメータを操作する過程を意味し、学習の目的は損失関数を最小化するモデルパラメータを決定することと見ることができる。

【0109】

損失関数は、主に平均二乗誤差（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）または交差エントロピー誤差（ＣＥＥ：Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ Ｅｒｒｏｒ）を使用することができ、本発明はこれに限定されるものではない。

【0110】

交差エントロピー誤差は、正解ラベルがワンホットエンコーディング（ｏｎｅ－ｈｏｔ ｅｎｃｏｄｉｎｇ）された場合に使われることができる。ワンホットエンコーディングは、正解に該当するニューロンについてのみ正解ラベル値を１と設定し、正解ではないニューロンは正解ラベル値を０と設定するエンコーディング方法である。

【0111】

機械学習またはディープラーニングでは損失関数を最小化するために学習調整アルゴリズムを利用することができ、学習調整アルゴリズムには勾配降下法（ＧＤ：Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、ＮＡＧ（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅ Ｇｒａｄｉｅｎｔ）、Ａｄａｇｒａｄ、ＡｄａＤｅｌｔａ、ＲＭＳＰｒｏｐ、Ａｄａｍ、Ｎａｄａｍなどがある。

【0112】

勾配降下法は、現在状態で損失関数の傾きを考慮して損失関数値を減らす方向でモデルパラメータを調整する技法である。

【0113】

モデルパラメータを調整する方向はステップ（ｓｔｅｐ）方向、調整する大きさはステップサイズ（ｓｉｚｅ）と称する。

【0114】

このとき、ステップサイズは学習率を意味することができる。

【0115】

勾配降下法は、損失関数を各モデルパラメータで偏微分して傾きを獲得し、モデルパラメータを獲得した傾き方向に学習率だけ変更して更新することができる。

【0116】

確率的勾配降下法は、学習データをミニバッチに分け、各ミニバッチごとに勾配降下法を遂行して勾配降下の頻度を高めた技法である。

【0117】

Ａｄａｇｒａｄ、ＡｄａＤｅｌｔａおよびＲＭＳＰｒｏｐは、ＳＧＤでステップサイズを調節して調整正確度を高める技法である。ＳＧＤでモメンタムおよびＮＡＧはステップ方向を調節して調整正確度を高める技法である。Ａｄａｍは、モメンタムとＲＭＳＰｒｏｐとを組み合わせてステップサイズとステップ方向を調節して調整正確度を高める技法である。Ｎａｄａｍは、ＮＡＧとＲＭＳＰｒｏｐとを組み合わせてステップサイズとステップ方向を調節して調整正確度を高める技法である。

【0118】

人工ニューラルネットワークの学習速度と正確度は、人工ニューラルネットワークの構造と学習調整アルゴリズムの種類だけでなく、ハイパーパラメータに大きく左右される特徴がある。したがって、良い学習モデルを獲得するためには、適切な人工ニューラルネットワークの構造と学習アルゴリズムを決定するだけでなく、適切なハイパーパラメータを設定することが重要である。

【0119】

通常、ハイパーパラメータは実験的に多様な値に設定され、人工ニューラルネットワークを学習させてみて、学習の結果、安定的な学習速度と正確度を提供する最適の値に設定する。

【0120】

図５は、ブラウザ画面で学習済み人工知能モデルを通してオブジェクトの位置を推論した結果を示した例示図である。

【0121】

図５の画面イメージから図４のＡＩスクリーン学習モデルの学習結果としてブラウザの検索バー（ｓｅａｒｃｈ ｂａｒ）の位置４０１が特定される。検索バー４０１の入力ウィンドウであるオブジェクトの位置を特定するイベント以外にも、ブラウザの該当サイトで他のアイコンをクリックするイベントを発生させるために、クリックするアイコンをオブジェクトのデータおよびオブジェクトの位置を特定したデータを学習データセットとして、学習させたＡＩスクリーン学習モデルの学習結果としてアイコンの位置を特定することができる。

【0122】

図６は、ＰＣデスクトップで学習済み人工知能モデルを通してオブジェクトの位置を推論した結果を示した例示図である。

【0123】

複数の検索ウィンドウおよびチャットウィンドウがある場合にも所望の検索バー４０１、オブジェクトであるログイン４１０、会社名４２０、ＩＤ４３０、およびパスワード４４０の位置を特定することができる。

【0124】

図７ａは、図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させる画面を示した例示図である。

【0125】

ユーザＰＣ画面は学習させる画面イメージ４００になる。ＡＩスクリーンエージェント１１０は、ウェブ基盤ＩＴオペレーティング管理システムプラットホーム２００のＡＩスクリーン２３０にユーザＰＣの画面イメージ４００を伝送し、学習済みＡＩモデル２３２を含むＡＩスクリーン２３０から画面上のオブジェクトの位置を推論した情報データを要請することができる（Ｓ３０８）。

【0126】

図７ｂは、図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させる画面でオブジェクトにラベリングをした例示図である。

【0127】

データ処理部２３４は、ユーザＰＣから画面イメージ４００を受信してオブジェクトであるログイン４１０、会社名４２０、ＩＤ４３０、およびパスワード４４０のラベリングを遂行する。

【0128】

他の実施例において、他のデータベースから画面イメージ４００のデータおよび画面イメージ４００に対する各オブジェクトの位置がラベリングされたデータセットの提供を受けることができる。

【0129】

図７ｃは、図４による画面のオブジェクトの位置を推論する人工知能モデルを学習させた後、オブジェクトを実際認識した結果の例示図である。

【0130】

学習済みＡＩスクリーン学習モデルを通してＡＩスクリーン２３０はオブジェクトの位置を伝送する。

【0131】

図７ｄは、図７ａの学習させる画面からＭａｓｋ－ＲＣＮＮを適用して学習させる過程を示した例示図である。

【0132】

図７ｄの画面イメージ４００で既存のＦａｓｔｅｒ ＲＣＮＮ過程を実行して物体を検出する。既存のＦａｓｔｅｒ ＲＣＮＮでＲｏＩ ｐｏｏｌｉｎｇはオブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）のためのモデルであったため、正確な位置情報を含めることは重要ではなく、よってＲｏＩが小数点座標を持つならば座標を四捨五入する形で移動させた後、プーリング（ｐｏｏｌｉｎｇ）を進行した。マスク（ｍａｓｋ）をかけるときは（ｓｅｇｍｅｎｔａｔｉｏｎ）小数点を四捨五入すると位置情報が歪曲されるため、位置情報が重要である。したがって、双線形補間法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を利用して位置情報を含めるＲｏＩ ａｌｉｇｎを利用する。ＲｏＩ ａｌｉｇｎとしてｃｏｎｖを利用して特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）を抜き出し、その特徴マップからＲｏＩを抜き出してクラス別に分類し、マスキング（ｍａｓｋｉｎｇ）を並行してオブジェクトを検出する。

【0133】

以上、説明された本発明による実施例は、コンピュータ上で多様な構成要素を通して実行可能なコンピュータプログラムの形態で具現されることができ、このようなコンピュータプログラムはコンピュータで読み取り可能な媒体に記録されることができる。このとき、媒体は、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置を含むことができる。

【0134】

一方、上記コンピュータプログラムは、本発明のために特別に設計され構成されたものでもよく、コンピュータソフトウェア分野の当業者に公知となって使用可能なものであってもよい。コンピュータプログラムの例には、コンパイラによって作られるもののような機械語コードだけでなくインタプリタなどを用いてコンピュータによって実行可能な高級言語コードも含まれることができる。

【0135】

本発明の明細書（特に、特許請求の範囲）で「上記」との用語およびこれと類似の指示用語の使用は単数および複数いずれにも該当するものであり得る。また、本発明で範囲（ｒａｎｇｅ）を記載した場合、上記範囲に属する個別的な値を適用した発明を含むものであり（これに反する記載がなければ）、発明の詳細な説明に上記範囲を構成する各個別的な値を記載したものと同じである。

【0136】

本発明による方法を構成する段階について明白に順序を記載するか反する記載がなければ、上記段階は適当な順序で行われることができる。必ずしも上記段階の記載順序によって本発明が限定されるものではない。本発明であらゆる例または例示的な用語（例えば、等々）の使用は、単純に本発明を詳しく説明するためのものであって、特許請求の範囲によって限定されない以上、上記例または例示的な用語によって本発明の範囲が限定されるものではない。また、当業者は多様な修正、組み合わせおよび変更が付加された特許請求の範囲またはその均等物の範疇内で設計条件およびファクタに応じて構成できることが分かる。

【0137】

したがって、本発明の思想は上記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なまたはそれから等価的に変更されたすべての範囲は本発明の思想の範疇に属すると言える。

【符号の説明】

【0138】

１００：ユーザＰＣ
１０２：メモリ
１０３：通信部
１０４：入力／出力インターフェース
１１０：ＡＩスクリーンエージェント
１１２：ＡＩウェブソケット
１２０：ユーザＰＣ画面
１３１：データ収集部
１３２：人工知能モデル学習部
１３３：オブジェクト検出部
１３４：オブジェクト制御部
２００：ＩＴオペレーティング管理システムプラットホーム
２１０：ＩＴオペレーティング管理システムホームページ
２１２：スケジューラボタン
２２２：ＡＩウェブソケット
２３０：ＩＴオペレーティング管理システムＡＩスクリーン
２３２：ＡＩスクリーン学習モデル
２３４：データ処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図7c】

【図7d】

【手続補正書】

【提出日】2023-08-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法であって、
ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；
スケジューラにスケジュールが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；
上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；
ＡＩスクリーンエージェントがウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；
ＡＩスクリーンが伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；
推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送する段階；および
ＡＩスクリーンエージェントが伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含み、
ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項2】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項１に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項3】

１ステージ検出器は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、またはＹＯＬＯ、またはＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）である、
請求項２に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項4】

上記一つ以上のオブジェクトは、選択されることができるコンピュータ画面上のコンソールウィンドウ、Ｗｉｎｄｏｗｓのウィンドウ、チャットウィンドウ、選択されることができるリンク、選択されることができるボタン、情報の入力が可能なカーソル位置、ＩＤ入力位置、パスワード入力位置、検索バー入力位置のうち一つ以上である、
請求項１に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項5】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法であって、
ユーザＰＣでウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録する段階；
スケジューラにスケジュールが登録されれば、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせる段階；
上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送する段階；
ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンでユーザＰＣの画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論する情報データを要請する段階；
ＡＩスクリーンが画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論する段階；および
ＡＩスクリーンエージェントがＡＩスクリーンエージェント内のＡＩスクリーンで推論した一つ以上のオブジェクトの位置を基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させる段階；を含み、
ＡＩスクリーンのＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項6】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項５に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項7】

１ステージ検出器は、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）、またはＹＯＬＯ、またはＤＳＳＤ（Ｄｅｃｏｎｖｏｌｕｔｉｏｎａｌ Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ）である、
請求項６に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる方法。

【請求項8】

コンピュータを用いて請求項１～７のいずれか一項に係る画面上のオブジェクトにイベントを発生させる方法を遂行するようにプログラミングされたプログラムを保存したコンピュータ読み取り可能な記録媒体。

【請求項9】

ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステムであって、
上記システムは、ＡＩスクリーンエージェントを含むユーザＰＣ；および
ウェブ基盤ＩＴオペレーティング管理システムプラットホームを含むサーバ；を含み、
上記ＡＩスクリーンエージェントは、ウェブ基盤ＩＴオペレーティング管理システムプラットホームに接続してスケジューラにスケジュールを登録し、
上記サーバは、スケジューラにスケジュールが登録されれば、上記サーバ内のウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットにスケジュールの登録を知らせ、上記ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩウェブソケットから所定時間にユーザＰＣのＡＩスクリーンエージェント（Ａｇｅｎｔ）のＡＩウェブソケットに通信を介してスケジューラの開始を知らせるデータを伝送し、
上記ユーザＰＣのＡＩスクリーンエージェントは、ウェブ基盤ＩＴオペレーティング管理システムプラットホームのＡＩスクリーンにユーザＰＣの画面イメージを伝送し、画面イメージからオブジェクト位置を学習したＡＩモデルを含むＡＩスクリーンから画面上の一つ以上のオブジェクトの位置を推論した情報データを要請し、
上記ＡＩスクリーンは、伝送された画面イメージからＡＩスクリーンの学習済みＡＩモデルを通して画面の一つ以上のオブジェクトの位置を推論し、推論された一つ以上のオブジェクトの位置に関する情報データをＡＩスクリーンエージェントのＡＩウェブソケットに通信を介して伝送し、そして、
上記ＡＩスクリーンエージェントは、伝送されたデータを基にユーザＰＣの画面で一つ以上のオブジェクトに対するイベントを発生させ、
学習済みＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
ＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステム。

【請求項10】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項９に記載のＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させるシステム。

【請求項11】

コンピュータ内でＡＩ基盤で画面情報を認知して画面上のオブジェクトにイベントを発生させる画面オブジェクト制御装置であって、
ＡＩスクリーンエージェント；を含み、
ＡＩスクリーンエージェントは、
コンピュータ画面上に表示されたオブジェクトの位置を学習させオブジェクトにイベントを発生させるために、コンピュータのディスプレイ装置から全体画面に関するデータおよび画面上に表示されたオブジェクトの位置データを収集するデータ収集部、
収集されたデータを基礎としてディープニューラルネットワークを介して学習させる人工知能モデル学習部、
人工知能モデル学習部で学習された結果を基礎として、画面内オブジェクトを検出する画面オブジェクト検出部、および
オブジェクト検出部で検出し分類した全体画面上のオブジェクト位置を基礎としてオブジェクトにイベントを発生させる画面オブジェクト制御部を含み、
上記人工知能モデル学習部から学習されたＡＩモデルは、全体画面のイメージおよび上記全体画面の一つ以上のイメージにラベリングされたオブジェクトの位置を学習データとして、全体画面で一つ以上のオブジェクトのイベントを発生させるオブジェクト位置を推論した結果データを出力する、
画面オブジェクト制御装置。

【請求項12】

ＡＩモデルは一画面内においてどの位置に（ｌｏｃａｌｉｚａｔｉｏｎ）どのような種類のオブジェクトがあるか（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）に関する情報を与えるオブジェクト検出器（ｏｂｊｅｃｔ ｄｅｔｅｃｔｏｒ）の機能を遂行するために学習され、
オブジェクト検出器は、オブジェクト自体が存在する位置を探し出す位置探し（ｌｏｃａｌｉｚａｔｉｏｎ）ステージ、および探し出された位置（ｌｏｃａｌ）に存在するオブジェクトが何か確認する分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）ステージを順次遂行する２ステージ検出器（２ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）であるか、または、
位置探し（ｌｏｃａｌｉｚａｔｉｏｎ ｓｔａｇｅ）および分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｔａｇｅ）を同時に遂行する１ステージ検出器（ｏｎｅ ｓｔａｇｅ ｄｅｔｅｃｔｏｒ）である、
請求項１１に記載の画面オブジェクト制御装置。

【請求項13】

スケジュールを登録するスケジューラ登録部をさらに含み、
上記スケジューラ登録部は、ＡＩスクリーンエージェント１１０にスケジュールの登録を知らせ、所定時間にコンピュータ内でスケジューラの開始を知らせる、
請求項１１に記載の画面オブジェクト制御装置。

【国際調査報告】