特開2026-102668IP Force 特許公報全文掲載

技術分野

情報処理方法及び情報処理装置に関し、特に、GUI(Graphical User Interface)画面に含まれるオブジェクトに対する情報処理方法及び情報処理装置

要約特許出願時に添付された[要約書]

【課題】GUI画面に含まれるオブジェクトを認識し、認識したオブジェクトを選択的に表示することが可能な情報処理方法を提供する。
【解決手段】所定時間毎に、GUI画面200を取得する画面取得ステップと、GUI画面200の変化を検出する差異検出ステップと、変化が所定の閾値以上の場合、GUI画面200に含まれる図形オブジェクト及び文字オブジェクトの認識処理を実行する認識ステップと、認識処理を実行することにより得た各図形オブジェクトを囲む第1枠の座標情報、各文字オブジェクトの文字情報、及び、各文字オブジェクトを囲む第2枠の座標情報を取得する情報取得ステップと、ユーザ操作によるカーソルが、GUI画面200におけるいずれかの第1枠の領域に入った場合に、第1枠を表示し、カーソルがいずれかの第2枠の領域に入った場合に、第2枠の文字オブジェクトの文字情報を表示する表示処理ステップと、を含む。
【選択図】図12

発明が解決しようとする課題[発明の詳細な説明]から抜粋

しかしながら、特許文献1に開示する技術では、手書き用紙やファクシミリ等の画像データからテキストデータ(文字データ)への変換を行うことができるものの、GUI画面に含まれる図形アイコンやボタン等のオブジェクトを認識することについては言及されていない。

課題を解決するための手段[発明の詳細な説明]から抜粋

(1)情報処理方法は、所定時間毎に、GUI画面を取得する画面取得ステップと、第1GUI画面と、前記第1GUI画面を取得した時間から前記所定時間後の第2GUI画面とを比較して、前記GUI画面の変化を検出する差異検出ステップと、前記変化が所定の閾値以上の場合、前記第2GUI画面に含まれる1以上の図形オブジェクト及び1以上の文字オブジェクトの認識処理を実行し、前記変化が所定の閾値より小さい場合、前記第・・・ 続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

1つの側面によれば、GUI画面に含まれるオブジェクトを認識し、認識したオブジェクトを選択的に表示することができる。

この発明についての権利主張の範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 第1実施形態の情報処理システムの概略を示す模式図である。
【図2】 第1実施形態の情報処理装置及びユーザ端末を示す機能ブロック図である。
【図3】 GUI画面の一例を示す概略図である。
【図4】 GUI画面に対する認識処理の一例を示す概略図である。
【図5】 認識処理結果データベースのデータ構造の一例を示す概略図である。
【図6】 図形アイコンと文字とを含む枠表示の一例を示す概略図である。
【図7】 図形アイコンを含む枠表示の一例を示す概略図である。
【図8】 情報処理装置のハードウェア構成の一例を示す概略図である。
【図9】 ユーザ端末のハードウェア構成の一例を示す概略図である。
【図10】 第1実施形態の情報処理装置及びユーザ端末の動作の一例を示す概略フローである。
【図11】 第2実施形態の情報処理装置を示す機能ブロック図である。
【図12】 第2実施形態の情報処理装置の動作の一例を示す概略フローである。

選択図 図12出願人が指定した本件の代表的な図

1、1A 情報処理装置 2 ユーザ端末 3 通信網 4 エミュレータ 11 画面取得部 12 記憶部 13 差異検出部 14 判定部 15 認識部 16 情報取得部 17 通知部 17a 座標情報、文字情報 21 操作部 22 端末取得部 23 表示処理部 24 実行部 25 視線検出部 51、51a 画像認識用AI 52、52a 文字認識用AI 201a、201b、201c、201d 図形アイコン 202a、202b、202c、202d 文字アイコン 203c、203d 点線枠 221a、221b カーソル 251a、251b、251c、251d、252a、252b、252c、252d、253c、253d 枠 170 CPU 171 メモリ 172 記憶デバイス 173 接続ポート 174 通信回路 175 バスライン 1711 OS 1712 ブラウザプログラム 1713 プログラム 1714 所定の閾値 1715 認識処理結果DB 1715a GUI画面情報 1715b オブジェクトID 1715c 位置情報 1715d 文字 1715e 文字情報

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります