(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160846
(43)【公開日】2024-11-15
(54)【発明の名称】画像認識システム及び画像認識プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241108BHJP
【ＦＩ】
G06T7/00 300B
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023076282
(22)【出願日】2023-05-02
(11)【特許番号】
(45)【特許公報発行日】2024-04-02
(71)【出願人】
【識別番号】523173782
【氏名又は名称】株式会社ビバリー
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】バンドゥリン アルセニー
(72)【発明者】
【氏名】イワノフ ボリス
(72)【発明者】
【氏名】鈴木 隆志
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096DA02
5L096EA03
5L096EA45
5L096FA69
5L096GA51
5L096JA03
5L096JA14
(57)【要約】
【課題】高速かつ高精度の画像検出処理を行うことが可能な画像認識システムを提供する。
【解決手段】検索対象画像Ｓ及びオブジェクト画像Ｏのデータサイズ削減部１１１と、データサイズが削減された検索対象画像Ｓに含まれる削減後構成要素と、データサイズが削減されたオブジェクト画像Ｏとの第１一致率を算出する第１算出部１１２と、第１閾値を超える削減後構成要素について暫定同一画像であると判定する第１判定部１１３と、暫定同一画像に対応する当初構成要素を検索対象画像から抽出する抽出部１１４と、当初構成要素とオブジェクト画像との第２一致率を算出する第２算出部１１５と、第２閾値を超える当初構成要素を同一画像であると判定する第２判定部１１６と、を備える画像認識システム１。
【選択図】図１
【解決手段】検索対象画像Ｓ及びオブジェクト画像Ｏのデータサイズ削減部１１１と、データサイズが削減された検索対象画像Ｓに含まれる削減後構成要素と、データサイズが削減されたオブジェクト画像Ｏとの第１一致率を算出する第１算出部１１２と、第１閾値を超える削減後構成要素について暫定同一画像であると判定する第１判定部１１３と、暫定同一画像に対応する当初構成要素を検索対象画像から抽出する抽出部１１４と、当初構成要素とオブジェクト画像との第２一致率を算出する第２算出部１１５と、第２閾値を超える当初構成要素を同一画像であると判定する第２判定部１１６と、を備える画像認識システム１。
【選択図】図１
【特許請求の範囲】
【請求項1】
検索対象である検索対象画像及び検出したい画像であるオブジェクト画像のデータサイズを削減するデータサイズ削減部と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
【請求項2】
前記データサイズ削減部は、前記検索対象画像及び前記オブジェクト画像の、減色処理及びダウンスケール処理の少なくとも１つを行う請求項１に記載の画像認識システム。
【請求項3】
前記第１判定部は、データサイズが削減された前記検索対象画像における前記暫定同一画像の座標範囲である第１座標範囲を判定結果として出力し、
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
【請求項4】
前記第１判定部は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像について単一の前記暫定同一画像であると判定して、代表座標範囲を判定結果として出力する請求項３に記載の画像認識システム。
【請求項5】
前記代表座標範囲は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像のうち、前記第１一致率が第３閾値以上の前記暫定同一画像の前記第１座標範囲である請求項４に記載の画像認識システム。
【請求項6】
前記抽出部は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素について単一の前記当初構成要素と判定して、代表当初構成要素を抽出結果として出力する請求項３に記載の画像認識システム。
【請求項7】
前記代表当初構成要素は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素のうち、前記第１一致率が第４閾値以上の前記暫定同一画像に対応する前記当初構成要素である請求項６に記載の画像認識システム。
【請求項8】
前記抽出部は、前記第２座標範囲について、前記第１座標範囲よりも狭い範囲になるように設定する請求項３に記載の画像認識システム。
【請求項9】
検索対象画像からのオブジェクト画像の検出をコンピュータに実行させる画像認識プログラムであって、
前記検索対象画像及び前記オブジェクト画像のデータサイズを削減するデータサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。
前記検索対象画像及び前記オブジェクト画像のデータサイズを削減するデータサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検索対象である画像から所定の画像を検出することができる画像認識システム及び画像認識プログラムに関する。
【背景技術】
【0002】
従来、一の画像と同一又は関連する他の画像を抽出する種々の画像認識技術が、様々な用途で用いられている。このような画像認識技術の一例として、特許文献１には、モバイル機器が所定の画像を撮影すると共に当該撮影された画像に所定の処理を施し高速通信が可能なクエリー画像としてリモートサーバに送信し、リモートサーバが当該サーバ内に格納されている画像データの中から当該クエリー画像に対応する画像を抽出すると共に当該画像に関連付けられた情報コンテンツを抽出し、抽出された当該情報コンテンツをモバイル機器に送信することが記載されている。
【0003】
また、画像認識技術の他の例として、検索対象である画像（検索対象画像）を構成する画像要素の中から、所定の画像要素（オブジェクト画像）を検出する画像認識技術が挙げられる。このような画像認識技術は、ゲームの制作時に行われる、一連のプレイ画面中にバグがあるか否かを検出し、検出されたバグを修正するデバッグ作業等、様々な用途で用いられている。
【0004】
従来、このようなデバッグ作業等に用いられる画像認識技術では、例えば検索対象画像中に含まれている構成要素とオブジェクト画像がどの程度一致するかを示す一致率を所定のアルゴリズムを用いて算出し、所定の閾値を超える一致率である構成要素をオブジェクト画像と同一の画像であると判定することで、オブジェクト画像を検出することが行われていた。
【0005】
そして、このような画像認識技術をゲーム制作時のデバッグ作業に用いる場合には、ゲームの進行に伴い刻々と変化する一連のゲーム画面について逐次検索対象画像中の各構成要素とオブジェクト画像との一致率の算出と同一性の判定が行われているが、この刻々と変化するゲーム画面について逐次一致率の算出と同一性の判定を行うためには高速演算処理が必要であり、従来は例えばＧＰＵ（Graphics Processing Unit）を用いた画像認識システムによりこのような高速演算処理が実現されていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表２０１２－５２４３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかし、従来の画像認識システムによる画像認識ではオブジェクト画像の検出に長時間を要していたため、例えば高速で画面が遷移していくアプリケーションを使用しつつ当該アプリケーションの遷移画面についての画像認識処理をリアルタイムで行うことは困難であった。そのため、より高速かつ高精度の画像検出処理を行うことができる画像認識システムが望まれていた。
【0008】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、高速かつ高精度の画像検出処理を行うことができる画像認識システム及び画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するため、本発明に係る画像認識システムは、検索対象である検索対象画像及び検出したい画像であるオブジェクト画像のデータサイズを削減するデータサイズ削減部と、データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、を備えることを特徴とする。
【0010】
上記画像認識システムにおいて、前記データサイズ削減部は、前記検索対象画像及び前記オブジェクト画像の、減色処理及びダウンスケール処理の少なくとも１つを行うことが好ましい。
【0011】
また、上記画像認識システムにおいて、前記第１判定部は、前記データサイズが削減された検索対象画像における前記暫定同一画像の座標範囲である第１座標範囲を判定結果として出力し、前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出することが好ましい。
【0012】
また、上記画像認識システムにおいて、前記第１判定部は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像について単一の前記暫定同一画像であると判定して、代表座標範囲を判定結果として出力することが好ましい。
【0013】
また、上記画像認識システムにおいて、前記代表座標範囲は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像のうち、前記第１一致率が第３閾値以上の前記暫定同一画像の前記第１座標範囲であることが好ましい。
【0014】
また、上記画像認識システムにおいて、前記抽出部は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素について単一の前記当初構成要素と判定して、代表当初構成要素を抽出結果として出力することが好ましい。
【0015】
また、上記画像認識システムにおいて、前記代表当初構成要素は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素のうち、前記第１一致率が第４閾値以上の前記暫定同一画像に対応する前記当初構成要素であることが好ましい。
【0016】
また、上記画像認識システムにおいて、前記抽出部は、前記第２座標範囲について、前記第１座標範囲よりも狭い範囲になるように設定することが好ましい。
【0017】
また、本発明は、検索対象画像からのオブジェクト画像の検出をコンピュータに実行させる画像認識プログラムであって、前記検索対象画像及び前記オブジェクト画像のデータサイズを削減するデータサイズ削減工程と、データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、前記当初構成要素と前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、を含むことを特徴とする。
【発明の効果】
【0018】
上述した構成からなる本発明によれば、高速かつ高精度の画像検出処理を行うことが可能になる。
【図面の簡単な説明】
【0019】
【図1】本発明の実施形態に係る画像認識システムにより行われる画像検出処理の概念図である。
【図2】本発明の実施形態に係る画像認識システムの構成ブロック図である。
【図3】本発明の実施形態に係る画像認識システムに用いられるプロセッサの機能ブロック図である。
【図4】本発明の実施形態に係る画像認識システムによる処理の例を示すフローチャートである。
【図5】本発明の実施形態に係る画像認識システムと従来の画像認識システムの画像検出速度を比較した表である。
【図6】本発明の実施形態に係る画像認識システムにより検索対象画像からオブジェクト画像が検出される様子を示す概念図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら、本発明の実施形態に係る画像認識システムについて説明する。
【0021】
図１は、本発明の実施形態に係る画像認識システムにより行われる画像検出の様子を例示する模式図である。図１に示すように、本発明の実施形態に係る画像認識システムは、検索対象である検索対象画像Ｓから、検出したい画像である（すなわち、画像認識を行いたい画像のテンプレートになる画像である）オブジェクト画像Ｏを検出するためのシステムである。
【0022】
具体的には、本発明の実施形態に係る画像認識システムは、検索対象画像Ｓに含まれる様々な画像構成要素の中から、オブジェクト画像Ｏと一致する画像構成要素を同一画像として検出する処理を行う。この検出処理は、例えば検索対象画像Ｓがゲーム画面等、画像が刻々と変化していくものである場合には、検索対象画像Ｓ中の各構成要素とオブジェクト画像Ｏとの一致率の算出、および当該一致率に基づく同一性の判定を逐次行うことで行われる。この一致率の算出と同一性の判定の詳細については後述する。
【0023】
図２は、本発明の実施形態に係る画像認識システム１の構成ブロック図である。図２に示すように、本発明の実施形態に係る画像認識システム１は、例えばサーバ内に実現されるシステムであり、プロセッサ１１と、１つ以上のコンピュータ可読媒体を含むメモリ１２を備えて構成されている。画像認識システム１は、ディスプレイやキーボード等の各種外部機器（不図示）と接続可能になっていて、画像認識処理に際して外部機器からの入力を受付可能であると共に、画像認識処理の結果を外部機器に送信してこれに表示可能になっている。画像認識システム１と外部機器との接続は、ケーブルを用いて有線により行われてもよく、又はワイヤレス通信を用いて無線により行われてもよい。
【0024】
プロセッサ１１は、外部機器から入力された画像データに基づき画像認識処理を行うことが可能であると共に、画像認識処理の結果を外部機器に送信してこれに表示することが可能である。プロセッサ１１は、任意のオペレーティングシステム（ＯＳ）に基づき動作する。
【0025】
メモリ１２は、１つ以上のコンピュータ可読媒体を含み、プロセッサ１１に実行される画像認識ソフトウェア１２１と、外部機器から入力された画像データ等を記憶する画像データ記憶部１２２を備えている。
【0026】
図３は、本発明の実施形態に係る画像認識システム１に用いられるプロセッサ１１の機能ブロック図である。図３に示すように、プロセッサ１１は、画像認識ソフトウェア１２１を実行することにより、データサイズ削減部１１１、第１算出部１１２、第１判定部１１３、抽出部１１４、第２算出部１１５及び第２判定部１１６として機能する。
【0027】
データサイズ削減部１１１は、検索対象画像Ｓ及びオブジェクト画像Ｏのデータサイズを削減する。具体的には、データサイズ削減部１１１は、検索対象画像Ｓ及びオブジェクト画像Ｏについて、画像中の色数を減らす減色処理と、画像のピクセル数を減らすダウンスケール処理とのうち、少なくとも一方を行う。
【0028】
減色処理は、Ｒ、Ｇ、Ｂのそれぞれの情報を平均化して、明度だけのグレースケール２５６階調の画像に変換することにより行われる。減色処理を行うことで検索対象画像Ｓ及びオブジェクト画像Ｏのサイズを減らし、画像検出を迅速に行うことが可能になる。画像認識システム１では、ユーザが設定操作をすることにより、減色処理の要否や、行う減色処理の種類を任意に選択することができる。
【0029】
ダウンスケール処理は、検索対象画像Ｓ及びオブジェクト画像Ｏのピクセル数を減らし荒い画像とすることにより検索対象画像Ｓ及びオブジェクト画像Ｏのサイズを減らす処理である。画像認識システム１では、ユーザが設定操作をすることにより、ダウンスケール処理の要否や、どの程度ピクセル数を減らすかを、任意に選択することができる。なお、ダウンスケール処理ではピクセル数が少ない方が画像のデータサイズをより小さくすることができ、より迅速に画像検出を行うことが可能になるが、所定のピクセル数より少なくしてしまうと画像検出精度が低下し適切な画像検出を行えなくなるおそれがあるため、検索対象画像Ｓ及びオブジェクト画像Ｏの態様や要求される画像検出の制度や速度に応じて、適切な範囲でダウンスケール処理を行うことが必要である。
【0030】
第１算出部１１２は、データサイズ削減部１１１によりデータサイズが削減された検索対象画像Ｓに含まれる画像構成要素である削減後構成要素と、同じくデータサイズ削減部１１１によりデータサイズが削減されたオブジェクト画像Ｏとの一致率である第１一致率を算出する。第１算出部１１２による第１一致率の算出は、任意の画像検出アルゴリズムを用いて行うことができる。
【0031】
第１判定部１１３は、所定の閾値（第１閾値）を超える第１一致率になった削減後構成要素について、オブジェクト画像Ｏと暫定的に一致する暫定同一画像であると判定する。そして、第１判定部１１３は、データサイズが削減された検索対象画像Ｓにおける暫定同一画像の座標範囲である第１座標範囲を、判定結果として出力する。なお、座標範囲とは、画像について設定された横方向（Ｘ軸方向）及び縦方向（Ｙ軸方向）の座標に基づき、横方向について例えばＸ＝３００～３４０、Ｙ＝１００～１５０というように、画像の横方向及び縦方向の座標に基づく所定の範囲をいう。
【0032】
抽出部１１４は、暫定同一画像に対応する当初構成要素を検索対象画像Ｓから抽出する。暫定同一画像に対応する当初構成要素の抽出は、それぞれの画像中の座標範囲に基づいて行われる。具体的には、抽出部１１４は、検索対象画像Ｓにおいて、第１判定部１１３により出力された第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を、当初構成要素として抽出する。ここで、抽出部１１４は、第２座標範囲について、第１座標範囲よりも狭い範囲になるように設定する。第２座標範囲を第１座標範囲よりも狭い範囲とする、すなわちトリミングをすることにより、当初構成要素のファイルサイズを小さくして画像検出をより高速で行うことが可能になると共に、当初構成要素の周囲に例えばゲームにおいてよく用いられる光や炎等の視覚的効果が発生している場合にこれらの視覚的効果を取り除き、より高精度に画像検出を行うことが可能になる。
【0033】
第２算出部１１５は、抽出部１１４により抽出された当初構成要素と、オブジェクト画像Ｏとの一致率である第２一致率を算出する。この第２一致率の算出も、第１一致率の算出と同様に、任意の画像検出アルゴリズムを用いて行うことができる。
【0034】
第２判定部１１６は、所定の閾値（第２閾値）を超える第２一致率になった当初構成要素を、オブジェクト画像Ｏと一致する同一画像であると判定する。そして、第２判定部１１６は、オブジェクト画像Ｏと一致する同一画像であると判定された当初構成要素について、検索対象画像Ｓ中の位置情報（Ｘ座標、Ｙ座標）と、検索対象画像Ｓが刻々と変化するゲーム画面等である場合には、検索対象となる時間の範囲において当該当初構成要素が検出された時間に関する時間情報を抽出する。第２判定部１１６により抽出された位置情報および時間情報は、他のアプリケーションにより使用可能になっていて、例えば自動的にゲームをプレイするアプリケーションにおいて、特定の動作を行う指標になるオブジェクト画像Ｏを検出するために用いられ、当該検出されたオブジェクト画像Ｏに基づきゲームのプレイを行うことが可能になる。
【0035】
次に、上述した構成を備える画像認識システム１の動作について説明する。ここでは、図１に例示する検索対象画像Ｓ中から、オブジェクト画像Ｏを検出する場合を説明する。
【0036】
図４は、本発明の実施形態に係る画像認識システム１による処理の例を示すフローチャートである。まず、ユーザが指定した検索対象画像Ｓとオブジェクト画像Ｏについての画像検出処理が開始されると、データサイズ削減部１１１が検索対象画像Ｓ及びオブジェクト画像Ｏのデータサイズを削減する（ステップＳ１）。データサイズ削減部１１１は、ここでは検索対象画像Ｓ及びオブジェクト画像Ｏについて、減色処理及びダウンスケール処理を行い、検索対象画像Ｓ及びオブジェクト画像Ｏのデータサイズを削減する。
【0037】
次に、第１算出部１１２が、データサイズ削減部１１１によりデータサイズが削減された検索対象画像Ｓに含まれる画像構成要素である削減後構成要素と、同じくデータサイズ削減部１１１によりデータサイズが削減されたオブジェクト画像Ｏとの一致率である第１一致率を、所定の画像検出アルゴリズムに基づき算出する（ステップＳ２）。検索対象画像Ｓとオブジェクト画像Ｏとのデータサイズが削減されているため、第１算出部１１２による第１一致率の算出を迅速に行うことができる。
【0038】
次に、第１判定部１１３が、第１閾値を超える第１一致率になった削減後構成要素について、オブジェクト画像Ｏと暫定的に一致する暫定同一画像であると判定し（ステップＳ３）、データサイズが削減された検索対象画像Ｓにおける暫定同一画像の第１座標範囲を判定結果として抽出部１１４に出力する。この第１判定部１１３による暫定同一画像の判定は、複数の削減後構成要素について行われてもよい。すなわち、検索対象画像Ｓ中にオブジェクト画像Ｏとの第１一致率が第１閾値を超える削減後構成要素が複数検出された場合には、第１判定部１１３は、これら複数の削減後構成要素を判定結果として抽出部１１４に出力してもよい。
【0039】
次に、抽出部１１４が、検索対象画像Ｓにおいて、第１判定部１１３により出力された暫定同一画像の第１座標範囲に対応する第２座標範囲にある画像構成要素を、当初構成要素として抽出する（ステップＳ４）。
【0040】
次に、第２算出部１１５が、抽出部１１４により抽出された当初構成要素と、オブジェクト画像Ｏとの一致率であって第１一致率よりも高精度な一致率である第２一致率を、所定の画像検出アルゴリズムに基づき算出する（ステップＳ５）。
【0041】
次に、第２判定部１１６は、第２閾値を超える第２一致率になった当初構成要素を、オブジェクト画像Ｏと一致する同一画像であると判定する（ステップＳ６）。こうして同一画像の判定がされることにより、画像認識システム１による一連の画像検出処理が終了する。
【0042】
図５は、本発明の実施形態に係る画像認識システム１と従来の画像認識システムの画像検出速度を比較した表である。図５に示す表では、複数の画像サイズの検索対象画像Ｓとオブジェクト画像Ｏを用いて、従来の画像認識システムと、本発明の実施形態に係る画像認識システム１により画像検出を行った結果が示されている。ここで、従来の画像認識システムと本発明の実施形態に係る画像認識システム１とは、同一のハードウェアを使用し、従来の画像認識システムは画像検出アルゴリズムとしてＯｐｅｎＣＶのパターンマッチング機能が使用されている。
【0043】
図５に示すように、本発明の実施形態に係る画像認識システム１では、従来の画像認識システムと比較して、画像検出速度が３～４倍になっていることが分かる。
【0044】
図６は、本発明の実施形態に係る画像認識システムにより検索対象画像からオブジェクト画像が検出される様子を示す概念図である。
【0045】
図６に示す例では、検索対象画像Ｓの中に４つの同一画像ＳＩが検出されている。そして、画像認識システム１は、検出した同一画像ＳＩについて、上述したように位置情報と、必要に応じて当該同一画像ＳＩが刻々と変化する画像中のどの時点に出現するかを示す時間情報とを生成する。この位置情報は、それぞれの同一画像ＳＩについて、例えば「Ｘ座標が１８０～２１０、Ｙ座標が１５～５０の範囲」というように、Ｘ座標とＹ座標の範囲として生成される。また、時間情報は、例えば「検索対象画像Ｓの開始時から２時間４分１２秒後である」というように、スタート時から検出時までの経過時間として生成される。
【0046】
そして、画像認識システム１により生成された同一画像ＳＩの位置情報と時間情報は、例えば、ゲームを自動的にプレイするアプリケーションにおいて各種操作の用に供される画像の検出に用いられ、当該アプリケーションによる自動プレイを実現することができる。例えば図６がシューティングゲームである場合には、オブジェクト画像Ｏは攻撃対象を示す画像であり、検索対象画像Ｓ中に４つの同一画像ＳＩが検出されている。そして、当該プレイ状況をモニタリングすることにより、ゲームが正常に動作しているか等の検査を、ゲームプレイヤーを要することなく行うことができ、当該検査を迅速かつ人件費を削減して行うことができる。
【0047】
このように、本発明の実施形態に係る画像認識システム１によると、検索対象画像Ｓとオブジェクト画像Ｏとのデータサイズを削減した状態で迅速に１段階目の画像検出を行うと共に、当該最初の画像検出結果により同一画像の当たりをつけて検出すべき範囲を絞った状態で元の画像に基づき２段階目の高精度な画像検出を行うことにより、高速かつ高精度の画像検出処理を行うことが可能になる。
【0048】
ところで、上述した画像認識システム１による画像検出処理においては、第１判定部１１３による判定の結果、第１座標範囲の少なくとも一部が重複する複数の暫定同一画像が生じることがある。このような場合、何れの暫定同一画像も同一の画像構成要素を示している確率が高い。これらの暫定同一画像を第２算出部１１５及び第２判定部１１６による処理に供してしまうと、画像検出処理の速度低下を招くおそれがあるため、必要に応じて第１座標範囲の少なくとも一部が重複した暫定同一画像について、単一の暫定同一画像であるとして重複した判定結果を排除して、第２算出部１１５及び第２判定部１１６による処理に供してもよい。この際、第１判定部１１３は、第１座標範囲の少なくとも一部が重複する暫定同一画像について単一の前記暫定同一画像であると判定して、代表座標範囲を判定結果として出力する処理を行うことで、画像検出処理の速度低下を防止することができる。
【0049】
具体的には、代表座標範囲として、例えば第１座標範囲の少なくとも一部が重複する暫定同一画像のうち、第１一致率が予め設定された所定の閾値（第３閾値）以上の暫定同一画像の第１座標範囲を用いることができる。これにより、第２算出部１１５及び第２判定部１１６による処理を高精度に行うことが可能になる。なお、代表座標範囲として、第１座標範囲の少なくとも一部が重複する暫定同一画像のうち、第１一致率が最も高い暫定同一画像の第１座標範囲を用いてもよく、これによっても同様に第２算出部１１５及び第２判定部１１６による処理を高精度に行うことが可能になる。
【0050】
また、重複した判定結果の排除を、第１判定部１１３ではなく、抽出部１１４により行ってもよい。具体的には、抽出部１１４は、第２座標範囲の少なくとも一部が重複する当初構成要素について、単一の当初構成要素と判定して、代表当初構成要素を抽出結果として出力することで、画像検出処理の速度低下を防止することができる。
【0051】
このとき、代表当初構成要素として、例えば第２座標範囲の少なくとも一部が重複する当初構成要素のうち、第１一致率が予め設定された所定の閾値（第４閾値）以上の暫定同一画像に対応する当初構成要素を用いることができる。これによっても、第２算出部１１５及び第２判定部１１６による処理を高精度に行うことが可能になる。なお、代表当初構成要素として、第２座標範囲の少なくとも一部が重複する当初構成要素のうち、第１一致率が最も高い暫定同一画像に対応する当初構成要素を用いてもよく、これによっても同様に第２算出部１１５及び第２判定部１１６による処理を高精度に行うことが可能になる。
【0052】
また、このような第１座標範囲の少なくとも一部が重複する暫定同一画像について、重複した判定結果の排除を行うことなく、当該重複する暫定同一画像の全てを、第２算出部１１５及び第２判定部１１６による処理に供してもよい。このような処理を行うことにより、画像検出の精度を上げることができる。
【0053】
なお、本発明は上述した実施形態に限定されず、種々の変形を採用することができる。
【符号の説明】
【0054】
１：画像認識システム
１１：プロセッサ
１２：メモリ
１２１：画像認識ソフトウェア
１２２：画像データ記憶部
１１１：データサイズ削減部
１１２：第１算出部
１１３：第１判定部
１１４：抽出部
１１５：第２算出部
１１６：第２判定部
Ｏ：オブジェクト画像
Ｓ：検索対象画像
ＳＩ：同一画像
１１：プロセッサ
１２：メモリ
１２１：画像認識ソフトウェア
１２２：画像データ記憶部
１１１：データサイズ削減部
１１２：第１算出部
１１３：第１判定部
１１４：抽出部
１１５：第２算出部
１１６：第２判定部
Ｏ：オブジェクト画像
Ｓ：検索対象画像
ＳＩ：同一画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2023-10-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
検索対象である検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データであるオブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減部と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
【請求項2】
前記データサイズ削減部は、前記検索対象画像及び前記オブジェクト画像の、減色処理及びダウンスケール処理の少なくとも１つを行う請求項１に記載の画像認識システム。
【請求項3】
前記第１判定部は、データサイズが削減された前記検索対象画像における前記暫定同一画像の座標範囲である第１座標範囲を判定結果として出力し、
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
【請求項4】
前記第１判定部は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像について単一の前記暫定同一画像であると判定して、代表座標範囲を判定結果として出力する請求項３に記載の画像認識システム。
【請求項5】
前記代表座標範囲は、前記第１座標範囲の少なくとも一部が重複する前記暫定同一画像のうち、前記第１一致率が第３閾値以上の前記暫定同一画像の前記第１座標範囲である請求項４に記載の画像認識システム。
【請求項6】
前記抽出部は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素について単一の前記当初構成要素と判定して、代表当初構成要素を抽出結果として出力する請求項３に記載の画像認識システム。
【請求項7】
前記代表当初構成要素は、前記第２座標範囲の少なくとも一部が重複する前記当初構成要素のうち、前記第１一致率が第４閾値以上の前記暫定同一画像に対応する前記当初構成要素である請求項６に記載の画像認識システム。
【請求項8】
前記抽出部は、前記第２座標範囲について、前記第１座標範囲よりも狭い範囲になるように設定する請求項３に記載の画像認識システム。
【請求項9】
検索対象画像からのオブジェクト画像の検出をコンピュータに実行させる画像認識プログラムであって、
前記検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データである前記オブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。
前記検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データである前記オブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。
【手続補正書】
【提出日】2024-01-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
検索対象である検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データであるオブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減部であって、減色処理及びダウンスケール処理のそれぞれの要否及び内容がユーザの設定操作によって選択されたデータサイズ削減処理を前記検索対象画像及び前記オブジェクト画像に対して行う前記データサイズ削減部と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出部と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定部と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出部と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出部と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定部と、
を備えることを特徴とする画像認識システム。
【請求項2】
前記第１判定部は、データサイズが削減された前記検索対象画像における前記暫定同一画像の座標範囲である第１座標範囲を判定結果として出力し、
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
前記抽出部は、前記検索対象画像において前記第１座標範囲に対応する座標範囲である第２座標範囲にある画像構成要素を前記当初構成要素として抽出する請求項１に記載の画像認識システム。
【請求項3】
前記第１判定部は、前記第１座標範囲の少なくとも一部が重複する複数の暫定同一画像が生じたと判定された場合、前記複数の暫定同一画像について単一の前記暫定同一画像であると判定して、前記複数の暫定同一画像について１つの代表座標範囲を判定結果として出力する請求項２に記載の画像認識システム。
【請求項4】
前記代表座標範囲は、前記第１座標範囲の少なくとも一部が重複する前記複数の暫定同一画像のうち、前記第１一致率が第３閾値以上の前記暫定同一画像の前記第１座標範囲である請求項３に記載の画像認識システム。
【請求項5】
前記抽出部は、前記第２座標範囲の少なくとも一部が重複する複数の当初構成要素が生じたと判定された場合、前記複数の当初構成要素について単一の前記当初構成要素と判定して、前記複数の当初構成要素のうち１つの代表当初構成要素を抽出結果として出力する請求項２に記載の画像認識システム。
【請求項6】
前記代表当初構成要素は、前記第２座標範囲の少なくとも一部が重複する前記複数の当初構成要素のうち、前記第１一致率が第４閾値以上の前記暫定同一画像に対応する前記当初構成要素である請求項５に記載の画像認識システム。
【請求項7】
前記抽出部は、前記第２座標範囲について、前記第１座標範囲よりも狭い範囲になるように設定する請求項２に記載の画像認識システム。
【請求項8】
検索対象画像からのオブジェクト画像の検出をコンピュータに実行させる画像認識プログラムであって、
前記検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データである前記オブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減工程であって、減色処理及びダウンスケール処理のそれぞれの要否及び内容がユーザの設定操作によって選択されたデータサイズ削減処理を前記検索対象画像及び前記オブジェクト画像に対して行う前記データサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。
前記検索対象画像と、前記検索対象画像の中から検出したい画像のテンプレートになる画像であり前記検索対象画像とは異なる別個の画像データである前記オブジェクト画像とのそれぞれのデータサイズを削減するデータサイズ削減工程であって、減色処理及びダウンスケール処理のそれぞれの要否及び内容がユーザの設定操作によって選択されたデータサイズ削減処理を前記検索対象画像及び前記オブジェクト画像に対して行う前記データサイズ削減工程と、
データサイズが削減された前記検索対象画像に含まれる画像構成要素である削減後構成要素と、データサイズが削減された前記オブジェクト画像との一致率である第１一致率を算出する第１算出工程と、
第１閾値を超える前記第１一致率になった前記削減後構成要素について前記オブジェクト画像と暫定的に一致する暫定同一画像であると判定する第１判定工程と、
前記暫定同一画像に対応する当初構成要素を前記検索対象画像から抽出する抽出工程と、
前記当初構成要素とデータサイズの削減前の前記オブジェクト画像との一致率である第２一致率を算出する第２算出工程と、
第２閾値を超える前記第２一致率になった前記当初構成要素を、前記オブジェクト画像と一致する同一画像であると判定する第２判定工程と、
を含むことを特徴とする画像認識プログラム。