特許 7489225 画像処理システム、情報処理装置、プログラムおよび画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-15

(45)【発行日】2024-05-23

(54)【発明の名称】画像処理システム、情報処理装置、プログラムおよび画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240516BHJP

【ＦＩ】

G06T7/00 300D

【請求項の数】 9

(21)【出願番号】P 2020074922

(22)【出願日】2020-04-20

(65)【公開番号】P2021174067

(43)【公開日】2021-11-01

【審査請求日】2022-11-02

(73)【特許権者】

【識別番号】507214083

【氏名又は名称】メタウォーター株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100150360

【弁理士】

【氏名又は名称】寺嶋 勇太

(74)【代理人】

【識別番号】100163511

【弁理士】

【氏名又は名称】辻 啓太

(72)【発明者】

【氏名】川原 恭介

(72)【発明者】

【氏名】高橋 宏幸

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０１７－１９９２７８（ＪＰ，Ａ）

【文献】特開２０１４－１４２７６０（ＪＰ，Ａ）

【文献】特開２００９－２２３５２７（ＪＰ，Ａ）

【文献】特開２０１３－０６２６８８（ＪＰ，Ａ）

【文献】特開２０１５－１８２６０４（ＪＰ，Ａ）

【文献】特開２０１０－２１８３９５（ＪＰ，Ａ）

【文献】特開平０６－３４７４２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力画像における認識対象の画像認識のための調整を行う調整手段と、
前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備え、
前記調整手段は、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、画像処理システム。

【請求項2】

請求項１に記載の画像処理システムにおいて、
前記調整手段は、前記ウィンドウのサイズを固定し、前記面積比および前記長さ比の少なくとも一方が前記所定の範囲に収まるように、前記入力画像の解像度を徐々に変化させる、画像処理システム。

【請求項3】

請求項１に記載の画像処理システムにおいて、
前記調整手段は、前記入力画像の解像度を固定し、前記面積比および前記長さ比の少なくとも一方が前記所定の範囲に収まるように、前記ウィンドウのサイズを徐々に変化させる、画像処理システム。

【請求項4】

請求項１に記載の画像処理システムにおいて、
前記調整手段は、認識対象が予め指定された教師画像を用いた機械学習により作成されたモデルを用いて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、画像処理システム。

【請求項5】

入力画像における認識対象の画像認識のための調整を行う調整手段と、
前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備え、
前記調整手段は、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、情報処理装置。

【請求項6】

入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備える画像処理システムを構成するために、
前記調整手段および前記認識手段の少なくとも１つを備え、
前記調整手段は、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する情報処理装置。

【請求項7】

情報処理装置を、
入力画像における認識対象の画像認識のための調整を行う調整手段と、
前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、として機能させ、
前記調整手段は、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、プログラム。

【請求項8】

通信可能に接続された複数の情報処理装置によって構成され、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備え
る画像処理システムにおける、記複数の情報処理装置のうちの１つの情報処理装置を、
前記調整手段および前記認識手段のうち少なくとも１つとして機能させ、
前記調整手段は、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、プログラム。

【請求項9】

入力画像における認識対象の画像認識のための調整を行う調整ステップと、
前記調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識ステップと、を含み、
前記調整ステップでは、前記ウィンドウ内の画像の面積に対する前記認識対象の画像の面積の比である面積比、および、前記ウィンドウ内の画像の長さに対する前記認識対象の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理システム、情報処理装置、プログラムおよび画像処理方法に関する。

【背景技術】

【0002】

特許文献１には、撮像装置の撮像画像を、撮像装置からの距離に応じて複数の領域に分割し、分割した領域を単位として、認識対象の画像認識を行う技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１８１７４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されている技術では、認識対象の移動に伴って撮像装置の撮像画像における認識対象の大きさが変動しても、認識対象を追跡するために、撮像画像を撮像装置からの距離に応じて複数の領域に分割している。

【0005】

しかしながら、特許文献１に記載されている技術では、撮像画像に映る認識対象のサイズによっては、認識対象の正確な画像認識を行うことができないという問題があった。

【0006】

かかる事情に鑑みてなされた本発明の目的は、認識対象の画像認識の精度向上を図ることにある。

【課題を解決するための手段】

【0007】

本発明の一実施形態に係る画像処理システムは、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備え、前記調整手段は、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【0008】

本発明の一実施形態に係る情報処理装置は、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備え、前記調整手段は、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【0009】

本発明の一実施形態に係る情報処理装置は、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備える画像処理システムを構成するために、前記調整手段および前記認識手段の少なくとも１つを備え、前記調整手段は、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【0010】

本発明の一実施形態に係るプログラムは、情報処理装置を、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、として機能させ、前記調整手段は、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【0011】

本発明の一実施形態に係るプログラムは、通信可能に接続された複数の情報処理装置によって構成され、入力画像における認識対象の画像認識のための調整を行う調整手段と、前記調整手段による調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識手段と、を備える画像処理システムにおける、記複数の情報処理装置のうちの１つの情報処理装置を、前記調整手段および前記認識手段のうち少なくとも１つとして機能させ、前記調整手段は、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【0012】

本発明の一実施形態に係る画像処理方法は、入力画像における認識対象の画像認識のための調整を行う調整ステップと、前記調整後、前記入力画像に対して、前記入力画像における前記認識対象の画像認識の単位であるウィンドウを走査し、前記ウィンドウ内の画像における前記認識対象の画像認識を行う認識ステップと、を含み、前記調整ステップでは、前記認識対象のサイズに応じて、前記ウィンドウのサイズおよび前記入力画像の解像度の少なくとも一方を調整する。

【発明の効果】

【0013】

本発明の一実施形態によれば、認識対象の画像認識の精度向上を図ることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係る画像処理システムの構成の一例を示す図である。

【図2】図１に示す情報処理装置による画像認識について説明するための図である。

【図3】図１に示す情報処理装置の動作の一例を示すフローチャートである。

【図4】図１に示す調整手段の動作の一例を示すフローチャートである。

【図5A】図１に示す調整手段による撮像画像の解像度の調整の一例を示す図である。

【図5B】図１に示す調整手段によるウィンドウのサイズの調整の一例を示す図である。

【図6】図１に示す調整手段の動作の他の一例を示すフローチャートである。

【図7】図１に示す調整手段の動作を模式的に示す図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態について図面を参照して例示説明する。各図中、同一符号は、同一または同等の構成要素を示している。

【0016】

図１は、本発明の一実施形態に係る画像処理システム１の構成の一例を示す図である。

【0017】

図１に示す画像処理システム１は、撮像装置１０と、情報処理装置２０とを備える。撮像装置１０と情報処理装置２０とは、例えば、インターネット、携帯電話網などのネットワークを介して、有線通信および／または無線通信による通信が可能である。

【0018】

撮像装置１０は、所定の範囲を撮像した撮像画像を生成する装置である。撮像装置１０は、生成した撮像画像を情報処理装置２０に送信する。

【0019】

情報処理装置２０は、撮像装置１０の撮像画像を入力画像とし、入力画像における認識対象の画像認識を行う装置である。情報処理装置２０は、例えば、ネットワークを介して撮像装置１０と通信可能な、サーバ装置、パーソナルコンピュータなどの装置である。情報処理装置２０は、例えば、図２に示すように、撮像装置１０の撮像画像２に対して、画像認識の単位であるウィンドウ３を横方向および縦方向に走査し、ウィンドウ３内の画像における認識対象４の画像認識を行う。

【0020】

図１を再び参照して、情報処理装置２０のハードウェア構成について説明する。

【0021】

通信部２１は、有線または無線を介して外部装置と通信する１つ以上の通信インタフェースである。本実施形態においては、通信部２１は、撮像装置１０と通信する通信インタフェースを含む。通信部２１は、撮像装置１０から送信されてきた撮像画像２を取得し、制御部２３に出力する。

【0022】

記憶部２２は、１つ以上のメモリである。メモリは、例えば、半導体メモリ、磁気メモリまたは光メモリなどであるが、これらに限られず任意のメモリとすることができる。記憶部２２は、例えば、一次記憶装置または二次記憶装置として機能する。記憶部２２は、例えば、情報処理装置２０に内蔵されるが、任意のインタフェースを介して情報処理装置２０に外部から接続される構成も可能である。

【0023】

制御部２３は、１つ以上のプロセッサである。制御部２３は、例えば、マイクロコントローラであるがこれに限られず、例えば、汎用のプロセッサまたは特定の処理に特化した専用プロセッサなど、任意のプロセッサとすることができる。制御部２３は、情報処理装置２０全体の動作を制御する。

【0024】

次に、情報処理装置２０のソフトウェア構成について、図１を参照して説明する。情報処理装置２０の動作の制御に用いられる１つ以上のプログラムが記憶部２２に記憶される。当該１つ以上のプログラムは、制御部２３により読み込まれると、制御部２３を、調整手段２３１および認識手段２３２として機能させる。

【0025】

調整手段２３１は、画像認識の単位であるウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する手段である。調整手段２３１は、ウィンドウ３内の画像における認識対象４のサイズに応じて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。調整手段２３１の動作の詳細については後述する。

【0026】

認識手段２３２は、調整手段２３１による調整後、撮像画像２に対してウィンドウ３を走査し、ウィンドウ３内の画像における認識対象４の画像認識を行う手段である。認識手段２３２は、認識対象４の検出の成否あるいは認識の確からしさを示す認識スコアを調整手段２３１に出力することができる。

【0027】

次に、本実施形態に係る情報処理装置２０の動作について説明する。

【0028】

図３は、本実施形態に係る情報処理装置２０の動作の一例を示す図であり、本実施形態に係る画像処理方法について説明するための図である。

【0029】

調整手段２３１は、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する（ステップＳ１１）。ここで、調整手段２３１は、ウィンドウ３内の画像における認識対象４のサイズに応じて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。

【0030】

認識手段２３２は、調整手段２３１による調整後、撮像画像２に対してウィンドウ３を走査し、ウィンドウ３内の画像における認識対象４の画像認識を行う（ステップＳ１２）。すなわち、認識手段２３２は、調整手段２３１により解像度が調整された撮像画像２に対してウィンドウ３を走査して、ウィンドウ３内の画像における認識対象４の画像認識を行う。あるいは、認識手段２３２は、撮像画像２に対して調整手段２３１によりサイズが調整されたウィンドウ３を走査して、ウィンドウ３内の画像における認識対象４の画像認識を行う。あるいは、認識手段２３２は、調整手段２３１により解像度が調整された撮像画像２に対して、調整手段２３１によりサイズが調整されたウィンドウ３を走査して、ウィンドウ３内の画像における認識対象４の画像認識を行う。

【0031】

このように本実施形態に係る画像処理方法は、ウィンドウ３のサイズおよび入力画像である撮像画像２の解像度の少なくとも一方を調整する調整ステップ（ステップＳ１１）と、調整後、撮像画像２に対してウィンドウ３を走査し、ウィンドウ３内の画像における認識対象４の画像認識を行う認識ステップ（ステップＳ１２）と、を含む。そして、調整ステップでは、ウィンドウ３内の画像における認識対象４のサイズに応じて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。

【0032】

次に、調整手段２３１の動作についてより詳細に説明する。

【0033】

図４は、１枚（１フレーム）の撮像画像２に対する画像認識を行う際の、調整手段２３１の動作の一例を示すフローチャートである。

【0034】

調整手段２３１は、予め定められた、ウィンドウ３のサイズおよび撮像画像２の解像度を設定する（ステップＳ２１）。

【0035】

調整手段２３１は、設定したウィンドウ３のサイズおよび撮像画像２の解像度による画像認識により、認識手段２３２が認識対象４の検出に成功したか否かを判定する（ステップＳ２２）。認識対象４の検出に成功したか否かは、例えば、認識手段２３２から出力される認識対象４の検出の成否あるいは認識スコアに基づき判定することができる。

【0036】

認識対象４の検出に失敗したと判定した場合（ステップＳ２２：Ｎｏ）、調整手段２３１は、ウィンドウ３のサイズまたは撮像画像２の解像度を変更し（ステップＳ２３）、ステップＳ２２の処理に戻る。調整手段２３１は、認識手段２３２による認識対象４の検出が成功するまで、ステップＳ２２およびステップＳ２３の処理を繰り返す。

【0037】

認識対象４の検出に成功したと判定した場合（ステップＳ２２：Ｙｅｓ）、調整手段２３１は、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズであるか否かを判定する（ステップＳ２４）。ここで、ウィンドウ３内の画像における認識対象４の検出サイズが適当であるとは、ウィンドウ３内の画像の面積に対する認識対象４の画像の面積の比である面積比、および、ウィンドウ３内の画像の長さに対する認識対象４の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まることを指す。

【0038】

ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズであると判定した場合（ステップＳ２４：Ｙｅｓ）、調整手段２３１は、現在のウィンドウ３のサイズおよび撮像画像２の解像度の設定を維持し、処理を終了する。

【0039】

ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズでないと判定した場合（ステップＳ２４：Ｎｏ）、調整手段２３１は、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を変更し（ステップＳ２５）、ステップＳ２４の処理に戻る。調整手段２３１は、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズになるまで、ステップＳ２４およびステップＳ２５の処理を繰り返す。すなわち、調整手段２３１は、ウィンドウ３内の画像の面積に対する認識対象４の画像の面積の比である面積比、および、ウィンドウ３内の画像の長さに対する認識対象４の画像の長さの比である長さ比の少なくとも一方が所定の範囲に収まるように、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。

【0040】

本願発明者が検討した結果、上述した面積比あるいは長さ比が所定の範囲内にある場合に、画像認識の認識スコアが上がり、認識精度が向上することが分かった。認識対象４の種類などにより変動するが、例えば、長さ比が１／１０～１／２の範囲内にあるときに、認識精度が向上することが分かった。調整手段２３１は、ウィンドウ３内の画像に認識対象４が検出されると、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズとなるように、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。

【0041】

以下では、調整手段２３１によるウィンドウ３のサイズまたは撮像画像２の解像度の調整について、図５Ａ，５Ｂを参照して説明する。

【0042】

調整手段２３１によるウィンドウ３のサイズまたは撮像画像２の解像度の調整の一例について、図５Ａを参照して説明する。図５Ａでは、ウィンドウ３のサイズに対して、認識対象４の検出サイズが大きすぎる場合を例として説明する。図５Ａでは、元の撮像画像２の縦方向のサイズをＩ１とし、元の撮像画像２の横方向のサイズをＩ２とする。また、ウィンドウ３の縦方向のサイズをＷ１とし、ウィンドウ３の横方向のサイズをＷ２とする。また、撮像画像２内の認識対象４の縦方向のサイズをＨ１とする。

【0043】

調整手段２３１は、例えば、ウィンドウ３のサイズは固定したままで、撮像画像２の解像度を徐々に変化させる。具体的には、調整手段２３１は、ウィンドウ３のサイズは固定したままで、撮像画像２の解像度を徐々に下げる。撮像画像２の解像度を下げることで、解像度の調整後の撮像画像２’の縦方向のサイズＩ１’および横方向のサイズＩ２’はそれぞれ、元の撮像画像２の縦方向のサイズＩ１および横方向のサイズＩ２よりも小さくなる。撮像画像２のサイズが小さくなることで、解像度の調整後の撮像画像２’内の認識対象４の縦方向のサイズＨ１’も、撮像画像２内の認識対象４の縦方向のサイズＨ１よりも小さくなる。そのため、例えば、ウィンドウ３の縦方向のサイズＷ１に対する認識対象４の縦方向のサイズＨ１’の長さ比（Ｈ１’／Ｗ１）が所定の範囲に収まるようになる。

【0044】

ウィンドウ３のサイズを固定したままで、撮像画像２の解像度を徐々に下げることで、ウィンドウ３のサイズに対して、認識対象４の検出サイズが大きすぎる場合にも、認識対象４の検出サイズを調整し、認識対象４の画像認識の精度向上を図ることができる。また、ウィンドウ３のサイズを固定とすることで、画像認識を行うＣＰＵ（Central Processing Unit）あるいはＧＰＵ（Graphics Processing Unit）は１つのウィンドウ３のサイズによる画像認識に対応可能であればよく、構成の簡素化を図ることができる。

【0045】

なお、ウィンドウ３のサイズに対して認識対象４の検出サイズが大きすぎる場合、調整手段２３１は、撮像画像２の解像度を固定して、ウィンドウ３のサイズを大きくする調整を行ってもよい。また、ウィンドウ３のサイズに対して認識対象４の検出サイズが大きすぎる場合、調整手段２３１は、撮像画像２の解像度を下げるとともに、ウィンドウ３のサイズを大きくする調整を行ってもよい、これらの調整によっても、認識対象４の検出サイズに対してウィンドウ３のサイズが相対的に大きくなり、ウィンドウ３のサイズに対する認識対象４の検出サイズを適当なサイズにすることができる。

【0046】

次に、調整手段２３１によるウィンドウ３のサイズまたは撮像画像２の解像度の調整の他の一例について、図５Ｂを参照して説明する。図５Ｂでは、ウィンドウ３のサイズに対して、認識対象４の検出サイズが小さすぎる場合を例として説明する。図５Ｂでは、図５Ａと同様に、元の撮像画像２の縦方向のサイズをＩ１とし、元の撮像画像２の横方向のサイズをＩ２とする。また、ウィンドウ３の縦方向のサイズをＷ１とし、ウィンドウ３の横方向のサイズをＷ２とする。また、撮像画像２内の認識対象４の縦方向のサイズをＨ１とする。

【0047】

調整手段２３１は、例えば、撮像画像２の解像度は固定したままで、ウィンドウ３のサイズを徐々に変化させる。具体的には、調整手段２３１は、撮像画像２の解像度は固定したままで、ウィンドウ３のサイズを徐々に小さくする。ウィンドウ３のサイズを小さくすることで、サイズの調整後のウィンドウ３’の縦方向のサイズＷ１’および横方向のサイズＷ２’はそれぞれ、元のウィンドウ３の縦方向のサイズＷ１および横方向のサイズＷ２よりも小さくなる。ウィンドウ３のサイズが小さくなることで、例えば、ウィンドウ３の縦方向のサイズＷ１’に対する認識対象４の縦方向のサイズＨ１の長さ比（Ｈ１／Ｗ１’）が所定の範囲に収まるようになる。

【0048】

撮像画像２の解像度を固定したままで、ウィンドウ３のサイズを徐々に小さくすることで、ウィンドウ３のサイズに対して、認識対象４の検出サイズが小さすぎる場合にも、認識対象４の検出サイズを調整し、認識対象４の画像認識の精度向上を図ることができる。また、事前学習により、教師データに応じた解像度を算出し、撮像画像２の解像度を算出した解像度に固定とすることで、余分な分割／縮小作業を行わずに、認識対象を最適な制度で均一に認識することができるように、ウィンドウ３のサイズを調整することができる。余分な分割／縮小作業を行う必要がないので、撮像画像２の解像度の調整を行うＣＰＵあるいはＧＰＵの処理負荷の軽減を図ることができる。

【0049】

図６は、複数の（複数フレームの）撮像画像２に対して連続的に画像認識を行う際の、調整手段２３１の動作の一例を示すフローチャートである。以下では、処理対象の撮像画像２の１つ前（直前）の撮像画像２において、所定のウィンドウ３のサイズおよび撮像画像２の解像度で、認識対象４が検出されているものとする。

【0050】

調整手段２３１は、処理対象の撮像画像２の直前の撮像画像２におけるウィンドウ３のサイズおよび撮像画像２の解像度を用いた画像認識により、認識手段２３２が認識対象４の検出に引き続き成功したか否かを判定する（ステップＳ３１）。

【0051】

認識対象４の検出に失敗したと判定した場合（ステップＳ３１：Ｎｏ）、調整手段２３１は、図６に示す処理を終了する。そして、調整手段２３１は、例えば、図４を参照して説明した処理を開始する。

【0052】

認識対象４の検出に成功したと判定した場合（ステップＳ３１：Ｙｅｓ）、調整手段２３１は、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズであるか否かを判定する（ステップＳ３２）。

【0053】

ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズであると判定した場合（ステップＳ３２：Ｙｅｓ）、調整手段２３１は、ウィンドウ３のサイズおよび撮像画像２の解像度を調整する必要がないので、処理を終了する。すなわち、調整手段２３１は、認識対象４の検出に成功し、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズである場合、直前のウィンドウ３のサイズおよび撮像画像２の解像度の設定を維持する。

【0054】

ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズでないと判定した場合（ステップＳ３２：Ｎｏ）、調整手段２３１は、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を変更し（ステップＳ３３）、ステップＳ３２の処理に戻る。調整手段２３１は、ウィンドウ３内の画像における認識対象４の検出サイズが適当なサイズになるまで、ステップＳ３２およびステップＳ３３の処理を繰り返す。

【0055】

図７は、複数の撮像画像２に対して連続的に画像認識を行う際の調整手段２３１の動作を模式的に示す図である。図７においては、４つの撮像画像２（撮像画像２－１～２－４）に対して連続的に画像認識を行うものとする。具体的には、時刻ｔ０から時刻ｔ１０において、撮像画像２－１の画像認識を行い、時刻ｔ１０から時刻ｔ２０において、撮像画像２－２の画像認識を行い、時刻ｔ２０から時刻ｔ３０において、撮像画像２－３の画像認識を行い、時刻ｔ３０から時刻ｔ４０において、撮像画像２－４の画像認識を行うものとする。また、撮像画像２－１～２－４には、２つの認識対象４（認識対象４ａ，４ｂ）が含まれ、認識対象４ａ，４ｂを検出することが予め定められているものとする。また、撮像画像２－１，２－２においては、認識対象４ａは認識対象４ｂよりも小さく映り、撮像画像２－３，２－４においては、認識対象４ａは認識対象４ｂと同程度の大きさで映っているものとする。また、撮像画像２－１～２－２、撮像画像２－３～２－４それぞれにおいて、認識対象４ａの大きさはほぼ変化せず、また、撮像画像２－１～２－４において、認識対象４ｂの大きさはほぼ変化してないものとする。また、調整手段２３１は、撮像画像２の解像度は固定して、ウィンドウ３のサイズを調整するものとする。

【0056】

調整手段２３１は、ウィンドウ３のサイズを所定の最小のサイズから徐々に大きくしていく。調整手段２３１は、時刻ｔ０から、時刻ｔ１０よりも前の時刻ｔ０１までの期間において、認識対象４ａ，４ｂに対するウィンドウ３のサイズを最小のサイズ（例えば、３００×３００［ｐｉｘｅｌ］）に設定する。図７に示すように、ウィンドウ３のサイズを３００×３００にした場合、認識対象４ａ，４ｂともにウィンドウ３内に収まらず、認識手段２３２は、認識対象４ａおよび認識対象４ｂを検出することができない。

【0057】

認識手段２３２が認識対象４ａ，４ｂを検出することができない場合、図４を参照して説明したように、調整手段２３１は、ウィンドウ３のサイズを変更する。したがって、調整手段２３１は、時刻ｔ０１から、時刻ｔ１０よりも前の時刻ｔ０２までの期間において、認識対象４ａ，４ｂに対するウィンドウ３のサイズを、時刻ｔ０から時刻ｔ０１までの期間で設定したウィンドウ３のサイズよりも大きいサイズ（例えば、６００×６００［ｐｉｘｅｌ］）に設定する。図７に示すように、ウィンドウ３のサイズを６００×６００に設定した場合、認識対象４ａは、ウィンドウ３内に収まり、認識手段２３２は、認識対象４ａを検出することができる。また、ウィンドウ３のサイズに対する認識対象４ａの検出サイズが所定の範囲に収まっている場合、認識手段２３２は、認識対象４ａについてのウィンドウ３のサイズの調整を終了する。一方、認識対象４ｂは、ウィンドウ３内に収まらず、認識手段２３２は、認識対象４ｂを検出することができない。

【0058】

認識手段２３２が認識対象４ｂを検出することができない場合、調整手段２３１は、ウィンドウ３のサイズを変更する。したがって、調整手段２３１は、時刻ｔ０２から、時刻ｔ１０よりも前の時刻ｔ０３までの期間において、認識対象４ｂに対するウィンドウ３のサイズを、時刻ｔ０１から時刻ｔ０２までの期間で設定したウィンドウ３のサイズよりも大きいサイズ（例えば、１２００×１２００［ｐｉｘｅｌ］）に設定する。図７に示すように、ウィンドウ３のサイズを１２００×１２００に設定した場合、認識対象４ｂは、ウィンドウ３内に収まり、認識手段２３２は、認識対象４ｂを検出することができる。また、ウィンドウ３のサイズに対する認識対象４ｂの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、認識対象４ｂについてのウィンドウ３のサイズの調整を終了する。

【0059】

撮像画像２－２では、認識対象４ａ，４ｂのサイズはほぼ変化していない。そのため、認識対象４ａに対するウィンドウ３のサイズ（６００×６００）はそのままで、認識手段２３２は、認識対象４ａを検出することができる。ウィンドウ３のサイズに対する認識対象４ａの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、ウィンドウ３のサイズの設定を維持する。また、認識対象４ｂに対するウィンドウ３のサイズ（１２００×１２００）はそのままで、認識手段２３２は、認識対象４ｂを検出することができる。ウィンドウ３のサイズに対する認識対象４ｂの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、ウィンドウ３のサイズの設定を維持する。したがって、調整手段２３１は、時刻ｔ１０から時刻ｔ２０においては、認識対象４ａ，４ｂに対するウィンドウ３のサイズの設定を維持する。

【0060】

撮像画像２－３では、認識対象４ｂのサイズはほぼ変化していないが、認識対象４ａのサイズは大きくなっている。そのため、時刻ｔ２０～ｔ２１においては、撮像画像２－２における認識対象４ａに対するウィンドウ３のサイズ（６００×６００）では、ウィンドウ３内に認識対象４ａが収まらず、認識手段２３２は、認識対象４ａを検出することができない。

【0061】

そこで、調整手段２３１は、認識対象４ａに対するウィンドウ３のサイズを所定の最小のサイズから徐々に大きくしていく。調整手段２３１は、時刻ｔ２１から、時刻ｔ３０よりも前の時刻ｔ２２までの期間において、認識対象４ａに対するウィンドウ３のサイズを最小のサイズ（例えば、３００×３００［ｐｉｘｅｌ］）に設定する。図７に示すように、ウィンドウ３のサイズを３００×３００にした場合、認識対象４ａはウィンドウ３内に収まらず、認識手段２３２は、認識対象４ａを検出することができない。

【0062】

認識手段２３２が認識対象４ａを検出することができない場合、調整手段２３１は、時刻ｔ２２から、時刻ｔ３０よりも前の時刻ｔ２３までの期間において、認識対象４ａに対するウィンドウ３のサイズを、時刻ｔ２１から時刻ｔ２２までの期間で設定したウィンドウ３のサイズよりも大きいサイズ（例えば、１２００×１２００［ｐｉｘｅｌ］）に設定する。図７に示すように、ウィンドウ３のサイズを１２００×１２００に設定した場合、認識対象４ａはウィンドウ３内に収まり、認識手段２３２は、認識対象４ａを検出することができる。また、ウィンドウ３のサイズに対する認識対象４ａの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、認識対象４ａについてのウィンドウ３のサイズの調整を終了する。

【0063】

なお、図７においては、時刻ｔ２０から時刻ｔ２１までの期間（ウィンドウ３のサイズを６００×６００である期間）において、認識対象４ａはウィンドウ３内に収まっていないため、時刻ｔ２２において、ウィンドウ３のサイズを、３００×３００から１２００×３００に変更する例を説明したが、本発明はこれに限られるものではない、調整手段２３１は、認識対象４がウィンドウ３内に収まらない場合、ウィンドウ３のサイズを順次、大きくしてもよい。したがって、調整手段２３１は、時刻ｔ２２において、ウィンドウ３のサイズを、３００×３００の次に大きな、６００×６００に変更してもよい。また、ウィンドウ３のサイズはあくまでも一例であり、ウィンドウ３のサイズおよび変更率は適宜、設定可能である。

【0064】

一方、撮像画像２－３では、認識対象４ｂのサイズはほぼ変化していない。そのため、認識対象４ｂに対するウィンドウ３のサイズ（１２００×１２００）はそのままで、調整手段２３１は、認識対象４ｂを検出することができる。ウィンドウ３のサイズに対する認識対象４ｂの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、認識対象４ｂに対するウィンドウ３のサイズの設定を維持する。

【0065】

撮像画像２－４では、認識対象４ａ，４ｂのサイズはほぼ変化していない。そのため、認識対象４ａに対するウィンドウ３のサイズ（１２００×１２００）はそのままで、認識手段２３２は、認識対象４ａを検出することができる。ウィンドウ３のサイズに対する認識対象４ａの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、認識対象４ａに対するウィンドウ３のサイズの設定を維持する。また、認識対象４ｂに対するウィンドウ３のサイズ（１２００×１２００）はそのままで、認識手段２３２は、認識対象４ｂを検出することができる。ウィンドウ３のサイズに対する認識対象４ｂの検出サイズが所定の範囲に収まっている場合、調整手段２３１は、認識対象４ｂに対するウィンドウ３のサイズの設定を維持する。したがって、調整手段２３１は、時刻ｔ３０から時刻ｔ４０においては、認識対象４ａ，４ｂに対するウィンドウ３のサイズの設定を維持する。

【0066】

なお、本実施形態においては、調整手段２３１は、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を徐々に変化させる例を用いて説明したが、これに限られるものではない。調整手段２３１は、例えば、認識対象が予め指定された教師画像を用いた機械学習により作成されたモデルを用いて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整してもよい。

【0067】

上述したようなモデルは、例えば、以下のようにして作成することができる。まず、教師画像（動画クリップ）における認識対象の最大サイズおよび最小サイズを測定する。そして、認識対象が所定の範囲（例えば、１／１０～１／２、より好ましくは、１／８～１／５）に収まるための、教師画像の分割率、分割数あるいは縮小率を算出し、算出結果に従い、教師画像を分割あるいは縮小する。次に、分割あるいは縮小された画像のうち、認識対象が含まれている画像における認識対象を矩形で指示するなどしてタグ付けする。そして、認識対象がタグ付けされた画像を用いた機械学習を行うことにより、上述したようなモデルを作成することができる。

【0068】

また、調整手段２３１は、撮像画像の撮像状況に基づいて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整してもよい。例えば、認識しづらい状況で撮像された撮像画像に対しては、通常時は１／１０～１／２に収まるように設定されているウィンドウ３のサイズまたは解像度を、１／８～１／５へと変化させてもよい。撮像状況の特定にあたっては、該当する撮像状況（例えば、夕焼けや雪景色などといった撮影環境や、撮影対象の種類など）を、例えば、ユーザにより予め特定しておいてもよく、機械学習を行った際の認識率（認識精度）から特定してもよい。また、調整手段２３１は、撮像状況のほかにも、対象物の動きに基づいて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整してもよい。

【0069】

このように本実施形態においては、画像処理システム１は、調整手段２３１と、認識手段２３２とを備える。調整手段２３１は、入力画像としての撮像画像２における認識対象４の画像認識の単位であるウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。認識手段２３２は、調整手段２３１による調整後、撮像画像２に対してウィンドウ３を走査し、ウィンドウ３内の画像における認識対象４の画像認識を行う。ここで、調整手段２３１は、ウィンドウ３内の画像における認識対象４のサイズに応じて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整する。

【0070】

ウィンドウ３内の画像における認識対象４のサイズに応じて、ウィンドウ３のサイズおよび撮像画像２の解像度の少なくとも一方を調整することで、ウィンドウ３内の画像における認識対象４のサイズを、画像認識に適したサイズに変更することができる。そのため、認識対象４のサイズによらず、認識対象４の画像認識の精度向上を図ることができる。

【0071】

本発明を諸図面および実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形および修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の手段およびステップなどを１つに組み合わせたり、あるいは分割したりすることが可能である。前述したところは本発明の一実施形態にすぎず、特許請求の範囲において、種々の変更を加えてよいことは言うまでもない。

【0072】

また、上述した実施形態において、情報処理装置２０の制御部２３によって実現される各種の手段をソフトウェア構成として説明したが、これらのうち少なくとも一部の手段は、ソフトウェア資源および／またはハードウェア資源を含む概念であってもよい。

【0073】

また、上述した実施形態に係る情報処理装置２０として機能させるために、コンピュータまたは携帯電話などの装置を用いることができる。当該装置は、実施形態に係る情報処理装置２０の各機能を実現する処理内容を記述したプログラムを、当該装置のメモリに格納し、当該装置のプロセッサによって当該プログラムを読み出して実行させることによって実現可能である。

【0074】

また、情報処理装置２０の各構成または各手段が、通信可能に接続された複数の情報処理装置に分散配置された構成も可能である。当該複数の情報処理装置のうち少なくとも１つの情報処理装置が、上述した画像処理システム１を構成するために、調整手段２３１および認識手段２３２の少なくとも１つを備える構成も可能である。

【符号の説明】

【0075】

１ 画像処理システム
２，２－１～２－４ 撮像画像
３ ウィンドウ
４，４ａ，４ｂ 認識対象
１０ 撮像装置
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 制御部
２３１ 調整手段
２３２ 認識手段

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】