特許 6246441 画像解析システム、画像解析方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6246441

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像解析システム、画像解析方法、およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20171204BHJP

   G06T 7/00 20170101ALI20171204BHJP

   H04N 7/18 20060101ALI20171204BHJP

【ＦＩ】

   H04N5/232 290

   G06T7/00 640

   H04N7/18 K

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2017-545425(P2017-545425)

(86)(22)【出願日】2016年10月31日

(86)【国際出願番号】JP2016082297

【審査請求日】2017年8月25日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２０１１−１９２０９３（ＪＰ，Ａ）

【文献】 特開２０００−３０６０９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、
撮像した画像を取得する取得手段と、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システム。

【請求項2】

前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶することを特徴とする請求項１に記載の画像解析システム。

【請求項3】

前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像であることを特徴とする請求項１または請求項２に記載の画像解析システム。

【請求項4】

過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップと、
撮像した画像を取得するステップと、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップと、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法。

【請求項5】

コンピュータシステムに、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップ、
撮像した画像を取得するステップ、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップ、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムに関する。

【背景技術】

【0002】

画像撮影装置には、過去に撮影された記録画像と同じ内容の撮影設定情報を使用して今回の画像撮影をできるようにするものがある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２２５０９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１の装置では、今回の撮影前に記録画像と同じ内容の撮影設定情報を適用する必要があり、既に撮像された画像に対して、適切な画像処理を行うことはできない。近年では、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ等で撮像した、様々なものが映っている大量の画像を画像解析するニーズが生じており、そのような場合には、撮像前の設定が必要な特許文献１の手法は適さない。また、画像解析を行う際には、撮像時の環境を使用することで、より被写体の検出や識別の精度を向上できると期待される。

【0005】

本発明では、これらの課題に鑑み、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明では、以下のような解決手段を提供する。

【0007】

第１の特徴に係る発明は、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、
撮像した画像を取得する取得手段と、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備えることを特徴とする画像解析システムを提供する。

【0008】

第１の特徴に係る発明によれば、画像解析システムにおいて、過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶する過去画像記憶手段と、撮像した画像を取得する取得手段と、記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出する類似画像抽出手段と、前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行う画像解析手段と、を備える。

【0009】

第１の特徴に係る発明は、画像解析システムのカテゴリであるが、画像解析方法、およびプログラムであっても同様の作用、効果を奏する。

【0010】

第２の特徴に係る発明は、第１の特徴に係る発明である画像解析システムであって、
前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶することを特徴とする画像解析システムを提供する。

【0011】

第２の特徴に係る発明によれば、第１の特徴に係る発明である画像解析システムにおいて、前記過去画像記憶手段は、前記取得した画像と、前記画像解析手段で適用された撮像環境データセットと、を対応付けて新たに記憶する。

【0012】

第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明である画像解析システムであって、
前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像であることを特徴とする画像解析システムを提供する。

【0013】

第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である画像解析システムにおいて、前記過去画像記憶手段で記憶された複数の過去画像は、３６０度撮像によって撮像された画像である。

【0014】

第４の特徴に係る発明は、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップと、
撮像した画像を取得するステップと、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップと、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップと、を備えることを特徴とする画像解析方法を提供する。

【0015】

第５の特徴に係る発明は、コンピュータシステムに、
過去に画像解析を行った過去画像と、当該過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットと、を対応付けて複数記憶するステップ、
撮像した画像を取得するステップ、
記憶した前記過去画像の中から、前記取得した画像と類似する過去画像を抽出するステップ、
前記取得した画像の画像解析を行う際に、前記抽出した過去画像を画像解析した際の撮像環境データセットを適用して画像解析を行うステップ、を実行させるためのプログラムを提供する。

【発明の効果】

【0016】

本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。

【図面の簡単な説明】

【0017】

【図1】図１は、本発明の好適な実施形態の概要図である。

【図2】図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。

【図3】図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。

【図4】図４は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させる場合のフローチャート図である。

【図5】図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。

【図6】図６は、撮像環境データセットのデータ構造の一例を示す表である。

【図7】図７は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。

【図8】図８は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。

【発明を実施するための形態】

【0018】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0019】

［画像解析システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。画像解析システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。

【0020】

なお、図１において、カメラ１００の数は１つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。

【0021】

カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。

【0022】

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオカメラ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。

【0023】

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

【0024】

図１の画像解析システムにおいて、コンピュータ２００は、過去画像記憶データベースを備える。過去画像記憶データベースには、過去に画像解析を行った過去画像と、その過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットとを対応付けて記憶する。ここで撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、等の撮像時の環境データをセットとしたものである。コンピュータ２００の過去画像記憶モジュール２３１は、あらかじめ複数の過去画像とその撮像環境データセットを、過去画像記憶データベースに記憶しておくものとする。

【0025】

カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ０１）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。

【0026】

コンピュータ２００の取得モジュール２１１は、カメラ１００が撮像した画像を取得する（ステップＳ０２）。

【0027】

図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の取得モジュール２１１が、２０１６年８月８日の０９：１０：１１に撮像したＩｍａｇｅＸという撮像画像を取得したことを示している。

【0028】

コンピュータ２００の類似画像抽出モジュール２１２は、ステップＳ０２で取得した撮像画像と、過去画像記憶データベースに登録済の過去画像とを比較して、類似画像を抽出する（ステップＳ０３）。

【0029】

図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセットとあわせて、撮像画像を記憶済みであるとする。「Ｓｅｔ１」の撮像画像が「ＩｍａｇｅＡ」、「Ｓｅｔ２」の撮像画像が「ＩｍａｇｅＢ」、「Ｓｅｔ３」の撮像画像が「ＩｍａｇｅＣ」、「Ｓｅｔ４」の撮像画像が「ＩｍａｇｅＤ」である。「ＩｍａｇｅＡ」から「ＩｍａｇｅＤ」の撮像画像がどんなものであるか、図６にあわせて概要を示す。ステップＳ０２で取得した撮像画像が、前述の図５の被写体４００である場合、これと類似した過去画像は、「Ｓｅｔ４」の「ＩｍａｇｅＤ」であるため、ステップＳ０３では「ＩｍａｇｅＤ」を類似画像として抽出する。

【0030】

最後に、コンピュータ２００の画像解析モジュール２１３は画像解析を行う（ステップＳ０４）。ここで、「ＩｍａｇｅＸ」の画像解析を行う際に、「Ｓｅｔ４」の撮像環境データセットである「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」を利用する。「ＩｍａｇｅＸ」と類似の「ＩｍａｇｅＤ」の撮像環境データセットである「Ｓｅｔ４」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り」の環境データセットを使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。

【0031】

ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。

【0032】

以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。

【0033】

［各機能の説明］
図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でも良く、カメラ１００とコンピュータ２００間の通信を可能とする。

【0034】

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体までの距離を測定可能な、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオカメラ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。

【0035】

カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものとし、画素数や画質を指定可能であるものとする。

【0036】

制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

【0037】

通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

【0038】

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

【0039】

制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は通信部２２０と協働して取得モジュール２１１を実現する。また、制御部２１０は記憶部２３０と協働して類似画像抽出モジュール２１２、画像解析モジュール２１３を実現する。

【0040】

通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ−２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

【0041】

記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、類似画像抽出結果、抽出した類似画像と撮像環境データセット、画像解析結果等の処理に必要なデータ等を記憶する。また、記憶部２３０は、制御部２１０と協働して過去画像記憶モジュール２３１を実現する。記憶部２３０に、過去画像記憶データベースを備えても良い。

【0042】

入出力部２４０は、画像解析システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。

【0043】

［画像解析処理］
図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行う場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。

【0044】

はじめに、コンピュータ２００の過去画像記憶モジュール２３１は、記憶部２３０に過去に画像解析を行った過去画像と、その過去画像の撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットとを対応付けて複数記憶する（ステップＳ３０１）。記憶部２３０に過去画像記憶データベースを備え、データベースに記憶することとしてもよい。ここで、撮像環境データセットとは、撮像時のカメラの水平方向からの角度、被写体の種類、被写体までの距離、照度、場所、天候、等の撮像時の環境データをセットとしたものである。ここであらかじめ、複数の過去画像とその撮像環境データセットを、過去画像記憶データベースに記憶しておくものとする。過去画像とあわせて、画像解析を行った際の結果や、画像解析のパラメータを記憶させても良い。なお、既に複数の過去画像とその撮像環境データセットが記憶されている場合には、この処理はスキップしてよいものとする。

【0045】

次に、カメラ１００の撮像部１０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ３０２）。カメラ１００は、被写体として、人間、動物、風景、物品、農作物、樹木等を撮像する。撮像の指示は、コンピュータ２００から行っても良い。

【0046】

コンピュータ２００の取得モジュール２１１は、カメラ１００が撮像した画像を取得する（ステップＳ３０３）。

【0047】

図５は、カメラ１００で被写体４００を撮像した場合の一例を示す図である。ここでは、カメラ１００と通信網３００で接続されたコンピュータ２００の取得モジュール２１１が、２０１６年８月８日の０９：１０：１１に撮像したＩｍａｇｅＸという撮像画像を取得したことを示している。

【0048】

コンピュータ２００の類似画像抽出モジュール２１２は、ステップＳ３０３で取得した撮像画像と、過去画像記憶データベースに登録済の過去画像とを比較して、類似画像を抽出する（ステップＳ３０４）。

【0049】

図６は、撮像環境データセットのデータ構造の一例を示す表である。ここでは、撮像環境データセットとあわせて、撮像画像を記憶済みであるとする。「Ｓｅｔ１」の撮像画像が「ＩｍａｇｅＡ」、「Ｓｅｔ２」の撮像画像が「ＩｍａｇｅＢ」、「Ｓｅｔ３」の撮像画像が「ＩｍａｇｅＣ」、「Ｓｅｔ４」の撮像画像が「ＩｍａｇｅＤ」である。「ＩｍａｇｅＡ」から「ＩｍａｇｅＤ」の撮像画像がどんなものであるか、図６にあわせて概要を示す。ステップＳ３０３で取得した撮像画像が、前述の図５の被写体４００である場合、これと類似した過去画像は、「Ｓｅｔ４」の「ＩｍａｇｅＤ」であるため、ステップＳ３０４では「ＩｍａｇｅＤ」を類似画像として抽出する。

【0050】

最後に、コンピュータ２００の画像解析モジュール２１３は画像解析を行う（ステップＳ３０５）。ここで、「ＩｍａｇｅＸ」の画像解析を行う際に、「Ｓｅｔ４」の撮像環境データセットである「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」を利用する。「ＩｍａｇｅＸ」と類似の「ＩｍａｇｅＤ」の撮像環境データセットである「Ｓｅｔ４」を使用して画像解析を行うことで、例えば、「Ｓｅｔ１」の「撮像時のカメラの水平方向からの角度が１０度、被写体の種類が人間、被写体までの距離が３メートル、照度が１００ルクス、場所が屋外、天候が曇り」の環境データセットを使用して画像解析を行う場合より、短時間で識別精度の良い結果を得ることが可能である。

【0051】

ここでの画像解析は、例えば、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の目的に応じた適切なものであるとする。また、画像解析パラメータも、前述の目的に応じて、例えば、フィルタ処理を行う範囲、フィルタ処理の強度、二値化の閾値、画像処理の順番、等、適切なものであるとする。

【0052】

以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。

【0053】

［撮像環境データセット追加記憶処理］
図４は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させる場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。図４のステップＳ４０１からステップＳ４０５の処理は、図３のステップＳ３０１からステップＳ３０５の処理に相当するため、ステップＳ４０６以降について説明する。

【0054】

過去画像記憶モジュール２３１は、ステップＳ４０５での画像解析後、「Ｓｅｔ４」の撮像環境データセットを使用した画像解析結果が、良好であったかどうかを確認する（ステップＳ４０６）。

【0055】

ステップＳ４０５の画像解析結果が良好であった場合には、過去画像記憶モジュール２３１は、ステップＳ４０３で取得した撮像画像を「Ｓｅｔ４」の撮像環境データセットと併せて新たな撮像画像と撮像環境データセットとして記憶する（ステップＳ４０７）。

【0056】

図７は、画像解析処理に使用した撮像画像と環境データセットを新たに記憶させた場合の撮像環境データセットのデータ構造の一例を示す表である。図６の状態から、新たに「Ｓｅｔ５」として、撮像画像である「ＩｍａｇｅＸ」と併せて「撮像時のカメラの水平方向からの角度が３０度、被写体の種類が植物、被写体までの距離が８メートル、照度が２４０ルクス、場所が屋外、天候が晴れ」の環境データセットを追加して記憶させている。これにより、次回撮像時から「Ｓｅｔ５」の撮像環境データセットも利用可能となる。

【0057】

ステップＳ４０５の画像解析結果が良好でなかった場合には、過去画像記憶モジュール２３１はなにも行わず処理を終了する。

【0058】

ステップＳ４０５において、画像解析結果が良好であったかどうかとは、個人判定用の顔認識、農作物の害虫被害状況の判別、倉庫内の在庫確認、医療診断用の患部画像認識、等、個々の画像解析の目的に応じて閾値等を用いて自動で判断しても良いし、人間が判断してもよい。

【0059】

以上のように、本発明によれば、カメラで撮像した画像を解析する画像解析システムにおいて、良好な画像解析結果を得た撮像画像と撮像環境データセットを新たに登録することで、画像解析における被写体の検出および識別精度をより一層向上させる画像解析システム、画像解析方法、およびプログラムを提供することが可能となる。

【0060】

［撮像角度取得処理］
本発明でのカメラ１００は、被写体までの距離を測定可能、または、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。被写体までの距離を測定する方法については、カメラ１００のセンサ等から取得する他に、被写体を複数の異なる方向から同時に撮像可能である場合には、その複数のカメラそれぞれで撮像した画像のズレの長さと、実際の距離を学習させて、距離を測定することも可能である。また、その測定した距離を用いて、撮像角度を算出することも可能である。複数のカメラから距離を測定する方法については、既存技術として知られているため、ここでは、図８に基づいて、撮像角度を取得する方法について説明する。

【0061】

図８は、カメラ１００の撮像角度を取得する方法を模式的に説明するための図である。図８において、カメラ１００は、被写体４００と、壁８１０と、床８２０を撮像した状態である。カメラ１００またはコンピュータ２００が、撮像画像を画像解析し、撮像角度を取得する場合、撮像画像中に存在する同じパターン（模様）面積が、最大の領域を床又は地面等の平面と認識し、平面の傾きから自身の撮像角度を取得する。ここでは、床８２０が平面に該当する。

【0062】

カメラ１００の撮像角度を取得する方法は、カメラ１００またはコンピュータ２００のいずれで行っても良いが、以下では簡略化のために、コンピュータ２００で行うものとして記載する。コンピュータ２００は、撮像位置から床８２０までの２か所の所定位置８３０，８３１をサンプルとして抽出する。この所定位置８３０，８３１と、撮像地点の中心位置８３２とを結んだ三角形８３３を形成する。三角形８３３は、辺８４０、辺８４１、辺８４２の３辺により形成される。コンピュータ２００は、中心位置８３２から床８２０へ垂線８５０を形成し、辺８４２と垂線８５０の交点８３４を形成する。コンピュータ２００は、複数のカメラで撮像した画像のずれの長さと実際の距離を学習させ、距離を推定することにより辺８４０，８４１及び垂線８５０の長さを算出する。コンピュータ２００は、辺８４２において、所定位置８３０と交点８３４とを結ぶ線分８６０と、所定位置８３１と交点８３４とを結ぶ線分８６１との長さを算出する。コンピュータ２００は、三角関数により、角度８７０を算出し、この算出した角度８７０を自身の３次元の撮像角度として取得する。

【0063】

以上のように、本発明によれば、カメラに被写体までの距離を測定する機能が無い場合にも、被写体を複数の異なる方向から同時に撮像する機能を利用することにより、被写体までの距離を算出するとともに、撮像時の水平方向からの角度を算出することが可能である。

【0064】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0065】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0066】

１００ カメラ、２００ コンピュータ、３００ 通信網、４００ 被写体

【要約】

【課題】 カメラで撮像した画像を解析する画像解析システムにおいて、画像解析における被写体の検出および識別精度を向上させる。
【解決手段】 過去に画像解析を行った過去画像と、過去画像撮像時のカメラの設定データおよび被写体に関するデータからなる撮像環境データセットを複数記憶しておき、撮像した画像を取得する取得モジュール２１１と、撮像画像と類似する過去画像を抽出する類似画像抽出モジュール２１２とを備え、抽出された過去画像の撮像環境データセットを取得した撮像画像に適用して画像解析を行う。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】