特開 2023-119326 映像解析装置および映像解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023119326

(43)【公開日】2023-08-28

(54)【発明の名称】映像解析装置および映像解析方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230821BHJP

   H04N 23/60 20230101ALI20230821BHJP

【ＦＩ】

G06T7/00 300D

G06T7/00 350C

H04N5/232 290

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022022167

(22)【出願日】2022-02-16

(71)【出願人】

【識別番号】000214984

【氏名又は名称】ＴＶＳ ＲＥＧＺＡ株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】石丸 大

(72)【発明者】

【氏名】山内 日美生

(72)【発明者】

【氏名】木村 忠良

(72)【発明者】

【氏名】徳永 将之

【テーマコード（参考）】

5C122

5L096

【Ｆターム（参考）】

5C122FH07

5C122FH09

5C122FH11

5C122GA01

5C122GA23

5C122HA48

5C122HB01

5C122HB09

5L096DA02

5L096GA17

5L096HA08

5L096HA11

5L096JA09

(57)【要約】

【課題】解像度の異なる複数の画像データを解析する映像解析装置および映像解析方法を提供する。
【解決手段】一実施形態に係る映像解析装置は、映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する。
【選択図】図１

【特許請求の範囲】

【請求項1】

映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する映像解析装置。

【請求項2】

前記画像データは、表示範囲である画角が調整されたデータである請求項１に記載の映像解析装置。

【請求項3】

前記解像度に紐づけられたニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項１または請求項２のいずれか１項に記載の映像解析装置。

【請求項4】

前記解像度と予め決められた検出対象とに紐づけられた前記ニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項３に記載の映像解析装置。

【請求項5】

前記解像度と予め決められた前記画像データ上の検出範囲とに紐づけられた前記ニューラルネットワークの前記検出窓のサイズと前記モデルパラメータとを格納する記憶部を備える請求項３に記載の映像解析装置。

【請求項6】

前記画像データから特定の物体を検出し、前記物体から前記検出対象を検出する請求項１乃至請求項５のいずれか１項に記載の映像解析装置。

【請求項7】

前記映像フレームのフレームグレインを前記検出対象として検出する請求項１乃至請求項５のいずれか１項に記載の映像解析装置。

【請求項8】

映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する映像解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、映像、画像を解析する映像解析装置および映像解析方法に関する。

【背景技術】

【0002】

ニューラルネットワークを用いた画像認識においては、画像の中から特定の情報を検出する際に、検出窓という一定のサイズ（画素数）の枠を用いる。例えば、映像フレームからデジタルサンプリングにより得た画像に対して、検出窓を用いて情報の検出をしようとした場合、画像の画角（撮影領域）が同一でも解像度が異なると、同じサイズの検出窓に含まれる情報には違いが出る（例えば低解像度の方がより広い領域の情報を拾うこととなる）。通常、画像を拡大したり縮小したりすることで、検出窓のサイズとのバランスが取られる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７０６７８８号公報

【特許文献2】特許第６８６７１１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、解像度の異なる複数の画像から、同様の大きさの対象物をニューラルネットワークで検出する場合、検出窓内の情報の違いにより、安定した学習を行うことが困難であり、また検出窓に合わせて画像のサイズを縮小すると特徴量が失われてしまう問題がある。

【0005】

本発明が解決しようとする課題は、解像度の異なる複数の画像データを解析する映像解析装置処理、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

一実施形態に係る映像解析装置は、映像フレームをデジタルサンプリングして得た画像データの解像度に応じてニューラルネットワークの検出窓のサイズ及びモデルパラメータを切り替えて、前記画像データから検出対象を検出する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施形態に係る映像解析装置の構成図である。

【図2】図２は、第１の実施形態に係る映像解析装置が解析処理するデータフローの例を示す模式図である。

【図3】図３は、第１の実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【図4】図４は、実施形態に係る映像解析装置が解析処理する映像サンプリングデータの例を示す模式図である。

【図5】図５は、第２の実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【図6】図６は、第２の実施形態に係る映像解析装置が備えるテーブルデータの例である。

【図7】図７は、第３の実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【図8】図８は、第４の実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、実施の形態について図面を参照して説明する。
（第１の実施形態）
例えば同じ場面を撮影した映像からデジタルサンプリングにより画像を取得する場合、デジタルサンプリングによっては画像の解像度が異なることがある。本実施形態においては、ニューラルネットワークを用いて、画角（撮影範囲）が同一もしくは同様であるが解像度の異なる複数の画像データからだいたい一定の大きさとなる対象（検出対象と称する）を検出する例を示す。

【0009】

図１は、実施形態に係る映像解析装置の構成図である。

【0010】

映像解析装置１は、入力された映像や画像から検出対象を検出し、外部に出力する装置であり、ＣＰＵやメモリなどのコンピュータ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのデジタル信号処理手段を備えていてもよい。

【0011】

映像入力部１１は、外部からデジタルデータである画像データを映像解析装置１に取り込み、画像データを出力する。入力される画像データは、映像データの静止画像など任意の画像データであってよい。映像入力部１１は、入力された画像データからメタ情報（画素数または解像度）を取り出して、画角取得部１２に画角情報としてメタ情報を出力する。
また、映像入力部１１は、画像データを出力する際に、例えば解析を実行しようとする画像データのサンプルを用いて、サンプルに合わせるように出力する画像データの画角（撮影範囲）を調整することでもよい。

【0012】

画角取得部１２は、映像入力部１１から画角情報を取得する。

【0013】

検出用ＮＮ選択部１３は、画角取得部１２から入力される画角情報などに基づいて、画像データから検出対象を検出するためのニューラルネットワークＮＮを選択する。ニューラルネットワークＮＮは、例えばＤｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＤＮＮ）であり、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）を含んでもよい。また、ニューラルネットワークＮＮは、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）、Ｌｏｎｇ Ｔｅｒｍ Ｓｈｏｒｔ Ｍｅｍｏｒｙ（ＬＴＳＭ）など任意のニューラルネットワークを含めてもよい。各種ニューラルネットワークは一般的な技術であり、説明を省略する。

【0014】

ニューラルネットワークＮＮは、検出窓サイズをパラメータとして備える。検出窓は、画像データから検出対象を検出するための画像データ上の領域を示し、検出窓サイズは、検出窓に含まれる画素数を示す。

【0015】

記憶部１４は、メモリであり、テーブル１４１やＮＮモデルパラメータ１４２など各種情報が格納される。

【0016】

テーブル１４１は、映像入力部１１から入力された画像データの画角情報ごとに、紐づけられたニューラルネットワークＮＮの検出窓サイズ、ＮＮモデルなどが格納されている。すなわち、画像データの画角情報ごとにニューラルネットワークＮＮを紐づけられたＮＮモデルに変えることを示す。例えば、データＴＢ１は、映像入力部１１から入力された画像データの解像度が７２０［画素数］×４８０［画素数］の場合、ＮＮモデルを検出用ＮＮ１とし、検出用ＮＮ１の検出窓サイズは、１６×１６とするニューラルネットワークＮＮを用いて、画像データを処理することを示す。テーブル１４１は、出荷時に設定されていることでもよいし、また映像解析装置１がインターネット経由でサーバなどからダウンロードして取得することでもよい。その他任意の方法でテーブル１４１を記憶部１４に設定できるようにしてもよい。

【0017】

ＮＮモデルパラメータ１４２は、ニューラルネットワークＮＮで用いられるパラメータであり、テーブル１４１における使用ＮＮモデルに相当するニューラルネットワークＮＮのパラメータである。例えば、データＴＢ１の検出用ＮＮ１のモデルパラメータは、ＭＰ１であり、データＴＢ２の検出用ＮＮ２のモデルパラメータは、ＭＰ２であり、データＴＢ２の検出用ＮＮ２のモデルパラメータは、ＭＰ３であることを示す。ＮＮモデルパラメータ１４２は、テーブル１４１で設定される検出窓サイズのデータで学習されて得られているものとする。

【0018】

画像認識部１５は、映像入力部１１が取り込んだ画像データに対して、検出用ＮＮ選択部１３によって選択されたニューラルネットワークＮＮを実行する。

【0019】

特徴検出部１５１は、画像認識部１５の機能の一部としてニューラルネットワークＮＮによる特徴検出を実行する。特徴検出部１５１は、例えばＣＮＮであってもよい。

【0020】

領域計算部１５２は、映像入力部１１が取り込んだ画像データに対して、画像認識による特定の物体の検出を実行する。領域計算部１５２は、一般的なオブジェクト認識手法を用いてもよいし、ニューラルネットワークであってもよい。

【0021】

結果出力部１６は、画像認識部１５によって解析した結果を図示せぬモニタなどの外部装置へ出力する。

【0022】

図２は、実施形態に係る映像解析装置が解析処理するデータフローの例を示す模式図である。本実施形態の映像解析装置１は、リンゴを解析対象ＡＯとし、リンゴ上の虫食いなどのキズを検出する。虫食いなどのキズを検出対象ＤＯと称する。

【0023】

映像解析装置１は、解析対象ＡＯであるリンゴの撮影データのデジタルサンプリングによって、低解像度の画像データＳＤ１のデータを得たとする。

【0024】

画角取得部１２は、低解像度の画像データＳＤ１が入力されると、画角情報を取得し、検出用ＮＮ選択部１３に入力する。検出用ＮＮ選択部１３は、入力された画角情報の解像度に基づいて記憶部１４から情報を取得し、検出窓サイズＤＷ１を５×７、検出用ＮＮのモデルを低解像度用のＤＮＮ（検出用のニューラルネットワークＮＮ１）とする。画像認識部１５は、ニューラルネットワークＮＮ１で、画像データＳＤ１を解析する。ここでニューラルネットワークＮＮ１は、検出対象ＤＯの含まれた検出窓サイズＤＷ１のデータで学習されているものとする。画像認識部１５の解析により、画像データＳＤ１から検出対象ＤＯが検出される。

【0025】

同様に、映像解析装置１は、解析対象ＡＯであるリンゴの撮影データのデジタルサンプリングによって、高解像度の画像データＳＤ２のデータを得た場合、画像認識部１５は、検出窓サイズＤＷ２を２５×３７、検出用ＮＮのモデルを高解像度用のＤＮＮ（検出用のニューラルネットワークＮＮ２）で、画像データＳＤ２を解析する。画像データＳＤ２の画角は画像データＳＤ１と同様であるものとし、図２に示すように画像データＳＤ１、ＳＤ２において、画像データＳＤの大きさに対する解析対象ＡＯであるりんごの大きさは同様であるものとする。ニューラルネットワークＮＮ２は、検出対象ＤＯの含まれた検出窓サイズＤＷ２のデータで学習されているものとし、画像認識部１５の解析により、画像データＳＤ２から検出対象ＤＯが検出される。

【0026】

なお、画像データＳＤ１またはＳＤ２、検出窓サイズＤＷ１またはＤＷ２、ニューラルネットワークＮＮ１またはＮＮ２は、特に区別しない場合は、それぞれ画像データＳＤ、検出窓サイズＤＷ、ニューラルネットワークＮＮと称する。また、本実施形態において、映像解析装置１は、図１のテーブル１４１、ＮＮモデルパラメータ１４２においてそれぞれ３つのデータを備える場合について示すが、３つ以上備えていてもよい。

【0027】

図３は、実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【0028】

映像解析装置１において、映像入力部１１は、解析対象ＡＯ（図２におけるりんごに相当する）を含む画像データＳＤ（静止画像）を得ると、画角取得部１２は、画像データＳＤの画角情報を取得する（ステップ１０１）。なお、画角取得部１２は、静止画像を用いずに、別の経路で例えばユーザの設定などにより画角情報を取得してもよい。

【0029】

検出用ＮＮ選択部１３は、記憶部１４のテーブル１４１（画角と検出窓サイズおよびＮＮモデルの関係テーブル）の情報を利用して、ステップＳ１０１において取得された画角情報に紐づけられた使用ＮＮモデルを選択する（ステップＳ１０２）。図１のＴＢ１の例でより具体的に説明すると、検出用ＮＮ選択部１３は、ステップＳ１０１において取得された解像度情報「７２０×４８０」に紐づけられた検出窓サイズＤＷ「１６×１６」、検出用ＮＮのモデル「検出用ＮＮ１」を選択する。

【0030】

検出用ＮＮ選択部１３は、選択したＮＮ情報および検出窓サイズを画像認識部１５に伝えると、画像認識部１５は、映像入力部が出力した画像データから対象となる物体（検出対象ＤＯ）の検出処理を行う（ステップ１０３）。より具体的にステップ１０３においては、画像ＳＤ全体を画像認識部１５のＮＮへの入力に使うのではなく、検出窓ＤＷの単位でＮＮへ入力する。検出窓ＤＷは画像ＳＤのサイズより小さいため、画像認識部１５は、例えばまず画像ＳＤ上にて検出窓位置（範囲１とする）を決定して、範囲１についてＮＮ計算して解析する。範囲１の解析が終了したら、また別の検出窓位置（範囲２とする）を決定して、範囲２についてＮＮ計算するという流れで解析を実行する。以降、検出窓位置を少しずつずらして画像全体に対する解析を実行することでもよい。

【0031】

ＮＮ計算の結果、検出対象が検出された場合、結果出力部１６は、図示せぬモニタなどに出力することでもよい（ステップ１０４）。ステップ１０４における出力方法は、何かしらの映像を画面に出しても良いし、ログとして記憶部１４などのファイルに保管する方法でもよい。

【0032】

以上の手順により、画角は同様だが解像度の異なる複数の画像データＳＤに対して、各画像ＳＤ中において一定の大きさである検出対象ＤＯを検出することができる。

【0033】

図４は、実施形態に係る映像解析装置が解析処理する映像サンプリングデータの例を示す模式図である。映像入力部１１への入力データの種類（映像、画像など）および検出対象ＤＯなどの性質により、検出範囲ＤＡを決定することが考えられる。

【0034】

図４（ａ）は、画像データＳＤ１に複数の検出対象ＤＯ１１、ＤＯ１２が存在する場合の例である。映像解析装置１は、画像データＳＤ１全体に検出窓ＤＷを移動させながら図３の処理を実行することにより、検出対象ＤＯ１１、ＤＯ１２が検出できる。例えば、製品の品質チェックにおいて、製品の撮影映像を映像解析装置１に入力することにより、解析対象の製品にいくつの異常があるかを検出することができる。また例えば製品の良品検査においては、１つでも異常が検出された時点で不合格とする場合、結果出力部１６などが結果を出力するとともに、画像認識部１５における認識プロセスを終了させることでもよい。図４（ｂ）以降については、以下の実施形態において説明する。
（第２の実施形態）
本実施形態は、図４（ｂ）のケースにおいて検出対象ＤＯを検出する例を示す。

【0035】

図４（ｂ）は、画像データＳＤ２上の既知の特定領域に、１つもしくは複数の検出対象ＤＯが存在する場合の例である。図４（ｂ）のように、画像データＳＤ２内において対象物が存在する領域ＤＡが決まっている場合、映像解析装置１は、既知の特定領域を検出範囲ＤＡとし、その検出範囲ＤＡのみ認識を実行することでもよい。

【0036】

図５は、第２の実施形態に係る映像解析装置による解析処理を示すフローチャートである。

【0037】

画角取得部１２は、入力画像データＳＤ２の画角情報を取得し、検出用ＮＮ選択部１３に入力する（ステップＳ２０１）。検出用ＮＮ選択部１３は、検出対象ＤＯ、検出範囲ＤＡを取得する（ステップＳ２０２）。検出対象ＤＯ、検出範囲ＤＡは、映像解析装置１に接続された例えばキーボードなどからユーザが設定してもよいし、図４（ｂ）のようなイメージを映像解析装置１に接続した図示せぬモニタなどに表示して、ユーザが検出対象ＤＯ、検出範囲ＤＡを設定できるようにしてもよい。

【0038】

検出用ＮＮ選択部１３は、入力された画角情報、検出対象ＤＯ、検出範囲ＤＡに従って、検出窓サイズおよびＮＮモデルを選択し、画像認識部１５に設定する（ステップＳ２０２）。

【0039】

図６は、第２の実施形態に係る映像解析装置が備えるテーブルデータの例である。

【0040】

テーブル１４１１は、記憶部１４に備えられたデータであり、図１のテーブル１４１の内容に加え、入力画像の解像度に「検出対象」、「検出範囲」が紐づけられている。例えば、データＴＢ１１は、映像入力部１１から入力された画像データの解像度が７２０×４８０の場合、解析に使用するニューラルネットワークＮＮのモデルを「検出用ＮＮ１」、検出用ＮＮ１の検出窓サイズを「１６×１６」（例えば図４（ｂ）のＤＷ２１とする）、検出対象ＤＯを「Ｘ部の異常」（例えば図４（ｂ）のＤＯ２１とする）、検出範囲ＤＡを「３６０ｘ１００＋３２０ｘ１２０」（例えば図４（ｂ）のＤＡ２１とする）とすることを示す。検出対象ＤＯ２１は、「Ｘ部の異常」として予めキズなどの異常の種類が決まっており、さらに検出範囲ＤＡ２１が座標（ｘ１、ｙ１）＝（３６０、１００）、（ｘ２、ｙ２）＝（３２０ｘ１２０）の２点を対角とする四角であることを示す。本実施形態における検出用ＮＮ１は、検出対象ＤＯ２１「Ｘ部の異常」を含む検出窓ＤＷ２１「１６×１６」の画像データで学習がなされる。

【0041】

また例えば、データＴＢ１４は、映像入力部１１から入力された画像データの解像度が７２０×４８０の場合、解析に使用するニューラルネットワークＮＮのモデルを「検出用ＮＮ１」、検出用ＮＮ１の検出窓サイズを「１６×１６」（例えば図４（ｂ）のＤＷ２２とする）、検出対象ＤＯを「Ｙ部の異常」（例えば図４（ｂ）のＤＯ２２とする）、検出範囲ＤＡを「１８０ｘ２４０＋２４０ｘ２４０」（例えば図４（ｂ）のＤＡ２２とする）とすることを示す。本実施形態における検出用ＮＮ１は、データＴＢ１１による学習に加え、データＴＢ１４による学習もなされる。なお、図４（ｂ）のＤＷ２１、ＤＷ２２の例のように、検出対象ＤＯの種類によって、検出窓ＤＷのサイズを変更してもよい。この場合は、ニューラルネットワークＮＮは、それぞれの検出窓ＤＷのサイズを用いて学習させ、異なるニューラルネットワークＮＮとすることでもよい。例えば図４（ｂ）において、特に検出対象ＤＯ２１（例えばＸ部異常とする）、検出対象ＤＯ２１（例えばＹ部異常とする）の特徴が大きく異なるときには、それぞれ別に学習した専用のＮＮを使う方が、検出対象ＤＯの認識精度が高くなることがある。

【0042】

図５に戻り、検出用ＮＮ選択部１３は、記憶部１４などに格納されたテーブル１４１１の情報から使用ＮＮモデルを選択する（ステップＳ２０３）。画像認識部１５は、検出範囲ＤＡにおける検出窓ＤＷの範囲について、ステップＳ２０３で選択したＮＮにより検出対象ＤＯの検出処理を実行する（ステップＳ２０４）。ステップＳ２０４において検出対象ＤＯが検出された場合（例えば図４（ｂ）のＤＷ２１とする）、結果出力部１６は、検出した検出対象ＤＯの位置などの情報を記憶部１４などに格納することでもよい（ステップＳ２０５のＹｅｓ、ステップＳ２０６）。なお、ステップＳ２０６の代わりにステップＳ２０８に移り、結果出力部１６に結果を出力することでもよい。

【0043】

ステップＳ２０４において検出対象ＤＯが検出されなかった場合（例えば、図４（ｂ）のＤＡ２３の例）、次の検出範囲ＤＡに移り、ステップＳ２０３から同様の処理を繰り返す（ステップＳ２０５のＮｏ、ステップＳ２０７のＮｏ）。全ての検出範囲ＤＡに対する処理が終了したら、ステップＳ２０６で格納した検出対象ＤＯの情報を結果出力部１６に結果を出力することでもよい（ステップＳ２０７のＹｅｓ、ステップＳ２０８）。

【0044】

以上の手順により、複数の検出範囲ＤＡに対する画像認識が可能となる。本実施形態においては、検出対象ＤＯの認識範囲を映像全体ではなく、事前に設定した範囲（検出範囲ＤＡ）にのみ行うため、短時間で処理ができる。
（第３の実施形態）
本実施形態においては、図４（ｃ）の例のように、映像内に映っているある物体（解析対象ＡＯ）の領域において検出対象ＤＯを検出する例について示す。本実施形態の映像解析装置１は、例えば、食品検査において、映像（画像データＳＤ）に映っている解析対象ＡＯの異常を検査しようとした場合、まず解析対象ＡＯの検出を行い、その解析対象ＡＯの領域に対して検出対象ＤＯの検出を行う。

【0045】

図７は、第３の実施形態に係る映像解析装置による解析処理を示すフローチャートである。以下、図４（ｃ）を例として説明する。

【0046】

画角取得部１２は、入力画像データＳＤ３の画角情報を取得し、検出用ＮＮ選択部１３に入力する（ステップＳ３０１）。また同時に画像認識部１５においては、領域計算部１５２が画像データＳＤ３に対して解析対象ＡＯの検出処理をする（ステップＳ３０２）。ステップＳ３０２において、画像認識部１５は、解析対象ＡＯに関する情報（例えば、りんご）が予め設定されていることでもよい。例えば映像解析装置１に接続されたキーボードなどから、ユーザが画像認識部１５に解析対象ＡＯに関する情報を設定することでもよい。

【0047】

領域計算部１５２は、入力された画像データＳＤ３から解析対象ＡＯの検出およびその領域の特定を行う。例えばリンゴの品質管理を行う例において、画像データＳＤ３内に複数のリンゴが存在した場合、それらリンゴの表示エリアを計算し、取得する。この特定には一般的なオブジェクト認識手法を用いる。表示エリアは、解析対象ＡＯそのものの形としてもよいし、解析対象ＡＯを含む矩形などとして表してもいいし、その他のフォーマットで表現しても良い。画像認識部１５は、算出された表示エリアを検出範囲ＤＡとする。図４（ｃ）の例では、ステップＳ３０２において、解析対象ＡＯとして解析対象ＡＯ３、解析対象ＡＯ３１が検出される。

【0048】

検出用ＮＮ選択部１３は、入力された画角情報、検出対象ＤＯを含む情報から、例えば図６のテーブル１４１１で紐づけられた検出窓サイズおよびＮＮモデルを選択し、画像認識部１５に設定する（ステップＳ３０３）。画像認識部１５は、入力映像の中の、領域計算部１５２から与えられた検出範囲ＤＡ（解析対象ＡＯの表示エリアに相当）に対して、選択された検出用ＮＮにより検出対象ＤＯの検出処理を行う（ステップＳ３０４）。ステップＳ３０４における処理の結果はモニタなどに出力されることでもよい（ステップＳ３０５）。ステップＳ３０３からＳ３０５の手順を、ステップＳ３０２において検出された解析対象ＡＯすべてに対して実行することでもよい。

【0049】

本実施形態の映像解析装置１によれば、検出対象ＤＯの認識範囲を映像全体ではなく、事前に取得した解析対象ＡＯの表示エリアを検出範囲ＤＡとすることで、短時間で検出対象ＤＯの検出ができる。
（第４の実施形態）
本実施形態においては、図４（ｄ）の例のように、画像データＳＤ内に散らばっている検出対象ＤＯを検出する例について示す。例えば、アナログデータである映像フィルム（フィルムの１枚１枚）には、フィルムグレインという現象が発生することがある。本実施形態の映像解析装置１は、例えば画像データＳＤにおいて、検出窓の位置をランダムに決めて、検出窓内の画像データに対してフィルムグレインの検出処理する例を示す。

【0050】

図８は、第４の実施形態に係る映像解析装置による解析処理を示すフローチャートである。以下、図４（ｄ）を例として説明する。

【0051】

画角取得部１２は、入力画像データＳＤ４の画角情報を取得し、検出用ＮＮ選択部１３に入力する（ステップＳ４０１）。検出用ＮＮ選択部１３は、検出対象ＤＯ（フィルムグレインに相当する）の情報を取得する（ステップＳ４０２）。検出対象ＤＯの情報は、映像解析装置１に接続された例えばキーボードなどからユーザが検出用ＮＮ選択部１３に設定してもよい。

【0052】

検出用ＮＮ選択部１３は、取得した画角情報、検出対象ＤＯに従って、例えば図６のテーブル１４１１から、紐づけられる検出窓サイズおよびＮＮモデルを選択し、画像認識部１５に設定する（ステップＳ４０３）。ステップＳ４０３において選択されたニューラルネットワークＮＮは、例えば図６のテーブル１４１１における検出対象「フィルムグレイン」を含む検出窓サイズのデータで予めフィルムグレインが学習されている。

【0053】

また、図６のテーブル１４１１において、検出対象「フィルムグレイン」に対してさらに紐づける項目を増やしてもよい。例えば、項目としてフィルムグレインを検出する映像フィルムの「撮影年代」、実写、アニメなどの「映像種類」が考えられる。また映像フィルムから画像データを取り出すプロセスの違い、例えば、アナログデータからデジタル化したデータか、デジタル化したデータをさらにサンプリングしたデータかなどの「デジタル化プロセス」、ブルーレイ、ＤＶＤ、４Ｋ／２Ｋブルーレイなどの「データ源」、フィルムのサイズ（８ｍｍ、１６ｍｍ、２４ｍｍ、３５ｍｍなど）の「フィルムサイズ」などの項目も考えられる。これらの項目を考慮した場合には、それぞれに対してニューラルネットワークＮＮの検出窓サイズおよびＮＮモデルを設定することでもよい。また、項目の組み合わせによって、別々のＮＮモデルを設定することでもよく、組み合わせた項目に合致するデータを用いて紐づけられたＮＮモデルの学習を実施する。

【0054】

画像認識部１５は、検出窓ＤＷ４の位置を決定する（ステップＳ４０４）。ステップＳ２０４においては、画像データＳＤ４中の任意の位置にランダムに検出窓ＤＷ４の位置を決定することでもよいし、ある規則に従って決定した画像データＳＤ４中の位置を検出窓ＤＷ４の位置として決定することでもよい。

【0055】

ステップＳ４０４において位置選択された検出窓ＤＷ４のデータに対して、図３のステップＳ１０３と同様に、ステップＳ４０３で選択したＮＮにより検出対象ＤＯの検出処理を実行する（ステップＳ４０５）。検出対象ＤＯが検出された場合（ステップＳ４０６のＹｅｓ）、結果出力部１６は、検出した検出対象ＤＯの位置などの情報を、外部のモニタなどに出力することでもよい（ステップＳ４０７）。一方、検出対象ＤＯが検出されなかった場合（ステップＳ４０６のＮｏ）、ステップＳ４０４に戻り、検出窓ＤＷ４に対する次の位置を決定し、同様の処理を繰り返す。戻った場合のステップＳ４０４において画像認識部１５は、前回までに決定された検出窓ＤＷ４の範囲に重ならないように検出窓ＤＷ４の位置を決定することが望ましい。

【0056】

以上の手順により、映像フィルムをデジタルサンプリングして得た画像データＳＤに発生するフィルムグレインの検出が可能となる。

【0057】

以上に述べた少なくとも１つの実施形態によれば、解像度の異なる複数の画像データを解析する映像解析装置および映像解析方法を提供することができる。

【0058】

なお、図面に示した解析画面などに表示される条件パラメータやそれらに対する選択肢、値、評価指標などの名称や定義、種類などは、本実施形態において一例として示したものであり、本実施形態に示されるものに限定されるものではない。

【0059】

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。

【0060】

また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合がある。ブロック図においては、結線されていないブロック間もしくは、結線されていても矢印が示されていない方向に対してもデータや信号のやり取りを行う場合もある。フローチャートに示す処理は、ＩＣチップ、デジタル信号処理プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ ＰｒｏｃｅｓｓｏｒまたはＤＳＰ）などのハードウェアもしくはマイクロコンピュータを含めたコンピュータなどで動作させるソフトウェア（プログラムなど）またはハードウェアとソフトウェアの組み合わせによって実現してもよい。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

【符号の説明】

【0061】

１…映像解析装置、１１…映像入力部、１２…画角取得部、１３…検出用ＮＮ選択部、１４…記憶部、１５…画像認識部、１６…結果出力部、１４１…テーブル、１４２…ＮＮモデルパラメータ、１５１…特徴検出部、１５２…領域計算部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】