特開 2023-181936 情報生成装置、情報生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181936

(43)【公開日】2023-12-25

(54)【発明の名称】情報生成装置、情報生成方法、およびプログラム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20231218BHJP

   G06V 20/70 20220101ALI20231218BHJP

【ＦＩ】

G06F16/583

G06V20/70

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022095348

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】中前 慧子

(72)【発明者】

【氏名】大川 浩司

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FB02

5L096AA06

5L096BA08

5L096DA02

5L096FA69

5L096HA05

5L096HA09

(57)【要約】      （修正有）

【課題】画像から検出されたオブジェクトの情報に係るメタデータの情報量が増大してしまうことの抑制を行う情報生成装置、情報生成方法及びプログラムを提供する。
【解決手段】情報生成装置及びクライアント装置が、ネットワークを介して相互に接続されているシステムにおいて、情報生成装置１００は、撮像された画像を取得する取得部２０１と、画像から検出されたオブジェクトに関するメタデータを生成し、画像を分割して得られる複数の分割領域の各々について、該分割領域のオブジェクトインデックスと、該分割領域におけるオブジェクトの検出結果を統合した統合情報に対応するラベルインデックスとをメタデータにおいて関連付けるメタデータ生成部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像された画像を取得する取得手段と、
前記画像から検出されたオブジェクトに関するメタデータを生成する生成手段と、を有し、
前記生成手段は、前記画像を分割して得られる複数の分割領域の各々について、該分割領域のオブジェクトインデックスと、該分割領域におけるオブジェクトの検出結果を統合した統合情報に対応するラベルインデックスとを前記メタデータにおいて関連付けることを特徴とする情報生成装置。

【請求項2】

前記生成手段により生成されるメタデータは、ＡＲＳＥＩに準拠したメタデータであることを特徴とする請求項１に記載の情報生成装置。

【請求項3】

前記画像からオブジェクトを検出する検出手段を更に有することを特徴とする請求項１に記載の情報生成装置。

【請求項4】

前記生成手段は、前記複数の分割領域の各々に対しオブジェクトインデックスを割り当て、前記複数の分割領域の各々のオブジェクトインデックスを前記メタデータに格納することを特徴とする請求項１に記載の情報生成装置。

【請求項5】

前記分割領域に対する前記統合情報は、当該分割領域において検出されたオブジェクトの数であることを特徴とする請求項１に記載の情報生成装置。

【請求項6】

前記メタデータ生成手段は、
前記複数の分割領域に含まれる第１分割領域で検出されたオブジェクトの数が第１範囲に属する場合、該第１範囲に対応する第１ラベルインデックスと該第１分割領域のオブジェクトインデックスとを前記メタデータにおいて関連付け、
前記複数の分割領域に含まれる分割領域であって前記第１分割領域と異なる分割領域である第２分割領域で検出されたオブジェクトの数が前記第１範囲と異なる第２範囲に属する場合、該第２範囲に対応するラベルインデックスと該第２分割領域のオブジェクトインデックスとを前記メタデータにおいて関連付けることを特徴とする請求項１に記載の情報生成装置。

【請求項7】

前記取得手段は、更に設定されたビットレートの情報を取得し、
前記生成手段は、前記ビットレートが所定の閾値未満である場合に、前記画像を分割して得られる前記複数の分割領域の各々について、該分割領域のオブジェクトインデックスと、該分割領域におけるオブジェクトの検出結果を統合した統合情報に対応するラベルインデックスとを前記メタデータにおいて関連付けることを特徴とする請求項１に記載の情報生成装置。

【請求項8】

撮像された画像を取得する取得工程と、
前記画像から検出されたオブジェクトに関するメタデータを生成する生成工程と、を有し、
前記生成工程において、前記画像を分割して得られる複数の分割領域の各々について、該分割領域のオブジェクトインデックスと、該分割領域におけるオブジェクトの検出結果を統合した統合情報に対応するラベルインデックスとを前記メタデータにおいて関連付けることを特徴とする情報生成方法。

【請求項9】

コンピュータを、請求項１乃至７のいずれか１項に記載の情報生成装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報生成技術に関する。

【背景技術】

【0002】

ＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）を用いて画像中のオブジェクトを検出し、該オブジェクトの情報に関するメタデータを生成してクライアント装置に配信するシステムが広く普及している。

【0003】

特許文献１では、画像から検出されたオブジェクトの位置情報をメタデータとしてクライアント装置に送信する旨の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２１２９６３号公報

【非特許文献】

【0005】

【非特許文献1】ＩＴＵ－Ｔ Ｈ．２６５（１１／２０１９）Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１では、画像から検出されたオブジェクトの各々について一律で位置情報等の情報をメタデータに格納し、クライアント装置に送信しているため、メタデータの情報量が増大してしまうことがある。

【0007】

そこで本発明は、画像から検出されたオブジェクトの情報に係るメタデータの情報量が増大してしまうことの抑制を目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明の情報生成装置は、例えば以下の構成を備える。すなわち、撮像された画像を取得する取得手段と、前記画像から検出されたオブジェクトに関するメタデータを生成する生成手段と、を有し、前記生成手段は、前記画像を分割して得られる複数の分割領域の各々について、該分割領域のオブジェクトインデックスと、該分割領域におけるオブジェクトの検出結果を統合した統合情報に対応するラベルインデックスとを前記メタデータにおいて関連付ける。

【発明の効果】

【0009】

本発明によれば、画像から検出されたオブジェクトの情報に係るメタデータの情報量の増大を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】システム構成の一例を示す図である。

【図2】情報生成装置の機能ブロックを示す図である。

【図3】ＡＲＳＥＩのデータ構造を示す図である。

【図4】メタデータの生成処理の流れを示すフローチャートである。

【図5】画像分割の一例を示す図である。

【図6】メタデータ生成を説明するための図である。

【図7】メタデータの生成処理の流れを示すフローチャートである。

【図8】情報生成装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0011】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0012】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報生成装置１００、クライアント装置１０１、ディスプレイ１０３、およびネットワーク１０２を有している。

【0013】

情報生成装置１００およびクライアント装置１０１は、ネットワーク１０２を介して相互に接続されている。ネットワーク１０２は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0014】

なお、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0015】

情報生成装置１００は、画像から検出されたオブジェクトの情報を含むメタデータを生成する装置である。情報生成装置１００は、撮像した画像を符号化して得られた符号化データと、該画像について生成されたメタデータとを統合した配信データを、ネットワーク１０２を介し、クライアント装置１０１等の外部装置へ送信する。なお、情報生成装置１００は、撮像装置としての機能を有していてもよく、情報生成装置１００が撮像した画像を符号化し且つ該画像からメタデータを生成し、それらを統合して配信データを生成するようにしてもよい。また、情報生成装置１００は、画像を撮像する撮像装置（不図示）や画像を記録する記録装置（不図示）から画像を取得してもよい。このとき、情報生成装置１００は、取得した該画像を符号化して符号化データを生成し、かつ該画像からメタデータを生成し、それらを統合して配信データを生成するようにしてもよい。クライアント装置１０１は、例えば、ＣＰＵなどのプロセッサを有するパーソナルコンピュータ等の情報処理装置である。

【0016】

ディスプレイ１０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置から送信された配信データに含まれる符号化データをクライアント装置１０２が復号することで得られた復号画像などを表示する。ディスプレイ１０３は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介してクライアント装置１０１と接続されている。なお、ディスプレイ１０３およびクライアント装置１０１は、単一の筐体に設けられてもよい。

【0017】

ここで図２に示す機能ブロックを参照して、本実施形態における情報生成装置１００の処理について説明する。図２は、本実施形態のメタデータの生成を実行する情報生成装置１００の機能ブロックを示す図である。なお図２に示す各機能は、例えば、次のようにして実現される。すなわち、図８を参照して後述する情報生成装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８２０に格納されたコンピュータプログラムを情報生成装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８００が実行することで実現される。

【0018】

図２において、取得部２０１は、撮像された画像を取得する。情報生成装置１００が撮像装置としての機能を有していている場合には、取得部２０１は、情報生成装置１００が撮像した画像を取得するようにしてもよい。また取得部２０１は、ネットワーク１０２を介して、撮像装置や記録装置から画像を取得するようにしてもよい。なお取得部２０１は、動画像を構成する一連のフレームの画像（複数の画像）の各々を、１つずつ順次取得していく。

【0019】

画像処理部２０２は、取得部２０１が取得した画像に含まれるオブジェクトの検出を行う。画像からオブジェクトを検出する方法としては、パターンマッチングや機械学習により学習された学習モデルなどを用いる公知の技術を利用するものとする。なお本実施形態において検出対象とするオブジェクトは人物とするが、動物、車、動体など他のオブジェクトを検出対象としてもよい。

【0020】

メタデータ生成部２０３は、画像に対する画像処理部２０２によるオブジェクトの検出結果に基づき、該画像についてメタデータを生成する。メタデータ生成部２０３は、記憶部２０４に対し生成した該メタデータを格納する。

【0021】

符号化部２０５は、取得部２０１により取得された画像を符号化して、符号データを生成し出力する。なお本実施形態における符号化部２０５は、Ｈ．２６５を用いて画像を符号化し符号データを生成するものとするが、Ｈ．２６４やＨ．２６６など他の動画符号化規格を用いて画像を符号化してもよい。統合符号化部２０６は、メタデータ生成部２０３から出力されたメタデータと、符号化部２０５から出力された符号データとを統合し、配信データを生成する。出力部２０７は、ネットワーク１０２を介して、統合符号化部２０６で生成された配信データをクライアント装置１０１などの外部装置に出力する。

【0022】

ここで図３を参照して、メタデータ生成部２０３で生成されるメタデータについてより具体的に説明する。以下メタデータのフォーマットとして、Ｈ．２６５におけるＡｎｎｏｔａｔｅｄ Ｒｅｇｉｏｎ ＳＥＩメッセージ（以下、ＡＲＳＥＩ）ＡＲＳＥＩが用いられるものとする。図３に示すメタデータ３００は、本実施形態におけるメタデータでありＡＲＳＥＩに準拠したデータ構造を有している。メタデータ生成部２０３は、該データ構造内の各種シンタックスに数値を格納することで、メタデータを生成することができる。

【0023】

ここで図３に示すメタデータ３００に含まれるデータ領域３０１は、メタデータ３００の一部であり、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを“１”とすることで記述される情報である。

【0024】

データ領域３０１において、メタデータ生成部２０３は、クライアント装置１０１に対して通知したいラベル（ａｒ＿ｌａｂｅｌ）の個数をａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓに挿入する。なおここでのラベル（ａｒ＿ｌａｂｅｌ）とは、２５５ｂｙｔｅ以下の所定の情報（文字などの情報）を記述できるシンタックスである。以下の説明においては、”ｐｅｒｓｏｎＡ”というラベルと、“ｐｅｒｓｏｎＢ”というラベルと、を定義してクライアント装置１０１に通知したい場合を想定する。このとき、ａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓは２となる。次に、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓの数値だけ、ラベルを識別するインデックスをａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］に挿入する。例えば、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］＝０、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］＝１とする。そして、メタデータ生成部２０３は、ラベルのインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）の各々に関連付けるラベルをａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］］に挿入する。例えば、メタデータ生成部１０４は、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］］＝“ｐｅｒｓｏｎＡ”、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］］＝“ｐｅｒｓｏｎＢ”とする。このようなデータ領域３０１を含むメタデータ３００を生成することで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）”０”とラベル（第１ラベル）“ｐｅｓｏｎＡ”との関連付け、および、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）”１”とラベル（第２ラベル）“ｐｅｓｏｎＢ”との関連付け、をそれぞれ定義付けることができる。データ領域３０１を含むメタデータ３００を取得したクライアント装置１０１は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）”０”とラベル“ｐｅｓｏｎＡ”との関連付け、および、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）”１”とラベル“ｐｅｓｏｎＢ”との関連付け、をそれぞれ情報として得ることができる。

【0025】

続いて、図３のメタデータ３００に含まれるデータ領域３０２は、メタデータ３００の一部であり、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓに１以上２５５以下の値をセットすることで記述される情報である。データ領域３０２では、画像内に存在する各オブジェクトに対応するラベルインデックスと、当該オブジェクトが存在する領域の位置情報を記述することができる。

【0026】

具体的には、メタデータ生成部２０３は、或る画像についてクライアント装置１０１に対して情報の更新が行われるオブジェクトの数をａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓに挿入する。ここで以下、一例として、画像から検出された第１オブジェクトと第２オブジェクトについて位置やラベルに関する情報の更新を行う場合について考える。このとき、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓとして“２”の数値をセットする。続いて、メタデータ生成部１０４は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓの数だけ、オブジェクトのインデックスをａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］に挿入する。ここで第１オブジェクトのオブジェクトインデックスとして”０”、第２オブジェクトのオブジェクトインデックスとして”１”が割り当てられるものとする。このときメタデータ生成部２０３は、データ領域３０２に含まれるａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］＝０、ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］＝１と設定する。

【0027】

次に、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓが示す数だけ（言い換えればデータ領域３０２のｉ＝０およびｉ＝１の各々について）、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを‘１’にする。なお、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを１にすることで、該ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］に紐づけるラベルインデックスを更新することが可能である。ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを‘１’にしたうえで、メタデータ生成部２０３は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］に、前述のラベルインデックスから画像内に存在する各オブジェクトに紐づけたいラベルインデックスを選択して挿入する。例えばオブジェクトインデックス“０”の第１オブジェクトにラベルインデックス０の“ｐｅｒｓｏｎＡ”というラベル（ａｒ＿ｌａｂｅｌ）を紐づけたい場合を想定する。このとき、メタデータ生成部２０３は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］に、“ｐｅｒｓｏｎＡ”のラベル（ａｒ＿ｌａｂｅｌ）に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”をセットする。すなわち、メタデータ生成部１０４は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］＝０とする。このようにすることで、第１オブジェクトのオブジェクトインデックス“０”と、“ｐｅｒｓｏｎＡ”のラベル名のラベルインデックス“０”とを対応付けることができる。

【0028】

また、メタデータ生成部２０３は、オブジェクトの領域の位置情報として、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］をメタデータに格納する。なお、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、および、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］はオブジェクトの領域の左上の座標を示す。また、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］は該オブジェクトの領域の幅を示し、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］は該オブジェクトの領域の高さを示す。

【0029】

以上のように、上述のメタデータ３００を用いたオブジェクトに関する情報の更新では、画像内に存在しうるオブジェクトのラベルや、画像内に存在するオブジェクトの領域の位置情報を追加可能である。一方で、これらの情報は、所定のフラグを用いて削除することも可能である。例えば、データ領域３０１の或るｉについて、ａｒ＿ｌａｂｅｌ＿ｃａｎｃｅｌ＿ｆｌａｇを１にすることで、対応するａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］の情報を削除することができる。また、データ領域３０２の或るｉについて、ａｒ＿ｏｂｊｅｃｔ＿ｃａｎｃｅｌ＿ｆｌａｇを１にすることで、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］を用いたオブジェクトインデックスとラベルインデックスとの対応付けを削除（キャンセル）することが可能である。また、データ領域３０２の或るｉについて、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｃａｎｃｅｌ＿ｆｌａｇを‘１’とすることで、対応するオブジェクトの領域の位置情報（ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］）を削除（キャンセル）することが可能である。

【0030】

また、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓを“０”にすることで、データ領域３０２の情報をメタデータ３００にシグナリングせず、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを“１”にして、データ領域３０１の情報をメタデータ３００にシグナリングするようにしてもよい。例えば、メタデータ生成部２０３は、画像の配信データをクライアント装置に配信する前に、予め、データ領域３０１の情報をメタデータ３００にシグナリングして、クライアント装置に配信してもよい。

【0031】

なおＡＲＳＥＩにおいて扱うオブジェクトの最大数は仕様で２５６個と定められている。ＡＲＳＥＩでは、オブジェクトのバウンディングボックスの左上頂点の座標が４バイトの二次元座標で表現され、当該バウンディングボックスの幅および高さがそれぞれ２バイトで表現されることから、オブジェクトの位置情報は合計８バイトで表現される。ここで、仮に画像中の２５６個のオブジェクトの各々について、位置情報の更新を３０ＦＰＳで行うと、８バイト×２５６個×３０≒５００ｋｂｐｓの情報量が位置情報の更新のみで必要となってしまう。このように動画像を構成する各画像について、全てのオブジェクトの位置情報（ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ）およびサイズ情報（ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ）の更新を行うと、送信する情報量が増大してしまいネットワーク帯域の圧迫が起こりえる。また、検出されたオブジェクト数により情報量の変動が発生するため、事前にデータ量を見積もりにくい。

【0032】

そこで本実施形態におけるメタデータ生成部２０４は、撮像部２０１で撮像された画像を領域分割し、分割した領域１つ１つをＡＲＳＥＩにおける１つのオブジェクトとして扱う。そして、分割された領域自体の位置、幅、高さをＡＲＳＥＩのバウンディングボックスの情報として送信する。さらに、検出部２０３が検出した各領域内の検出結果をまとめた統合情報に対応するａｒ＿ｌａｂｅｌ＿ｉｄｘをメタデータに格納する。検出結果の統合情報は、例えば各領域内のオブジェクトの検出数などである。これにより、受信側は各領域に紐づいた検出結果の統合情報を得られる。また、分割した領域は位置情報の更新が発生しないため、ＡＲＳＥＩで送信する情報量を抑えられる。さらにオブジェクト数は領域の分割数で固定であるため、検出部２０３が検出するオブジェクトの数によらず、情報量の変動も抑えられる。

【0033】

ここで図４～６を参照して、本実施形態における情報生成装置１００によるメタデータを生成する処理について説明する。図４に示す処理を実行することで、各分割領域におけるオブジェクト検出結果の統合情報をクライアント装置１０１に送信することが可能となる。なお図４に示すフローの処理は、例えば、情報生成装置１００のＲＯＭ８２０に格納されたコンピュータプログラムを情報生成装置１００のＣＰＵ８００が実行して実現される図２に示す機能ブロックにより実行されるものとする。

【0034】

まずＳ４０１にて、取得部２０１は、画像における複数の分割領域に関する分割情報を取得する。なお、分割情報は、画像における複数の分割領域の各々の位置情報や分割領域の個数の情報などを含み、例えば、予めユーザにより設定されるものである。なお、各分割領域は、ＡＲＳＥＩのバウンディングボックスの性質上、四角形の領域が望ましい。また本実施形態では、図５に示すように、画像の全領域５００を４分割して複数の分割領域５０１～５０４に分割されるものとし、画像処理部２０２は、分割領域５０１～５０４の各々の位置情報を含む分割情報を取得するものとする。なお、分割領域の個数はこの例に限らず２以上の数であればよい。

【0035】

次に、Ｓ４０２にて、画像処理部２０２は、領域分割実施フラグを１とする。なお、領域分割実施フラグの初期値は０であったものとする。次にＳ４０３にて、取得部２０１は、動画像を構成する複数の画像に含まれる１つの画像を、処理対象の画像として取得する。次に、Ｓ４０４にて、画像処理部２０２は、Ｓ４０１で取得した分割情報に従って、現在処理対象の画像を複数の分割領域に分割する領域分割処理を実行する。本実施形態の例では、画像処理部２０２は、分割情報に従って、図５に示すように、画像に対して分割領域５０１～５０４が得られるような領域分割処理を実行する。次に、Ｓ４０４にて、画像処理部２０２は、現在の処理対象の画像に対してオブジェクトの検出処理を実行する。本実施形態における画像処理部２０２は、検出対象のオブジェクトとして人物を検出するものとするが、これに限らず、動体、車、動物など他のオブジェクトを検出するようにしてもよい。

【0036】

Ｓ４０６にて、メタデータ生成部２０３は、領域分割実施フラグが１であるかを判定し、１であると判定された場合（Ｓ４０６にてＹｅｓ）、Ｓ４０７へ遷移し、０であると判定された場合（Ｓ４０６にてＮｏ）、Ｓ４０９へ遷移する。

【0037】

Ｓ４０７にて、メタデータ生成部２０３は、データ領域３０１において、分割領域の位置情報をメタデータに記述する。具体的には、メタデータ生成部２０３は、メタデータ３００のデータ領域３０２に、各分割領域の位置情報と、各分割領域のオブジェクトインデックスとを紐づけて記述する。ここで例えば、図５に示すケースにおいて、メタデータ生成部２０３は、分割領域５０１にオブジェクトインデックス“０”、分割領域５０２にオブジェクトインデックス“１”、分割領域５０３にオブジェクトインデックス“２”、分割領域５０４にオブジェクトインデックス“３”を割り当てる。そして、メタデータ生成部２０３は、データ領域３０２において、更新するオブジェク数が４であるため、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓ＝４とし、更に各分割領域について（ｉ＝０～３の各々について）ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｕｐｄａｔｅ＿ｆｌａｇ＝１とする。なおメタデータ生成部２０３は、データ領域３０２において、分割領域５０１に対応するオブジェクトインデックスとしてａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］＝０とし、分割領域５０１の位置情報（分割領域５０１の左上頂点の座標および横幅と縦幅）を、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］に格納する。また同様に、メタデータ生成部２０３は、データ領域３０２において、分割領域５０２に対応するオブジェクトインデックスとしてａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］＝１とし、分割領域５０２の位置情報（分割領域５０２の左上頂点の座標および横幅と縦幅）を、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］に格納する。また同様に、メタデータ生成部２０３は、データ領域３０２において、分割領域５０３に対応するオブジェクトインデックスとしてａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］＝２とし、分割領域５０３の位置情報（分割領域５０３の左上頂点の座標および横幅と縦幅）を、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］に格納する。また同様に、メタデータ生成部２０３は、データ領域３０２において、分割領域５０４に対応するオブジェクトインデックスとしてａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］＝３とし、分割領域５０４の位置情報（分割領域５０４の左上頂点の座標および横幅と縦幅）を、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］に格納する。以上のようにして、メタデータ生成部２０３は、各分割領域について、分割領域のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ）と該分割領域の位置情報とを関連付けて記述したメタデータ３００を生成する。以上説明したようなＳ４０７の処理ののち、Ｓ４０８へ遷移し、Ｓ４０８にて、メタデータ生成部２０３は、領域分割実施フラグを１から０に変更する。これより以降のステップの処理において、Ｓ４０６からＳ４０９へ遷移するようになる。

【0038】

ここでＳ４０６の処理の説明に戻り、Ｓ４０６にて領域分割実施フラグが１でないと判定された場合、言い換えれば領域分割実施フラグが０である場合（Ｓ４０６にてＮｏ）、Ｓ４０９へ遷移する。Ｓ４０９にて、メタデータ生成部２０３は、分割領域の情報の更新をメタデータにおいて行わない。言い換えれば、メタデータ生成部２０３は、データ領域３０１において、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓを０とし、メタデータにおける分割領域の情報の記述をスキップする。

【0039】

次に、Ｓ４１０にて、メタデータ生成部２０３は、現在の処理対象の画像に対するオブジェクトの検出の結果に基づき、該画像における分割領域ごとの検出結果を統合した統合情報を生成する。なお本実施形態において或る分割領域の統合情報は、該或る分割領域において検出されたオブジェクトの数に関する情報であるものとする。例えば、或る分割領域の統合情報として、該或る分割領域から検出されたオブジェクトの数を示す数値が用いられる。ここで例えば、図５に示すように、分割領域５０１にて９人、分割領域５０２にて１２人、分割領域５０３にて６人、分割領域５０４にて１４人が検出された場合を想定する。このとき、分割領域５０１の統合情報は“９”、分割領域５０１の統合情報は“１２”、分割領域５０１の統合情報は“６”、分割領域５０１の統合情報は“１４”となる。

【0040】

次に、Ｓ４１１にて、メタデータ生成部２０３は、現在の処理対象とする画像に対するメタデータの生成を実行する。Ｓ４１１にて、メタデータ生成部２０３は、まず、統合情報を含むラベルと、ラベルインデックスとの定義付けを実施する。

【0041】

図５の例において、メタデータ生成部２０３は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”に紐づく統合情報のラベル（ａｒ＿ｌａｂｅｌ）を“９”とする。そして、メタデータ生成部２０３は、メタデータ３００のデータ領域３０１においてａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］＝０、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］］＝９とする。

【0042】

同様に、メタデータ生成部２０３は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”に紐づく統合情報のラベル（ａｒ＿ｌａｂｅｌ）を“１２”とする。そして、メタデータ生成部２０３は、メタデータ３００のデータ領域３０１において、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］＝１、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］］＝１２とする。

【0043】

同様に、メタデータ生成部２０３は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“２”に紐づく統合情報のラベル（ａｒ＿ｌａｂｅｌ）を“６”とする。そして、メタデータ生成部２０３は、メタデータ３００のデータ領域３０１において、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［２］＝２、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［２］］＝６とする。

【0044】

同様に、メタデータ生成部２０３は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“３”に紐づく統合情報のラベル（ａｒ＿ｌａｂｅｌ）を“１４”とする。そして、メタデータ生成部２０３は、メタデータ３００のデータ領域３０１において、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［３］＝３、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［３］］＝１４とする。

【0045】

ここでＳ４１１では、更に、メタデータ生成部２０３は、メタデータ３００のデータ領域３０２において、ラベルインデックスとオブジェクトインデックスの関連付けを行う。具体的には、メタデータ生成部２０３は、分割領域５０１のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］）“０”と、分割領域５０１におけるオブジェクト数“９”に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とを関連付けるため、データ領域３０２にてａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］＝０とする。これより、ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］（オブジェクトインデックス＝０）の情報と、ａｒ＿ｌａｂｅｌ＿ｉｄｘ”０”の情報とが、関連付けられることとなる。この情報をクライアント装置１０１が受け取った場合、クライアント装置１０１は、オブジェクトインデックス“０”の分割領域５０１から検出された人数が、オブジェクトインデックス“０”に関連付けられたラベルインデックス“０”に対応するラベル“９”であると特定することができる。

【0046】

また同様に、メタデータ生成部２０３は、分割領域５０２のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］）“１”と、分割領域５０２におけるオブジェクト数“１２”に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”とを関連付けるため、データ領域３０２にてａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］＝１とする。

【0047】

また同様に、メタデータ生成部２０３は、分割領域５０３のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］）“２”と、分割領域５０３におけるオブジェクト数“６”に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“２”とを関連付けるため、データ領域３０２にてａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］＝２とする。

【0048】

また同様に、メタデータ生成部２０３は、分割領域５０３のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］）“３”と、分割領域５０４におけるオブジェクト数“１４”に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“３”とを関連付けるため、データ領域３０２にてａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］＝３とする。

【0049】

以上のようにして、メタデータ生成部２０３は、メタデータ３００のデータ領域３０２において、ラベルインデックスとオブジェクトインデックスの関連付けを行うことでメタデータの生成を行う。

【0050】

次に、Ｓ４１２にて、統合符号化部２０５は、取得部４０１で取得した画像の符号化データと、Ｓ４０３で生成したメタデータとを含む配信データを生成する。次に、Ｓ４１３にて、出力部２０７は、Ｓ４０４で生成された配信データをクライアント装置１０１に出力する。

【0051】

次に、Ｓ４１４にて、メタデータ生成部２０３は、図４に示すフローの処理を終了するかを判定し、終了すると判定した場合（Ｓ４１４にてＹｅｓ）、図４に示すフローの処理を終了する。一方で、終了しないと判定した場合（Ｓ４１４にてＮｏ）、Ｓ４０３へ遷移し、Ｓ４０３にて取得部２０１は、次に処理対象とする画像を取得する。なおこれ以降の処理において、先行して定義付けを行ったラベルインデックスを流用してもよい。具体的に、例えば、新たに処理対象として取得した画像における分割領域５０４で検出されたオブジェクト数が９である場合を想定する。このとき、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とラベル（ａｒ＿ｌａｂｅｌ）“９”との関連付けを上述のように既に定義しているため、メタデータ生成部２０３は、分割領域５０４のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］）“３”と、分割領域５０４におけるオブジェクト数“９”に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とを関連付けるため、データ領域３０２にてａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］＝０とする。このように、先行して定義付けを行ったラベルインデックスを流用してもよい。

【0052】

また上述の図４の説明において、或る分割領域の統合情報として、該或る分割領域において検出されたオブジェクト数を用いたがこれに限らない。例えば、或る分割領域において検出されたオブジェクト数が属するオブジェクト数の範囲の情報を統合情報として用いてもよい。

【0053】

以下この場合の例について説明する。図６に示すように、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ６０１と、オブジェクトの数の範囲を示すａｒ＿ｌａｂｅｌ６２との関連付けをデータ領域３０１において行う。具体的には、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］＝０とし、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］］＝０＿９とする。このようにすることで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”と、０から９というオブジェクトの数の範囲を示すラベル（ａｒ＿ｌａｂｅｌ）“０＿９”との関連付けを定義しクライアント装置１０１に通知することができる。

【0054】

同様に、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］＝１とし、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］］＝１０＿１９とする。このようにすることで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”と、１０から１９というオブジェクトの数の範囲を示すラベル（ａｒ＿ｌａｂｅｌ）“１０＿１９”との関連付けを定義しクライアント装置１０１に通知することができる。

【0055】

同様に、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［２］＝２とし、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［２］］＝２０＿２９とする。このようにすることで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“２”と、２０～２９というオブジェクトの数の範囲を示すラベル（ａｒ＿ｌａｂｅｌ）“２０＿２９”との関連付けを定義しクライアント装置１０１に通知することができる。

【0056】

同様に、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［３］＝３とし、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［３］］＝３０＿３９とする。このようにすることで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“３”と、３０から３９というオブジェクトの数の範囲を示すラベル（ａｒ＿ｌａｂｅｌ）“３０＿３９”との関連付けを定義しクライアント装置１０１に通知することができる。

【0057】

以上のようにして図６に示すようなラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）と、オブジェクトの数の範囲の情報を示すラベル（ａｒ＿ｌａｂｅｌ）とを関連付けた情報をクライアント装置１０１に通知することができる。

【0058】

そして、メタデータ生成部２０３は、或る分割領域において検出されたオブジェクトの数が属するオブジェクト数の範囲を記述したａｒ＿ｌａｂｅｌ６０２を特定する。そしてメタデータ生成部２０３は、該特定したａｒ＿ｌａｂｅｌ６０２に紐づくａｒ＿ｌａｂｅｌ＿ｉｄｘ６０１と、該或る分割領域のオブジェクトインデックスの関連付けをデータ領域３０２において行う。

【0059】

ここで例えば、ここで、図５に示すように、分割領域５０１にて９人、分割領域５０２にて１２人、分割領域５０３にて６人、分割領域５０４にて１４人がオブジェクトとして検出された場合を想定する。このときメタデータ生成部２０３は、分割領域５０１にて９人のオブジェクトが検出されたことから分割領域５０１のオブジェクトの数は０～９の範囲に属するため、ａｒ＿ｌａｂｅｌ６０２”０＿９”を特定するとともに、対応するａｒ＿ｌａｂｅｌ＿ｉｄｘ”０”を特定する。そして、メタデータ生成部２０３は、分割領域５０１のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］）０と、オブジェクト数は０～９に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とを関連付けるため、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］＝０とする。

【0060】

同様に、メタデータ生成部２０３は、分割領域５０２のオブジェクト数が１２であることから、分割領域５０２のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］）“１”と、オブジェクト数の範囲１０～１９に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）１”とを関連付けるため、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］］＝１とする。

【0061】

同様に、メタデータ生成部２０３は、分割領域５０３のオブジェクト数が６であることから、分割領域５０３のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］）“２”と、オブジェクト数の範囲０～９に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とを関連付けるため、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［２］］＝０とする。

【0062】

同様に、メタデータ生成部２０３は、分割領域５０４のオブジェクト数が１４であることから、分割領域５０４のオブジェクトインデックス（ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］）“３”と、オブジェクト数の範囲１０～１９に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”とを関連付けるため、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［３］］＝１とする。

【0063】

以上説明したように、メタデータ生成部２０３は、第１分割領域で検出されたオブジェクト数が第１範囲に属する場合、該第１範囲に対応する第１ラベルインデックスと該第１分割領域のオブジェクトインデックスとをメタデータにおいて関連付ける。同様に、メタデータ生成部２０３は、第１分割領域と異なる第２分割領域で検出されたオブジェクト数が第１範囲と異なる第２範囲に属する場合、該第２範囲に対応するラベルインデックスと該第２分割領域のオブジェクトインデックスとをメタデータにおいて関連付ける。

【0064】

以上説明したように、本実施形態の情報生成装置１００は、画像から検出されたオブジェクトの各々について位置情報をメタデータとして送信するのではなく、次のような処理を実行する。すなわち、情報生成装置１００は、画像を分割した分割領域の各々について、該分割領域における検出結果をまとめた統合情報に対応するラベルインデックスと、該分割領域のオブジェクトインデックスとを関連付けたメタデータとして送信する。このようにすることで、画像から検出されたオブジェクト各々の位置情報をメタデータとして送信する場合に比べて、メタデータの情報量の増大を抑制することが可能となる。

【0065】

（実施形態２）
実施形態２における情報生成装置１００は、予め設定された配信設定に基づいて、領域分割を実施して分割領域毎の統合情報を送信するか否かを決定する。これにより、帯域が広くメタデータの情報量が増えたとしても帯域の圧迫が起こらない場合においてはＡＲＳＥＩによって個々の物体の情報を送信でき、帯域を圧迫しそうな低ビットレート環境では統合情報を送ることで情報量を抑えられる。以下、図７を参照して、本実施形態における情報生成装置１００の処理について説明する。なお、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理の重複する説明は省略する。

【0066】

まずＳ７０１では、取得部２０１は、処理対象とする画像を取得する。次に、Ｓ７０２にて、画像処理部２０２は、予め設定された配信設定を参照し、配信設定として設定されたビットレートが閾値未満であるかを判定する。ここで、例えば、ビットレートが１Ｍｂｐｓ未満であると判定された場合（Ｓ７０２にてＹｅｓ）、帯域がメタデータによって圧迫される可能性があるとして、Ｓ７０３へ遷移する。一方で、ビットレートが１Ｍｂｐｓ以上であると判定された場合（Ｓ７０２にてＮｏ）、十分な帯域があると判断して、Ｓ７１７へ遷移する。

【0067】

Ｓ７０３にて、画像処理部２０２は、分割情報の更新があるかを判定し、更新があると判定された場合（Ｓ７０３にてＹｅｓ）、Ｓ７０４へ遷移し、更新がないと判定された場合（Ｓ７０３にてＮｏ）、Ｓ７０６へ遷移する。なお、例えば、画像を分割する際の分割数や分割領域の位置情報を変更するユーザ操作がなされた場合、Ｓ７０３にて分割情報の更新があると判定される。なお図７の処理が開始されて初めてＳ７０３の処理が行われる場合、分割情報の更新があるとしてＳ７０３からＳ７０４に遷移するものとする。

【0068】

Ｓ７０４にて、取得部２０１は、現在設定されている最新の分割情報を取得する。次に、Ｓ７０５にて、画像処理部２０２は、領域分割実施フラグを１とする。なお、領域分割実施フラグの初期値は０であったものとする。次に、Ｓ７０６にて、画像処理部２０２は、Ｓ７０４で取得した分割情報に従って、現在処理対象の画像を複数の分割領域に分割する領域分割処理を実行する。画像処理部２０２は、分割情報に従って、例えば、図５に示すように、画像に対して分割領域５０１～５０４が得られるような領域分割処理を実行する。

【0069】

なおＳ７０７～Ｓ７１６の処理は、Ｓ４０５～Ｓ４１４と同様であるため説明を省略する。Ｓ７０２の処理の説明に戻り、Ｓ７０２にて、ビットレートが１Ｍｂｐｓ以上であると判定された場合（Ｓ７０２にてＮｏ）、Ｓ７１７に遷移し、Ｓ７１７では、画像処理部２０２は、現在処理対象とする画像に対しオブジェクトの検出処理を実行する。次に、Ｓ７１８では、メタデータ生成部２０３は、Ｓ７１７で画像から検出されたオブジェクトの各々の位置情報をメタデータ３００に格納し、Ｓ７１４へ遷移する。この場合のＳ７１４では、統合符号化部２０６は、Ｓ７１８で生成されたメタデータと画像を符号化した符号化データとを統合した配信データを生成する。

【0070】

以上説明したように本実施形態における情報生成装置１００では、配信設定に基づいて分割領域毎の統合情報を送信するか否かを決定する。これより、帯域に余裕がある場合は個別のオブジェクトの詳細情報を送ることができ、帯域に余裕がない場合は統合情報を送ることで情報量の増大を抑制することができる。

【0071】

（その他の実施形態）
次に図８を参照して、各実施形態の各機能を実現するための情報生成装置１００のハードウェア構成を説明する。なお、以降の説明において情報生成装置１００のハードウェア構成について説明するが、情報生成装置１００も同様のハードウェア構成によって実現されるものとする。

【0072】

本実施形態における情報生成装置１００は、ＣＰＵ８００、ＲＡＭ８１０、ＲＯＭ８２０、ＨＤＤ８３０、および、Ｉ／Ｆ８４０を有している。

【0073】

ＣＰＵ８００は情報生成装置１００を統括制御する中央処理装置である。ＲＡＭ８１０は、ＣＰＵ８００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ８１０は、ＣＰＵ８００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ８１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0074】

ＲＯＭ８２０は、ＣＰＵ８００が情報生成装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ８３０は、画像データ等を記録する記憶装置である。

【0075】

Ｉ／Ｆ８４０は、ネットワーク１０２を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0076】

なお、上述した各実施形態の説明では、ＣＰＵ８００が処理を実行する例について説明するが、ＣＰＵ８００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ＲＯＭ８２０からプログラムコードを読み出してＲＡＭ８１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0077】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報生成装置１００の各部は、図８に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0078】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0079】

１００ 情報生成装置
２０１ 取得部
２０２ 画像処理部
２０３ メタデータ生成部
２０４ 符号化部
２０５ 統合符号化部
２０６ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】