特開 2023-181935 情報生成装置、情報生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181935

(43)【公開日】2023-12-25

(54)【発明の名称】情報生成装置、情報生成方法、およびプログラム

(51)【国際特許分類】

   G06F 16/583 20190101AFI20231218BHJP

   G06V 20/70 20220101ALI20231218BHJP

【ＦＩ】

G06F16/583

G06V20/70

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022095347

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】東 秀憲

(72)【発明者】

【氏名】大川 浩司

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA02

5B175FB02

5L096AA06

5L096BA08

5L096DA02

5L096FA69

5L096HA05

5L096HA09

(57)【要約】      （修正有）

【課題】画像から検出されたオブジェクトの情報に係るメタデータの情報量が増大してしまうことの抑制を行う情報生成装置、情報生成方法及びプログラムを提供する。
【解決手段】情報生成装置による情報生成処理は、画像を複数の領域に分割するための分割情報を取得し、画像のフレーム番号に基づき、画像を分割して得られる複数の領域のうち、少なくとも１つの領域を更新領域として決定し、画像の更新領域において検出されたオブジェクトの情報を含むメタデータを生成する。
【選択図】図７

【特許請求の範囲】

【請求項1】

画像のフレーム番号に基づき、前記画像を分割して得られる複数の領域のうち、少なくとも１つの領域を更新領域として決定する決定手段と、
前記画像の前記更新領域において検出されたオブジェクトの情報を含むメタデータを生成する生成手段と、を有することを特徴とする情報生成装置。

【請求項2】

前記画像に対しオブジェクトの検出を行う検出手段を更に有することを特徴とする請求項１に記載の情報生成装置。

【請求項3】

前記検出手段は、前記画像の前記複数の領域のうち前記更新領域として決定された領域に対してのみオブジェクトの検出を実行することを特徴とする請求項２に記載の情報生成装置。

【請求項4】

前記決定手段は、
前記画像の前記フレーム番号が第１フレーム番号である場合、前記画像の前記複数の領域のうち第１領域を前記更新領域として決定し、前記画像の前記フレーム番号が前記第１フレーム番号と異なる第２フレーム番号である場合、前記画像の前記複数の領域のうち前記第１領域と異なる第２領域を前記更新領域として決定することを特徴とする請求項１に記載の情報生成装置。

【請求項5】

前記決定手段は、更に、前記画像における前記複数の領域のうち重要領域を決定し、
前記決定手段は、前記複数の領域のうち前記重要領域として決定された領域については、前記画像のフレーム番号によらず前記更新領域として決定することを特徴とする請求項１に記載の情報生成装置。

【請求項6】

前記生成手段は、前記メタデータとして、ＡＲＳＥＩに準拠するメタデータを生成することを特徴とする請求項１に記載の情報生成装置。

【請求項7】

前記生成手段は、前記画像の前記更新領域において検出されたオブジェクトの位置情報を前記メタデータに含めることを特徴とする請求項６に記載の情報生成装置。

【請求項8】

前記生成手段は、前記位置情報として、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ、およびａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔの情報を前記メタデータに含めることを特徴とする請求項７に記載の情報生成装置。

【請求項9】

前記生成手段は、前記前記画像の前記更新領域において検出されたオブジェクトのインデックスとしてａｒ＿ｏｂｊｅｃｔ＿ｉｄｘの情報を前記メタデータに含めることを特徴とする請求項６に記載の情報生成装置。

【請求項10】

画像のフレーム番号に基づき、前記画像を分割して得られる複数の領域のうち、少なくとも１つの領域を更新領域として決定する決定工程と、
前記画像の前記更新領域において検出されたオブジェクトの情報を含むメタデータを生成する生成工程と、を有することを特徴とする情報生成方法。

【請求項11】

コンピュータを、請求項１乃至９のいずれか１項に記載の情報生成装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報生成技術に関する。

【背景技術】

【0002】

ＶＣＡ（Ｖｉｄｅｏ Ｃｏｎｔｅｎｔ Ａｎａｌｙｓｉｓ）を用いて画像中のオブジェクトを検出し、該オブジェクトの情報に関するメタデータを生成してクライアント装置に配信するシステムが広く普及している。

【0003】

特許文献１では、画像から検出されたオブジェクトの位置情報をメタデータとしてクライアント装置に送信する旨の技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－２１２９６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１では、画像から検出されたオブジェクトの各々について一律で位置情報等の情報をメタデータに格納し、クライアント装置に送信しているため、メタデータの情報量が増大してしまうことがある。

【0006】

そこで本発明は、画像から検出されたオブジェクトの情報に係るメタデータの情報量が増大してしまうことの抑制を目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明の情報生成装置は、例えば以下の構成を備える。すなわち、画像のフレーム番号に基づき、前記画像を分割して得られる複数の領域のうち、少なくとも１つの領域を更新領域として決定する決定手段と、前記画像の前記更新領域において検出されたオブジェクトの情報を含むメタデータを生成する生成手段と、を有する。

【発明の効果】

【0008】

本発明によれば、画像から検出されたオブジェクトの情報に係るメタデータの情報量の増大を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】システム構成の一例を示す図である。

【図2】情報生成装置の機能ブロックを示す図である。

【図3】ＡＲＳＥＩのデータ構造を示す図である。

【図4】生成されるビットストリーム構造の一例を示す図である。

【図5】画像分割の一例を示す図である。

【図6】画像分割の一例を示す図である。

【図7】情報生成処理の流れを示すフローチャートである。

【図8】情報生成処理の流れを示すフローチャートである。

【図9】情報生成装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら、本発明に係る実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。

【0011】

（実施形態１）
図１は、本実施形態におけるシステム構成を示す図である。本実施形態におけるシステムは、情報生成装置１００、クライアント装置１０１、ディスプレイ１０３、およびネットワーク１０２を有している。

【0012】

情報生成装置１００およびクライアント装置１０１は、ネットワーク１０２を介して相互に接続されている。ネットワーク１０２は、例えばＥＴＨＥＲＮＥＴ（登録商標）等の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から実現される。

【0013】

なお、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌａｎ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により実現されてもよい。

【0014】

情報生成装置１００は、画像から検出されたオブジェクトの情報を含むメタデータを生成する装置である。情報生成装置１００は、撮像した画像を符号化して得られた符号化データと、該画像について生成されたメタデータとを統合したビットストリームを、ネットワーク１０２を介し、クライアント装置１０１等の外部装置へ送信する。なお、情報生成装置１００は、撮像装置としての機能を有していてもよく、情報生成装置１００が撮像した画像を符号化し且つ該画像からメタデータを生成し、それらを統合してビットストリームを生成するようにしてもよい。また、情報生成装置１００は、画像を撮像する撮像装置（不図示）や画像を記録する記録装置（不図示）から画像を取得してもよい。このとき、情報生成装置１００は、取得した該画像を符号化して符号化データを生成し、かつ該画像からメタデータを生成し、それらを統合してビットストリームを生成するようにしてもよい。クライアント装置１０１は、例えば、ＣＰＵなどのプロセッサーを有するパーソナルコンピュータ等の情報処理装置である。

【0015】

ディスプレイ１０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成されており、撮像装置１００から送信された配信データに含まれる符号化データをクライアント装置１０２が復号することで得られた復号画像などを表示する。ディスプレイ１０３は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠したディスプレイケーブルを介してクライアント装置１０１と接続されている。なお、ディスプレイ１０３およびクライアント装置１０１は、単一の筐体に設けられてもよい。

【0016】

ここで図２に示す機能ブロックを参照して、本実施形態における情報生成装置１００の処理について説明する。図２は、本実施形態のメタデータの生成を実行する情報生成装置１００の機能ブロックを示す図である。なお図２に示す各機能は、例えば、次のようにして実現される。すなわち、図９を参照して後述する情報生成装置１００のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９２０に格納されたコンピュータプログラムを撮像装置１００のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９００が実行することで実現される。

【0017】

図２において、取得部２０１は、撮像された画像を取得する。情報生成装置１００が撮像装置としての機能を有していている場合には、取得部２０１は、情報生成装置１００が撮像した画像を取得するようにしてもよい。また取得部２０１は、ネットワーク１０２を介して、撮像装置や記録装置から画像を取得するようにしてもよい。なお取得部２０１は、動画像を構成する一連のフレームの画像（複数の画像）の各々を、１つずつ順次取得していく。

【0018】

画像処理部２０２は、取得部２０１が取得した画像に含まれるオブジェクトの検出を行う。画像からオブジェクトを検出する方法としては、パターンマッチングや機械学習により学習された学習モデルなどを用いる公知の技術を利用するものとする。なお本実施形態において検出対象とするオブジェクトは人物とするが、動物、車、動体など他のオブジェクトを検出対象としてもよい。

【0019】

メタデータ生成部２０３は、画像に対する画像処理部２０２によるオブジェクトの検出結果に基づき、該画像についてメタデータを生成する。メタデータ生成部２０３は、記憶部２０４に対し生成した該メタデータを格納する。

【0020】

符号化部２０５は、取得部２０１により取得された画像を符号化して、符号データを生成し出力する。なお本実施形態における符号化部２０５は、Ｈ．２６５を用いて画像を符号化し符号データを生成するものとするが、Ｈ．２６４やＨ．２６６など他の動画符号化規格を用いて画像を符号化してもよい。統合符号化部２０６は、メタデータ生成部２０３から出力されたメタデータと、符号化部２０５から出力された符号データとを統合し、ビットストリームを生成する。出力部２０７は、ネットワーク１０２を介して、統合符号化部２０６で生成されたビットストリームをクライアント装置１０１などの外部装置に出力する。

【0021】

ここで図３を参照して、メタデータ生成部２０３で生成されるメタデータについてより具体的に説明する。以下メタデータのフォーマットとして、Ｈ．２６５におけるＡｎｎｏｔａｔｅｄ Ｒｅｇｉｏｎ ＳＥＩメッセージ（以下、ＡＲＳＥＩ）ＡＲＳＥＩが用いられるものとする。図３に示すメタデータ３００は、本実施形態におけるメタデータでありＡＲＳＥＩに準拠したデータ構造を有している。メタデータ生成部１０４は、該データ構造内の各種シンタックスに数値を格納することで、メタデータを生成することができる。

【0022】

ここで図３に示すメタデータ３００に含まれるデータ領域３０１は、メタデータ３００の一部であり、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを“１”とすることで記述される情報である。

【0023】

データ領域３０１において、メタデータ生成部２０３は、クライアント装置１０１に対して通知したいラベル（ａｒ＿ｌａｂｅｌ）の個数をａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓに挿入する。なおここでのラベル（ａｒ＿ｌａｂｅｌ）とは、２５５ｂｙｔｅ以下の所定の情報を記述できるシンタックスである。以下の説明においては、“ｐｅｒｓｏｎＡ”というラベルと、“ｐｅｒｓｏｎＢ”というラベルと、を定義してクライアント装置１０１に通知したい場合を想定する。このとき、ａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓは２となる。次に、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｌａｂｅｌ＿ｕｐｄａｔｅｓの数値だけ、ラベルを識別するインデックスをａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］に挿入する。例えば、メタデータ生成部２０３は、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］＝０、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］＝１とする。そして、メタデータ生成部２０３は、ラベルのインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）の各々に関連付けるラベルをａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］］に挿入する。例えば、メタデータ生成部１０４は、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］］＝“ｐｅｒｓｏｎＡ”、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］］＝“ｐｅｒｓｏｎＢ”とする。このようなデータ領域３０１を含むメタデータ３００を生成することで、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とラベル（第１ラベル）“ｐｅｓｏｎＡ”との関連付け、および、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”とラベル（第２ラベル）“ｐｅｓｏｎＢ”との関連付け、をそれぞれ定義付けることができる。データ領域３０１を含むメタデータ３００を取得したクライアント装置１０１は、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とラベル“ｐｅｓｏｎＡ”との関連付け、および、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”とラベル“ｐｅｓｏｎＢ”との関連付け、をそれぞれ情報として得ることができる。

【0024】

続いて、図３のメタデータ３００に含まれるデータ領域３０２は、メタデータ３００の一部であり、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓに１以上２５５以下の値をセットすることで記述される情報である。データ領域３０２では、画像内に存在する各オブジェクトに対応するラベルインデックスと、当該オブジェクトが存在する領域の位置情報を記述することができる。

【0025】

具体的には、メタデータ生成部２０３は、或る画像についてクライアント装置１０１に対して情報の更新が行われるオブジェクトの数をａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓに挿入する。ここで以下、一例として、画像から検出された第１オブジェクトと第２オブジェクトについて位置やラベルに関する情報の更新を行う場合について考える。このとき、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓとして“２”の数値をセットする。続いて、メタデータ生成部１０４は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓの数だけ、オブジェクトのインデックスをａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］に挿入する。ここで第１オブジェクトのオブジェクトインデックスとして“０”、第２オブジェクトのオブジェクトインデックスとして”１”が割り当てられるものとする。このときメタデータ生成部２０３は、データ領域３０２に含まれるａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］＝０、ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［１］＝１と設定する。

【0026】

次に、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓが示す数だけ（言い換えればデータ領域３０２のｉ＝０およびｉ＝１の各々について）、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを‘１’にする。なお、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを１にすることで、該ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］に紐づけるラベルインデックスを更新することが可能である。ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｕｐｄａｔｅ＿ｆｌａｇを‘１’にしたうえで、メタデータ生成部２０３は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］に、前述のラベルインデックスから画像内に存在する各オブジェクトに紐づけたいラベルインデックスを選択して挿入する。例えばオブジェクトインデックス“０”の第１オブジェクトにラベルインデックス０の“ｐｅｒｓｏｎＡ”というラベル（ａｒ＿ｌａｂｅｌ）を紐づけたい場合を想定する。このとき、メタデータ生成部２０３は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］に、“ｐｅｒｓｏｎＡ”のラベル（ａｒ＿ｌａｂｅｌ）に対応するラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”をセットする。すなわち、メタデータ生成部１０４は、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［０］］＝０とする。このようにすることで、第１オブジェクトのオブジェクトインデックス“０”と、“ｐｅｒｓｏｎＡ”のラベル名のラベルインデックス“０”とを対応付けることができる。

【0027】

また、メタデータ生成部２０３は、オブジェクトの領域の位置情報として、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］をメタデータに格納する。なお、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、および、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］はオブジェクトの領域の左上の座標を示す。また、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］は該オブジェクトの領域の幅を示し、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］は該オブジェクトの領域の高さを示す。

【0028】

以上のように、上述のメタデータ３００を用いたオブジェクトに関する情報の更新では、画像内に存在しうるオブジェクトのラベルや、画像内に存在するオブジェクトの領域の位置情報を追加可能である。一方で、これらの情報は、所定のフラグを用いて削除することも可能である。例えば、データ領域３０１の或るｉについて、ａｒ＿ｌａｂｅｌ＿ｃａｎｃｅｌ＿ｆｌａｇを１にすることで、対応するａｒ＿ｌａｂｅｌ＿ｉｄｘ［ｉ］の情報を削除することができる。また、データ領域３０２の或るｉについて、ａｒ＿ｏｂｊｅｃｔ＿ｃａｎｃｅｌ＿ｆｌａｇを１にすることで、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｉｄｘ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］を用いたオブジェクトインデックスとラベルインデックスとの対応付けを削除（キャンセル）することが可能である。また、データ領域３０２の或るｉについて、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｃａｎｃｅｌ＿ｆｌａｇを‘１’とすることで、対応するオブジェクトの領域の位置情報（ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］）を削除（キャンセル）することが可能である。

【0029】

また、メタデータ生成部２０３は、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓを“０”にすることで、データ領域３０２の情報をメタデータ３００にシグナリングせず、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを“１”にして、データ領域３０１の情報をメタデータ３００にシグナリングするようにしてもよい。例えば、メタデータ生成部２０３は、画像のビットストリームをクライアント装置に配信する前に、予め、データ領域３０１の情報をメタデータ３００にシグナリングして、クライアント装置に配信してもよい。このとき、データ領域３０１において、予めクライアント装置１０１に通知しておきたいラベルの情報をクライアントに送っておくことが可能である。例えば、メタデータ生成部２０３は、上述の説明のように、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］＝０、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［０］］＝“ｐｅｒｓｏｎＡ”とし、更に、ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］＝１、ａｒ＿ｌａｂｅｌ［ａｒ＿ｌａｂｅｌ＿ｉｄｘ［１］］＝“ｐｅｒｓｏｎＢ”とセットする。そして、メタデータ生成部１０４は、それらの情報を含むメタデータ３００をクライアント装置に通知しておくことが可能である。このときクライアント装置１０１は、画像データの受信に先立って、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“０”とラベル（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“ｐｅｒｓｏｎＡ”との関連付け、および、ラベルインデックス（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“１”とラベル（ａｒ＿ｌａｂｅｌ＿ｉｄｘ）“ｐｅｒｓｏｎＢ”との関連付け、を情報として取得することが可能となる。

【0030】

そしてそれ以降の処理においては、メタデータ生成部２０３は、例えば、ａｒ＿ｏｂｊｅｃｔ＿ｌａｂｅｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを“０”にして、データ領域３０１の情報をメタデータ３００にシグナリングせず、且つ、ａｒ＿ｎｕｍ＿ｏｂｊｅｃｔ＿ｕｐｄａｔｅｓを１以上２５５以下にすることで、データ領域３０２の情報をメタデータ３００にシグナリングするようにしてもよい。このとき、メタデータ生成部２０３は、ラベルインデックスとラベルの関連付けの更新や新たなラベルの追加などは行わず、現在処理対象とする画像から検出されたオブジェクトに紐づくラベルおよび領域の位置情報の更新を行うことができる。

【0031】

ここで図４を参照して本実施形態におけるビットストリームの例について説明する。図４は、統合符号化部２０６により生成されるビットストリーム４００を示す。ここで図４に示すビットストリーム４００には、ビデオシーケンスに関するパラメータが含まれるシーケンスヘッダ４０１が含まれる。また取得部２０１により取得された第１画像に関するパラメータが格納されるピクチャヘッダ４０２と、該第１画像についての補助情報であるＳＥＩ４０３と、該第１画像の符号化データであるピクチャデータ４０４と、がビットストリーム４００に含まれる。同様に、第１画像と異なる画像である第２画像に関するパラメータが格納されるピクチャヘッダ４０５と、該第２画像についてのＳＥＩ４０６と、該第２画像の符号化データであるピクチャデータ４０７と、がビットストリーム４００に含まれる。

【0032】

統合符号化部２０６は、第１画像から検出されたオブジェクトについてメタデータ生成部２０３により生成されたメタデータ３００をＳＥＩ４０３に格納し、第２画像から検出されたオブジェクトについてメタデータ生成部２０３に生成されたメタデータ３００をＳＥＩ４０６に格納する。このようなビットストリームにより、情報生成装置１００は、クライアント装置１０１に対して、第１画像のメタデータ３００により該第１画像のオブジェクトに関する情報を通知することができる。また第２画像のメタデータ３００により第２画像のオブジェクトに関する情報をクライアント装置１０１に通知することができる。

【0033】

ここで図５は、画像におけるオブジェクトを検出する領域を説明するための図である。本実施形態における画像処理部２０２は、取得部２０１により取得された画像を複数の領域に分割する。図５に示す例では、画像５００は４つの領域（領域５０１～５０４）に分割される場合を示しているが、これに限らず、２以上の領域に分割されればよい。また、分割の形状としては図５の例に限らず、他の分割の形状でもよく、例えば図６のような分割の形状で、画像６００を４つの領域（領域６０１～６０４）に分割してもよい。

【0034】

本実施形態におけるメタデータ生成部２０３は、処理対象の画像のフレーム番号に基づき、画像を分割して得られる複数の領域のうち、少なくとも１つの領域を更新領域として決定する。そして、メタデータ生成部２０３は、画像の更新領域において検出されたオブジェクトの情報を含むメタデータを生成する。

【0035】

ここで図７に示すフローを参照して、本実施形態における情報生成装置１００によるメタデータの生成処理について更に具体的に説明する。図７に示すフローの処理を実行することでメタデータを生成することができる。なお、図７に示すフローの処理は、例えば情報生成装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを情報生成装置１００のＣＰＵ９００が実行して実現される図２に示す情報生成装置１００の機能ブロックにより実行される。

【0036】

まずＳ７０１にて、画像処理部２０２は、画像を複数の領域に分割するための分割形状の情報である分割情報を取得する。例えば、画像処理部２０２は、分割情報として、図５に示す領域５０１～５０４それぞれの位置情報を取得する。なお図５の例では、各領域の位置情報は、領域の左上頂点の位置座標および該領域の幅および高さにより定義づけられるものとする。次にＳ７０２にて、取得部２０１は、動画像を構成する複数の画像に含まれる１つの画像を、処理対象の画像として取得する。なお取得部２０１は、撮像時刻がより前の画像から処理対象の画像として取得するものとし、以降は撮像時刻の順に処理対象の画像を順次取得していく。Ｓ７０３にて、画像処理部２０２は、現在の処理対象の画像のフレーム番号を特定する。なおここで、画像処理部２０２は、例えば、図７に示すフローの処理が開始されてから、１つ目の処理対象の画像にはフレーム番号“１”を割り当て、２つ目の処理対象の画像にはフレーム番号“２”を割り当てる。このように、画像処理部２０２は、処理対象の画像に割り当てるフレーム番号を順次インクリメントしていく。

【0037】

次にＳ７０４にて、メタデータ生成部２０３は、現在処理対象の画像をＳ７０１の分割情報に従って分割して得られた複数の領域のうち、現在処理対象とする画像のフレーム番号に従って、メタデータの更新対象となる領域である更新領域を決定する。ここで例えば、画像に対し図５に示す分割が実行される場合を想定する。このとき画像処理部２０２は、現在の処理対象とする画像のフレーム番号を４で割ったときの余りが０の場合、領域５０１を更新領域として決定する。同様に画像処理部２０２は、現在の処理対象とする画像のフレーム番号を４で割ったときの余りが１の場合、領域５０２を更新領域として決定する。同様に画像処理部２０２は、現在の処理対象とする画像のフレーム番号を４で割ったときの余りが２の場合、領域５０３を更新領域として決定する。同様に画像処理部２０２は、現在の処理対象とする画像のフレーム番号を４で割ったときの余りが３の場合、領域５０４を更新領域として決定する。なおこの例では、画像を分割して得られた複数の領域のうち、画像ごとに１つの領域を更新領域として決定したがこれに限らない。例えば、画像処理部２０２は、処理対象の画像を分割して得られた複数の領域のうち、該処理対象の画像のフレーム番号に応じて、２以上の領域を更新領域として決定してもよい。具体的には、図５の場合、画像処理部２０２は、処理対象の画像のフレーム番号が偶数であれば、領域５０１と領域５０４を更新領域として決定し、処理対象の画像のフレーム番号が奇数であれば、領域５０２と領域５０３を更新領域として決定してもよい。以上のように本実施形態における画像処理部２０２は、処理対象の画像を複数の領域に分割し、該処理対象とする画像のフレーム番号に応じて、該複数の領域のうち更新領域を決定する。また画像処理部２０２は、処理対象の画像のフレーム番号が第１フレーム番号（例えば偶数の番号）である場合、該画像の複数の領域のうち第１領域を更新領域として決定する。一方で、画像処理部２０２は、該処理対象の画像のフレーム番号が第１フレーム番号と異なる第２フレーム番号（例えば奇数の番号）である場合、該画像の複数の領域のうち第１領域と異なる第２領域を更新領域として決定する。

【0038】

次にＳ７０５にて、画像処理部２０２は、現在処理対象の画像に対しオブジェクトの検出処理を実行する。なおこのとき、画像処理部２０２は、該現在処理対象の画像の全体にオブジェクトの検出処理を実行してもよいし、該画像の複数の領域のうちＳ７０４にて更新領域として決定された領域に対してのみオブジェクトの検出処理を実行するようにしてもよい。Ｓ７０６にて、メタデータ生成部２０３は、現在処理対象とする画像のメタデータとして、Ｓ７０４で決定された更新領域において検出されたオブジェクトの情報を含むメタデータを生成する。なおここで処理対象の画像について生成されたメタデータと、該処理対象の画像の符号化データとを含むビットストリームがクライアント装置１０１に送信される。なお、Ｓ７０６にて、メタデータ生成部２０３は、例えば、処理対象の画像における更新領域から検出されたオブジェクトについて、該オブジェクトの位置情報をメタデータ３００のデータ領域３０２におけるａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］に記述する。また、メタデータ生成部２０３は、処理対象の画像における更新領域から検出されたオブジェクトについて、該オブジェクトに紐づくラベルインデックスをメタデータ３００のデータ領域３０２において記述する。

【0039】

次にＳ７０７にて、画像処理部２０２は図７に示すフローの処理を終了するかを判定し、終了しないと判定した場合（Ｓ７０７にてＮｏ）、Ｓ７０２に遷移し、Ｓ７０２にて、取得部２０１は、次に処理対象とする画像を取得する。一方、Ｓ７０７にて終了すると判定した場合（Ｓ７０７にてＹｅｓ）、図７に示すフローの処理を終了する。

【0040】

ＡＲＳＥＩでは、上述で説明したように、画像から検出されたオブジェクトのラベルや位置情報などを含むメタデータを生成することが可能である。またＡＲＳＥＩでは、生成されるメタデータにおいて、１度に更新可能なオブジェクトの最大数は２５５個と定められている。そして、オブジェクトの外接矩形の左上の座標は４バイトの二次元座標で表現され、オブジェクトの幅および高さがそれぞれ２バイトで表現され、オブジェクトの位置情報は合計８バイトで表現される。このとき、２５５個のＡＲＳＥＩオブジェクトの更新を３０ＦＰＳで行う場合を想定すると、８バイト×２５５個×３０≒５００ｋｂｐｓのデータが位置情報の更新のみで必要となってしまう。このように、画像から検出されるオブジェクトの各々の情報を一律でメタデータに含めようとするとメタデータの情報量の増大が発生することがある。

【0041】

これに対し、本実施形態における情報生成装置１００は、処理対象の画像を複数の領域に分割し、該処理対象の画像のフレーム番号に応じて、該複数の領域から更新領域を決定する。そして情報生成装置１００は、該決定した更新領域から検出されたオブジェクトについてメタデータを生成するようにした。このようにすることで、メタデータ生成の対象となるオブジェクトを限定することができるため、メタデータの情報量の増大を抑制することが可能となる。

【0042】

（実施形態２）
本実施形態では、実施形態１と異なる部分を主に説明し、実施形態１と同一または同等の構成要素、および処理には同一の符号を付すとともに、重複する説明は省略する。

【0043】

ここで図８に示すフローの処理を参照し、本実施形態における情報生成装置１００のメタデータの生成処理について説明する。図８に示すフローの処理を実行することでメタデータを生成することができる。なお、図８に示すフローの処理は、例えば情報生成装置１００のＲＯＭ９２０に格納されたコンピュータプログラムを情報生成装置１００のＣＰＵ９００が実行して実現される図２に示す情報生成装置１００の機能ブロックにより実行される。

【0044】

まずＳ８０１にて、画像処理部２０２は、画像を複数の領域に分割するための分割形状の情報である分割情報を取得する。例えば、画像処理部２０２は、分割情報として、図５に示す領域５０１～５０４それぞれの位置情報を取得する。

【0045】

次にＳ８０２にて、画像処理部２０２は、重要領域の決定を行う。例えば、画像を複数の領域に分割するための分割情報をユーザにより設定される場合に、該複数の領域のうちいずれを重要領域とするかも併せてユーザにより指定されてもよい。画像処理部２０２は、Ｓ８０１により取得される分割情報に基づく画像の分割により得られる複数の領域のうち、該ユーザによる指定に基づき、重要領域を決定する。例えば、図５に示す複数の領域（領域５０１～５０４）のうちユーザにより指定された領域５０２と領域５０３とを重要領域として決定する。なお、重要領域の決定方法としてユーザによる指定ではなく他の方法を用いてもよい。例えば、画像処理部２０２は、取得した画像に対し特定オブジェクトの検出処理を実行し、画像における複数の領域のうち、該特定オブジェクトが検出された領域を重要領域として決定してもよい。ここで特定オブジェクトとしては、任意のオブジェクトであってもよく、例えば広場や駐車場など或る所定の場所を特定オブジェクトとしてもよい。

【0046】

次に、Ｓ８０３にて、メタデータ生成部２０３は、画像における複数の領域のうち、重要領域と、重要領域以外の領域（非重要領域）とで、メタデータの生成の頻度を決定する。例えば、メタデータ生成部２０３は、重要領域についてオブジェクトが検出される場合には毎フレームの画像で該オブジェクトの情報を、生成するメタデータに含めると決定する。言い換えれば重要領域におけるオブジェクトについては毎フレーム、メタデータの生成が行われる。一方で、メタデータ生成部２０３は、非重要領域についてオブジェクトが検出される場合には例えばフレーム番号が偶数（もしくは奇数）のときに該オブジェクトの情報を、生成するメタデータに含めると決定する。言い換えれば非重要領域におけるオブジェクトについては、重要領域におけるオブジェクトに比べればメタデータ生成の頻度は低くなる。なおこのようなメタデータの生成頻度は、ユーザの指定により決定されてもよいし、ネットワーク帯域に応じて決定されてもよい。

【0047】

次にＳ８０４にて、取得部２０１は、取得部２０１は、動画像を構成する複数の画像に含まれる１つの画像を、処理対象の画像として取得する。なお取得部２０１は、撮像時刻がより早い画像から処理対象の画像として取得するものとし、以降は撮像時刻の順に処理対象の画像を取得していく。次に、Ｓ８０５にて、画像処理部２０２は、現在の処理対象の画像のフレーム番号を特定する。なおここで、画像処理部２０２は、例えば、図８に示すフローの処理が開始されてから、１つ目の処理対象の画像にはフレーム番号“１”を割り当て、２つ目の処理対象の画像にはフレーム番号“２”を割り当てる。このように、画像処理部２０２は、処理対象の画像に割り当てるフレーム番号を順次インクリメントしていく。

【0048】

次にＳ８０６にて、メタデータ生成部２０３は、現在処理対象の画像をＳ８０１の分割情報に従って分割して得られた複数の領域のうち、現在処理対象とする画像のフレーム番号に従って、メタデータの更新対象となる領域である更新領域を決定する。ここで、非重要領域ではフレーム番号が偶数の場合にメタデータで情報の更新が行われる場合を想定する。このとき、Ｓ８０５で特定したフレーム番号が奇数である場合、メタデータ生成部２０３は、画像の複数の領域のうち重要領域のみを更新領域として決定する。一方で、Ｓ８０５で特定したフレーム番号が偶数である場合、メタデータ生成部２０３は、画像の複数の領域のすべてを更新領域として決定する。このようにメタデータ生成部２０３は、複数の領域のうち重要領域として決定された領域については、画像のフレーム番号によらず更新領域として決定する。

【0049】

次に、Ｓ８０７にて、画像処理部２０２は、処理対象の画像に対してオブジェクトの検出を実行する。なおこのとき、画像処理部２０２は、該処理対象の画像の全体にオブジェクトの検出処理を実行してもよいし、該画像の複数の領域のうちＳ８０６にて更新領域として決定された領域に対してのみオブジェクトの検出処理を実行するようにしてもよい。

【0050】

Ｓ８０８にて、メタデータ生成部２０３は、現在処理対象とする画像のメタデータとして、Ｓ８０６で決定された更新領域において検出されたオブジェクトの情報を含むメタデータを生成する。なおここで処理対象の画像について生成されたメタデータと、該処理対象の画像の符号化データとを含むビットストリームがクライアント装置１０１に送信される。なお、Ｓ８０８にて、メタデータ生成部２０３は、例えば、処理対象の画像における更新領域から検出されたオブジェクトについて、該オブジェクトの位置情報をメタデータ３００のデータ領域３０２におけるａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｔｏｐ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｌｅｆｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｗｉｄｔｈ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］、ａｒ＿ｂｏｕｎｄｉｎｇ＿ｂｏｘ＿ｈｅｉｇｈｔ［ａｒ＿ｏｂｊｅｃｔ＿ｉｄｘ［ｉ］］に記述する。また、メタデータ生成部２０３は、処理対象の画像における更新領域から検出されたオブジェクトについて、該オブジェクトに紐づくラベルインデックスをメタデータ３００のデータ領域３０２において記述するようにしてもよい。

【0051】

以上説明したように、本実施形態における情報生成装置１００は、画像を複数の領域に分割し、更に、該複数の領域のうち重要領域を決定する。そして情報生成装置１００は、重要領域については処理対象の画像のフレーム番号によらず更新領域として決定する。このようにすることで、複数の領域のうち、ユーザにより重要領域とされる領域についての情報は随時更新することが可能となる。

【0052】

（その他の実施形態）
次に図９を参照して、情報生成装置１００のハードウェア構成を説明する。情報生成装置１００は、ＣＰＵ９００、ＲＡＭ９１０、ＲＯＭ９２０、ＨＤＤ９３０、および、Ｉ／Ｆ９４０を有している。

【0053】

ＣＰＵ９００は、情報生成装置１００を統括制御する中央処理装置である。ＲＡＭ９１０は、ＣＰＵ９００が実行するコンピュータプログラムを一時的に記憶する。また、ＲＡＭ９１０は、ＣＰＵ９００が処理を実行する際に用いるワークエリアを提供する。また、ＲＡＭ９１０は、例えば、フレームメモリとして機能したり、バッファメモリとして機能したりする。

【0054】

ＲＯＭ９２０は、ＣＰＵ９００が情報生成装置１００を制御するためのプログラムなどを記憶する。ＨＤＤ９３０は、画像データ等を記録する記憶装置である。Ｉ／Ｆ９４０は、ネットワーク１０２を介して、ＴＣＰ／ＩＰやＨＴＴＰなどに従って、外部装置との通信を行う。

【0055】

なお、上述した各実施形態の説明では、ＣＰＵ９００が処理を実行する例について説明するが、ＣＰＵ９００の処理のうち少なくとも一部を専用のハードウェアによって行うようにしてもよい。例えば、ＲＯＭ９２０からプログラムコードを読み出してＲＡＭ９１０に展開する処理は、転送装置として機能するＤＭＡ（ＤＩＲＥＣＴ ＭＥＭＯＲＹ ＡＣＣＥＳＳ）によって実行してもよい。

【0056】

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、情報生成装置１００の各部は、図９に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することもできる。

【0057】

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲は限定的に解釈されるものではない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱しない範囲において、様々な形で実施することができる。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。

【符号の説明】

【0058】

２０１ 取得部
２０２ 画像処理部
２０３ メタデータ生成部
２０４ 記憶部
２０５ 符号化部
２０６ 統合符号化部
２０７ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】