特許 7269134 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-25

(45)【発行日】2023-05-08

(54)【発明の名称】映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法

(51)【国際特許分類】

   H04N 21/24 20110101AFI20230426BHJP

   H04N 19/85 20140101ALI20230426BHJP

   H04N 21/44 20110101ALI20230426BHJP

   H04N 7/18 20060101ALI20230426BHJP

   G06T 7/00 20170101ALI20230426BHJP

【ＦＩ】

H04N21/24

H04N19/85

H04N21/44

H04N7/18 K

H04N7/18 J

G06T7/00 350B

【請求項の数】 15

(21)【出願番号】P 2019156166

(22)【出願日】2019-08-28

(65)【公開番号】P2021034983

(43)【公開日】2021-03-01

【審査請求日】2021-06-17

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】菅野 勝

(72)【発明者】

【氏名】柳原 広昌

(72)【発明者】

【氏名】中島 康之

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１２－２４４５７４（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１２６６１３２（ＣＮ，Ａ）

【文献】米国特許第０６７５７３２８（ＵＳ，Ｂ１）

【文献】国際公開第２０１９／０６９５８１（ＷＯ，Ａ１）

【文献】特開２０１８－１９５３０１（ＪＰ，Ａ）

【文献】特開平０６－２６６８４０（ＪＰ，Ａ）

【文献】特開２０１９－１１０４２０（ＪＰ，Ａ）

【文献】特開２０００－０７８５６３（ＪＰ，Ａ）

【文献】特開２０１６－０３１５７６（ＪＰ，Ａ）

【文献】特開２００１－３５７４０２（ＪＰ，Ａ）

【文献】特開２００５－２５８９３６（ＪＰ，Ａ）

【文献】特開２００２－２６２２９６（ＪＰ，Ａ）

【文献】米山 暁夫、他，ＭＰＥＧビデオストリームからの移動物体の検出，電子情報通信学会論文誌 （Ｊ８１－Ｄ－ＩＩ），第８号，社団法人電子情報通信学会，1998年08月25日，pp.1776-1786

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｎ １９／００ － １９／９８

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

映像分析サーバにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレームにおける複数の符号化パラメータを受信する符号化パラメータ受信手段と
を有し、
受信した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする映像分析サーバ。

【請求項2】

前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段を更に有し、
選別した有意なマクロブロックに対応する複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする請求項１に記載の映像分析サーバ。

【請求項3】

請求項１又は２に記載の映像分析サーバと、当該映像分析サーバへ前記複数の符号化パラメータを送信する端末とを有するシステムであって、
前記端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記フレームにおける前記複数の符号化パラメータを、前記映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とするシステム。

【請求項4】

請求項１又は２に記載の映像分析サーバと、当該映像分析サーバへ前記複数の符号化パラメータを送信する端末とを有するシステムであって、
前記端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と
選別された複数のマクロブロックの符号化パラメータを、前記映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とするシステム。

【請求項5】

前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、抽出した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、物体検知有りと推定された複数の符号化パラメータのみを、前記符号化パラメータ送信手段へ出力する
ことを特徴とする請求項４に記載のシステム。

【請求項6】

前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、抽出した前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、
前記マクロブロック選別手段は、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、前記符号化パラメータ送信手段へ出力する
ことを特徴とする請求項４に記載のシステム。

【請求項7】

映像分析サーバと、当該映像分析サーバへ映像ストリームを送信する端末とを有するシステムであって、
映像分析サーバは、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
符号化された映像ストリームのフレームを受信する映像ストリーム受信手段と、
受信した前記映像ストリームからフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と
を有し、
前記符号化パラメータ抽出手段によって抽出された前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定するものであり、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と、
前記有意映像ストリームを、前記映像分析サーバへ送信する映像ストリーム送信手段と
を有するものである
ことを特徴とするシステム。

【請求項8】

前記映像分析サーバは、
前記符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、有意なマクロブロックに含まれる符号化パラメータを出力するマクロブロック選別手段と
を有し、
有意なマクロブロックに含まれる符号化パラメータを、前記機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする請求項７に記載のシステム。

【請求項9】

前記端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
前記符号化パラメータ抽出手段は、前記フレームの前記複数の符号化パラメータを、前記機械学習エンジンへ入力し、
前記有意フレーム選別手段は、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を、前記有意映像ストリーム生成手段へ出力する
ことを特徴とする請求項７又は８に記載のシステム。

【請求項10】

端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを前記機械学習エンジンへ入力し、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項11】

端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを、前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
前記マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項12】

端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、前記複数の符号化パラメータを前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
前記有意映像ストリームを送信する映像ストリーム送信手段と
してコンピュータを機能させることを特徴とするプログラム。

【請求項13】

端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを前記機械学習エンジンへ入力し、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする端末。

【請求項14】

端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、前記複数の符号化パラメータを、前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
前記マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする端末。

【請求項15】

端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、前記複数の符号化パラメータを前記機械学習エンジンへ入力する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段によって抽出された前記フレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、前記機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
前記映像ストリームのフレームから、前記有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
前記有意映像ストリームを送信する映像ストリーム送信手段と
を有することを特徴とする端末。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラによって撮影された映像ストリームに影響する外的要因を分析する技術に関する。

【背景技術】

【0002】

映像ストリームの符号化技術として、代表的にＭＰＥＧ(Moving Picture Experts Group)がある。この技術によれば、映像ストリームに対して圧縮効率を高めるために、前・後のフレームに基づいて現フレームの予測画像を生成し、入力画像と予測画像の差分（誤差）画像を符号化する「フレーム間予測」方式を用いる。
映像ストリームとしては、ユーザが家庭用に所持するビデオカメラによって撮影されたものであってもよいし、固定的に設置された防犯カメラによって撮影されたものであってもよい。近年、一般的な需要として、車両から見た視界を撮影するカメラを搭載したドライブレコーダがある。ドライブレコーダは、車両の走行中に撮影した映像ストリームを常時記憶し続ける。

【0003】

図１は、車両に設置されたドライブレコーダとしての端末を有するシステム構成図である。

【0004】

図１によれば、ドライブレコーダとしての端末２は、車両の進行方向をカメラで撮影し、その映像ストリームを記憶部（メモリ、ディスク）に記憶する。そして、その端末２は、その映像ストリームを、無線ネットワークを介して、映像分析サーバ１へ送信する。
また、端末２は、ＣＡＮ(Controller Area Network)を介して車両の走行状態情報を取得することもできる。その走行状態情報も、映像ストリームと一緒に、映像分析サーバ１へ送信してもよい。
映像分析サーバ１は、端末２から受信した映像ストリーム及び走行状態情報を分析することができる。例えば、映像ストリームに映り込む物体を検出し且つ識別すると共に、その走行状態情報を対応付けることもできる。

【0005】

従来、車両に設置された複数のカメラを用いて、映像データを複数の領域に分割し、領域毎に異なる符号化率で符号化する技術がある（例えば特許文献１参照）。この技術によれば、領域毎に、要求される解像度に応じて重要度を算出し、その重要度に応じた符号化率で映像データを符号化する。重要度の高い領域は、低い符号化率とすることによって、その映像データに映り込む物体を検出しやすくする。
また、ドライブレコーダが、特定方向の加速度の値が所定値を超えたときに、車両に設置された複数のカメラによって取得された画像データを出力する技術もある（例えば特許文献２参照）。加速度に大きい変化が検出された際に、その画像データに映り込む物体を検出することができる。
更に、作業者が装着するカメラが撮影する映像に対して、データ量を削減する遠隔作業支援システムの技術もある（例えば特許文献３参照）。この技術によれば、映像フレーム内で動きの大きい領域が存在するかどうかを評価し、動きの大きい領域が存在しない場合には、重要でないとみなして削除する。動きの大きい領域についてのみ、その映像フレームに映り込む物体を検出することができる。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１０－２６３５００号公報

【文献】特開２０１３－２１８４３３号公報

【文献】特開２０１８－０８２３３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術によれば、符号化前の映像データについて、領域を識別する必要がある。カメラが、既に符号化された映像データを出力する場合、一旦完全に伸張しなければならず、処理構成が複雑となる。また、領域毎に符号化率は異なるものの、基本的には全てのカメラ映像が符号化対象となるために、物体検出の処理負荷の削減効果も小さい。
特許文献２に記載の技術によれば、車両の加速度しか判定要素としていない。そのために、加速度が変化しない定常走行状態では、画像データを出力せず、物体を検出することもできない。
特許文献３に記載の技術によれば、画像内の動きを評価して符号化している。そのために、既に符号化された映像データに対して、マクロブロックの符号化パラメータを評価しした上で、物体を検出することもできない。

【0008】

これに対し、本願の発明者らは、既に符号化された映像ストリームを完全に伸張することなく、その映像ストリームに影響した外的要因情報を推定することはできないか、と考えた。例えば、映像ストリームに映り込む周辺物体の中で、急に出現し又は消滅した周辺物体のみを、検出することができないか、と考えた。

【0009】

そこで、本発明は、符号化された映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明によれば（図８参照、サーバ側）、
映像分析サーバにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレームにおける複数の符号化パラメータを受信する符号化パラメータ受信手段と
を有し、
受信した複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことを特徴とする。

【0011】

本発明の映像分析サーバにおける他の実施形態によれば（図８参照、サーバ側）、
複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段を更に有し、
選別した有意なマクロブロックに対応する複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことも好ましい。

【0012】

本発明によれば（図８参照、端末側）、
前述した映像分析サーバと、当該映像分析サーバへ複数の符号化パラメータを送信する端末とを有するシステムであって、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
フレームにおける複数の符号化パラメータを、映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とする。

【0013】

本発明によれば（図８参照、端末側）、
前述した映像分析サーバと、当該映像分析サーバへ複数の符号化パラメータを送信する端末とを有するシステムであって、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
フレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別するマクロブロック選別手段と
選別された複数のマクロブロックの符号化パラメータを、映像分析サーバへ送信する符号化パラメータ送信手段と
を有することを特徴とする。

【0014】

本発明のシステムにおける他の実施形態によれば（図９参照、端末側）、
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、抽出した複数の符号化パラメータを、機械学習エンジンへ入力し、物体検知有りと推定された複数の符号化パラメータのみを、符号化パラメータ送信手段へ出力する
ことも好ましい。

【0015】

本発明のシステムにおける他の実施形態によれば（図９参照、端末側）、
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、抽出した複数の符号化パラメータを、機械学習エンジンへ入力し、
マクロブロック選別手段は、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、符号化パラメータ送信手段へ出力する
ことも好ましい。

【0016】

本発明によれば（図１１参照、サーバ側及び端末側）、
映像分析サーバと、当該映像分析サーバへ映像ストリームを送信する端末とを有するシステムであって、
映像分析サーバは、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習した機械学習エンジンと、
符号化された映像ストリームのフレームを受信する映像ストリーム受信手段と、
受信した映像ストリームからフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と
を有し、
符号化パラメータ抽出手段によって抽出された複数の符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定するものであり、
端末は、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と、
有意映像ストリームを、映像分析サーバへ送信する映像ストリーム送信手段と
を有するものである
ことを特徴とする。

【0017】

本発明のシステムにおける他の実施形態によれば（図１１参照、サーバ側）、
映像分析サーバは、
符号化パラメータ抽出手段によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、有意なマクロブロックに含まれる符号化パラメータを出力するマクロブロック選別手段を更に有し、
有意なマクロブロックに含まれる符号化パラメータを、機械学習エンジンへ入力し、当該フレームに影響した外的要因情報を推定する
ことも好ましい。

【0018】

本発明のシステムにおける他の実施形態によれば（図１３参照、端末側）、
端末は、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンを更に有し、
符号化パラメータ抽出手段は、フレームの複数の符号化パラメータを、機械学習エンジンへ入力し、
有意フレーム選別手段は、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を、有意映像ストリーム生成手段へ出力する
ことも好ましい。

【0019】

本発明によれば（図９参照、端末側）、
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを機械学習エンジンへ入力し、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とする。

【0020】

本発明によれば（図９参照、端末側）、
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを、機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
してコンピュータを機能させることを特徴とする。

【0021】

本発明によれば（図１３参照、端末側）、
端末に搭載されたコンピュータを機能させるプログラムにおいて、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、複数の符号化パラメータを機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
有意映像ストリームを送信する映像ストリーム送信手段と
してコンピュータを機能させることを特徴とする。

【0022】

本発明によれば（図９参照、端末側）、
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを機械学習エンジンへ入力し、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする。

【0023】

本発明によれば（図９参照、端末側）、
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出すると共に、複数の符号化パラメータを、機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを出力するマクロブロック選別手段と、
マクロブロック選別手段から出力された複数の符号化パラメータを送信する符号化パラメータ送信手段と
を有することを特徴とする。

【0024】

本発明によれば（図１３参照、端末側）、
端末において、
映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、物体検知の有無を目的変数とした教師データによって予め学習した機械学習エンジンと、
映像ストリームのフレーム毎に、複数の符号化パラメータを抽出し、複数の符号化パラメータを機械学習エンジンへ入力する符号化パラメータ抽出手段と、
符号化パラメータ抽出手段によって抽出されたフレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別すると共に、機械学習エンジンによって物体検知有りと推定されたフレームのフレーム識別子を出力する有意フレーム選別手段と、
映像ストリームのフレームから、有意フレーム選別手段から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する有意映像ストリーム生成手段と
有意映像ストリームを送信する映像ストリーム送信手段と
を有することを特徴とする。

【発明の効果】

【0037】

本発明のプログラム、サーバ、システム、端末及び方法によれば、符号化された映像ストリームに影響した外的要因情報を推定することができる。

【図面の簡単な説明】

【0038】

【図1】車両に設置されたドライブレコーダとしての端末を有するシステム構成図である。

【図2】本発明の機械学習エンジンにおける第１の学習段階及び推定段階を表す説明図である。

【図3】本発明の機械学習エンジンにおける第２の学習段階及び推定段階を表す説明図である。

【図4】本発明の第１の実施形態における端末及び映像分析サーバの機能構成図である。

【図5】本発明の端末における符号化パラメータ抽出部の説明図である。

【図6】映像ストリームのフレームに対する、符号化パラメータの動きベクトルを表す説明図である。

【図7】本発明における符号化パラメータのマップを表す説明図である。

【図8】本発明の第２の実施形態における端末及び映像分析サーバの機能構成図である。

【図9】図８の端末が機械学習エンジンを更に備えた機能構成図である。

【図10】所定条件を満たすマクロブロックの分布部分を表す説明図である。

【図11】本発明の第３の実施形態における端末及び映像分析サーバの機能構成図である。

【図12】本発明の端末における有意映像ストリーム生成部の説明図である。

【図13】図１１の端末が機械学習エンジンを更に備えた機能構成図である。

【発明を実施するための形態】

【0039】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0040】

本発明によれば、符号化された映像ストリームに影響した外的要因情報を推定するために、機械学習エンジン１０を有する。機械学習エンジン１０は、装置に搭載されたコンピュータを機能させるプログラムによって実現される。

【0041】

図２は、本発明の機械学習エンジンにおける第１の学習段階及び推定段階を表す説明図である。

【0042】

［機械学習エンジン１０］
図２（ａ）の学習段階によれば、機械学習エンジン１０は、映像ストリームのフレームについて、以下のような教師データによって、予め学習モデルを構築する。
説明変数：当該フレームにおける複数の符号化パラメータ
目的変数：当該フレームに影響した物体の有無（外的要因情報）
図２（ａ）の推定段階によれば、機械学習エンジン１０は、映像ストリームにおけるフレームに対応する「複数の符号化パラメータ」を入力し、当該フレームに影響した「物体の有無」を推定する。

【0043】

機械学習エンジン１０としては、具体的に、サポートベクタマシンや、Ｋ近傍法、決定木などを用いることができる。
サポートベクタマシン(support vector machine)とは、教師あり学習に基づくパターン認識の分類手法であり、未学習データに対して高い識別性を持つ。
Ｋ近傍法(k-nearest neighbor algorithm)とは、特徴空間における最も近い訓練例に基づいたパターン認識の分類手法である。
決定木(decision tree)とは、機械学習の分類手法における予測モデルである。

【0044】

「映像ストリーム」は、例えば走行中の自動車のような移動体に搭載されたカメラによって撮影されたものであってもよい。映像ストリームは、例えばカメラ内部で符号化されたものである。勿論、カメラが非符号化映像データを出力する場合、そのカメラ外の装置又はソフトウェアによって符号化するものであってもよい。

【0045】

「符号化パラメータ」は、ＭＰＥＧ(Moving Picture Experts Group)に基づくものであり、
順方向予測（インター）の動きベクトルの大きさ及び向き、
画面内予測（イントラ）の符号量、
量子化(Quantization)ステップのサイズ
の少なくともいずれかである。勿論、Ｈ．２６４やＨ．２６５などの標準フォーマットに基づくものであってもよいし、非標準のフォーマットに基づくものであってもよい。また、空間解像度や時間解像度（フレームレート）、符号化率（ビットレート）についても、任意であってよい。

【0046】

図２（ｂ）の学習段階によれば、映像ストリームのフレームについて、以下のような教師データによって、予め学習モデルを構築する。
説明変数：当該フレームにおける複数の符号化パラメータ
目的変数：当該フレームに影響した物体識別子（外的要因情報）
図２（ｂ）の推定段階によれば、機械学習エンジン１０は、映像ストリームのフレームにおける「複数の符号化パラメータ」を入力し、当該フレームに影響した「物体識別子」を推定する。物体識別子は、当該フレームに映り込む物体検出情報である。

【0047】

図３は、本発明の機械学習エンジンにおける第２の学習段階及び推定段階を表す説明図である。

【0048】

図３（ａ）の学習段階によれば、機械学習エンジン１０は、映像ストリームのフレームについて、以下のような教師データによって、予め学習モデルを構築する。
説明変数：当該フレームにおける複数の符号化パラメータ
目的変数：走行状態情報（外的要因情報）
ここで、走行状態情報とは、当該フレームを撮影する移動体自らの走行状態情報である。
図３（ｂ）の推定段階によれば、機械学習エンジン１０は、映像ストリームのフレームにおける複数の符号化パラメータを入力し、走行状態情報を推定する。

【0049】

図２及び図３における「複数の符号化パラメータ」は、マクロブロックの空間的位置と共に構成された複数の符号化パラメータからなるフレームであってもよい。
この場合、機械学習エンジン１０は、外的要因情報と共に、物体領域座標（フレームにおける各マクロブックの空間的位置）を更に出力することができる。図２（ａ）の場合、物体の有無及び物体領域座標が出力され、図２（ｂ）の場合、物体識別子及び物体領域座標が出力される。

【0050】

図４は、本発明の第１の実施形態における端末及び映像分析サーバの機能構成図である。

【0051】

＜第１の実施形態の端末＞
図４によれば、端末２は、例えば車両のような移動体に設置されたドライブレコーダであってもよい。端末２は、カメラを搭載しており、車両の進行方向の前方や、後方又は側方を撮影する。
端末２は、映像ストリーム記憶部２２１と、映像ストリーム送信部２２５とを有する。
映像ストリーム記憶部２２１は、カメラ内部（又は外部）で符号化された映像ストリームを、一時的に記憶する。
映像ストリーム送信部２２５は、符号化された映像ストリームを、任意の無線ネットワークを介して、映像分析サーバ１へ送信する。

【0052】

＜第１の実施形態の映像分析サーバ＞
図４によれば、映像分析サーバ１は、端末２から符号化された映像ストリームを受信し、その映像ストリームのフレームに影響した外的要因情報を推定することができる。
映像分析サーバ１は、映像ストリーム受信部１１１と、符号化パラメータ抽出部１１２と、マクロブロック選別部１１３と、機械学習エンジン１０とを有する。これら機能構成部は、装置（サーバ）に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の映像分析方法としても理解できる。

【0053】

［映像ストリーム受信部１１１］
映像ストリーム受信部１１１は、端末２から、符号化された映像ストリームを受信する。映像ストリームのフレームは、任意のタイミングで、符号化パラメータ抽出部１１２へ出力される。

【0054】

［符号化パラメータ抽出部１１２］
符号化パラメータ抽出部１１２は、映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する。
符号化パラメータ抽出部１１２は、具体的には、符号化された映像ストリームを簡易的に伸張（デコード）し、ビットストリームを解釈（パース）する。ここでの簡易的な伸張は、符号化パラメータを抽出するのみであって、完全に伸張することなく、視覚的な映像フレームとしては復元されない。例えば符号化パラメータが差分で表現されている場合に、元の値に戻すだけでよく、符号化パラメータを処理できる状態にすればよい。

【0055】

図５は、本発明の端末における符号化パラメータ抽出部の説明図である。

【0056】

図５によれば、符号化された映像ストリームは、シーケンスヘッダとＧＯＰ(Group Of Picture)データとから構成される。
シーケンスヘッダには、フレームの縦横画素数等が記述される。
ＧＯＰデータは、ＧＯＰヘッダと、一連の順序を持った複数のピクチャデータ（Ｉ、Ｐ及びＢピクチャデータの集合）とから構成される。ＧＯＰヘッダは、グループの最初に提示する画面の時刻を表すタイムコード等を含む。ピクチャデータは、１枚のフレーム（画像）を表す。
ピクチャデータは、ピクチャヘッダと、スライスデータとから構成される。図５によれば、１枚のピクチャデータは、縦１０８８画素（６８ラインスライス）×横１４４０画素（９０マクロブロック）から構成される。スライスは、１枚のピクチャを帯状に断片化したものである。
スライスは、スライスヘッダと、９０個のマクロブロックデータとから構成される。
マクロブロックは、１６画素×１６ラインの正方形の画素ブロックである。
そして、マクロブロック毎に、マクロブロックアドレス、マクロブロックタイプ、量子化ステップサイズ、動きベクトル、及び、ブロックデータが含まれる。勿論、原画像ストリームの構成はこれに限定されるものではなく、ピクチャデータの縦横の画素数やマクロブロックの大きさによって任意となってもよい。

【0057】

そして、符号化パラメータ抽出部１１２は、映像ストリームから、フレーム毎に各マクロブロックの符号化パラメータを抽出する。
符号化パラメータは、以下の少なくともいずれかとなる。
（１）順方向予測（インター）の動きベクトルの大きさ及び向き
（２）画面内予測（イントラ）ブロックタイプの符号量
（３）量子化(Quantization)ステップのサイズ

【0058】

他の実施形態として、符号化パラメータ抽出部１１２は、フレームにおける時間的変動が無い領域を、符号化パラメータの抽出対象外とすることも好ましい。

【0059】

［マクロブロック選別部１１３］
マクロブロック選別部１１３は、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。そして、マクロブロック選別部１１３は、複数の有意なマクロブロックが持つ符号化パラメータを、機械学習エンジン１０へ出力する。

【0060】

マクロブロック選別部１１３は、相対的に急峻に変化した領域を抽出する。「急峻に変化」とは、当該カメラから見える周辺物体が急激に変化した場合もあれば、当該カメラが搭載された移動体（例えば車両）の走行状態が急激に変化した場合もある。

【0061】

ここで、「所定条件」とは、時間的変動が所定以上大きい符号化パラメータとする。マクロブロック毎に、例えば以下の少なくともいずれか所定条件で選別する。
＜１．順方向予測の動きベクトルに基づくマクロブロックの選別＞
順方向予測の動きベクトルが、所定長以上の大きさで、且つ、消失点（地平線上の収束点）の方向に対して所定角度以上である
＜２．画面内予測の符号量に基づくマクロブロックの選別＞
画面内予測の符号量が、所定符号量以上である
＜３．画面内予測マクロブロックの個数に基づくマクロブロックの選別＞
画面内予測のマクロブロック数が、所定個以上である
＜４．量子化ステップサイズに基づくマクロブロックの選別＞
量子化ステップサイズが、所定サイズ以下である

【0062】

＜１．順方向予測の動きベクトルに基づくマクロブロックの選別＞
図６は、映像ストリームのフレームに対する、符号化パラメータの動きベクトルを表す説明図である。
図６（ａ）は、映像ストリームに映り込む物体が一定速度で変化している場合を表す。
図６（ｂ）は、映像ストリームに映り込む物体が急峻に変化した場合を表す。

【0063】

図６（ａ）によれば、以下のような動きベクトルの分布が観測される。
・動きベクトルの方向は、消失点の方向へ向き、時間的な変化が小さい。
・動きベクトルの大きさは、消失点に近いほど小さく、消失点から遠ざかるほど大きい。
例えば自車両に対する前方車両も一定速度で走行している場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たさない。

【0064】

図６（ｂ）によれば、以下のような動きベクトルの分布が観測される。
・動きベクトルの方向は、消失点と異なる方向へ向き、時間的な変化が大きい。
・動きベクトルの大きさは、消失点に拘わらず大きい
例えば自車両に対する前方車両が急激に車線変更又は減速した場合、その前方車両が映り込む領域の符号化パラメータは、「所定条件」を満たす符号化パラメータとして検出される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。

【0065】

他の付加的な実施形態として、例えば以下のようなケースに応じて、動きベクトルの大きさの選択基準（所定条件）を適応的に変更することが好ましい。
（ａ）２フレーム以上前の１フレームを参照して動きベクトルを算出する場合
（ｂ）直前の１フレームを参照して動きベクトルを算出する場合
（ｃ）複数のフレームを参照する場合
ここで、（ａ）で２フレーム前の1フレームを参照するときの動きベクトルの大きさは、（ｂ）の動きベクトルの大きさと比較して、大凡２倍程度大きくなる。
また、３０フレーム／秒を符号化した動きベクトルの大きさは、１０フレーム／秒を符号化した動きベクトルの大きさと比較して、大凡３倍程度大きくなる。
そのために、所定条件の判定も、その比較程度に応じて適応的に変更する。

【0066】

＜２．画面内予測の符号量に基づくマクロブロックの選別＞
画面内予測されたマクロブロックの符号量は、画面内にエッジ（物体の輪郭）が存在する場合には多くなり、平坦な場合には少なくなる。
即ち、図６（ａ）の場合、道路領域が平坦であるために、符号量の少ない画面内予測のマクロブロックが多く観測される。一方で、図６（ｂ）の場合、右折しようとしている車両のエッジ部分に、符号量の多い画面内予測のマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける物体存在領域を推定することができる。

【0067】

＜３．画面内予測マクロブロックの個数に基づくマクロブロックの選別＞
画面内予測されたマクロブロックは、画面内に急峻な変化が生じた場合には多くなり、変化が少ない場合には少なくなる。
即ち、後述する図１０側の場合、画面内の変化が少ないため画面内予測されるマクロブロックは少なく観測される。一方で、図１０側の場合、車両の領域が新たに出現するため画面内予測のマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。

【0068】

＜４．量子化ステップサイズに基づくマクロブロックの選別＞
適応量子化(adaptive quantization)方式によれば、圧縮効率を高めるために、マクロブロックの量子化ステップサイズが適応的に変更される。映像ストリームについて、変化の少ない領域では、人間の視覚が敏感であるために、量子化ステップサイズを小さくする。一方で、変化の激しい領域では、人間の視覚が鈍感なために、量子化ステップサイズを大きくする。
即ち、図６（ａ）の場合、比較的車両に近い道路領域には、量子化ステップサイズが小さいマクロブロックが多く観測される。一方で、図６（ｂ）の右側の前方車両の車輪部分に、量子化ステップサイズが大きいマクロブロックが多く観測される。
この特性を利用して、映像ストリームにおける急峻な変化のあった領域を推定することができる。

【0069】

他の実施形態として、マクロブロック選別部１１３は、有意なマクロブロックを分布情報に応じて空間方向に接合した「符号化パラメータのマップ」を生成するものであってもよい。

【0070】

図７は、本発明における符号化パラメータのマップを表す説明図である。

【0071】

「複数の符号化パラメータ」は、各符号化パラメータの所定条件を満たす度合いに応じて、当該マクロブロックの空間的位置の画像的特徴を変化させたマップ（画像）であってもよい。例えば、フレームについて、例えば画素に対応する符号化パラメータを、グレースケールの濃淡階調で表現したマップであってもよい。
符号化パラメータのマップでは、例えば、マクロブロックの動きベクトルの大きさ及び方向、符号量又は量子化ステップサイズに応じた階調の色で、マクロブロックの分布部分を表示することができる。

【0072】

（１）例えば順方向予測の動きベクトルの大きさが大きいほど、及び、消失点に向かう方向からの変位が大きいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（２）例えば画面内予測の符号量が多いほど（当該マクロブロックが画面内予測の符号化モードで符号化されている場合）、濃い階調の色を、そのマクロブロックの分布部分に表示する。
（３）例えばマクロブロックの量子化ステップサイズが小さいほど、濃い階調の色を、そのマクロブロックの分布部分に表示する。

【0073】

図７の符号化パラメータのマップによれば、一定速度へ変化し、急峻な変化が少ない領域は、画面内予測の符号量が少ない。一方で、急峻な変化がある領域は、画面内予測の符号量が多い。

【0074】

［機械学習エンジン１０］
機械学習エンジン１０は、図２及び図３で前述したように、映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、当該フレームに影響した外的要因情報を目的変数とした教師データによって予め学習したものである。
そして、機械学習エンジン１０は、推定段階として、符号化パラメータ抽出部１１２から出力された符号化パラメータを入力し、当該フレームに影響した外的要因情報を推定する。また、機械学習エンジン１０は、マクロブロック選別部１１３から出力された、有意なマクロブロックが持つ符号化パラメータを入力し、当該フレームに影響した外的要因情報を推定するものであってもよい。

【0075】

図８は、本発明の第２の実施形態における端末及び映像分析サーバの機能構成図である。

【0076】

＜第２の実施形態の端末＞
図４によれば、端末２は、符号化された映像ストリームを映像分析サーバ１へ送信している。これに対し、図８によれば、端末２は、複数の符号化パラメータを、映像分析サーバ１へ送信している。端末２は、符号化パラメータしか送信しないために、映像ストリームよりも、データ量を大幅に削減することができる。
図４によれば、映像分析サーバ１が符号化パラメータ抽出機能を有するのに対し、図８によれば、端末２が符号化パラメータ抽出機能を有する。
符号化パラメータの送信方法の実施形態として、２つのストリームを表す。

【0077】

＜第１のストリームを送信する端末２＞
端末２は、符号化パラメータ抽出部２２２と、符号化パラメータ送信部２２６とを有し、映像ストリームのフレームの符号化パラメータを全て送信する。
符号化パラメータ抽出部２２２は、図４で前述した、映像分析サーバ１の符号化パラメータ抽出部１１２と全く同じものである。
符号化パラメータ送信部２２６は、符号化パラメータ抽出部２２２から出力された、フレームにおける複数の符号化パラメータを、映像分析サーバ１へ送信する。

【0078】

＜第２のストリームを送信する端末２＞
端末２は、符号化パラメータ抽出部２２２と、マクロブロック選別部２２３と、符号化パラメータ送信部２２６とを有し、選別されたマクロブロックが持つ符号化パラメータのみを送信する。第２のストリームは、第１のストリームと比較して、マクロブロック選別部２２３を更に有する。
マクロブロック選別部２２３は、符号化パラメータ抽出部２２２から出力された、フレームにおける複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。そして、マクロブロック選別部２２３は、選別した有意なマクロブロックが持つ符号化パラメータを出力する。マクロブロック選別部２２３は、図４で前述した、映像分析サーバ１のマクロブロック選別部１１３と全く同じものである。
符号化パラメータ送信部２２６は、マクロブロック選別部２２３から出力された、複数のマクロブロックの符号化パラメータのみを、映像分析サーバ１へ送信する。これによって、端末２は、映像分析サーバ１へ送信するデータ量を、更に削減することができる。

【0079】

＜第２の実施形態の映像分析サーバ＞
＜第１のストリームを受信する映像分析サーバ１＞
映像分析サーバ１は、符号化パラメータ受信部１２１と、マクロブロック選別部１１３と、機械学習エンジン１０とを有する。
符号化パラメータ受信部１２１は、映像ストリームのフレームにおける複数の符号化パラメータを受信する。受信した複数の符号化パラメータは、マクロブロック選別部１１３へ出力する。
マクロブロック選別部１１３及び機械学習エンジン１０は、図４で前述したものと全く同じものである。
結果的に、端末２から受信した複数の符号化パラメータの中から、複数の有意なマクロブロックに対応する符号化パラメータを選別し、それら複数の符号化パラメータを機械学習エンジン１０へ入力する。これによって、機械学習エンジン１０は、当該フレームに影響した外的要因情報を推定することができる。

【0080】

＜第２のストリームを受信する映像分析サーバ１＞
映像分析サーバ１は、符号化パラメータ受信部１２１と、機械学習エンジン１０とを有する。
結果的に、端末２から受信した複数の有意なマクロブロックの符号化パラメータを、機械学習エンジン１０へ入力し、当該フレームに影響した外的要因情報を推定することができる。

【0081】

図９は、図８の端末が機械学習エンジンを更に備えた機能構成図である。

【0082】

図９によれば、端末２は、機械学習エンジン１０を更に有する。これは、図２で前述した機械学習エンジン１０と全く同じものであって、映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、「物体検知の有無」を目的変数とした教師データによって予め学習したものである。
また、端末２の機械学習エンジン１０は、以下の２つの実施形態で利用される。
（１）符号化パラメータ抽出部２２２は、抽出した複数の符号化パラメータを、機械学習エンジン１０へ入力する。そして、符号化パラメータ抽出部２２２は、物体検知有りと推定された複数の符号化パラメータのみを、符号化パラメータ送信部２２６へ出力する。
（２）符号化パラメータ抽出部２２２は、抽出した複数の符号化パラメータを、機械学習エンジン１０へ入力する。これに対し、マクロブロック選別部２２３は、機械学習エンジン１０によって物体検知有りと推定された複数のマクロブロックの符号化パラメータのみを、符号化パラメータ送信部２２６へ出力する。
これによって、端末２は、「物体検知有り」となる複数の符号化パラメータのみを、映像分析サーバ１へ送信することができる。即ち、端末２は、映像分析サーバ１へ送信するデータ量を、更に削減することができる。

【0083】

図１０は、所定条件を満たすマクロブロックの分布部分を表す説明図である。

【0084】

図１０によれば、映像ストリームについて、急峻な変化のあった領域のみが抽出されている。所定条件を満たさないマクロブロックを含まないために、全体のデータ量を大きく削減することができる。
例えば車両内におけるドライブレコーダの設置場所によっては、カメラによって撮影された映像ストリームに、ダッシュボードのような領域が映り込んでいる場合もある。このような領域が予め固定的であれば、工場出荷時の設定によって、その領域をマスクすることもできる。勿論、ＧＵＩ(Graphic User Interface)によって、ユーザ自ら設定可能なものであってもよい。
フレームにおける時間的変動が無い領域が、例えば平坦なものである場合、マクロブロックの符号化モードとして「スキップモード」が選択される。このような領域を、符号化パラメータの抽出対象外とすることもできる。例えばダッシュボードの領域は、平坦となっており、例えば画面内予測の符号量も少なくなる。
このように、各マクロブロックについて、所定時間幅における変動状況を観測し、明らかに画面内の他の領域と比べて画面内符号化ブロックの符号量が少ない、又は、スキップモードのブロックの出現頻度が高い場合、その領域を削除する。

【0085】

図１１は、本発明の第３の実施形態における端末及び映像分析サーバの機能構成図である。

【0086】

＜第３の実施形態の端末＞
図１１によれば、端末２は、映像ストリーム記憶部２２１と、符号化パラメータ抽出部２２２と、有意フレーム選別部２２７と、有意映像ストリーム生成部２２４と、映像ストリーム送信部２２５とを有する。
映像ストリーム記憶部２２１及び映像ストリーム送信部２２５は、前述した図４と同様のものである。また、符号化パラメータ抽出部２２２は、前述した図８と同様のものである。図１１によれば、端末２は、図４及び図８と比較して、有意フレーム選別部２２７及び有意映像ストリーム生成部２２４を更に有する。

【0087】

［有意フレーム選別部２２７］
有意フレーム選別部２２７は、符号化パラメータ抽出部２２２によって抽出された、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別し、当該マクロブロックを含むフレームのフレーム識別子を出力する。

【0088】

［有意映像ストリーム生成部２２４］
有意映像ストリーム生成部２２４は、有意フレーム選別部２２７から、有意なフレームのフレーム識別子を入力する。そして、有意映像ストリーム生成部２２４は、映像ストリームのフレームから、フレーム識別子に対応するフレームからなる「有意映像ストリーム」を生成する。有意映像ストリームは、有意なフレームと時間的に同期した映像ストリームのフレームを時系列に結合したものである。
その有意映像ストリームは、映像ストリーム送信部２２５へ出力される。

【0089】

有意映像ストリーム生成部２２４は、各フレームの符号量によって、映像ストリームを、急峻な変化のあったフレームのみから構成することができる。
（１）例えば、映像ストリームについて、一定速度で変化し、急峻な変化がない場合、画面内に動きが存在し、順方向予測のマクロブロックが多くなる。また、画面内予測のマクロブロックが少なくなり、フレーム全体の符号量は低下する傾向となる。例えば自車両のカメラから、一定速度で走行中の周辺車両が映り込む映像ストリームの場合、フレーム全体の符号量は少なくなる。
例えば毎秒６Ｍビット程度の固定ビットレートで符号化するＨ．２６４では、走行中の映像ストリームにおけるＩ（イントラ）フレームの符号量は、５００Ｋ～８００Ｋビットで推移する。

【0090】

（２）一方で、映像ストリームについて、急峻な変化がある場合、画面内予測のマクロブロックが多くなる。また、順方向予測のマクロブロックが少なくなり、フレーム全体の符号量は増加する傾向となる。例えば自車両のカメラから、急峻に変化した周辺車両が映り込む映像ストリームの場合、フレーム全体の符号量は多くなる。

【0091】

（３）更に、映像ストリームについて、画面内に動きが存在しない場合（例えば停止中）、順方向予測のマクロブロックが少なくなり、画面内予測のマクロブロックが多くなり、フレーム全体の符号量が増加する傾向となる。例えば停止中で変化のない映像ストリームについては、Ｉ（イントラ）フレームの符号量は、１Ｍビット以上になる。
この場合、画像内符号化フレームの符号量として、閾値を１Ｍビットに設定することで、走行／停止の状況を判定することができる。
このように、フレームの符号量を観測することで、走行状況の急峻な変化などを推定することができる。

【0092】

他の実施形態として、各フレームの符号量を観測することなく、各フレームにおける画面内予測のマクロブロック数を計数したものであってもよい。画面内予測のマクロブロック数が所定数以上となるフレームは、フレームに映り込む物体に急峻な変化があったと判定することができる。
例えば車両がトンネルへ進入・退出した場合や、集中豪雨や煙で視界が急激に悪化した場合、ドライブレコーダのカメラによって撮影された映像ストリームについて、フレームの大部分の領域が、画面内予測のマクロブロックとなる傾向がある。

【0093】

図１２は、本発明の端末における有意映像ストリーム生成部の説明図である。

【0094】

有意映像ストリーム生成部２２４は、Ｉ（イントラ）フレームの符号量が、第２の符号量（例えば１Ｍビット）以上となるフレームを、当該移動体が停止中であると判定して、有意映像ストリームから除外する。
これによって、有意映像ストリームのフレーム数を削減することができる。

【0095】

このとき、判定閾値となる第２の符号量を、ＣＢＲ（固定ビットレート）による符号化の場合と、ＶＢＲ（可変ビットレート）による符号化の場合とで、異なる値を設定することも好ましい。絶対的な符号量を評価すべきか、他の予測符号化フレームとの相対的な符号量の差異で評価するのか、などの基準の変更が必要となる。このように、映像ストリームの構造の違いなどを考慮して、第２の符号量を適応的に制御することが好ましい。

【0096】

他の実施形態として、除外すべきフレームについて、そのフレーム自体を除外することなく、圧縮率（符号化率）のみを高めたものであってもよい。少なくとも有意なマクロブロックを持つフレームについて十分に再生可能であればよい。

【0097】

また、有意映像ストリーム生成部２２４は、フレームを構成する複数の符号化パラメータに、フレーム番号及び／又はタイムコードを付与し、時間軸に伸張可能とする。

【0098】

更に、有意映像ストリーム生成部２２４は、有意映像ストリームとして、フレーム毎に、有意なマクロブロックと、これらマクロブロックの分布情報とを含めることも好ましい。これによって、有意映像ストリームにおける各フレームの有意な領域を特定することができる。即ち、有意でない領域におけるマクロブロックに基づく映像ストリームを、伝送対象から除外することができる。
有意映像ストリームを受信した映像分析サーバ１は、有意映像ストリームと共に、フレーム番号、タイムコード、マクロブロックの分布情報を受信することによって、有意な映像ストリームを再生することができる。

【0099】

他の実施形態として、有意映像ストリーム生成部２２４は、有意映像ストリームとして、フレームを含むＧＯＰ(Group Of Pictures)単位で含めることも好ましい。これによって、伝送対象となる映像フレーム群を集約することができる。
また、有意なマクロブロックが持つ符号化パラメータのフレームに相当しないＧＯＰは、削除するか、又は、所定割合以上の高い圧縮率で圧縮することができる。

【0100】

他の実施形態として、有意映像ストリーム生成部２２４は、観測開始と終了とが指定されるユーザインタフェースを備えたものであってもよい。車両が停車しており画面全体が変動していない期間のフレームを、有意映像ストリームから除外することができる。

【0101】

結果的に、「有意映像ストリーム」は、例えば物体検出や物体認識、又は、移動体における走行状態（速度や加速度）などを分析するために必要な映像のみを含んだものとなる。

【0102】

［映像ストリーム送信部２２５］
映像ストリーム送信部２２５は、有意映像ストリーム生成部２２４から出力された有意映像ストリームを、映像分析サーバ１へ送信する。

【0103】

有意映像ストリームは、任意のタイミングで送信される。例えば、有意映像ストリーム生成部２２４から出力された時点で送信してもよいし、一時的にバッファして、所定容量に達した時点で送信してもよい。例えば通信料が安い時間帯に送信したり、公共の無線ＬＡＮなどが使えるエリアに入った時に送信したりしてもよい。
また、有意映像ストリームと共に、フレーム番号及び／又はタイムコード、有意なマクロブロックと、これらマクロブロックの分布情報とを、同期又は非同期に送信するものであってもよい。これによって、データセンタは、有意映像ストリームから、有意なマクロブロックを再生することができる。

【0104】

他の実施形態として、映像ストリーム送信部２２５は、タイムコードが付与された走行状態情報を、有意映像ストリームと一緒に送信することも好ましい。符号化パラメータと走行状態情報とを、タイムコードに基づいて紐付けることができる。このとき、タイムコードの所定時間幅で紐付けることが好ましい。

【0105】

図１３は、図１１の端末が機械学習エンジンを更に備えた機能構成図である。

【0106】

図１３によれば、端末２が更に備えた機械学習エンジン１０は、図９と同様に、映像ストリームのフレームについて、複数の符号化パラメータを説明変数とし、「物体検知の有無」を目的変数とした教師データによって予め学習したものである。
符号化パラメータ抽出部２２２は、映像ストリームのフレーム毎に、複数の符号化パラメータを抽出する。それら複数の符号化パラメータは、有意フレーム選別部２２７へ入力されると共に、機械学習エンジン１０にも入力される。
有意フレーム選別部２２７は、符号化パラメータ抽出部２２２によって抽出されたフレームにおける前記複数の符号化パラメータから、所定条件を満たす符号化パラメータを持つ有意なマクロブロックを選別する。また、有意フレーム選別部２２７は、有意なマクロブロックを含む複数のフレームの中で、機械学習エンジン１０によって物体検知有りと推定されたフレームのフレーム識別子を出力する。
有意映像ストリーム生成部２２４は、映像ストリームのフレームから、有意フレーム選別部２２７から出力されたフレーム識別子に対応するフレームからなる有意映像ストリームを生成する。
そして、映像ストリーム送信部２２５は、生成された有意映像ストリームを、映像分析サーバ１へ送信する。
これによって、端末２は、物体検知有りと推定されたフレームのみからなる映像ストリームを、映像分析サーバ１へ送信することができる。即ち、端末２は、伝送するデータ量を削減すると共に、映像分析サーバ１における計算リソースを低減させる。

【0107】

以上、詳細に説明したように、本発明のプログラム、サーバ、システム、端末及び方法によれば、符号化された映像ストリームに影響した外的要因情報を推定することができる。
これによって、既に符号化された映像データを伸張することなく、その映像ストリームに影響した外的要因情報を推定することができる。検出可能な外的要因情報としては、フレームに映り込む物体検出情報や、フレームを撮影する移動体の走行状態情報である。
また、端末は、有意な及び／又は物体検知された映像ストリームや符号化パラメータのみを伝送することによって、映像分析サーバへ送信するデータ量を削減することができると共に、サーバにおける物体検出情報や走行状態情報を分析するための計算リソースを低減させることもできる。

【0108】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0109】

１ 映像分析サーバ
１０ 機械学習エンジン
１１１ 映像ストリーム受信部
１１２ 符号化パラメータ抽出部
１１３ マクロブロック選別部
１２１ 符号化パラメータ受信部
２ 端末
２２１ 映像ストリーム記憶部
２２２ 符号化パラメータ抽出部
２２３ マクロブロック選別部
２２４ 有意映像ストリーム生成部
２２５ 映像ストリーム送信部
２２６ 符号化パラメータ送信部
２２７ 有意フレーム選別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】