特開 2024-152165 動画要約装置、動画要約方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152165

(43)【公開日】2024-10-25

(54)【発明の名称】動画要約装置、動画要約方法

(51)【国際特許分類】

   H04N 5/91 20060101AFI20241018BHJP

   G07C 5/00 20060101ALI20241018BHJP

   G08G 1/00 20060101ALI20241018BHJP

【ＦＩ】

H04N5/91

G07C5/00 Z

G08G1/00 J

G08G1/00 D

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023066200

(22)【出願日】2023-04-14

(11)【特許番号】

(45)【特許公報発行日】2023-11-10

(71)【出願人】

【識別番号】505277358

【氏名又は名称】株式会社モルフォ

(74)【代理人】

【識別番号】100093687

【弁理士】

【氏名又は名称】富崎 元成

(74)【代理人】

【識別番号】100168468

【弁理士】

【氏名又は名称】富崎 曜

(74)【代理人】

【識別番号】100166176

【弁理士】

【氏名又は名称】加美山 豊

(74)【代理人】

【識別番号】110001759

【氏名又は名称】弁理士法人よつ葉国際特許事務所

(72)【発明者】

【氏名】西野 秀昭

(72)【発明者】

【氏名】佐藤 夕介

【テーマコード（参考）】

3E138

5H181

【Ｆターム（参考）】

3E138AA01

3E138AA07

3E138CC01

3E138MA01

3E138MB08

3E138MC12

3E138MD01

3E138MD05

3E138MF05

5H181AA01

5H181BB13

5H181CC04

5H181FF10

5H181FF27

5H181MC16

(57)【要約】

【課題】本開示は、動画データを必要な情報を有する要約データに要約できる動画要約装置と動画要約方法を提供することを目的とする。
【解決手段】動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するグレーディング装置と、該必要性グレードに基づき該少なくとも１つのフレームの要否を判定する判定装置と、該判定の結果、必要と判定された該少なくとも１つのフレームを連結して要約データを生成する要約データ生成装置と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するグレーディング装置と、
前記必要性グレードに基づき前記少なくとも１つのフレームの要否を判定する判定装置と、
前記判定の結果、必要と判定された前記少なくとも１つのフレームを連結して要約データを生成する要約データ生成装置と、を備えた動画要約装置。

【請求項2】

前記必要性グレードは、前記複数観点ごとに算出される、請求項１に記載の動画要約装置。

【請求項3】

グレーディング装置は、重み係数で前記必要性グレードを重み付けする請求項２に記載の動画要約装置。

【請求項4】

前記重み係数は外部からの指令に応じて変更可能である請求項３に記載の動画要約装置。

【請求項5】

前記要約データは、路面の落下物があるフレームと路面損傷があるフレームを含む、請求項１に記載の動画要約装置。

【請求項6】

前記要約データは、動体があるフレームと、車両又は人物の数が予め定められた値以上のフレームとを含む、請求項１に記載の動画要約装置。

【請求項7】

動画データを取得する動画データ取得部と、
前記動画データから必要フレームを抽出して要約データを生成する要約部と、を備えた動画要約装置。

【請求項8】

前記要約データは、落下物又は路面損傷が検出されたフレームを含む、請求項７に記載の動画要約装置。

【請求項9】

前記要約データは、車両又は人物の数が予め定められた値よりも多いフレームを含む、請求項７に記載の動画要約装置。

【請求項10】

前記要約データは、車両が走行した路面全体を網羅したことを特徴とする請求項７に記載の動画要約装置。

【請求項11】

前記要約データは、モノクロフォーマット又は低解像度化されたフォーマットである、請求項７から１０のいずれか１項に記載の動画要約装置。

【請求項12】

動画データを取得することと、
利用者からの指令に基づいて前記動画データから必要フレームを抽出して要約データを生成することと、を備えた動画要約方法。

【請求項13】

前記指令は、前記要約データを生成するために使用すべき要約アルゴリズムである、請求項１２に記載の動画要約方法。

【請求項14】

プログラムを記録した、コンピュータで読み取り可能な記憶媒体であって、
前記プログラムは、
動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するステップと、
前記必要性グレードに基づき前記少なくとも１つのフレームの要否を判定するステップと、
前記判定の結果、必要と判定された前記少なくとも１つのフレームを連結して要約データを生成するステップと、をコンピュータに実行させることを特徴とする記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動画要約装置と動画要約方法に関する。

【背景技術】

【0002】

特許文献１にはドライブレコーダで撮影された画像中の重要部分を容易に視認できると共に、稼働時の負荷を低減できる画像処理装置、画像処理方法、ドライブレコーダが開示されている。具体的には、撮影手段の撮影画像中の重要部分を切り出すと共に撮影画像の画質を落とす画質変更手段と、切り出した重要部分及び画質を落とした撮影画像を保存する記憶手段と、を有する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－００５１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ドライブレコーダ、スマートフォン、監視カメラなどのエッジデバイスから、クラウドサーバへ動画データを送信するアプリケーションが年々増えている。しかしながら、動画のデータ容量が膨大になるため、送信帯域が足りず、リアルタイムに送信することが技術的に難しくなってきている。そのため、従来はエッジデバイスから動画を直接送信しない対策が取られてきた。従来方式では、エッジデバイスに保存された動画データを、ＳＤカードなどの記憶媒体経由でＰＣにコピーし、クラウドサーバへ動画転送する。その作業時間が膨大になる課題がある。そのため動画を撮影してすぐに解析を行いたい場合、クラウドサーバと連携したリアルタイム解析処理ができず、エッジデバイスで行えるような簡易な解析、もしくは即時処理ではない解析となる（ポストプロセスのみとなる）課題が発生している。このような課題は一例であって、動画のファイルサイズが大きいことによって、転送が困難になったり、解析が困難になったり、といった様々な問題が生じていた。

【0005】

本開示は、上述のような課題を解決するためになされたもので、動画データを必要な情報を有する要約データに要約できる動画要約装置と動画要約方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するグレーディング装置と、該必要性グレードに基づき該少なくとも１つのフレームの要否を判定する判定装置と、該判定の結果、必要と判定された該少なくとも１つのフレームを連結して要約データを生成する要約データ生成装置と、を備える。

【発明の効果】

【0007】

動画を必要な情報を有する要約データに要約できる。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る動画要約装置の機能ブロック図である。

【図2】必要性グレードの算出例を示す図である。

【図3】必要性グレードの別の算出例を示す図である。

【図4】別の例に係る動画要約装置の機能ブロック図である。

【図5】重み付けされた必要性グレードの例を示す図である。

【図6】車両速度に応じた必要性グレードの例を示す図である。

【図7】動画要約装置のドライブレコーダへの適用例を示す図である。

【図8】動画要約装置を車載装置とした例を示す図である。

【図9】動画要約装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0009】

実施の形態に係る動画要約装置、動画要約方法について図面を参照して説明する。同じ又は対応する構成要素には同じ符号を付し、説明の繰り返しを省略する場合がある。

【0010】

実施の形態．
図１は、実施の形態に係る動画要約装置１０の機能ブロック図である。一例によれば、動画要約装置１０は、外部から動画データの提供を受ける。動画データは、例えば、ドライブレコーダで撮影された動画、監視カメラで撮影された動画、映画、テレビ番組又はスポーツ放送など、様々なものが該当する。別の例によれば、動画要約装置１０が撮影装置を備え、その撮影装置で動画データを撮影する。

【0011】

図１の例では、動画要約装置１０はグレーディング装置１２を備えている。グレーディング装置１２は、動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出する。図２は、グレーディング装置による必要性グレードの算出例を示す図である。図２には、動画データの構成要素の一部として、第１フレームＦ１から第１０フレームＦ１０までの連続するフレームが例示されている。この例では、グレーディング装置１２は、フレーム毎に５つの観点から必要性グレードを算出する。必要性グレードは、対象となる少なくとも１つのフレームの必要性を評価する等級又はスコアである。そのため、グレーディングとは、ランキングとかスコアリングと言いかえてもよい。必要性グレードは、観点ごとに算出されることができる。必要性グレードは、例えば０－９までの１０段階で与えられ、値が大きいほど必要性が高い。
一例によれば、各観点は以下のように定義される。
第１観点：路面上の落下物がある場合に必要性が高いと評価する、
第２観点：路面損傷がある場合に必要性が高いと評価する、
第３観点：AI学習に有用であるほど必要性が高いと評価する、
第４観点：フレーム中の車両又は人物の数が多いほど必要性が高いと評価する、
第５観点：自車両速度が速いほど必要性が高いと評価する。

【0012】

図２の例では、このような５つの観点から、各フレームが評価される。グレーディング装置１２は、各観点からフレームを評価するために、評価アルゴリズムを用いることができる。一例によれば、グレーディング装置１２は、第１評価アルゴリズムによって第１観点からフレームの必要性グレードを算出し、第２評価アルゴリズムによって第２観点からフレームの必要性グレードを算出し、第３評価アルゴリズムによって第３観点からフレームの必要性グレードを算出し、第４評価アルゴリズムによって第４観点からフレームの必要性グレードを算出し、第５評価アルゴリズムによって第５観点からフレームの必要性グレードを算出する。

【0013】

図３は、グレーディング装置による必要性グレードの別の算出例を示す図である。図３の例において、第１～第５観点の定義は図２の例と同様である。図３の例では、動画データの２つのフレーム毎に、複数観点で必要性グレードが算出されている。このように、複数フレーム毎に複数観点で必要性グレードを算出することができる。

【0014】

算出された必要性グレードは、図１の判定装置１４へ提供される。判定装置１４では、受け取った必要性グレードに基づきフレームの要否を判定する。１つのフレーム毎に必要性グレードが付与された場合にはフレーム毎に要否を判定し、複数フレーム毎に必要性グレードが付与された場合には複数フレーム毎に要否を判定する。必要性グレードをどのように使ってフレームの要否を判定するかは任意である。例えば、各フレームについて得られた必要性グレードを加算又は乗算した値があらかじめ定められた値を超えたときに、そのフレームを必要であると判定する。別の例によれば、必要性グレードに任意の四則演算を施し、フレームの要否を判定する。

【0015】

判定装置１４は図２のフレームＦ１－Ｆ１０について、例えばフレームＦ３、Ｆ４、Ｆ６を必要と判定する。別の例によれば、判定装置１４は図３のフレームＦ１－Ｆ１０について、例えばフレームＦ３、Ｆ４、Ｆ５、Ｆ６を必要と判定する。

【0016】

図１の要約データ生成装置１６は、判定装置１４による判定の結果必要と判定された少なくとも１つのフレームを連結して要約データを生成する。例えば、要約データ生成装置１６は、図２のＦ３、Ｆ４、Ｆ６を連結して要約データを生成したり、図３のＦ３－Ｆ６を連結して要約データを生成したりする。こうして生成された要約データは、動画データのフレームを減じて得られたものなので、データ量が低減されており、送信したり解析したりするのに好適である。

【0017】

要約データのデータ容量をさらに低減するために、要約データ生成装置１６は、モノクロフォーマット又は低解像度化されたフォーマットで要約データを生成してもよい。この場合、要約データ生成装置１６は、要約データを生成した後に、その要約データをモノクロフォーマットとしたり、低解像度化したりする。別の例によれば、動画要約装置１０は、モノクロ処理又は低解像度化処理された動画データの提供を受け、その動画データがグレーディング装置１２、判定装置１４及び要約データ生成装置１６で処理されることとしてもよい。

【0018】

要約データのデータ容量をさらに低減するために、動画データのすべてに対しセグメンテーションを行い、建物と判定した領域と空と判定した領域とは単色で塗りつぶす処理をしてから、前述の要約処理を施してもよい。セグメンテーションとは、一例によればディープラーニングを用いて画像内の画素にラベルを付与するセマンティックセグメンテーションである。一例によれば、セグメンテーションは、フレーム画像全体に行うのではなく、画像の下側６０％程度の領域に施し、上側４０％程度には行わなくてもよい。別の例によれば、フレームの中で不要な情報が含まれる可能性の高い領域に対しセグメンテーションを行い、そうでない領域にはセグメンテーションを行わない。このように一部領域のみにセグメンテーションを施すことで、計算負荷を低下させることができる。塗りつぶし処理は、深度情報を取得し、遠景は単色などで塗りつぶし、近景を残す処理とすることもできる。このようなセグメンテーションや深度情報の利用は、人工知能による処理が必要となる。ここで説明したデータ容量の低減方法は、以下で説明する要約データの生成においても活用することができる。

【0019】

一例によれば、作成された要約データはストレージ１８に保存される。別の例によれば、要約データはクラウドサーバへ送信される。なお、一例によれば、要約データは、動画の形式、画像の形式、または、数値情報と文字情報の少なくとも一方を含むデータ形式で提供される。要約データが数値情報と文字情報を含む場合、要約データは、例えば路面の落下物が発見された場所の位置情報としたり、路面の損傷が発見された場所の位置情報としたりすることができる。位置情報は例えばＧＰＳ情報である。

【0020】

図４は、別の例に係る動画要約装置の機能ブロック図である。この動画要約装置１０は、重み係数によって必要性グレードが重み付けされるものである。グレーディング装置１２には重み係数が提供される。重み係数は、フレームの採否にあたり、複数観点のうちどの観点を特に重視するかを決める係数である。一例によれば、重み係数２０は、外部からの指令に応じて変更可能である。この場合、利用者が取得したい要約データに応じて、利用者が動画要約装置１０に対して重み係数を指示することができる。利用者はタッチパネルなどの入力用ユーザインターフェースを用いて、動画要約装置１０の重み係数２０を指定できる。

【0021】

図４の例では、グレーディング装置１２において、必要性グレードが重み付けされて、重み付けされた必要性グレードが判定装置１４に提供される。図５は、重み付けされた必要性グレードの例を示す図である。この例では、第１、第３－第５観点の必要性グレードに１を乗算し、第２観点の必要性グレードに２を乗算することで、必要性グレードを重み付けする。この場合、第２観点の必要性グレードが強調されて、判定装置１４にてフレームの要否が判定される。

【0022】

ここまで５つの観点で必要性グレードを算出したが、どのような観点で必要性グレードを算出するかは任意である。利用者がどのような要約データを求めるかに応じて、任意の観点で必要性グレード算出することができる。言い換えると、必要性グレードを算出するための評価アルゴリズムの内容や数は、利用者の要求に応じて任意に定めることができる。評価アルゴリズムの、限定されない例について以下で説明する。

【0023】

＜評価アルゴリズムの例１（落下物検出）＞
例１の評価アルゴリズムは、路面の落下物が検出されたフレームに高い必要性グレードを付与する。落下物とは路面に存在する交通の障害となりうる物体であり、例えば、ビニール袋、布類、自動車部品、木材類、金属片、積み荷、などが該当する。例えば、動画データの内容を人工知能によって認識することで落下物を検出する。すなわち、動画データを入力とし、ネットワーク構造と重みデータを含む学習結果を用いて、認識結果を出力する。出力は、画像の内容を表すラベルを含むことができる。そして、この評価アルゴリズムは、「落下物」のラベルに対応する認識スコアを算出する。認識スコアが高いほど画像の内容を示すラベルである確からしさが高くなる。一定以上の信頼度で「落下物」が検出された場合には、その信頼度が高いほど、そのフレームに高い必要性グレードを付与する。車両走行に重大な影響を与える落下物が検出された場合にはそのフレームに高い必要性グレードを付与し、車両走行に与える影響が軽微な落下物が検出された場合にはそのフレームに低い必要性グレードを付与してもよい。

【0024】

＜評価アルゴリズムの第２の例（路面損傷）＞
第２の評価アルゴリズムは、路面損傷が検出されたフレームに高い必要性グレードを付与するアルゴリズムである。路面損傷の例としては、陥没（ポットホール）、ひび割れ、変形などを挙げることができる。この評価アルゴリズムは、各フレームを推論して一定以上の信頼度で路面損傷が検出された場合には、その信頼度が高いほど高い必要性グレードを付与する。車両走行に重大な影響を与える路面損傷が検出された場合にはそのフレームに高い必要性グレードを付与し、車両走行に与える影響が軽微な路面損傷が検出された場合にはそのフレームに低い必要性グレードを付与してもよい。

【0025】

＜評価アルゴリズムの第３の例（ＡＩ学習用画像）＞
第３の評価アルゴリズムは、ＡＩ学習用に適したフレームに高い必要性グレードを付与するアルゴリズムである。このアルゴリズムは、人又は車等の一般物体向けＡＩ学習用の画像を準備するために実行される。一例によれば、画像の内容を推論し、推論結果が一定以上の信頼度で複数の学習対象を含む場合、その学習対象が多いほど高い必要性グレードを付与する。AI学習に最適なフレームには高い必要性グレードを付与し、AI学習に最適とは言えないが好適なフレームには低い必要性グレードを付与することもできる。

【0026】

＜評価アルゴリズムの第４の例（車両又は人物検出）＞
第４の評価アルゴリズムは、画像の内容を推論し、一定以上の信頼度で「車両又は人物の数が予め定められた値以上のフレーム」であると認められたときに、車両又は人物の数が多いほど高い必要性グレードを付与する。この評価アルゴリズムは、ＡＩ学習用のフレームを提供するものである。

【0027】

第１から第４の例は、人工知能による認識処理に基づき、フレームの必要性グレードを評価するものである。必要な情報をどのように定義するかに応じて、第１－第４の評価アルゴリズムとは異なる評価アルゴリズムを採用することができる。次に、人工知能による認識処理を介在せずにフレームの必要性グレードを算出するアルゴリズムの例を説明する。

【0028】

＜評価アルゴリズムの第５の例（車両速度）＞
第５の評価アルゴリズムは、例えばドライブレコーダで撮影された動画データにおいて、ドライブレコーダが設置された車両の速度と動画データのフレームが対応付けられ、車両速度が高いほど、高い必要性グレードを算出するものである。一例によれば、ドライブレコーダは、動画撮影中常に車両速度を取得し、撮影された動画の各フレームに、各フレームが撮影されたときに得られた車両速度を関連付ける。車両速度は、例えば車速センサーや車輪の回転センサーから発生した電気信号がエンジンコントロールユニット（ECU）へ提供され、ECUからその電気信号を取得して算出される。別の例によれば、ECUで生成された車両速度情報を、走行中常時取得する。

【0029】

グレーディング装置では、例えば、車両が停止しているときに撮影されたフレームには低い必要性グレードを算出し、車両が一定以下の速度で走っているときに撮影されたフレームには高い必要性グレードを算出し、車両が一定以上の速度で走っているときに撮影されたフレームにはさらに高い必要性グレードを算出する。図６は、車両速度に応じた必要性グレードの例を示す図である。時刻ｔ_０で車両のエンジンが起動され、時刻ｔ_９にエンジン停止し運転が終了される。評価アルゴリズムの例は以下のとおりである。
車両が1km/h以下で走行しているときに撮影されたフレームには低い必要性グレードAA1を付与し、
車両が40km/h未満の速度で走っているときに撮影されたフレームには高い必要性グレードAA2を付与し、
車両が40km/h以上の速度で走っているときに撮影されたフレームにはさらに高い必要性グレードAA3を付与する。
そうすると、例えば判定装置において以下のような処理が行われる。
時刻ｔ０からｔ１までの期間は車両速度が1km/h以下なのでこの期間に撮影されたフレームは要約データに採用しない。
時刻ｔ１からｔ２までの期間は車両速度が1km/h以上40km/h未満なのでこの期間に撮影されたフレームを間引いて要約データに採用する。
時刻ｔ２からｔ３までの期間は車両速度が40km/h以上なのでこの期間に撮影されたフレームは間引かず要約データに採用する。
時刻ｔ３からｔ４までの期間は車両速度が1km/h以上40km/h未満なのでこの期間に撮影されたフレームを間引いて要約データに採用する。
時刻ｔ４からｔ５までの期間は車両速度が1km/h以下なのでこの期間に撮影されたフレームは要約データに採用しない。
時刻ｔ５からｔ６までの期間は車両速度が1km/h以上40km/h未満なのでこの期間に撮影されたフレームを間引いて要約データに採用する。
時刻ｔ６からｔ７までの期間は車両速度が40km/h以上なのでこの期間に撮影されたフレームは間引かず要約データに採用する。
時刻ｔ７からｔ８までの期間は車両速度が1km/h以上40km/h未満なのでこの期間に撮影されたフレームを間引いて要約データに採用する。
時刻ｔ８からｔ９までの期間は車両速度が1km/h以下なのでこの期間に撮影されたフレームは要約データに採用しない。

【0030】

例えば元の動画データが１５ｆｐｓであれば、上述の間引きは、例えば１枚おきにフレームを採用することで７．５ｆｐｓ相当の動画としたり、３枚おきにフレームを採用することで５ｆｐｓ相当の動画としたりするものである。この評価アルゴリズムにより、複数フレームのうち有意に異なる路面が撮影されたフレームが抽出され、類似度の高い路面が撮影されたフレームは抽出されづらくなるので、要約データの容量低減に寄与する。しかも、要約データは、例えば道路の路面状態を把握するために利用され得る。

【0031】

＜評価アルゴリズムの第６の例（車両位置情報）＞
第６の評価アルゴリズムは、例えばドライブレコーダで撮影された動画データにおいて、ＧＰＳ受信装置から得られた車両位置情報と動画のフレームが対応付けられ、位置情報の変化量が大きいほど、高い必要性グレードを算出するものである。例えば、前フレームと比較した位置情報の変化量が予め定められた量より小さいフレームには低い必要性グレードが算出され、前フレームと比較した位置情報の変化量が予め定められた量以上のフレームには高い必要性グレードが算出される。こうした処理を、動画の最終フレームに達するまで繰り返すことで、すべてのフレームに必要性グレードを付与することができる。必要性グレードの高いフレームを要約データに採用することで、ある程度位置情報が分散した複数地点におけるフレームだけが要約データとなるので、要約データの容量を小さくしつつ、道路の路面状態の把握が可能となる。

【0032】

＜評価アルゴリズムの第７の例（物体移動量）＞
第７の評価アルゴリズムは、動画を構成するフレーム間の物体の移動量を算出し、その移動量が所定値より大きいフレームほど、高い必要性グレードを算出する。一例によれば、オプティカルフローなどを使って、画像における物体の移動軌跡を求める手法で物体の移動量を算出することができる。例えば、基準フレームと、その後のフレームと、の間における物体の移動量が大きいほど、高い必要性グレードを算出する。一例によれば、画像中の物体の動きをベクトル表示できるオプティカルフローと呼ばれる技術を使うことで、物体の移動量を計算することができる。例えば、LucasKanade法やHorn-Schunk法などの周知の方法を用いてオプティカルフローを推定することができる。移動量を計算する対象となる物体は、例えば、建物、標識、信号機、樹木などの土地に固定された物体である。車両の走行によって、ドライブレコーダで撮影されたすべての物体の画素は移動することになる。したがって、どの物体の移動量も基本的には同等であることが想定される。

【0033】

動画データの終わりまで物体の移動量の算出と、必要性グレードの算出を進め、すべてのフレームに必要性グレードを付与する。こうすることで、基準フレームと類似度の高いフレームは要約データから除外され得る。よって、要約データのデータ容量を抑制できる。こうして生成された要約データは、例えば、道路の路面状態を把握するために利用される。

【0034】

動画要約装置において利用可能な評価アルゴリズムは、上述の７つのアルゴリズムに限られない。利用者の必要に応じて任意の要約アルゴリズムを利用することができる。例えば、動画要約装置は、映画の要約のための評価アルゴリズムを利用可能とすることができる。映画の要約のための評価アルゴリズムは、例えば、アクションの激しいシーンのみを抽出するアルゴリズムである。別の例によれば、動画要約装置は、テレビ番組の要約のための評価アルゴリズムを利用可能とすることができる。別の例によれば、動画要約装置は、スポーツ放送の要約のための評価アルゴリズムを利用可能とすることができる。その他、様々な動画に対して、意図する要約を可能とする任意の評価アルゴリズムを採用することができる。

【0035】

生成される要約データは、例えば、路面の落下物があるフレームと路面損傷があるフレームを含む。別の例によれば、要約データは、落下物又は路面損傷が検出されたフレームを含む。別の例によれば、要約データは、動体があるフレームと、車両又は人物の数が予め定められた値以上のフレームとを含む。別の例によれば、要約データは、車両又は人物の数が予め定められた値よりも多いフレームを含む。別の例によれば、要約データは、車両が走行した路面全体を網羅した内容となる。このように、要約データには、複数観点から要約された情報が含まれ得る。例えば、動画のある部分で落下物が検出されたのでその部分を要約データに採用し、動画の別の部分では車両又は人物の数が予め定められた値より多いのでその別の部分を要約データに採用することで、１つの要約データを生成することができる。例えば、落下物、路面損傷、AI学習用画像、車両数又は人物の数、といった各観点で要約されたデータが１つの要約データとして出力される。さらに、前述の重み係数を用いれば、利用者は意図する情報を選択的に得ることができる。

【0036】

上述の動画要約装置を用いた動画要約方法は、動画データを取得することと、利用者からの指令に基づいて動画データから必要フレームを抽出して要約データを生成することと、を備える。指令とは、要約データを生成するために使用すべき要約アルゴリズムである。この指令の一例が重み係数である。動画データ取得部が動画データを取得する。要約部が利用者からの指令に基づいて動画データから必要フレームを抽出して要約データを生成する。

【0037】

図７は、動画要約装置のドライブレコーダへの適用例を示す図である。ドライブレコーダ３０は、運転中に動画を撮影する撮影装置３２を備えている。撮影装置３２で撮影された動画データは、動画要約装置１０へ提供され、動画要約装置１０で要約データが生成される。出力装置３４は要約データを外部に出力するためのデバイスである。この例では、出力装置３４は、要約データを例えば外部のクラウドサーバ４０へ無線送信する部分である。一例によれば、要約データは生成後即時に出力装置３４から出力されることができる。これにより、クラウドサーバ４０にアクセスできるものがリアルタイムで要約データを解析したり、利用したりすることができる。例えば、要約データから道路の落下物を把握したり、路面損傷を把握したりすることは、路面情報を最新に保つことを可能とする。要約データを受けて、即座に損傷又は落下物を報知したり、損傷を修復したり、落下物を回収したりすることができる。ドライブレコーダ３０は受信装置３６を備えることができる。受信装置３６は、例えば、重み係数の指令を受けたりＧＰＳ情報を受信したりする。

【0038】

図８は、動画要約装置を車載装置とした例を示す図である。車両５０にドライブレコーダ５２が搭載されている。ドライブレコーダ５２には動画要約装置１０が接続されている。動画要約装置１０は、ドライブレコーダ５２から動画データの提供を受け、要約データを生成し、要約データをドライブレコーダ５２へ提供する。ドライブレコーダ５２の通信機能を利用して、要約データをクラウドサーバ４０へ送信する。

【0039】

動画要約装置は、サーバ機器の一部とすることもできる。この場合、サーバ機器は、要約されていない動画データを外部から受け取り、要約データを生成する。別の例によれば、サーバ機器は、要約された動画データを外部から受け取り、その動画データをさらに要約する。どちらの例においても、利用者は生成された要約データを即座に入手できる。

【0040】

動画データについて「複数観点」で必要性グレードを算出すると、複数観点で要約された要約データを得ることができる。しかしながら、重み係数を調整することで、単一観点で要約された要約データを得ることもできる。重み係数を調整することで、例えば、落下物検出のための評価アルゴリズムだけ重視し、その他の評価アルゴリズムを無視することで、落下物が検出されたフレームのみを含む要約データが得られる。

【0041】

動画要約装置における、グレーディング装置、判定装置、要約データ生成装置の各機能は処理回路により実現される。すなわち、動画要約装置は、少なくとも１つのフレーム毎に複数観点での必要性グレードを算出し、必要性グレードに基づき少なくとも１つのフレームの要否を判定し、判定の結果、必要と判定された少なくとも１つのフレームを連結して要約データを生成するための処理回路を備える。この処理回路は、さらに、重み係数を決めるための回路とすることができる。処理回路は、メモリに格納されるプログラムを実行するCPU(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、DSPともいう)である。図９には、動画要約装置のハードウェア構成例が示されている。図９には、動画要約装置がプロセッサ６０とメモリ６２を備えることが図示されている。

【0042】

グレーディング装置、判定装置、要約データ生成装置の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリに格納される。処理回路はメモリに記憶されたプログラムを読みだして実行することにより、各部の機能を実現する。すなわち、動画要約装置は、処理回路により実行されるときに、動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するステップ、必要性グレードに基づき少なくとも１つのフレームの要否を判定するステップ、判定の結果、必要と判定された少なくとも１つのフレームを連結して要約データを生成するステップが結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、グレーディング装置、判定装置、要約データ生成装置の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、RAM、ROM、フラッシュメモリー、EPROM、EEPROM等の不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等が該当する。

【0043】

上述の一連の処理は、コンピュータで読み取り可能な記憶媒体に記憶されたプログラムに基づいて実行され得る。そのようなプログラムは例えば、メモリに記憶されている。記憶媒体に記憶されたプログラムは、ＣＰＵで構成されたコンピュータに以下の各工程を実行させる。
（１）動画データについて、少なくとも１つのフレーム毎に、複数観点での必要性グレードを算出するステップ。
（２）必要性グレードに基づき少なくとも１つのフレームの要否を判定するステップ。
（３）判定の結果、必要と判定された少なくとも１つのフレームを連結して要約データを生成するステップ。
これに加えて、プログラムは、本実施形態に記載した各処理に対応するステップを、
コンピュータに実行させ得る。このようなプログラムに基づく処理は例えば車両の走行開始のタイミングで開始する。プログラムを格納したメモリは、動画要約装置に提供されることができる。

【符号の説明】

【0044】

１０ 動画要約装置、 １２ グレーディング装置、 １４ 判定装置、 １６ 要約データ生成装置、 １８ ストレージ、 ３０ ドライブレコーダ、 ３２ 撮影装置、 ３４ 出力装置、 ３６ 受信装置、 ５０ 車両、 ５２ ドライブレコーダ、 ６０ プロセッサ、 ６２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2023-07-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

車両走行中に得られた複数の連続するフレームを有する動画データについて、少なくとも１つのフレーム毎に、前記車両の走行速度が速いときに得られた前記少なくとも１つのフレームほど高い必要性グレードを算出するグレーディング装置と、
前記必要性グレードに基づき前記少なくとも１つのフレームの要否を判定する判定装置と、
前記判定の結果、必要と判定された前記少なくとも１つのフレームを連結して要約データを生成する要約データ生成装置と、を備えた動画要約装置。

【請求項2】

前記少なくとも１つのフレームは、撮像時の車両速度の情報と対応付けられ、前記グレーディング装置は、高い車両速度と対応付けられた前記少なくとも１つのフレームほど高い必要性グレードを算出する、請求項１に記載の動画要約装置。

【請求項3】

前記判定装置は、前記必要性グレードが予め定められた範囲に属する前記少なくとも１つのフレームについて、間引いて必要と判定する、請求項２に記載の動画要約装置。

【請求項4】

前記判定装置は、前記必要性グレードが前記予め定められた範囲よりも高い前記少なくとも１つのフレームについてはすべてのフレームを必要と判定する、請求項３に記載の動画要約装置。

【請求項5】

前記少なくとも１つのフレームは、撮像時の車両位置情報と対応付けられ、前記グレーディング装置は、１つ前の前記少なくとも１つのフレームと比較した位置情報の変化量が大きいほど高い必要性グレードを算出する、請求項１に記載の動画要約装置。

【請求項6】

前記車両位置情報を提供する衛星信号受信装置を備えた、請求項５に記載の動画要約装置。

【請求項7】

前記少なくとも１つのフレームは、前記少なくとも１つのフレームと、前又は後の前記少なくとも１つのフレームとの間の画像における物体の移動量と対応付けられ、前記グレーディング装置は、大きい前記移動量と対応付けられた前記少なくとも１つのフレームほど高い必要性グレードを算出する、請求項１に記載の動画要約装置。

【請求項8】

前記物体の移動量を、画像における物体の移動軌跡を求める手法で算出する、請求項７に記載の動画要約装置。

【請求項9】

前記要約データは、モノクロフォーマット又は低解像度化されたフォーマットである、請求項１から８のいずれか１項に記載の動画要約装置。