特許第5958228号(P5958228)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

<>
  • 特許5958228-映像情報提供装置及び方法 図000002
  • 特許5958228-映像情報提供装置及び方法 図000003
  • 特許5958228-映像情報提供装置及び方法 図000004
  • 特許5958228-映像情報提供装置及び方法 図000005
  • 特許5958228-映像情報提供装置及び方法 図000006
  • 特許5958228-映像情報提供装置及び方法 図000007
  • 特許5958228-映像情報提供装置及び方法 図000008
  • 特許5958228-映像情報提供装置及び方法 図000009
  • 特許5958228-映像情報提供装置及び方法 図000010
  • 特許5958228-映像情報提供装置及び方法 図000011
  • 特許5958228-映像情報提供装置及び方法 図000012
  • 特許5958228-映像情報提供装置及び方法 図000013
  • 特許5958228-映像情報提供装置及び方法 図000014
  • 特許5958228-映像情報提供装置及び方法 図000015
  • 特許5958228-映像情報提供装置及び方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5958228
(24)【登録日】2016年7月1日
(45)【発行日】2016年7月27日
(54)【発明の名称】映像情報提供装置及び方法
(51)【国際特許分類】
   G01C 21/34 20060101AFI20160714BHJP
   G06F 17/30 20060101ALI20160714BHJP
   H04N 7/173 20110101ALI20160714BHJP
   G08G 1/00 20060101ALI20160714BHJP
【FI】
   G01C21/34
   G06F17/30 170D
   G06F17/30 210A
   H04N7/173 610Z
   H04N7/173 630
   G08G1/00 D
【請求項の数】6
【全頁数】18
(21)【出願番号】特願2012-207939(P2012-207939)
(22)【出願日】2012年9月21日
(65)【公開番号】特開2014-62805(P2014-62805A)
(43)【公開日】2014年4月10日
【審査請求日】2015年3月31日
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(72)【発明者】
【氏名】藤井 毅也
【審査官】 島倉 理
(56)【参考文献】
【文献】 特開2003−046969(JP,A)
【文献】 特開2009−246503(JP,A)
【文献】 特開2001−290820(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/34
G06F 17/30
G08G 1/00
H04N 7/173
(57)【特許請求の範囲】
【請求項1】
走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積するデータベース部と、
前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録する切替ポイント登録部と、
前記切替ポイント登録部によって登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部と、
前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントペア検出部によって切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成するリンク情報生成部と、
前記記録開始の地点から前記記録終了の地点までの間のいずれかの2つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報生成部によって生成されたリンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる再生部と、
を備えることを特徴とする映像情報提供装置。
【請求項2】
前記再生部は、前記目的地が、前記他方の切替ポイントより後の地点であるとき、前記出発地に対応する箇所から前記一方の切替ポイントに対応する箇所までの再生に続けて、前記他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることを特徴とする請求項1記載の映像情報提供装置。
【請求項3】
前記切替ポイント登録部は、前記予め定めた物体が所定の回数以上のフレームで存在していると認識され、前記予め定めた物体が前記走行映像から消滅した時点に対応する地点を切替ポイントとして登録することを特徴とする請求項1または2に記載の映像情報提供装置。
【請求項4】
前記リンク情報生成部は、前記記録開始の地点から前記複数の切替ポイントのうち取得時刻が最も前の切替ポイントとをリンクさせるリンク情報と、前記複数の切替ポイントのうち取得時刻が最も後の切替ポイントと前記記録終了の地点とをリンクさせるリンク情報を生成することを特徴とする請求項1〜3のいずれか1項に記載の映像情報提供装置。
【請求項5】
前記切替ポイント登録部は、車両が走行する車道または車道に隣接する歩道上に固定的に存在する物体を前記予め定めた物体とすることを特徴とする請求項1〜4のいずれか1項に記載の映像情報提供装置。
【請求項6】
走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けてデータベース部に蓄積し、
前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録し、
登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出し、
前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成し、
前記記録開始の地点から前記記録終了の地点までの間のいずれかの2つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる
ことを特徴とする映像情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像サーバに蓄積された映像情報を、映像情報の送信を要求した要求者に送信する映像情報提供装置及び方法に関する。
【背景技術】
【0002】
車両に搭載したビデオカメラやスチルカメラによって走行中の車外を撮影し、撮影した映像情報をサーバに蓄積しておき、サーバに蓄積されている映像情報を、映像情報の送信を要求した要求者に送信する映像情報提供装置が提案されている(特許文献1,2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2002−81951号公報
【特許文献2】特開2003−202235号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
サーバに多くの走行中の映像情報を蓄積するために、路線バスやタクシー等の車両にビデオカメラを設置して、走行中の車外を撮影した映像情報をサーバに蓄積することが考えられる。路線バスは巡回経路を含んで走行することがあるため、同じ映像情報が重複してサーバに記録される場合がある。タクシーも同じ経路を複数回走行するから同様である。要求者が所定の区間における映像情報の送信を要求したとき、その所定の区間内に巡回経路のような重複映像情報を含む場合には、重複映像情報を要求者に送信してしまうことになる。
【0005】
要求者にとっては重複映像情報は不要であり、映像情報が重複しないように要求者に映像情報を提供することが求められる。本発明は、このような要望に対応するため、映像情報の送信を要求する要求者に、所定の区間の映像情報を映像情報が重複しないように提供することができる映像情報提供装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、上述した従来の技術の課題を解決するため、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積するデータベース部と、前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録する切替ポイント登録部と、前記切替ポイント登録部によって登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部と、前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントペア検出部によって切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成するリンク情報生成部と、前記記録開始の地点から前記記録終了の地点までの間のいずれかの2つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報生成部によって生成されたリンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させる再生部とを備えることを特徴とする映像情報提供装置を提供する。
【0007】
上記の映像情報提供装置において、前記再生部は、前記目的地が、前記他方の切替ポイントより後の地点であるとき、前記出発地に対応する箇所から前記一方の切替ポイントに対応する箇所までの再生に続けて、前記他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることが好ましい。
【0008】
前記切替ポイント登録部は、前記予め定めた物体が所定の回数以上のフレームで存在していると認識され、前記予め定めた物体が前記走行映像から消滅した時点に対応する地点を切替ポイントとして登録することが好ましい。
【0009】
上記の映像情報提供装置において、前記リンク情報生成部は、前記記録開始の地点から前記複数の切替ポイントのうち取得時刻が最も前の切替ポイントとをリンクさせるリンク情報と、前記複数の切替ポイントのうち取得時刻が最も後の切替ポイントと前記記録終了の地点とをリンクさせるリンク情報を生成することが好ましい。
【0010】
上記の映像情報提供装置において、前記切替ポイント登録部は、車両が走行する車道または車道に隣接する歩道上に固定的に存在する物体を前記予め定めた物体とすることが好ましい。
【0011】
また、本発明は、上述した従来の技術の課題を解決するため、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、前記映像ファイルにおける前記走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けてデータベース部に蓄積し、前記映像ファイルの前記走行映像を画像認識し、予め定めた物体が前記走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、前記走行映像上の時点である切替ポイントを複数登録し、登録された複数の切替ポイントのうち、前記補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出し、前記複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、前記切替ポイントのペアが存在することが検出された場合には、前記切替ポイントのペアをリンクさせるリンク情報を生成し、前記記録開始の地点から前記記録終了の地点までの間のいずれかの2つの地点を出発地及び目的地として指定されて、前記映像ファイルを再生させる要求がなされたとき、前記リンク情報に基づいて、前記映像ファイルにおける前記走行映像の前記出発地に対応する箇所から前記切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、前記切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から前記目的地に対応する箇所までを再生させることを特徴とする映像情報提供方法を提供する。
【発明の効果】
【0012】
本発明の映像情報提供装置及び方法によれば、映像情報の送信を要求する要求者に、所定の区間の映像情報を映像情報が重複しないように提供することができる。
【図面の簡単な説明】
【0013】
図1】一実施形態の映像情報提供装置を含む映像情報蓄積・提供システムの全体構成を示す概念図である。
図2図1中の映像サーバ1の具体的な構成を示すブロック図である。
図3図2中のデータベース部12に記憶されている位置情報テーブルの例を示す図である。
図4図2中のデータベース部12に記憶されている映像ファイルテーブルの例を示す図である。
図5図2中のデータベース部12に記憶されている切替ポイントテーブルの例を示す図である。
図6図2中のデータベース部12に記憶されているリンク情報テーブルの例を示す図である。
図7】位置情報と関連付けられた映像ファイルの構造を示す概念図である。
図8図2中の受信部11の詳細な動作を示すフローチャートである。
図9図2中の切替ポイント登録部13の詳細な動作を示すフローチャートである。
図10図2中の切替ポイント登録部13における予め定めた物体の検出及び切替ポイントの登録動作の例示す概念図である。
図11図2中のループ検出部14の詳細な動作を示すフローチャートである。
図12図2中のループ検出部14によるループ検出動作の例を説明するための図である。
図13図2中のリンク情報生成部15の詳細な動作を示すフローチャートである。
図14図2中の再生部16の詳細な動作を示すフローチャートである。
図15図2中の再生部16による再生動作の例を説明するための図である。
【発明を実施するための形態】
【0014】
以下、一実施形態の映像情報提供装置及び方法について、添付図面を参照して説明する。まず、図1を用いて、一実施形態の映像情報提供装置を含む映像情報蓄積・提供システムについて説明する。映像サーバ1は、一実施形態の映像情報提供装置を構成する。映像サーバ1は、インターネット等のネットワーク5に接続されている。ビデオカメラ2a〜2cは、GPS衛星4から送信される電波を受信して、ビデオカメラ2a〜2cそれぞれの位置情報及び方角情報を算出する。ビデオカメラ2a〜2cをビデオカメラ2と総称する。
【0015】
図1では簡略化のため、ビデオカメラ2は1つのGPS衛星4からの電波を受信するように図示しているが、実際にはビデオカメラ2は位置情報及び方角情報を算出するためにさらに多くのGPS衛星4からの電波を受信する。位置情報は、経度,緯度,高度を含む。ビデオカメラ2はGPS衛星4からの電波によって、時刻も取得する。図1では3台のビデオカメラ2を示しているが、ビデオカメラ2の台数はさらに多くてよく、多い方が好ましい。ビデオカメラ2は、ネットワーク5に接続されている。
【0016】
それぞれのビデオカメラ2は、例えば路線バスやタクシー等の車両に設置されている。ビデオカメラ2は、車両が走行する道路の例えば前方を撮影する。ビデオカメラ2は、撮影した走行映像の映像ファイルを、走行映像を撮影した地点の位置情報及びビデオカメラ2が向いている方角情報と、走行映像を取得した取得時刻情報とに関連付けて蓄積し、ネットワーク5を介して映像サーバ1に送信する。位置情報と方角情報と取得時刻とを補助情報とする。
【0017】
映像サーバ1は、補助情報と関連付けられた映像ファイルを受信して蓄積する。ビデオカメラ2は、映像サーバ1に映像ファイルをリアルタイムで送信してもよいし、一旦ビデオカメラ2内に蓄積した後の所定のタイミングで送信してもよい。
【0018】
スマートフォン等の携帯端末3は、例えば対話的な操作によって、出発地と目的地を示す情報を映像サーバ1に送信することができる。携帯端末3は、地図データ内蔵カーナビゲーションソフトウェアを搭載していることが好ましい。携帯端末3は、カーナビゲーションソフトウェアによって、出発地緯度,出発地経度,目的地緯度,目的地経度を含む再生要求を、HTTP(ハイパーテキストトランスポートプロトコル)によって映像サーバ1に送信する。
【0019】
映像サーバ1は、携帯端末3からの再生要求に対応して映像サーバ1に蓄積された複数の映像ファイルのうちの選択した映像ファイルを携帯端末3へと送信する。携帯端末3は、ネットワーク5を介して、映像サーバ1が送信した映像ファイルを受信する。
【0020】
図2を用いて、映像サーバ1の具体的な構成について説明する。映像サーバ1は、受信部11,データベース部12,切替ポイント登録部13,ループ検出部(切替ポイントペア検出部)14,リンク情報生成部15,再生部16を有する。受信部11は、ビデオカメラ2が送信した、補助情報と関連付けられた映像ファイルを受信する。受信部11は、例えばWebサーバであるプログラムであってもよい。受信部11は、映像ファイルに対して所定の書式変換を施してデータベース部12に登録する。
【0021】
データベース部12は、走行する車両から撮影した走行映像の記録開始から記録終了までの映像ファイルと、映像ファイルにおける走行映像を撮影した複数の地点の位置情報と方角情報と取得時刻とを含む補助情報とを対応付けて蓄積する。
【0022】
データベース部12は、例えばリレーショナルデータベースであるプログラムであってもよい。データベース部12は、データ種別ごとに独立したテーブル構造を有する。データベース部12が有するテーブル構造の例について説明する。データベース部12は、図3に示すような位置情報テーブルを記憶している。図3に示すように、位置情報テーブルは、映像ID,緯度,経度,高度,方角,取得時刻の情報を含む。データベース部12は、図4に示すような映像ファイルテーブルを記憶している。図4に示すように、映像ファイルテーブルは、映像ID,記録開始時刻,記録終了時刻,映像ファイルの情報を含む。
【0023】
データベース部12は、図5に示すような切替ポイントテーブルを記憶している。図5に示すように、切替ポイントテーブルは、ポイントID,映像ID,緯度,経度,高度,方角,取得時刻の情報を含む。データベース部12は、図6に示すようなリンク情報テーブルを記憶している。図6に示すように、リンク情報テーブルは、始点ポイントID,終点ポイントID,移動コストの情報を含む。
【0024】
図7を用いて、位置情報と関連付けられた映像ファイルの構造について説明する。図7において、例えば“0001.mp4”なるファイル名を有する映像ファイルFLは、複数の映像フレームFmを含む。映像ファイルFLは、2012年9月28日、17時35分32秒に撮影映像の記録を開始し、同日、17時54分30秒に記録を終了している。映像フレームFmの数は実際にはさらに多く、図7では簡略化のため実際よりも少ない数の映像フレームFmを図示している。映像ファイルFLの一部または全てが、例えばMPEGの映像圧縮技術によって圧縮されていてもよい。
【0025】
この映像ファイルFLと、位置情報列Tipとが関連付けられている。位置情報列Tipは、複数の位置情報Ipを含む。位置情報Ipの間隔は0.5〜3秒であり、映像フレームFmの間隔よりも疎らである。位置情報Ipは等間隔とは限らない。
【0026】
映像ファイルFLは、記録開始時刻から記録終了時刻までの全区間において、時刻オフセットを指定することで、任意の映像フレームFmにランダムアクセスすることが可能である。一部の映像フレームFmを時刻オフセットで直接指定できない場合には、映像ファイルFLの他のプロパティ(例えば、平均ビットレート,総フレーム数,総ファイルサイズ)から、時刻オフセット相当のランダムアクセスが可能である。
【0027】
図2に戻り、切替ポイント登録部13は、新規に受信した位置情報列Tipと映像ファイルFLを時系列に探索し、走行映像を画像認識して切替ポイントを判定する。切替ポイント登録部13は、切替ポイントを判定したら、切替ポイントをデータベース部12に登録する。切替ポイントの詳細については後述する。
【0028】
ループ検出部14は、各切替ポイントの位置情報を比較し、同一地点・同一方角とみなせる切替ポイントのペアを探索する切替ポイントペア検出部である。ループ検出部14は、切替ポイントのペアを検出したら、切替ポイントのペアをリンク情報としてデータベース部12に登録する。リンク情報生成部15は、新規登録された同一映像の切替ポイント間を接続するリンク情報を生成してデータベース部12に登録する。リンク情報の詳細についても後述する。
【0029】
再生部16は、出発地と目的地の位置情報を取得し、データベース部12から、出発地から目的地までの経路に対応した最短の区間で連結させた映像フレームFmを携帯端末3に送出する。
【0030】
図8に示すフローチャートを用いて、受信部11の動作の詳細を説明する。受信部11は、ステップS101にて、映像ファイルFLの受信を待ち受ける。受信部11は、ステップS102にて、ビデオカメラ2から送信された映像ファイルFLを受信して、バッファリングしておく。受信部11は、ステップS103にて、受信が終了した映像ファイルFLに対して、既存のものと重ならない、新規の映像IDを生成して付与する。
【0031】
受信部11は、ステップS104にて、位置情報列Tipを受信し、図3に示す位置情報テーブルに、新規映像ID,緯度,経度,高度,方角,取得時刻よりなる1行の情報を書き込んで登録する。受信部11は、ステップS105にて、新たに登録された映像ファイルFLのメタデータを解析して記録開始時刻と記録終了時刻を抽出し、図4に示す映像ファイルテーブルに、新規映像ID,記録開始時刻,記録終了時刻,映像ファイルよりなる1行の情報を書き込んで登録する。
【0032】
受信部11は、ステップS106にて、新規映像IDを切替ポイント登録部13に送信して、処理を終了させる。
【0033】
図9に示すフローチャートを用いて、切替ポイント登録部13の動作の詳細を説明する。切替ポイント登録部13は、ステップS111にて、受信部11からの新規映像IDを待ち受ける。切替ポイント登録部13は、ステップS112にて、新規映像IDをキーとして、データベース部12の映像ファイルテーブルを検索し、該当する行の映像ファイルFLの全映像フレームFmを、時刻が早い順に映像リスト変数L1に登録する。
【0034】
切替ポイント登録部13は、ステップS113にて、ループ変数I1を0に、映像フレーム数N1を映像リスト変数L1内の総フレーム数に、発見回数Nfを0に初期化する。ステップS114は、映像フレームFmを逐次処理するループである。切替ポイント登録部13は、ステップS114にて、ループ変数I1を+1ずつ加算しながらループさせ、映像フレーム数がN1に達したら終了させる。
【0035】
切替ポイント登録部13は、ステップS115にて、映像リスト変数L1[I1]の映像フレームFmを任意の物体検出器を用いて映像解析し、予め定めた物体が存在しているか否かを判定する。予め定めた物体は、例えば速度規制標識である。速度規制標識を例とするのは、昼夜を問わず運転者に見やすく設置されており、物体検出しやすいからである。予め定めた物体は速度規制標識に限定されることはなく、その他の交通標識、トンネルの出口や横断歩道等でもよい。
【0036】
予め定めた物体は、車両が走行する道路(車両が走行する車道及び車道に隣接する歩道を含む)上に固定的に存在する物体で、映像中に出現から消滅までの過程が撮影されるものであれば任意の物体でよい。
【0037】
切替ポイント登録部13は、ステップS115で予め定めた物体が存在していれば(YES)、ステップS116にて、発見回数Nfに+1を加算して、処理をステップS114に戻す。切替ポイント登録部13は、ステップS115で予め定めた物体が存在していなければ(NO)、ステップS117にて、発見回数Nfが発見回数閾値ε以上になっているか否かを判定する。
【0038】
発見回数閾値εは、映像ファイルFLのフレームレートと撮影時の走行速度とに応じた値とすることが好ましい。車両の走行速度は走行映像の動きに基づいて概略的に求めることが可能である。映像ファイルFLのフレームレートは所定の範囲内であり、車両の走行速度もある程度想定することができるから、発見回数閾値εを、映像ファイルFLのフレームレートと撮影時の走行速度とにかかわらず固定値としてもよい。ここでは発見回数閾値εを3とする。
【0039】
切替ポイント登録部13は、ステップS117で発見回数Nfが発見回数閾値ε以上でなければ(NO)、ステップS118にて、発見回数Nfを0にクリアして、処理をステップS114に戻す。切替ポイント登録部13は、ステップS117で発見回数Nfが発見回数閾値ε以上であれば(YES)、ステップS119にて、映像リスト変数L1[I1]の取得時刻から位置情報列Tipを検索して、切替ポイントを登録する。
【0040】
具体的には、切替ポイント登録部13は、(記録開始時刻+ループ変数I1×フレーム秒定数ζ)に基づいて検出時刻Sを計算する。フレーム秒定数ζは、映像ファイルFLのフレームレートに依存する。ここでは、一般的な29.97フレーム/秒(固定)から換算した、ζ=0.03337秒とする。次に、切替ポイント登録部13は、位置情報テーブルから、映像IDが新規映像IDと等しく、かつ、取得時刻が検出時刻Sに最も近い位置情報LS1を取得する。切替ポイント登録部13は、切替ポイントテーブルの中で使われている既存のポイントIDと重ならない、新規ポイントIDを生成する。
【0041】
そして、切替ポイント登録部13は、新規ポイントID,新規映像ID,位置情報LS1緯度,位置情報LS1経度,位置情報LS1高度,位置情報LS1方角,位置情報LS1取得時刻よりなる切替ポイントの情報を切替ポイントテーブルに書き込んで登録する。
【0042】
図10を用いて、切替ポイント登録部13における予め定めた物体の検出及び切替ポイントの登録動作の例について説明する。図10は、速度規制標識を予め定めた物体とした例を示している。図10において、(a)は撮影された走行映像であり、(b)は記録開始から記録終了までの映像フレームFmである。ここでも簡略化のため、実際よりも少ない数の映像フレームFmを図示している。
【0043】
図10の(b)において、○を付した映像フレームFmは速度規制標識が存在することを認識した映像フレームFmであり、×を付した映像フレームFmは速度規制標識が存在することを認識していない映像フレームFmである。図10の(a)に示すように、車両が速度規制標識に近付くにつれて速度規制標識は大きくなり、物体検出器の検出精度を越えると、四角で囲んでいるように速度規制標識が存在することを認識する。その後、速度規制標識はビデオカメラ2の視野から外れて、速度規制標識は存在しないと認識する。
【0044】
図10の例では、発見回数Nfは3である。発見回数閾値εを3とした場合、発見回数Nfが発見回数閾値ε以上であるので、速度規制標識は存在しないと認識した最初の映像フレームFmの時点が検出時刻Sとなる。切替ポイント登録部13は、検出時刻Sに基づいて切替ポイントを登録する。
【0045】
以上のように、切替ポイント登録部13は、映像ファイルFLの走行映像を画像認識し、予め定めた物体が走行映像内に存在していると認識したか否かの物体認識状況の時系列な変化に基づいて、走行映像に含まれる切替ポイントを登録する。走行映像中に切替ポイントが複数存在すれば、切替ポイント登録部は複数の切替ポイントを登録する。
【0046】
図11に示すフローチャートを用いて、ループ検出部14の動作の詳細を説明する。図11において、ループ検出部14は、ステップS121にて、切替ポイント登録部13からの新規映像IDを待ち受ける。ループ検出部14は、ステップS122にて、新規映像IDで切替ポイントテーブルを検索し、新規映像IDが一致する行を取得時刻が早い順にソートして、ポイントリスト変数L2に登録する。ループ検出部14は、ステップS123にて、ループ変数I2を0に、個数N2をポイントリスト変数L2内の切替ポイントの個数に初期化する。
【0047】
ステップS124は、切替ポイントを順次処理するループである。ループ検出部14は、ステップS124にて、ループ変数I2を+1ずつ加算しながらループさせ、個数がN2に達したら処理を終了させる。
【0048】
ループ検出部14は、ステップS125にて、ループ変数I3をN2−1に初期化する。ステップS126は、切替ポイントを順次処理するループである。ループ検出部14は、ステップS126にて、ループ変数I3を1ずつ減算しながらループさせ、ループ変数I3がループ変数I2に達したら処理を終了させる。
【0049】
ループ検出部14は、ステップS127にて、切替ポイントL2[I2]と切替ポイントL2[I3]それぞれの緯度,経度,高度,角度によって、両者が同一地点に存在して同一の角度であるか否かを判定する。
【0050】
具体的には、まず、例えば、地球測位系において、地球をGRS80楕円体とみなしたVincentyの距離と方角の公式を用いて、切替ポイントL2[I2]と切替ポイントL2[I3]との2点間の参照距離D1を算出する。次に、切替ポイントL2[I2]の方角と切替ポイントL2[I3]の方角との鋭角側の角度差分の絶対値Q1を算出する。そして、角度差分の絶対値Q1が角度閾値α未満かつ、距離D1が距離閾値β未満の場合、同一地点・同一角度であると判定し、それ以外では同一地点・同一角度ではないと判定する。
【0051】
角度閾値αは、例えば15度とする。距離閾値βはGPS誤差を許容できる距離として、例えば5メートルとする。
【0052】
ループ検出部14は、ステップS127で同一地点・同一角度であると判定されれば(YES)、処理をステップS128へと移行させ、同一地点・同一角度であると判定されなければ(NO)、処理をステップS126に戻す。ループ検出部14は、ステップS128にて、リンク情報テーブルに、L2[I2]ポイントID,L2[I3]ポイントID,移動コストD4をリンク情報として登録する。移動コストD4は、次の式(1)による。
【0053】
移動コストD4=1/f(L2[I3]取得時刻−L2[I2]取得時刻) …(1)
ここで、関数f(x)は取得時刻の差分を秒単位に変換する関数である。
【0054】
以上のように、ループ検出部14は、切替ポイント登録部13によって登録された複数の切替ポイントのうち、補助情報に基づいて、同一の地点であり、同一の方角とみなせる切替ポイントのペアを検出する切替ポイントペア検出部として動作している。
【0055】
図12を用いて、ループ検出部14によるループ検出動作の例を説明する。図12は、ビデオカメラ2を搭載した車両(路線バス)50が巡回経路を含んで時刻T1から時刻T7まで走行した場合の地図上の軌跡を示している。また、図12は、概念的な映像ファイルFLを示している。切替ポイント登録部13は、前述のように速度規制標識に基づいて切替ポイントP1〜P4を登録済みであるとする。
【0056】
ループ検出部14は、切替ポイントP1〜P4のうちの全ての2つの切替ポイントのペアを順次比較していく。ループ検出部14は、切替ポイントP1と切替ポイントP3と距離がGPS誤差を許容できる5メートル以内であるが、方角が15度を超えているので、リンク情報を生成しない。ループ検出部14は、切替ポイントP2と切替ポイントP4と距離が5メートル以内であり、方角が15度以内であるので、リンク情報を生成して登録する。なお、車両が走行する方向が反対方向であれば、方角が15度以内とはならないので、リンク情報は生成されない。
【0057】
図12に示す映像ファイルFLは、車両の出発地点(地点Aとする)から到着地点(地点Bとする)まで、時刻T1から時刻T7までの全ての時間の走行映像を含む。携帯端末3から映像サーバ1に対して、地点Aから地点Bまでの走行映像を送信する要求があったとする。本実施形態によれば、リンク情報を活用することによって、時刻T1から切替ポイントP2までの走行映像を再生し、次に、切替ポイントP4から時刻T7までの走行映像を再生することができる。
【0058】
よって、本実施形態によれば、重複している走行映像を排除することができ、必要のない巡回経路の部分の走行映像も排除することができる。本実施形態によれば、切替ポイントP2と切替ポイントP4とは極めて類似の映像であり、時刻T1から切替ポイントP2までの走行映像と、切替ポイントP4から時刻T7までの走行映像とをほとんど違和感なく連結させることができる。
【0059】
再生部16による、所定の位置から切替ポイントP2までの走行映像を再生し、これに続けて、切替ポイントP4から所定の位置までの走行映像を再生させる動作の詳細については後述する。
【0060】
図13に示すフローチャートを用いて、リンク情報生成部15の動作の詳細を説明する。図13において、リンク情報生成部15は、ステップS131にて、ループ検出部14からの新規映像IDを待ち受ける。リンク情報生成部15は、ステップS132にて、新規映像IDでリンク情報テーブルを検索し、探索リスト変数L3を取得する。リンク情報生成部15は、ステップS133にて、ループ変数I3を0に、探索個数N3を探索リスト変数L3の切替ポイント数に初期化する。
【0061】
ステップS134は、探索リスト変数L3内の切替ポイントを順次処理するループである。リンク情報生成部15は、ステップS134にて、ループ変数I3を+1ずつ加算しながらループさせ、探索個数N3に達したら処理をステップS139に移行させる。リンク情報生成部15は、ステップS135にて、ループ変数I3が0であるか否かを判定する。リンク情報生成部15は、ループ変数I3が0であれば(YES)、処理をステップS136に移行させ、ループ変数I3が0でなければ(NO)、処理をステップS137に移行させる。
【0062】
リンク情報生成部15は、ステップS136にて、記録開始の地点から最初の切替ポイントへのリンクを登録する。具体的には、リンク情報生成部15は、映像ファイルテーブルから、新規映像IDを示す行の記録開始時刻を検出時刻S2に代入する。次に、リンク情報生成部15は、位置情報テーブルから、映像IDが新規映像IDと等しく、かつ、取得時刻が検出時刻S2に最も近い位置情報LS2を取得する。次に、リンク情報生成部15は、切替ポイントテーブルの中で使われている既存のポイントIDと重ならない、新規ポイントIDを生成する。ここでの新規ポイントIDは例えばP0である。
【0063】
次に、リンク情報生成部15は、新規ポイントID,新規映像ID,位置情報LS2緯度,位置情報LS2経度,位置情報LS2高度,位置情報LS2方角,位置情報LS2取得時刻よりなる切替ポイントを、切替ポイントテーブルに登録する。図5では新規ポイントIDがP0の行登録されている。最後に、リンク情報生成部15は、リンク情報テーブルに、始点ポイントIDとして新規ポイントIDを、終点ポイントIDとして探索リスト変数L3[0]のポイントIDを、移動コストとして、時刻T1と切替ポイントP2の時刻との差である78よりなるリンク情報を登録する。
【0064】
リンク情報生成部15は、ステップS137にて、探索リスト変数L3[I3−1]の取得時刻と、探索リスト変数L3[I3]の取得時刻から2点間の移動時間D2を算出する。移動時間D2の算出は、式(2)による。式(2)における関数f(x)は、取得時刻の差分を秒単位に変換する関数である。
【0065】
移動時間D2=f(探索リスト変数L3[I3]取得時刻−探索リスト変数L3[I3−1]取得時刻) …(2)
リンク情報生成部15は、ステップS138にて、移動時間D2を移動コストとし、探索リスト変数L3[I3−1]のポイントID,探索リスト変数L3[I3]のポイントID,移動コスト(D2)よりなるリンク情報を、リンク情報テーブルに登録する。
【0066】
リンク情報生成部15は、ステップS139にて、最後の切替ポイントから記録終了の地点へのリンクを登録する。具体的には、リンク情報生成部15は、映像ファイルテーブルから、新規映像IDが示す行の記録終了時刻を検出時刻S3に代入する。次に、リンク情報生成部15は、位置情報テーブルから、映像IDが新規映像IDと等しく、かつ、取得時刻が検出時刻S3に最も近い位置情報LS3を取得する。次に、リンク情報生成部15は、切替ポイントテーブルの中で使われている既存のポイントIDと重ならない、新規ポイントIDを生成する。ここでの新規ポイントIDは例えばP5である。
【0067】
そして、リンク情報生成部15は、新規ポイントID,新規映像ID,位置情報LS3緯度,位置情報LS3経度,位置情報LS3高度,位置情報LS3方角,位置情報LS3取得時刻よりなる切替ポイントを、切替ポイントテーブルに登録する。最後に、リンク情報生成部15は、リンク情報テーブルに、始点ポイントIDとして探索リスト変数L3[I3−1]のポイントIDを、終点ポイントIDとして新規ポイントIDを、移動コストとして、切替ポイントP4の時刻と時刻T7との差である130よりなるリンク情報を登録して、処理を終了させる。
【0068】
ところで、切替ポイントP2の取得時刻と切替ポイントP4の取得時刻との差は789となり、この789をそのまま移動コストとすると、切替ポイントP2と切替ポイントP4との間の移動コストが最大となってしまう。リンク情報生成部15は、距離が5メートル以内で方角が15度以内であることを示すリンク情報が登録されている2つの切替ポイント間の移動コストを計算する場合には、上記の式(1)に基づいて、切替ポイントP2の取得時刻と切替ポイントP4の取得時刻との差の逆数を移動コストとする。これにより、切替ポイントP2と切替ポイントP4との間の移動コストは0.00126となって最小となる。
【0069】
以上のようにして、リンク情報生成部15は、複数の切替ポイントを取得時刻の順に互いにリンクさせるリンク情報を生成し、ループ検出部14によって切替ポイントのペアが存在することが検出された場合には、切替ポイントのペアをリンクさせるリンク情報を生成する。換言すると、リンク情報生成部15は、1つの映像ファイルFLと関連付けられた位置情報列Tipを、切替ポイントで区切った区間の集合とみなした有向グラフ関係をリンク情報テーブルに登録する。
【0070】
図14に示すフローチャートを用いて、再生部16の動作の詳細を説明する。図14において、再生部16は、ステップS141にて、携帯端末3からの出発地緯度,出発地経度,目的地緯度,目的地経度を指定した走行映像の再生の要求を待ち受ける。再生部16は、ステップS142にて、出発地候補リスト変数L4,目的地候補リスト変数L5,出発候補リスト変数L6を初期化する。
【0071】
再生部16は、ステップS143にて、位置情報テーブルから、出発地緯度と出発地経度から距離閾値β未満の近傍にある位置情報を検索し、出発地候補リスト変数L4に登録する。再生部16は、ステップS144にて、位置情報テーブルから、目的地緯度と目的地経度から距離閾値β未満の近傍にある位置情報を検索し、目的地候補リスト変数L5に登録する。
【0072】
再生部16は、ステップS145にて、同一の映像IDを有する出発地候補リスト変数L4内の位置情報I4と目的地候補リスト変数L5内の位置情報I5とのペアがあるか否かを判定する。ペアがあれば(YES)、再生部16は、処理をステップS146に移行させ、ペアがなければ(NO)、再生部16は、処理をステップS148に移行させる。
【0073】
再生部16は、ステップS146にて、最短時間D3を算出する。最短時間D3の算出は式(3)による。式(3)における関数f(x)は、取得時刻の差分を秒単位に変換する関数である。
【0074】
最短時間D3=f(位置情報I5の取得時刻−位置情報I4の取得時刻) …(3)
再生部16は、ステップS147にて、位置情報I4,位置情報I5,最短時間D3から、再生開始時刻を位置情報I4の取得時刻、再生終了時刻を位置情報I5の取得時刻とし、位置情報I4の映像ID,位置情報I4の経度,位置情報I4の緯度,位置情報I4の高度,位置情報I4の方角,再生開始時刻(位置情報I4の取得時刻),再生終了時刻(位置情報I5の取得時刻),最短時間(D3)よりなる出発候補を作成し、出発候補リスト変数L6に登録する。
【0075】
再生部16は、ステップS148にて、出発候補リスト変数L6を最短時間の小さい順にソートし、最初の出発候補をルート変数R1に取り出し、ルート変数R1の映像IDを映像IDの変数Mに登録し、ルート変数R1の再生開始時刻を再生時刻変数PLAYと記憶時刻変数PREVに登録する。
【0076】
再生部16は、ステップS149にて、データベース部12の映像ファイルテーブルの中の映像IDの変数Mが指し示す映像ファイルから、再生時刻変数PLAYの指し示す映像フレームFmを取り出し、順次携帯端末3へと送信する。送信した映像フレーム数をN7とすると、再生時刻変数PLAYにN7×フレーム秒定数ζが加算される。フレーム秒定数ζは、映像ファイルのフレームレートに依存する。ここでは、一般的な29.97フレーム/秒(固定)から換算したζ=0.03337秒とする。
【0077】
再生部16は、ステップS150にて、再生時刻変数PLAYがルート変数R1の再生終了時刻を上回ったか否かを判定する。上回れば(YES)、再生部16は処理を終了させ、上回らなければ(NO)、再生部16は、処理をステップS151に移行させる。
【0078】
再生部16は、ステップS151にて、リンク情報の分岐を判定する。具体的には、再生部16は、切替ポイントテーブルを検索し、映像IDが映像IDの変数Mと等しく、かつ、取得時刻が記憶時刻変数PREV以上、かつ、取得時刻が再生時刻変数PLAY未満の切替ポイントが発見できたら、切替ポイント変数PVN1に登録する。発見できなければ、切替ポイント変数PVN1を空とする。
【0079】
再生部16は、ステップS152にて、記憶時刻変数PREVに再生時刻変数PLAYを代入し、分岐候補リスト変数L7を初期化する。再生部16は、ステップS153にて、切替ポイント変数PVN1が存在するか存在しないか(空であるか)を判定する。存在すれば(YES)、再生部16は、処理をステップS154に移行させ、存在しなければ(NO)、処理をステップS149に移行させる。
【0080】
再生部16は、ステップS154にて、リンク情報テーブルから、切替ポイントPVN1のポイントIDと始点ポイントIDが等しい行を検索し、移動コストが小さい順にソートし、分岐候補リスト変数L7に追加する。再生部16は、ステップS155にて、ループ変数I6を0に、個数N6を分岐候補リスト変数L7のリンク情報の個数に初期化する。
【0081】
ステップS156は、リンク情報を逐次処理するループである。再生部16は、ステップS156にて、ループ変数I6を+1ずつ加算し、ループ変数I6が個数N6に達したら処理をステップS149に移行させる。再生部16は、ステップS157にて、切替ポイントテーブルから、分岐候補リスト変数L7[I6]の終点ポイントIDが指し示す切替ポイントを検索し、切替ポイント変数PVN2に代入する。
【0082】
再生部16は、ステップS158にて、切り替えると時刻が過ぎてしまうか否か、即ち、切替ポイント変数PVN2の取得時刻が、ルート変数R1の再生終了時刻を上回っているか否かを判定する。時刻が過ぎれば(YES)、再生部16は、処理をステップS156に移行させ、時刻が過ぎなければ(NO)、処理をステップS159に移行させる。
【0083】
再生部16は、ステップS159にて、再生時刻変数PLAYを切替ポイント変数PVN2の取得時刻、記憶時刻変数PREVを切替ポイント変数PVN2の取得時刻に初期化して、再生スキップ処理を実行して、処理をステップS149に移行させる。
【0084】
以上のように、再生部16は、記録開始の地点から記録終了の地点までの間のいずれかの2つの地点を出発地及び目的地として指定されて、映像ファイルを再生させる要求がなされたときには、目的地が、切替ポイントのペアのうち、取得時刻が後の切替ポイントよりも後の地点であることを条件として、映像ファイルFLを次のように再生させる。
【0085】
再生部16は、リンク情報生成部15によって生成されたリンク情報に基づいて、映像ファイルFLにおける走行映像の出発地に対応する箇所から切替ポイントのペアのうちの取得時刻が前である一方の切替ポイントに対応する箇所までの再生に続けて、切替ポイントのペアのうちの取得時刻が後である他方の切替ポイントに対応する箇所から目的地に対応する箇所までを再生させる。
【0086】
図15を用いて、再生部16による再生動作の例を説明する。図15は、図12のように走行映像を撮影した経路から生成した有向グラフを示している。携帯端末3を所有するユーザ(要求者)によって、図14のステップS141にて、矩形にて示す出発地Pdepと矩形にて示す目的地Pdes1との間の映像を再生させる要求がなされたとする。
【0087】
出発地Pdepと目的地Pdes1とが設定されると、図14のステップS142〜S148によって、出発地Pdepと目的地Pdes1とをつなぐ走行映像のうち、最も目的地Pdes1に早く到達する映像が選択される。
【0088】
映像を再生していくと、図14のステップS151にて、いずれ再生時刻が切替ポイントP1に差し掛かることが判定される。切替ポイントP1では、切替ポイントP1から切替ポイントP2へのリンク情報のみであるので、そのまま再生が継続される。切替ポイントP2に差し掛かると、終点ポイントIDが切替ポイントP3と、終点ポイントIDが切替ポイントP4の、2つのリンク情報がリストアップされる。
【0089】
切替ポイントP2から切替ポイントP4の移動コストD4は、式(1)より、単純な取得時刻の差分(秒)よりも小さい値となる。従って、再生部16は、図14のステップS152〜S159によって、巡回経路の走行映像の再生をスキップして再生することができる。
【0090】
携帯端末3を所有するユーザによって、出発地Pdepと目的地Pdes2との間の映像を再生する要求がなされたとする。この場合、切替ポイントP2から切替ポイントP4へと切り替えると、図14のステップS158にて、目的地Pdes2から求められる再生終了時刻を過ぎてしまうこと判定される。従って、再生部16は、切替ポイントP2から切替ポイントP3、切替ポイントP3から切替ポイントP4を再生する。
【0091】
図1より分かるように、映像サーバ1には、複数の映像ファイルFLが順次蓄積されていく。映像サーバ1に対して、携帯端末3からの出発地及び目的地を指定した走行映像の再生の要求がなされた場合には、映像サーバ1が蓄積されている複数の映像ファイルFLのうちから、出発地から目的地までの経路を撮影した映像ファイルFLを選択して、上述した再生を実行させればよい。
【0092】
本実施形態は、カーナビゲーションの際に実写の走行映像を提供するために用いることもできるし、例えば自宅で、出発地から目的地までの経路を車両で走行した場合に見える景色を確認するために用いることもできる。従って、映像情報の再生を要求するのは携帯端末3に限定されるものではなく、家庭に設置されているパーソナルコンピュータであってもよい。
【0093】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態では、GPS衛星4からの電波によって補助情報を得ているが、例えばジャイロによって位置情報と方角情報を得てもよく、電波時計用の電波によって時刻を得てもよい。補助情報の入手の仕方は任意である。本実施形態を、上述した各処理をコンピュータに実行させるコンピュータプログラムとして構成することも可能である。
【符号の説明】
【0094】
1 映像サーバ(映像情報提供装置)
2a〜2c ビデオカメラ
3 携帯端末
4 GPS衛星
5 ネットワーク
11 受信部
12 データベース部
13 切替ポイント登録部
14 ループ検出部(切替ポイントペア検出部)
15 リンク情報生成部
16 再生部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15