特許 5974782 映像生成装置、経路映像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5974782

(24)【登録日】2016年7月29日

(45)【発行日】2016年8月23日

(54)【発明の名称】映像生成装置、経路映像生成方法

(51)【国際特許分類】

   G01C 21/34 20060101AFI20160809BHJP

   G06T 1/00 20060101ALI20160809BHJP

【ＦＩ】

   G01C21/34

   G06T1/00 330A

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2012-215647(P2012-215647)

(22)【出願日】2012年9月28日

(65)【公開番号】特開2014-70933(P2014-70933A)

(43)【公開日】2014年4月21日

【審査請求日】2015年3月31日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中手 慎

【審査官】 島倉 理

(56)【参考文献】

【文献】 特開２００９−１７４９７０（ＪＰ，Ａ）

【文献】 特開２００１−２９０８２０（ＪＰ，Ａ）

【文献】 特開２００４−１５１０６３（ＪＰ，Ａ）

【文献】 特開２０１０−１７５７５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ２１／３４

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

複数の映像と、前記複数の映像内の各画像単位に関連付けられた物理的位置及び撮影方向を含む付加情報と、に基づいて各画像単位の特徴情報を作成する特徴情報作成手段と、
地図情報を含まない所定の検出条件に基づいて、前記複数の映像から映像切り替え可能な画像単位である切り替え点を検出し、各切り替え点を前記特徴情報と関連付けた切り替え点情報を生成する切り替え点検出手段と、
前記切り替え点情報と、前記切り替え点を検出した前記検出条件の一致性とに基づいて、異なる映像から抽出された２つの前記切り替え点を連結させる連結情報を生成する連結検出手段と、
前記切り替え点情報および前記連結情報に基づき、所望の物理的な二地点間の移動映像を、前記複数の映像から再生区間を抽出して再生順序を決定することにより生成する経路映像生成手段と、
を有し、
前記物理的位置は測位系により取得されることを特徴とする映像生成装置。

【請求項2】

前記連結検出手段は、
前記複数の映像内の第１映像に含まれる前記切り替え点である第１切り替え点と、前記複数の映像内の第２映像に含まれる前記切り替え点である第２切り替え点と、の撮影位置の距離が所定距離内にあり、かつ、前記第１切り替え点と前記第２切り替え点との前記検出条件が一致する場合、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成する、
ことを特徴とする請求項１に記載の映像生成装置。

【請求項3】

前記連結検出手段は、
前記複数の映像内の第１映像に含まれる前記切り替え点である第１切り替え点の撮影方向と、前記複数の映像内の第２映像に含まれる前記切り替え点である第２切り替え点の撮影方向と、の差が所定角度以内であり、かつ、前記第１切り替え点と前記第２切り替え点との前記検出条件が一致する場合、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成する、
ことを特徴とする請求項１に記載の映像生成装置。

【請求項4】

前記経路映像生成手段は、
前記切り替え点の各々をノードとし、前記切り替え点間の再生区間及び前記連結情報により関連付けられた前記切り替え点間をエッジとしたグラフを生成し、
ユーザが入力した再生条件と、前記切り替え点情報と、に基づいて前記グラフ上の各エッジに重みを割り当て、前記グラフ上で前記二地点間を結ぶ経路のうち、最も累積重みの小さい経路に基づいて前記移動映像を生成する、
ことを特徴とする請求項１〜３のいずれかに記載の映像生成装置。

【請求項5】

前記検出条件は、少なくとも、横断歩道がフレームアウトするフレームを切り替え点とする、という検出条件を含み、
前記検出条件が、横断歩道がフレームアウトするフレームを切り替え点とする、という検出条件である場合、
前記切り替え点検出手段は、横断歩道が映っている複数のフレームであって所定の条件を満たす当該複数のフレームを１つの横断歩道区間とし、次に、２つの前記横断歩道区間の物理的な距離を比較して当該２つの前記横断歩道区間が交差点の両側にあるものか否かを判定し、次に、交差点の両側にある当該２つの前記横断歩道区間を１つの前記横断歩道区間としてまとめ、次に、当該１つの前記横断歩道区間の最終フレームを切り替え点として検出する、
ことを特徴とする請求項１〜４のいずれかに記載の映像生成装置。

【請求項6】

複数の映像と、前記複数の映像内の各画像単位に関連付けられた物理的位置及び撮影方向を含む付加情報と、に基づいて各画像単位の特徴情報を作成する特徴情報作成ステップと、
地図情報を含まない所定の検出条件に基づいて、前記複数の映像から映像切り替え可能な画像単位である切り替え点を検出し、各切り替え点を前記特徴情報と関連付けた切り替え点情報を生成する切り替え点検出ステップと、
前記切り替え点情報と、前記切り替え点を検出した前記検出条件との一致に基づいて、異なる映像から抽出された２つの前記切り替え点を連結させる連結情報を生成する連結検出ステップと、
前記切り替え点情報および前記連結情報に基づき、所望の物理的な二地点間の移動映像を、前記複数の映像から再生区間を抽出して再生順序を決定することにより生成する経路映像生成ステップと、
を有し、
前記物理的位置は測位系により取得されることを特徴とする経路映像生成方法。

【請求項7】

前記検出条件は、少なくとも、横断歩道がフレームアウトするフレームを切り替え点とする、という検出条件を含み、
前記検出条件が、横断歩道がフレームアウトするフレームを切り替え点とする、という検出条件である場合、
前記切り替え点検出ステップにおいて、横断歩道が映っている複数のフレームであって所定の条件を満たす当該複数のフレームを１つの横断歩道区間とし、次に、２つの前記横断歩道区間の物理的な距離を比較して当該２つの前記横断歩道区間が交差点の両側にあるものか否かを判定し、次に、交差点の両側にある当該２つの前記横断歩道区間を１つの前記横断歩道区間としてまとめ、次に、当該１つの前記横断歩道区間の最終フレームを切り替え点として検出する、
ことを特徴とする請求項６に記載の経路映像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は映像生成装置および経路映像生成方法に関し、特に２つの物理的な地点間を移動する映像を生成する映像生成装置および経路映像生成方法に関する。

【背景技術】

【0002】

近年、車両や歩行者用のナビゲーションシステムが広く使用されている。これらのナビゲーションシステムでは、出発地から目的地への最適経路を計算し、この最適経路に沿って現在位置を示すカーソルを地図上に表示する。これによりユーザにとって不慣れな土地であっても適切に移動ができる支援を行う。

【0003】

ところで、広帯域なインターネット利用の普及に伴って、地図や映像等の大容量データを扱うことが容易となってきている。そのため、実写映像を用いた景観情報の提供が可能となってきている。これにより、実写映像を用いたナビゲーションシステムや、家に居ながらにして遠隔地の指定経路を移動しているような仮想体験を行うことが出来るシステムが開発されている。

【0004】

以下、実写映像を用いたシステムについて開示した文献を説明する。特許文献１には、位置情報画像（地図や建物内のフロア図等）上に表示されるカーソルの移動と同期してその地点の実風景映像を表示するシステムが開示されている。当該システムでは、位置情報画像（地図や建物内のフロア図等）と共に映像を保持する。当該システムにおける映像は地図上（位置情報画像上）の交差点同士に挟まれた道路に対応付けられている。映像上のカーソルが交差点に移動する毎に、次に移動する道路に対応した実風景映像に切り替えられる。

【0005】

特許文献２には、撮像された複数の映像を相互にリンクするナビゲーションシステムが開示されている。当該ナビゲーションシステムでは、映像の切り替えを行う再生位置（フレーム位置）や映像を撮影した測地系に基づく位置（物理的位置）をポイントデータとして複数記憶し、映像再生中に任意のポイントデータに対応する再生位置となった場合に別のポイントデータに対応する再生位置に映像切り替えを行う。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００９−１２２９１６号公報

【特許文献2】特開２００９−１７４９７０号公報

【特許文献3】特開２００３−２５２１４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記したように、通信環境の発達（高速化）や動画投稿サービス等の発達により、より多くの実写映像（カメラ映像）にアクセスすることが可能となってきている。これらの実写映像をナビゲーションに用いることにより、同じ区間を移動する複数の映像から移動にかかる所要時間が最も短い映像を選択して表示することや、所定時間帯に撮影された映像を選択して表示することができる。これにより、ユーザはより実環境に即した移動支援等のサービスを受けることができる。

【0008】

これらの実写映像は、一般的に地図情報（特許文献１における位置情報画像）と対応付けられていない。特許文献１の技術では、映像と位置情報画像が対応付けられていることが前提となっているため、これらの実写映像と位置情報画像との関連付けを行う必要がある。すなわち、これらの実写映像をそのまま使用することはできない。

【0009】

特許文献２の技術では、上記した実写映像を利用したナビゲーションを提供することは可能である。しかしながら、どのポイントデータ同士が切り替え可能であるかを示す情報を持たないため、再生中に切り替えポイントに到達した場合に他の全てのポイントデータとの比較を行う必要がある。さらに、映像の再生中に都度切り替えを行うか否かを判定する必要が生じる。さらに切り替えを行う場合には切り替え先を決定する処理を行う必要がある。これにより、映像再生中に行う処理量が膨大となり、最悪の場合には映像再生が中断される恐れがある。

【0010】

本発明は上述の課題を鑑みてなされたものであり、地図情報を用いることなく、映像と映像を連結させて移動映像を生成する処理を少ない処理量で行う映像生成装置、映像切り替え方法を提供することを主たる目的とする。

【課題を解決するための手段】

【0011】

そこで本発明は、複数の映像と、前記複数の映像内の各画像単位に関連付けられた物理的位置及び撮影方向を含む付加情報と、に基づいて各画像単位の特徴情報を作成する特徴情報作成手段（１１１）と、所定の検出条件に基づいて、前記複数の映像から映像切り替え可能な画像単位である切り替え点を検出し、各切り替え点を前記特徴情報と関連付けた切り替え点情報を生成する切り替え点検出手段（１１２）と、前記切り替え点情報と、前記切り替え点を検出した前記検出条件の一致性とに基づいて、異なる映像から抽出された２つの前記切り替え点を連結させる連結情報を生成する連結検出手段（１１３）と、前記切り替え点情報および前記連結情報に基づき、所望の物理的な二地点間の移動映像を、前記複数の映像から再生区間を抽出して再生順序を決定することにより生成する経路映像生成手段（１１４）と、を有することを特徴とする映像生成装置（１００）を提供する。
上記映像生成装置（１００）において、前記連結検出手段（１１３）は、前記複数の映像内の第１映像に含まれる前記切り替え点である第１切り替え点と、前記複数の映像内の第２映像に含まれる前記切り替え点である第２切り替え点と、の撮影位置の距離が所定距離内にあり、かつ、前記第１切り替え点と前記第２切り替え点との前記検出条件が一致する場合、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成する、ものであってもよい。
上記映像生成装置（１００）において、前記連結検出手段（１１３）は、前記複数の映像内の第１映像に含まれる前記切り替え点である第１切り替え点の撮影方向と、前記複数の映像内の第２映像に含まれる前記切り替え点である第２切り替え点の撮影方向と、の差が所定角度以内であり、かつ、前記第１切り替え点と前記第２切り替え点との前記検出条件が一致する場合、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成するものであってもよい。
上記映像生成装置（１００）において、前記連結検出手段（１１３）は、前記複数の映像内の第１映像に含まれる前記切り替え点である第１切り替え点の撮影方向と、前記複数の映像内の第２映像に含まれる前記切り替え点である第２切り替え点の撮影方向と、の差が所定角度以内である場合、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成し、それ以外の場合には、前記第１切り替え点と前記第２切り替え点を連結させる前記連結情報を生成しない、ものであってもよい。
上記映像生成装置（１００）において、前記経路映像生成手段（１１４）は、前記切り替え点の各々をノードとし、前記切り替え点間の再生区間及び前記連結情報により関連付けられた前記切り替え点間をエッジとしたグラフを生成し、ユーザが入力した再生条件と、前記切り替え点情報と、に基づいて前記グラフ上の各エッジに重みを割り当て、前記グラフ上で前記二地点間を結ぶ経路のうち、最も累積重みの小さい経路に基づいて前記移動映像を生成する、ものであってもよい。
本願発明にかかる経路映像生成方法の一態様は、複数の映像と、前記複数の映像内の各画像単位に関連付けられた物理的位置及び撮影方向を含む付加情報と、に基づいて各画像単位の特徴情報を作成する特徴情報作成ステップと、所定の検出条件に基づいて、前記複数の映像から映像切り替え可能な画像単位である切り替え点を検出し、各切り替え点を前記特徴情報と関連付けた切り替え点情報を生成する切り替え点検出ステップと、前記切り替え点情報と、前記切り替え点を検出した前記検出条件との一致に基づいて、異なる映像から抽出された２つの前記切り替え点を連結させる連結情報を生成する連結検出ステップと、前記切り替え点情報および前記連結情報に基づき、所望の物理的な二地点間の移動映像を、前記複数の映像から再生区間を抽出して再生順序を決定することにより生成する経路映像生成ステップと、を有するものである。

【発明の効果】

【0012】

本発明では、映像と映像をつなぎ合わせる映像切り替えを少ない処理量で行うことが可能な映像生成装置、映像切り替え方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１にかかる映像生成装置の構成を示すブロック図である。

【図2】地図情報の一例を示す図である。

【図3】実施の形態１にかかる切り替え点検出手段１１２による処理を示すフローチャートである。

【図4】横断歩道の一例を示す図である。

【図5A】横断歩道が映っている映像区間の一例を示す図である。

【図5B】横断歩道が映っている映像区間の一例を示す図である。

【図5C】横断歩道が映っている映像区間の一例を示す図である。

【図5D】横断歩道が映っている映像区間の一例を示す図である。

【図5E】横断歩道が映っている映像区間の一例を示す図である。

【図6】交差点の概念図である。

【図7】実施の形態１にかかる切り替え点検出手段１１２が検出した切り替え点を示す図である。

【図8】実施の形態１にかかる切り替え点検出手段１１２が検出した切り替え点情報を示す図である。

【図9】実施の形態１にかかる連結検出手段１１３による処理を示すフローチャートである。

【図10】実施の形態１にかかる連結検出手段１１３による処理を示すフローチャートである。

【図11】実施の形態１にかかる連結検出手段１１３が検出した連結情報を示す図である。

【図12】実施の形態１にかかる経路映像生成手段１１４による処理を示すフローチャートである。

【図13】実施の形態１にかかる経路映像生成手段１１４が生成した映像グラフを示す図である。

【図14】実施の形態１にかかる経路映像生成手段１１４による処理を示すフローチャートである。

【図15】地図情報（始点、終点の情報を含む）の一例を示す図である。

【図16】実施の形態１にかかる経路映像生成手段１１４が更新した切り替え点情報を示す図である。

【図17】実施の形態１にかかる経路映像生成手段１１４が更新した連結情報を示す図である。

【図18】実施の形態１にかかる経路映像生成手段１１４が更新した映像グラフを示す図である。

【図19】実施の形態１にかかる経路映像生成手段１１４が各エッジに重みづけを行った映像グラフを示す図である。

【図20】実施の形態１にかかる経路映像生成手段１１４が生成した再生リストを示す図である。

【発明を実施するための形態】

【0014】

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる映像生成装置の構成を示すブロック図である。映像生成装置１００は、再生映像生成手段１１０及び記憶手段１２０を備える。

【0015】

再生映像生成手段１１０は、特徴情報作成手段１１１、切り替え点検出手段１１２、連結検出手段１１３、及び経路映像生成手段１１４を有する。記憶手段１２０は、映像記憶手段１２１、付加情報記憶手段１２２、特徴情報記憶手段１２３、切り替え点情報記憶手段１２４、及び連結情報記憶手段１２５を有する。

【0016】

記憶手段１２０は、ＨＤＤ（Hard Disc Drive）等の記憶媒体である。なお記憶手段１２０は必ずしも映像生成装置１００の内部にある構成でなくても良く、映像生成装置１００と着脱可能な構成（例えば記憶手段１２０がＵＳＢメモリ等である構成）であっても良く、インターネット等を介して再生映像生成手段１１０と通信可能な任意の装置内に設けられても良い。

【0017】

映像取得手段２００は、車両等のダッシュボード等に設けられた動画像の撮像装置、好適にはビデオカメラである。映像取得手段２００は、取得した映像データを映像記憶手段１２１に格納する。以下、映像取得手段２００がビデオカメラ（単なるカメラとも記載する）であるものとして説明する。

【0018】

付加情報取得手段３００は、映像取得手段２００が撮影した映像データに付加する付加情報を取得し、取得した付加情報を付加情報記憶手段１２２に格納する。付加情報取得手段３００は、ＧＰＳ等の位置情報検出装置、各種センサ、ユーザからの入力を受け付ける各種のインターフェイスを含む。当該付加情報は、映像データ内の各フレームに対する情報である。

【0019】

特徴情報作成手段１１１は、映像記憶手段１２１に記憶された複数の映像データ、及び付加情報記憶手段１２２に記憶された付加情報をもとに、映像データに含まれる各フレームの特徴情報を作成する。特徴情報作成手段１１１が各フレームの特徴情報として検出する各種の情報を以下に記載する。

【0020】

‐測位系による位置情報
ＧＰＳ等の測位系により取得した経度、緯度、高度等の位置情報
‐撮影方向
映像取得手段２００による撮影時にカメラが向いていた向き

【0021】

上記の２つの項目（測位系による位置情報、撮影方向）は、各フレームに対して付加される情報である。また、以下の情報も特徴情報として各フレームに付加されていてもよい。なお、以下の情報はあくまでも例示であり、その他の情報が特徴情報として検出されてもよい。

【0022】

‐日時、時間帯
撮影時の日付、時刻、昼間・日没後等の時間帯の情報であり、たとえばＲＴＣ（リアルタイムクロック）等により撮影時の時刻を取得する
‐天候
映像撮影時の天候
‐道路標識、道路標示、信号機
速度制限等の道路標識や横断歩道等の道路標示、または信号機
‐信号や建物等のランドマーク
看板や建物等の撮影場所を特定できるようなランドマークの情報
‐移動速度、移動方向
映像撮影時のカメラの移動速度および移動方向（方角）
‐カメラの姿勢
映像撮影時のカメラの仰角等の姿勢

【0023】

さらに特徴情報は、どの映像ファイルのどのフレームに対応した特徴情報であるかを識別するための映像識別情報、及び再生位置識別情報を有する。映像識別情報は映像記憶手段１２１に格納された映像ファイルのファイルシステム上のアドレスや映像ファイル名等である。再生位置識別情報は、映像ファイル内での先頭フレームからのフレーム数や経過時間等である。

【0024】

特徴情報は、一般的には映像データ内のすべてのフレームに対応付けられるが、必ずしもこれに限られない。たとえば特徴情報は、後述する切り替え点の検出等を正確に行える間隔であれば数フレームおきに付けられていてもよい。また特徴情報は、ＧＰＳ等により位置情報と関連付けることができたフレームにのみ付加されていてもよい。

【0025】

以下の説明では、図２に示す地図上の経路を移動しながら撮影された５つの映像ファイル（０００１．ｍｐｇ、０００２．ｍｐｇ、０００３．ｍｐｇ、０００４．ｍｐｇ、０００５．ｍｐｇ）が映像記憶手段１２１に記憶され、上記項目を含む特徴情報が各映像ファイルと対応付けられて特徴情報記憶手段１２３に記憶されているものとする。

【0026】

切り替え点検出手段１１２は、各映像データ（０００１．ｍｐｇ〜０００５．ｍｐｇ）から映像間の切り替えに適したフレームである切り替え点を検出し、検出した切り替え点を切り替え点情報記憶手段１２４に格納する。切り替え点検出手段１１２による切り替え点の検出条件として例えば以下の条件が挙げられる。

【0027】

−横断歩道がフレームアウトするフレームを切り替え点とする
自動車等の移動体に搭乗しながら撮影された映像では、道路上に描かれた横断歩道がカメラの前進に応じて画面下方にフレームアウトする。このフレームアウトした直後のフレームを切り替え点とする。

【0028】

−道路標識がフレームアウトするフレームを切り替え点とする
上記の横断歩道と同様に、道路標識がフレームアウトした直後のフレームを切り替え点とする。なお道路標識は必ずしも道路上に描かれたものだけではなく、鉄柱に取り付けられたものも含む。そのため、画面下方だけではなく、他の方向にフレームアウトした場合についても検出を行う。

【0029】

−撮影開始フレーム、撮影終了フレームを切り替え点とする
映像の先頭フレームと最終フレームを切り替え点として検出する。

【0030】

上述の横断歩道や道路標識のフレームアウト検出処理は、画像処理による検出が比較的容易であり、複数の映像において共通して検出可能な特徴と言える。そのため標識等がフレームアウトするタイミングのフレームで映像切り替えを行うことにより、ほぼ同じ位置、かつほぼ同じ画角で撮影されたフレーム間での映像切り替えが可能となる。これによりユーザにとって違和感のない映像切り替えを実現することができる。なお、上述のように道路標識を検出する場合、全ての種類の道路標識を検出するのではなく、特定の道路標識のみを検出対象としても良い。また信号機等についても切り替え点の検出条件としてもよい。

【0031】

以下の説明では、横断歩道がフレームアウトするフレーム、撮影開始フレーム、撮影終了フレームを切り替え点として検出することとする。図３は、横断歩道による切り替え点の検出手法を示すフローチャートである。

【0032】

切り替え点検出手段１１２は、各映像データ（本例では０００１．ｍｐｇ〜０００５．ｍｐｇ）について画像解析を行い、横断歩道の映っているフレームを検出する（Ｓ１）。ここで検出する横断歩道は、図４に示すように、移動中の道路を横切るもののみとする。横断歩道の検出には、例えば特許文献３に示すようなパターンマッチング等の手法を用いれば良い。

【0033】

切り替え点検出手段１１２は横断歩道が映っているフレームが連続しているフレーム群をまとめ、横断歩道が映っている映像区間を決定する（Ｓ２）。以下、図５Ａ〜図５Ｅを参照して具体例を説明する。図５Ａ〜図５Ｅの５枚のフレームは、一連の撮影の中で連続して撮影されたものとする。これら５枚のフレームのうち、図５Ｂ、図５Ｃ、図５Ｄの連続する３枚のフレームには、枠で囲った部分に横断歩道が映っている。しかしその前後のフレームである図５Ａと図５Ｅには横断歩道が映っていない。そのため、切り替え点検出手段１１２は、この図５Ｂ〜図５Ｄの映像区間を横断歩道が映っている横断歩道区間として検出する。

【0034】

次に切り替え点検出手段１１２は、短い時間間隔、すなわち所定の時間間隔（例えば１秒以内）で検出された横断歩道区間同士を一つに統合して、１つの横断歩道区間とする（Ｓ３）。フレーム中の横断歩道上に歩行者や自動車等が重なった場合、一時的に横断歩道がフレームに映り込まなくなる場合がある。そこで切り替え点検出手段１１２は、複数の横断歩道区間同士が所定の条件（所定の時間間隔、所定のフレーム数）を満たして検出された場合、これらの横断歩道区間を１つの横断歩道区間とする。

【0035】

次に切り替え点検出手段１１２は、横断歩道区間同士の物理的な距離を比較し、２つ横断歩道が交差点の両側にあるものであるか否かを判定する（Ｓ４）。切り替え点検出手段１１２は、交差点の両側にある２つの横断歩道を１つの横断歩道区間として統合する。以下、Ｓ４の処理の意義及び詳細について説明する。

【0036】

一般的に交差点（十字路、丁字路その他２以上の道路が交わる地点）の両側には、それぞれ横断歩道が設けられる。この２つの横断歩道は極めて近い位置に存在する。そのため、この後に行われる処理である横断歩道のフレームアウト検出において、ある映像ファイルの交差点の前の横断歩道と、別の映像ファイルの交差点の後の横断歩道と、をマッチングしてしまう等の問題が生じえる。そこで交差点の両側の横断歩道を１つの横断歩道区間としてまとめることにより、交差点を通過した後の横断歩道のみをマッチングに用いることが可能となる。

【0037】

図６に示す交差点の概念図を用いて、本ステップ（Ｓ４）の処理について説明する。この例では、撮影カメラは矢印の方向に移動し、交差点の両側の横断歩道をｏ１、ｏ２の順序で通過する。よってＳ３までの処理において、横断歩道ｏ１がフレームインするフレームからフレームアウトするまでの映像区間と、横断歩道ｏ２がフレームインするフレームからフレームアウトするまでの映像区間の２つの横断歩道区間が検出されている。切り替え点検出手段１１２は、これらの連続して撮影された２つの横断歩道間の距離を算出する。２つの横断歩道間の距離は、ｏ１がフレームアウトしたフレームの撮像位置とｏ２がフレームインしたフレームの撮影位置を基に算出する。この距離が所定の距離以下であった場合、切り替え点検出手段１１２はｏ１がフレームインしたフレームからｏ２がフレームアウトしたフレームまでを１つの横断歩道区間として統合する。上述のＳ４までの処理により横断歩道区間が確定する。

【0038】

次に切り替え点検出手段１１２は、Ｓ４までの処理で検出した各横断歩道区間について、その通過前後の移動方向を算出する（Ｓ５）。以下、移動方向の算出方法について説明する。

【0039】

切り替え点検出手段１１２は、各横断歩道区間の最初のフレームの撮影位置Ａを当該フレームの特徴情報から取得する。切り替え点検出手段１１２は、取得したフレームから映像を遡り、所定距離（例えば２０ｍ）以上離れたフレームの撮影位置Ｂを取得する。そして撮影位置Ｂから撮影位置Ａを結ぶ方向の方位角を横断歩道通過前の移動方向として検出する。

【0040】

同様に切り替え点検出手段１１２は、各横断歩道区間の最後のフレームの撮影位置Ｃを当該フレームの特徴情報から取得する。切り替え点検出手段１１２は、取得したフレームから映像を正方向に辿り、所定距離（例えば２０ｍ）以上離れたフレームの撮影位置Ｄを取得する。そして撮影位置Ｃから撮影位置Ｄを結ぶ方向の方位角を横断歩道通過後の移動方向として検出する。

【0041】

最後に切り替え点検出手段１１２は、Ｓ５において求めた移動方向を参照し、各横断歩道区間に含まれる横断歩道の通過前後で曲がったのか、それとも直進したのかを判定する（Ｓ６）。切り替え点検出手段１１２は、横断歩道区間前の移動方向と横断歩道区間後の移動方向の方位角の差を算出し、方位角の差が所定閾値（例えば±１５°）未満である場合、直進したものと判定する。一方、方位角の差が所定閾値以上である場合、切り替え点検出手段１１２は、横断歩道の前後にある交差点で曲がったものと判定する。

【0042】

切り替え点検出手段１１２は、以上の処理（Ｓ１〜Ｓ６）により検出した各横断歩道区間の最終フレームをそれぞれ切り替え点として検出する。

【0043】

切り替え点検出手段１１２は、検出した切り替え点と当該切り替え点（フレーム）に関連付けられた特徴情報を基に切り替え点情報を切り替え点情報記憶手段１２４に格納する。切り替え点情報は、例えば以下の構成要素から構成される。当該構成要素となる情報は、特徴情報から適宜抽出する。すなわち、切り替え点検出手段１１２は、切り替え点を示すフレームを特徴情報と関連付けた切り替え点情報を生成する。

【0044】

−映像識別情報
切り替え点がどの映像に含まれるかを判別するための情報であり、たとえば映像ファイル名や当該映像ファイルがファイルシステム内のどのフォルダ（ディレクトリ）にあるか等の情報を含む
−再生位置識別情報
切り替え点の映像内でのフレーム位置を示す情報であり、例えば映像開始からの経過時間や経過フレーム数により構成される
−測位系による位置情報
切り替え点を撮影した物理的位置の情報であり、ＧＰＳ等の測位系により取得した情報（緯度、経度）により構成される
−カメラの向き
切り替え点を撮影した際のカメラの向き（たとえば真北を０°とする数値情報）
−切り替え点検出条件
当該切り替え点を検出した検出条件（横断歩道、道路標識、開始フレーム、終了フレーム）を示す識別子

【0045】

さらに切り替え点情報は、上述の情報以外の任意の情報を備えても良い。以下、一例を示す。

【0046】

−日時、時間帯
切り替え点を撮影した日時や時間帯
−天候
切り替え点を撮影した際の天候
−移動速度
切り替え点（フレーム）を撮影した際の移動速度
−移動方向
切り替え点から一定距離手前からの移動方向、または一定距離後までの移動方向、または双方（上述のＳ５により算出した情報）
−直進、カーブ
切り替え点にかかるフレーム撮影時に撮影者が直進しているか曲がっているかを示す情報であり、切り替え点前後の移動方向から算出される
−映像の見やすさ
当該切り替え点から次の切り替え点までの区間における、映像のブレや明るさ等の映像の見やすさに関する指標
−撮影者
撮影者名、撮影者を識別するための情報
−撮影目的
映像の撮影目的

【0047】

図７は、図２に示す各映像データから切り替え点検出手段１１２が検出した切り替え点を示す概念図である。図８は、切り替え点検出手段１１２が図２に示す各映像データから検出した切り替え点情報を示す図である。当該切り替え点情報は、切り替え点情報記憶手段１２４に格納される。本例では、切り替え点検出手段１１２は、映像識別情報として映像ファイル名を設定し、再生位置識別情報として映像開始からの経過時間を設定している。特徴点情報として、測位系による位置情報（緯度、経度）、カメラ向き（撮影方向）、及び検出条件を記録している。

【0048】

続いて連結検出手段１１３による連結情報の検出処理について説明する。連結検出手段１１３は、切り替え点情報記憶手段１２４に記録された切り替え点を読み出し、２つの切り替え点の組み合わせである連結を検出する。そして連結検出手段１１３は、当該連結に関する連結情報を連結情報記憶手段１２５に格納する。図９は、連結検出手段１１３の処理を示すフローチャートである。

【0049】

連結検出手段１１３は、連結情報の検出処理が行われていない切り替え点を切り替え点情報記憶手段１２４から取得する（Ｓ１１）。以下の説明では、取得した切り替え点をｐ、切り替え点が含まれる映像データをＰとする。

【0050】

連結検出手段１１３は、Ｓ１１で検出した切り替え点ｐが映像データの最終フレームではない場合、映像データＰ内において切り替え点ｐの次に再生される切り替え点との連結情報を作成し、当該連結情報を連結情報記憶手段１２５に格納する（Ｓ１２）。たとえば図８において、切り替え点ｐ０とｐ１は同じ映像データ（０００１．ｍｐｇ）から検出された切り替え点であり、かつ再生位置が連続している。そのため連結検出手段１１３は、切り替え点ｐ０とｐ１の連結情報を生成して連結情報記憶手段１２５に格納する。

【0051】

連結検出手段１１３は、映像データＰ以外の映像データから検出された切り替え点と切り替え点ｐとの連結情報を生成する（Ｓ１３）。当該ステップ（Ｓ１３）の処理については、図１０のフローチャートを参照して詳細に説明する。

【0052】

連結検出手段１１３は、処理対象とする任意の映像データＱを選択し、映像データＱの範囲情報を取得する（Ｓ１３１）。範囲情報とは、映像データＱを撮影した際に移動した範囲を示す情報である。以下の説明では、連結検出手段１１３は、映像データＱを撮影した際に取得した緯度及び経度の最小値／最小値をそれぞれ検出し、その値を範囲情報として取得する。連結検出手段１１３は、緯度及び経度の最小値／最小値から算出される４つの座標、すなわち（緯度の最小値，経度の最小値）、（緯度の最小値，経度の最大値）、（緯度の最大値，経度の最小値）、（緯度の最大値，経度の最大値）を頂点とする範囲を映像データＱの撮影範囲とする。なお位置情報の検出時の誤差を吸収するために、撮影範囲は上記の範囲よりも少し広く設定してもよい。

【0053】

連結検出手段１１３は、検出した範囲情報と切り替え点ｐの位置情報（緯度、経度）を比較し、切り替え点ｐが映像データＱの撮影範囲に含まれているか否かを判定する（Ｓ１３２）。

【0054】

切り替え点ｐが映像データＱの撮影範囲に含まれていない場合（Ｓ１３２：Ｎｏ）、映像データＱから検出された各切り替え点は切り替え点ｐと十分に距離が離れている。そのため、切り替え点ｐとこれらの切り替え点は連結できない。そのため連結検出手段１１３は、映像データＱから検出された切り替え点との連結判定の処理は行わず、全ての映像データで処理が終わったかの判定（Ｓ１３９）を行う。

【0055】

切り替え点ｐが映像データＱの撮影範囲に含まれている場合（Ｓ１３２：Ｙｅｓ）、連結検出手段１１３は、映像データＱから検出した各切り替え点との連結判定（Ｓ１３３〜Ｓ１３８）を実行する。以下、連結判定（Ｓ１３３〜Ｓ１３８）について説明する。

【0056】

連結検出手段１１３は、映像データＱから検出された各切り替え点のうち、切り替え点ｐとの連結判定が行われていない任意の切り替え点ｑを選択する（Ｓ１３３）。

【0057】

連結検出手段１１３は、切り替え点ｐと切り替え点ｑの切り替え点検出条件が一致するか否かを判定する（Ｓ１３４）。切り替え点検出条件が一致しない場合（Ｓ１３４：Ｎｏ）、両切り替え点は異なる視覚的な特徴を持ち、滑らかな切り替えが不可能となる。そのため、連結検出手段１１３は、切り替え点検出条件が一致しない場合（Ｓ１３４：Ｎｏ）には切り替え点ｑを用いた連結判定を終了し、映像データＱ内において切り替え点ｐとの連結判定をしていない切り替え点があるか否かの判定（Ｓ１３８）を行う。

【0058】

切り替え点検出条件が同一である場合（Ｓ１３４：Ｙｅｓ）、連結検出手段１１３は切り替え点ｐの撮影位置と切り替え点ｑの撮影位置を比較する（Ｓ１３５）。詳細には連結検出手段１１３は、切り替え点ｐの測位系による位置情報（緯度、経度）と切り替え点ｑの測位系による位置情報（緯度、経度）から２点間距離を算出する。連結検出手段１１３は、この２点間距離が所定の閾値（たとえば３０ｍ）よりも離れているか否かを判定する（Ｓ１３５）。

【0059】

２点間距離が所定の閾値よりも大きい場合（Ｓ１３５：Ｎｏ）、連結検出手段１１３は切り替え点ｐと切り替え点ｑは異なる場所で撮影されたものと判定する。そして連結検出手段１１３は、切り替え点ｑを用いた連結判定を終了し、映像データＱ内において切り替え点ｐとの連結判定をしていない切り替え点があるか否かの判定（Ｓ１３８）を行う。

【0060】

２点間距離が所定の閾値よりも小さい場合（Ｓ１３５：Ｙｅｓ）、連結検出手段１１３は切り替え点ｐの撮影方向（カメラ向き）と切り替え点ｑの撮影方向（カメラ向き）を比較する（Ｓ１３６）。詳細には連結検出手段１１３は、切り替え点ｐの撮影方向（カメラ向き）と切り替え点ｑの撮影方向（カメラ向き）の角度差分を算出する。連結検出手段１１３は、この角度差分が所定の角度（たとえば３０°）以上であるか否かを判定する（Ｓ１３６）。

【0061】

連結検出手段１１３は、角度差分が所定の角度以上である場合（Ｓ１３６：Ｎｏ）、切り替え点ｐと切り替え点ｑは異なる方向を向いて撮影されたものとして連結判定を終了する。角度差分が所定の角度以上である場合、切り替え点ｐと切り替え点ｑはたとえば同じ横断歩道を逆方向から撮影したフレームであること等が想定される。そして連結検出手段１１３は、切り替え点ｑを用いた連結判定を終了し、映像データＱ内において切り替え点ｐとの連結判定をしていない切り替え点があるか否かの判定（Ｓ１３８）を行う。

【0062】

一方、切り替え点ｐの撮影向きと切り替え点ｑの撮影向きの差分が所定の角度以内である場合（Ｓ１３６：Ｙｅｓ）、連結検出手段１１３は切り替え点ｐと切り替え点ｑは滑らかに映像を切り替えることができると判断する。そして連結検出手段１１３は、切り替え点ｐと切り替え点ｑにかかる連結情報を連結情報記憶手段１２５に格納する（Ｓ１３７）。

【0063】

切り替え点ｐと切り替え点ｑの連結判定が終了した後に、連結検出手段１１３は映像データＱ内にある全ての切り替え点と切り替え点ｐの連結判定を行ったか否かを判定する（Ｓ１３８）。全ての切り替え点との連結判定を行っていない場合（Ｓ１３８：Ｎｏ）、連結検出手段１１３は処理が終了していない映像データＱ内の切り替え点についてＳ１３３からの処理を行う。

【0064】

映像データＱにおける全ての切り替え点との連結判定が終了した場合（Ｓ１３８：Ｙｅｓ）、連結検出手段１１３は映像記憶手段１２１に記憶された全ての映像データについて連結判定が完了したかを判定する（Ｓ１３９）。判定が完了していない映像データがある場合（Ｓ１３９：Ｎｏ）、連結検出手段１１３は連結判定が完了していない映像データを用いて切り替え点ｐとの連結判定を行う。

【0065】

なお、上述のＳ１３４〜Ｓ１３６の判定処理は、この順序で行う必要はなく、同時に判定を行ってもよい。

【0066】

上述の連結判定の具体例を図８の切り替え点ｐ１と切り替え点ｐ５を用いて説明する。両切り替え点の切り替え点検出条件はともに「横断歩道」であり、緯度及び経度から求まる２点間距離が約１４ｍ、方位角の差（撮影方向の差）が３°であり、２点間距離および方位角の差がともに閾値以下であるため、連結検出手段１１３は両切り替え点に関する連結情報を連結情報記憶手段１２５に格納する。

【0067】

連結検出手段１１３は、以上の処理（Ｓ１１〜Ｓ１３）を切り替え点情報記憶手段１２４に格納された全ての切り替え点に関して行う。

【0068】

連結検出手段１１３は、少なくとも以下の要素を有する連結情報を連結情報記憶部１２５に格納する。
‐連結元の切り替え点識別情報
‐連結先の切り替え点識別情報

【0069】

連結検出手段１１３は、連結情報記憶部１２５への連結情報の格納の際に、連結元と連結先を区別して格納する。連結検出手段１１３は、上述のＳ１２により検出した２つの切り替え点については、再生位置（再生フレーム）が時間的に先のものを連結元とし、再生位置（再生フレーム）が時間的に後のものを連結先として連結情報記憶部１２５に格納する。連結検出手段１１３は、上述のＳ１３により検出した２つの切り替え点については、連結元と連結先を入れ替えた２つの連結情報を連結情報記憶部１２５に格納する。

【0070】

図１１は、図８に示す各切り替え点を基に作成した連結情報を示す概念図である。なお図１１において、各連結情報に識別番号（ｌ１〜ｌ１７）を付している。この連結情報が連結情報記憶手段２１５に格納される。ｌ０、ｌ１、ｌ３、ｌ５、ｌ７、ｌ８、ｌ９、ｌ１１、ｌ１３、ｌ１４、ｌ１５、ｌ１７、ｌ１８は同一映像データ内において連続する切り替え点同士を連結した連結情報（すなわちＳ１２に示す処理により作成した連結情報）である。

【0071】

一方、ｌ２、ｌ４、ｌ６、ｌ１０、ｌ１２、ｌ１６は異なる映像データから検出された切り替え点同士を連結した連結情報（すなわちＳ１３に示す処理により作成した連結情報）である。

【0072】

続いて経路映像生成手段１１４の処理について説明する。経路映像生成手段１１４は、切り替え点情報記憶手段１２に記憶された切り替え点情報、及び連結情報記憶手段２５に記憶された連結情報、に基づいて所定の物理的な２地点間に関する移動映像を生成する。詳細には経路映像生成手段１１４は、ユーザから指定された条件に最も合致する移動映像の再生リストを生成する。

【0073】

以下、図１２のフローチャートを参照して経路映像生成手段１１４の処理について説明する。はじめにユーザは、入力手段４００を操作して、移動映像の始点および終点を入力する（Ｓ２１）。ここで始点および終点の情報は、測位系による位置情報（緯度、経度）またはこれらの位置情報に換算可能な情報である。

【0074】

入力手段４００は、マウス、キーボード、タッチパネル、ボタン等のインターフェイス機器であればよい。また入力手段４００は、マイク等の音声入力機器であってもよく、ユーザからの入力を受け付ける任意の機器であればよい。

【0075】

ユーザは、入力手段４００を操作することにより移動映像の始点および終点の測位系における位置情報（緯度、経度）を数値入力することや、任意のディスプレイに表示された地図上でポインティングデバイスを操作して始点と終点を入力すればよい。または映像生成装置１００（内の任意の記憶部）が主要なランドマークの位置情報を保持しておき、ユーザが入力手段４００を操作して移動映像の始点と終点となるランドマークを指定してもよい。さらに、映像生成装置１００は映像記憶手段１２１に記憶された映像データを任意のディスプレイ上に再生し、ユーザがその再生映像を見て始点および終点となるフレームを指定してもよい。

【0076】

経路映像生成手段１１４は、ユーザが指定した始点および終点をもとに、映像記憶手段１２１に記憶された映像データから、作成する映像データの開始フレーム及び終了フレームの候補を検出する。そして経路映像生成手段１１４は、映像記憶手段１２１に格納された映像データをもとに生成する映像グラフの上に始点および終点となるノードを追加する（Ｓ２２）。

【0077】

映像グラフとは、切り替え点情報記憶手段１２４に記憶された切り替え点をノードとし、連結情報記憶手段１２５に記憶された連結をエッジとする有向グラフ構造を意味する。

【0078】

図１３は、図８に示す切り替え点情報および図１１に示す連結情報をもとに生成した映像グラフを示す図である。経路映像生成手段１１４は、この映像グラフに対して始点および終点をノードとして追加する。以下、Ｓ２２に示すノードの追加処理を図１４のフローチャートを用いて具体的に説明する。

【0079】

経路映像生成手段１１４は、映像記憶手段１２１から任意の映像データＲを選択し、映像データＲの範囲情報を取得する（Ｓ２２１）。範囲情報とは、映像データＲを撮影した際の撮影範囲を示す情報であり、上述のＳ１３１において用いた情報と同一の情報を用いてもよい。

【0080】

経路映像生成手段１１４は、ユーザがＳ２１において指定した始点の位置が映像データＲの撮影範囲に含まれているか否かを判定する（Ｓ２２２）。始点が映像データＲの撮影範囲に含まれていない場合（Ｓ２２２：Ｎｏ）、映像データＲには始点に関する映像が撮影されていないため、経路映像生成手段１１４はこの映像データＲに対する処理を終了する。

【0081】

始点が映像データＲの撮影範囲に含まれている場合（Ｓ２２２：Ｙｅｓ）、経路映像生成手段１１４は映像データＲの特徴情報として記録された測位系による位置情報をもとに、始点に最も近い場所で撮影されたフレームを検出する（Ｓ２２３）。経路映像生成手段１１４は、Ｓ２２３において検出したフレームの撮影位置と始点の位置との距離を算出し、あらかじめ定めた閾値以下であるか否かを判定する（Ｓ２２４）。当該距離が閾値よりも大きい場合（Ｓ２２４：Ｎｏ）、経路映像生成手段１１４は映像データＲには始点の映像が撮影されていないと判断し、映像データＲに対する処理を終了する。

【0082】

検出したフレームの撮影位置と始点との距離が閾値以内である場合（Ｓ２２４：Ｙｅｓ）、経路映像生成手段１１４はそのフレームを切り替え点として切り替え点情報記憶手段１２４に格納する。さらに経路映像生成手段１１４は、当該切り替え点の追加により連結情報を更新する（Ｓ２２５）。

【0083】

以下、Ｓ２２５の処理について具体例を交えて説明する。図１５は、図２に示す地図情報に対して始点（ｓｔａｒｔ）および終点（ｅｎｄ）の位置を指定した場合の地図情報を示す図である。この場合、始点（ｓｔａｒｔ）に対応する切り替え点としてｓ０、ｓ１、ｓ２が追加され、終点（ｅｎｄ）に対応する切り替え点としてｇ０、ｇ１が追加される。これらの切り替え点情報を図１６に示す。また経路映像生成手段１１４が図１１に示す連結情報を更新した後の連結情報を図１７に示す。

【0084】

図１６に示すように切り替え点ｓ０の再生位置は、切り替え点ｐ０と切り替え点ｐ１の間に存在する。そこで経路映像生成手段１１４は、切り替え点ｐ０と切り替え点ｐ１を連結する連結情報ｌ０を削除し、切り替え点ｐ０とｓ０を連結する連結情報ｌ０ａ、及び切り替え点ｓ１とｐ１を連結する連結情報ｌ０ｂを作成して連結情報記憶手段１２５に格納する。経路映像生成手段１１４は、その他の切り替え点についても同様の処理を行い、図１７に示す連結情報を作成して格納し、図１１に示す連結情報ｌ５、ｌ１４、ｌ１６を削除する。

【0085】

経路映像生成手段１１４は、以上の処理（Ｓ２２１〜Ｓ２２５）を全ての映像データに対して実行し、実行終了時に始点候補となるフレームの検出が完了したものとして処理を終了する（Ｓ２２６）。

【0086】

なお図１４では、始点に関する処理について説明したが、終点に関する処理も図１４とほぼ同様であり、経路映像生成手段１１４は終点についても同様の処理を行う。

【0087】

図１４に示す処理（Ｓ２２）により更新された連結情報をもとに生成された映像グラフを図１８に示す。図１８では、ノードが連結されているもの毎にグラフを３つのグラフ（グラフ１、グラフ２、グラフ３）に分類している。

【0088】

再び図１２を参照して、経路映像生成手段１１４の処理について説明する。経路映像生成手段１１４は、始点ノードおよび終点ノードの双方を含まないグラフを処理対象から除外する（Ｓ２３）。図１８のグラフでは、経路映像生成手段１１４は始点および終点をともに含まないグラフ３を処理対象から除外する。

【0089】

ここで全てのグラフがＳ２３の処理において除外された場合（Ｓ２４：Ｙｅｓ）、経路映像生成手段１１４は所望の２点間を移動する移動映像は作成できないと判断する。そして経路映像生成手段１１４は、処理を終了する。なお経路映像生成手段１１４は、出力手段５００を介して、所望の映像が生成できないことをユーザに通知してもよい。

【0090】

全てのグラフがＳ２３の処理において除外されなかった場合（Ｓ２４：Ｎｏ）、経路映像生成手段１１４はユーザが入力手段４００を用いて指定した再生条件を取得する（Ｓ２５）。

【0091】

再生条件とは、ユーザが見たい映像を指定するための条件である。たとえば、入力手段４００は、任意のディスプレイ上に「映像の切り替えが少ない映像」、「雨の日の映像」、「晴れの日の映像」、「できるだけ再生時間が短い映像」等の条件を表示する。ユーザは、入力手段４００を操作することによりこれの条件を選択する。この際に条件は１つのみ選択できるようにしてもよく、複数の条件を指定できるようにしてもよい。選択した再生条件は、経路映像生成手段１１４に入力される。

【0092】

経路映像生成手段１１４は、入力された再生条件をもとに映像グラフ上の各エッジの重みを算出する（Ｓ２６）。エッジの重みの算出方法は、指定された再生条件によって変化する。以下、各再生条件に対応する各エッジの重みの算出方法について説明する。

【0093】

・再生条件が「できるだけ再生時間が短い映像」である場合
連結元の切り替え点と連結先の切り替え点が同一映像データから検出されている場合、当該切り替え点間のエッジの重みは、撮影開始からの経過時間の差や映像先頭フレームからの経過フレーム数の差をもとに重みを算出する。連結元の切り替え点と連結先の切り替え点が異なる映像データから検出されている場合、当該切り替え点間のエッジの重みは、切り替えに時間がかからないために重みを０とする。

【0094】

・再生条件が「映像の切り替えが少ない映像」である場合
連結元の切り替え点と連結先の切り替え点が異なる映像データから検出されている場合、当該切り替え点間のエッジの重みは、たとえば１とする。連結元の切り替え点と連結先の切り替え点が同じ映像データから検出されている場合、当該切り替え点間のエッジの重みは、たとえば０とする。なお重みの値については、あくまでも一例であり、異なる映像データから検出された切り替え点間のエッジの重みが大きくなるように値を決めればよい。

【0095】

・再生条件が「雨の日の映像」である場合
連結先の切り替え点に関する特徴情報から天候情報を取得する。当該天候が雨である場合、当該連結先につながるエッジの重みを０として、雨以外である場合にはエッジの重みを１とする。なお、雨であるか否かの判定に加えて、湿度等のパラメータも参照してエッジの重みを定めてもよい。

【0096】

なお、上述のように再生条件を複数設定することも可能である。複数の再生条件が設定された場合の各エッジの重みの算出方法を以下に説明する。

【0097】

・再生条件として「できるだけ短い映像」と「雨の日の映像」の２つが設定された場合
各エッジの初期値を０とする。連結元の切り替え点と連結先の切り替え点が同一映像データから検出されている場合、当該切り替え点間のエッジの重みは、撮影開始からの経過時間の差や映像先頭フレームからの経過フレーム数の差をもとに重みを加算する。さらに連結先の切り替え点に関する特徴情報から天候情報を取得する。当該天候が雨以外である場合、当該連結先につながるエッジの重みに１００（またはそれ以外の正の値）を加算する。

【0098】

また経路映像生成手段１１４は、ユーザに指定された再生条件のみならず、特徴情報に含まれる各種の情報等も参照して各エッジの重みを算出してもよい。以下に例を示す。

【0099】

・切り替え点の撮影時に直進していたか否か
連結元の切り替え点および連結先の切り替え点のいずれか一方であっても、直進しながら撮影されていなかった場合、切り替え前後で撮影方向が大幅に変化してしまう可能性がある。撮影方向が大幅に変わることにより視聴者が違和感を持つ可能性がある。そこで、このような連結元の切り替え点と連結先の切り替え点を結ぶエッジに対しては適当な値を加算する。

【0100】

・映像のブレ
切り替え先の映像において、カメラの振動等の理由により映像にブレがある場合がある。ブレのある映像は視聴に適さず、視聴者が不快感を持つ場合がある。そこで、このようなブレがある映像データに含まれる連結先の切り替え点を結ぶエッジに対しては適当な値を加算する。

【0101】

また、上述のＳ１３６で考慮した撮影方向の差分に応じて各エッジに対して適当な値を加算してもよい。さらに、異なる映像を切り替える際に、各映像の撮影時間帯が大きく異なる場合（たとえば昼に撮影した映像から夜に撮影した映像に切り替える）、当該異なる映像を結ぶエッジに適当な値を加算してもよい。

【0102】

経路映像生成手段１１４は、上述したような手法を用いて映像グラフ上の各エッジに対して重みを割り当てる。図１８に示した映像グラフについて、再生条件が「できるだけ短い映像」を設定された場合の各エッジの重みの算出例を図１９を参照しつつ説明する。

【0103】

本例では、連結元の切り替え点と連結先の切り替え点が同じ映像データから検出されている場合、両切り替え点を結ぶエッジには、連結元の切り替え点の再生時間と連結先の切り替え点の再生時間との時間差が重みとなる。たとえば連結元の切り替え点の再生位置が０：１０：００であり、連結先の切り替え点の再生位置が０：１５：００である場合、当該切り替え点を結ぶエッジの重みを５とする。連結元の切り替え点と連結先の切り替え点が同じ映像データから検出されている場合、両切り替え点を結ぶエッジには、重み０を割り当てる。

【0104】

たとえば図１４に示す映像グラフ内のノードｐ０とｓ０を結ぶエッジｌ０ａは、ｐ０とｓ０が同じ映像データから検出された切り替え点であり、ｐ０とｓ０の撮影時間の差が２分であるため、重みを２とする。経路映像生成手段１１４は、同様の手法により各エッジに対して重みを割り当てる。

【0105】

図１９は、上述の処理により各エッジの重みを割り当てた後の状態を示す図である。図中において、各エッジの横にカッコつきで示された値が各エッジの重みである。

【0106】

再び図１２を参照する。経路映像生成手段１１４は、各エッジの重みを算出した（Ｓ２６）後、始点ノードから終点ノードまでの累積の重みが最も小さい経路を探索する（Ｓ２７）。探索の手法は、ダイクストラ法等の一般的な手法を用いて行えばよい。以下、図１９のデータを用いて経路の探索例を説明する。

【0107】

経路映像生成手段１１４は、図１９の映像グラフにおいて、ｓ０からｇ０、ｓ１からｇ０、ｓ２からｇ１までの各経路の累積の重みを算出する。ダイクストラ法により最小の累積重みを算出した場合、ｓ０からｇ０までの累積重みが最短の経路は、ｌ０ｂ、ｌ１、ｌ４、ｌ８、ｌ１１、ｌ１４ａを通る経路となり、累積重みは１３となる。ｓ１からｇ０までの累積重みが最短の経路は、ｌ５ｂ、ｌ６、ｌ８、ｌ１１、ｌ１４ａを通る経路となり、累積重みは１４となる。ｓ２からｇ１まで累積重みは２８となる。これらの３つの経路の中で最も累積重みが小さい経路はｓ０からｇ０までの経路となる。そこで経路映像生成手段１１４は、ｓ０からｇ０までの経路を選択する。

【0108】

再び図１２を参照する。経路映像生成手段１１４は、Ｓ２７において定めた経路に基づいて再生リストを生成する（Ｓ２８）。再生リストには、Ｓ２７において定めた経路上の映像データの再生開始時間と再生終了時間が再生順に設定される。たとえば図１９のグラフのｓ０からｇ０までの経路では、ｓ０からｐ２までは映像０００１．ｍｐｇの０：０２：００から０：０５：００までを再生する。続いて再生する映像データを０００２．ｍｐｇに切り替える。ｐ６からｐ７までは映像０００２．ｍｐｇの０：０８：００から０：１４：００までを再生する。その後に再生する映像データを０００３．ｍｐｇに切り替える。ｐ１１からｇ０までは映像０００３．ｍｐｇの０：１０：００から０：１２：００までを再生する。

【0109】

上述の処理により生成した再生リストを図２０に示す。図２０に示すように、再生リストには映像ファイルと当該映像ファイルの再生区間が格納されている。このように経路映像生成手段１１４は、複数の映像データから再生区間を抽出し、その再生順序を定めることにより２点間の移動映像を生成する。

【0110】

以上の処理により、経路映像生成手段１１４は、再生リストを生成し、処理を終了する。

【0111】

出力手段５００は、ディスプレイ装置等の表示部を有するものであり、作成された再生リストを参照して映像記憶手段１２１から映像データを適宜取得し、移動映像を再生する。なお出力手段５００は、再生リストをもとに移動映像にかかる映像ファイルを新たに作成し、作成した映像ファイルを任意の記憶手段（たとえばコンピュータファイルシステム上の特定のディレクトリ、ＵＳＢメモリ）等に格納してもよい。

【0112】

続いて本実施の形態にかかる映像生成装置１００の効果について説明する。一般的にＧＰＳを用いた位置情報の取得は、各ＧＰＳの計測時の誤差により、同じ緯度／経度と関連付けられたフレームであっても同じ位置で撮影されたものとは限らない。また、同じ緯度／経度と関連付けられたフレームであってもカメラの向き（撮影方向）、カメラ角度等の違いにより全く異なるフレームであることがある。

【0113】

そこで、位置情報ではなく映像データを用い、見た目が似ているフレーム同士を関連付けることが好ましい。しかし特許文献２の技術をはじめとする従来の技術では、映像データ内のフレーム同士を関連付ける際に膨大な処理量が生じてしまう。

【0114】

一方、本発明にかかる映像生成装置１００は、各映像データから切り替え点を算出し、切り替え点同士の比較により映像の切り替えが可能な連結情報を生成する。ここで切り替え点とは、映像切り替えに適したフレームを所定の画像処理技術を用いて検出する。そして切り替え点の検出時に、特徴情報（位置情報、検出条件等）を合わせて記録する。連結検出手段１１３は、検出した切り替え点のみを対象として対応付け（すなわち連結情報の作成）を行う。これにより、処理対象のフレームが切り替え点のみとなり、処理量を最小限に抑えることが可能になる。処理量を最小限にすることができることにより、短い時間で所望の移動映像を生成でき、移動映像の参照中に映像が途切れるような問題を回避することができる。

【0115】

また映像生成装置１００は、上述したように地図情報を用いることなく、映像データを用いて所望の移動映像を生成することができる。これにより、地図情報と映像データを関連付ける労力が不要となるとともに、地図情報の陳腐化（新たに道ができる等）に起因する誤った移動映像を作成することを回避することができる。

【0116】

さらに、連結検出手段１１３は、各切り替え点を対応付ける（連結情報を作成する）際に、切り替え点の検出条件、切り替え点を撮影した位置情報、切り替え点を撮影した際の撮影方向（カメラ向き）を比較して連結情報を作成する。すなわち連結検出手段１１３は、映像が滑らかに切り替わる場合にのみ連結情報を作成する。これにより、映像生成装置１００はユーザに対して違和感の無い映像を提供することが可能となる。

【0117】

さらに詳細に説明する。連結検出手段１１３は、異なる映像データ（第１映像データ、第２映像データ）から検出した２つの切り替え点（以下の説明では第１切り替え点、第２切り替え点とする。）の検出条件が一致していない場合、第１切り替え点と第２切り替え点に関する連結情報を生成せず、一致する場合には他の条件を満たすことを条件に連結情報を生成する。これにより、同一条件で検出されていない切り替え点同士を対応付けることがなくなり、不自然な映像切り替えを防止することができる。

【0118】

連結検出手段１１３は、第１切り替え点の撮影位置と第２切り替え点の撮影位置が十分に近くない場合には連結情報を生成せず、十分に近い場合には他の条件を満たすことを条件に連結情報を生成する。これにより、異なる地点を関連付けて誤ったナビゲーションを行うことを回避することができるとともに、物理的に近い地点を関連付けることにより滑らかな映像切り替えを実現することができる。

【0119】

さらに連結検出手段１１３は、第１切り替え点の撮影方向（カメラの向き）と第２切り替え点の撮影方向（カメラ向き）が十分に近くない場合には連結情報を生成せず、十分に近い場合には他の条件を満たすことを条件に連結情報を生成する。これにより、たとえば映り込む風景が似通っている場合にのみ映像を切り替えることができ、ユーザにとって違和感の無い滑らかな映像切り替えを実現することができる。

【0120】

さらに経路映像生成手段１１４は、切り替え点をノードとする映像グラフを生成し、ノード間を結ぶ各エッジに対して、ユーザが指定した再生条件に応じた重みを割り当てる。そして経路映像生成手段１１４は、所望の物理的な２点間にかかる始点と終点を結ぶ映像グラフ上の経路のうち、最も累積の重みが小さい経路を基に移動映像を生成する。これにより、ユーザの指定した再生条件に最も合致した移動映像を提供することができる。

【0121】

経路映像生成手段１１４は、ユーザが指定した再生条件のみならず、撮影時の情報（映像のブレ等）を考慮することにより、ユーザの指定した再生条件に合致する鮮明な映像を提供することができる。

【0122】

さらにまた切り替え点検出手段１１２は、横断歩道にかかる切り替え点検出の際に、横断歩道の検出間隔を考慮し、検出間隔が十分に短い場合には１つの横断歩道区間に統合する。これにより、歩行者等が一時的に映り込んだ場合であっても横断歩道を正確に検出することができる。なお切り替え点検出手段１１２は、横断歩道以外の表示等（たとえば道路標識等）を検出する際にも検出間隔を考慮して１回の検出であるとみなす処理をしてもよいことは言うまでもない。

【0123】

さらにまた切り替え点検出手段１１２は、横断歩道にかかる切り替え点検出の際に、横断歩道区間同士の距離を比較することにより、交差点の両側にある２つの横断歩道区間を統合している。これにより、連結検出手段１１３による連結情報の作成時の誤った処理を防止することができる。

【0124】

以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【0125】

例えば経路映像生成手段１１４は、昼の映像データと夜の映像データを切り替える場合には、その表示効果を変化させるための各種情報（たとえば移動映像の明るさ／色相／彩度を調整して表示画面の色が急激に変化しないようにするための情報）を再生リスト内に含めてもよい。

【0126】

上述の映像生成装置１００内の各処理部（特徴情報作成手段１１１、切り替え点検出手段１１２、連結検出手段１１３、経路映像生成手段１１４）の処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0127】

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと協働して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

【符号の説明】

【0128】

１００ 映像生成装置
１１０ 再生映像生成手段
１１１ 特徴情報作成手段
１１２ 切り替え点検出手段
１１３ 連結検出手段
１１４ 経路映像生成手段
１２０ 記憶手段
１２１ 映像記憶手段
１２２ 付加情報記憶手段
１２３ 特徴情報記憶手段
１２４ 切り替え点情報記憶手段
１２５ 連結情報記憶手段
２００ 映像取得手段
３００ 付加情報取得手段
４００ 入力手段
５００ 出力手段

【図1】

【図2】

【図3】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図6】