知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024133610
(43)【公開日】2024-10-02
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
H04N 5/76 20060101AFI20240925BHJP
H04N 5/92 20060101ALI20240925BHJP
G11B 20/10 20060101ALI20240925BHJP
G11B 27/10 20060101ALI20240925BHJP
G11B 27/00 20060101ALI20240925BHJP
G08G 1/00 20060101ALI20240925BHJP
G07C 5/00 20060101ALI20240925BHJP
G09B 29/00 20060101ALI20240925BHJP
【ＦＩ】
H04N5/76
H04N5/92 010
G11B20/10 321Z
G11B27/10 A
G11B27/00 D
G11B27/00 E
G08G1/00 D
G07C5/00 Z
G09B29/00 F
【審査請求】有
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2024108121
(22)【出願日】2024-07-04
(62)【分割の表示】P 2020022809の分割
【原出願日】2020-02-13
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】110001025
【氏名又は名称】弁理士法人レクスト国際特許事務所
(72)【発明者】
【氏名】黄 慶浩
(57)【要約】
【課題】移動体から撮影された風景動画から、所望の場面を効率的に検索することが可能な画像処理装置及びその画像処理方法を提供する。
【解決手段】本発明の画像処理装置は移動体から撮影された風景動画を取得する取得部と、前記風景動画の撮影期間中の各時点における撮影状況に関する情報に基づいた重要度情報を、前記風景動画に付与した前記風景動画である情報保有動画を生成する動画生成部と、前記風景動画を構成する複数のフレーム画像から前記重要度情報に基づいて複数のサムネイル画像を抽出し、前記サムネイル画像を時系列に沿って配列したサムネイル群画像を生成するサムネイル群画像生成部と、を有し、前記サムネイル群画像生成部は、前記重要度情報に応じて単位撮影時間当たりのサムネイル画像の抽出数を変化させることを特徴としている。
【選択図】図４
【解決手段】本発明の画像処理装置は移動体から撮影された風景動画を取得する取得部と、前記風景動画の撮影期間中の各時点における撮影状況に関する情報に基づいた重要度情報を、前記風景動画に付与した前記風景動画である情報保有動画を生成する動画生成部と、前記風景動画を構成する複数のフレーム画像から前記重要度情報に基づいて複数のサムネイル画像を抽出し、前記サムネイル画像を時系列に沿って配列したサムネイル群画像を生成するサムネイル群画像生成部と、を有し、前記サムネイル群画像生成部は、前記重要度情報に応じて単位撮影時間当たりのサムネイル画像の抽出数を変化させることを特徴としている。
【選択図】図４
【特許請求の範囲】
【請求項1】
動画を構成するフレーム画像ごとに重要度情報が付与された動画情報を取得する取得部と、
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出部と、
前記抽出部により抽出された複数のサムネイル画像を時系列に配列したサムネイル画像群を生成するサムネイル画像生成部と、
を備え、
前記抽出部は、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理装置。
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出部と、
前記抽出部により抽出された複数のサムネイル画像を時系列に配列したサムネイル画像群を生成するサムネイル画像生成部と、
を備え、
前記抽出部は、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理装置。
【請求項2】
請求項１に記載の画像生成装置において、
前記抽出部は、前記動画において前記重要度情報が示す重要度が高い区間に対応する前記サムネイル画像の抽出時間間隔が、前記重要度が低い区間に対応する前記サムネイル画像の抽出時間間隔よりも短くなるように、前記抽出間隔を決定することを特徴とする画像処理装置。
前記抽出部は、前記動画において前記重要度情報が示す重要度が高い区間に対応する前記サムネイル画像の抽出時間間隔が、前記重要度が低い区間に対応する前記サムネイル画像の抽出時間間隔よりも短くなるように、前記抽出間隔を決定することを特徴とする画像処理装置。
【請求項3】
請求項１または２に記載の画像生成装置において、
前記抽出部は、前記重要度情報が示す重要度が高いほど、前記動画の単位撮影時間当たりの前記サムネイル画像の抽出数が多くなるように前記抽出間隔を決定することを特徴とする画像処理装置。
前記抽出部は、前記重要度情報が示す重要度が高いほど、前記動画の単位撮影時間当たりの前記サムネイル画像の抽出数が多くなるように前記抽出間隔を決定することを特徴とする画像処理装置。
【請求項4】
請求項１～３のいずれか一項に記載の画像処理装置において、
前記抽出部は、前記重要度情報として前記フレーム画像ごとに付与された、前記動画の撮影時の実際の時間経過を示すタイムコードとは異なる時間経過を示す仮想タイムコードに基づいて、前記抽出間隔を決定することを特徴とする画像処理装置。
前記抽出部は、前記重要度情報として前記フレーム画像ごとに付与された、前記動画の撮影時の実際の時間経過を示すタイムコードとは異なる時間経過を示す仮想タイムコードに基づいて、前記抽出間隔を決定することを特徴とする画像処理装置。
【請求項5】
請求項４に記載の画像処理装置において、
前記抽出部は、前記仮想タイムコードは、前記動画において前記重要度情報が示す重要度が低い区間ほど、前記動画の撮影時の実際の時間経過よりも時間の経過が早いことを特徴とする画像処理装置。
前記抽出部は、前記仮想タイムコードは、前記動画において前記重要度情報が示す重要度が低い区間ほど、前記動画の撮影時の実際の時間経過よりも時間の経過が早いことを特徴とする画像処理装置。
【請求項6】
請求項１～５のいずれか一項に記載の画像処理装置において、
前記重要度情報が示す重要度は、前記動画の撮影装置の移動速度に基づいて決定されたものであることを特徴とする画像処理装置。
前記重要度情報が示す重要度は、前記動画の撮影装置の移動速度に基づいて決定されたものであることを特徴とする画像処理装置。
【請求項7】
請求項１～５のいずれか一項に記載の画像処理装置において、
前記重要度情報が示す重要度は、前記動画の撮影装置の位置情報に基づいて決定されたものであることを特徴とする画像処理装置。
前記重要度情報が示す重要度は、前記動画の撮影装置の位置情報に基づいて決定されたものであることを特徴とする画像処理装置。
【請求項8】
請求項７に記載の画像処理装置において、
前記重要度情報が示す重要度は、前記撮影装置の位置と照らし合わせた地図上の位置に対応する情報に基づいて決定されたものであることを特徴とする画像処理装置。
前記重要度情報が示す重要度は、前記撮影装置の位置と照らし合わせた地図上の位置に対応する情報に基づいて決定されたものであることを特徴とする画像処理装置。
【請求項9】
請求項１～５のいずれか一項に記載の画像処理装置において、
前記重要度情報が示す重要度は、前記動画の撮影装置の移動方向を基準とした撮影方向に基づいて決定されたものであることを特徴とする画像処理装置。
前記重要度情報が示す重要度は、前記動画の撮影装置の移動方向を基準とした撮影方向に基づいて決定されたものであることを特徴とする画像処理装置。
【請求項10】
画像処理装置が、動画を構成するフレーム画像ごとに重要度情報が付与された動画情報からサムネイル画像群を生成する画像処理方法であって、
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出工程と、
前記抽出工程において抽出された複数のサムネイル画像を時系列に配列した前記サムネイル画像群を生成するサムネイル画像生成工程と、
を含み、
前記抽出工程において、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理方法。
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出工程と、
前記抽出工程において抽出された複数のサムネイル画像を時系列に配列した前記サムネイル画像群を生成するサムネイル画像生成工程と、
を含み、
前記抽出工程において、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理方法。
【請求項11】
コンピュータを備える画像処理装置によって実行される画像処理プログラムであって、
前記コンピュータを、
動画を構成するフレーム画像ごとに重要度情報が付与された動画情報を取得する取得手段、
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出手段、及び、
前記抽出手段により抽出された複数のサムネイル画像を時系列に配列したサムネイル画像群を生成するサムネイル画像生成手段、
として機能させ、
前記抽出手段は、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理プログラム。
前記コンピュータを、
動画を構成するフレーム画像ごとに重要度情報が付与された動画情報を取得する取得手段、
前記動画情報から前記フレーム画像の一部をサムネイル画像として抽出する抽出手段、及び、
前記抽出手段により抽出された複数のサムネイル画像を時系列に配列したサムネイル画像群を生成するサムネイル画像生成手段、
として機能させ、
前記抽出手段は、前記重要度情報及びサムネイル画像生成数に基づいて前記サムネイル画像を抽出する抽出間隔を決定することを特徴とする画像処理プログラム。
【請求項12】
請求項１１に記載の画像処理プログラムを格納したことを特徴とするコンピュータが読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を処理する画像処理装置及びその処理方法に関する。
【背景技術】
【0002】
近年、車両等の移動体に備えられた撮影装置で風景動画を撮影し、車両から撮影された場面を後から見返すことができるような再生装置が普及している。
【0003】
例えば、特許文献１には、移動体に搭載された車載カメラで撮影された風景動画の撮影開始から撮影終了までの撮影時間に対応するタイムバーと、タイムバー上の位置をユーザにより指示可能に示すスライダーと、風景動画を撮影した際の走行経路沿いに存在するランドマークをタイムバー上の対応する位置にて示すランドマークアイコンと、を含む指示表示画像をディスプレイに表示させ、さらに、風景動画のうちタイムバー上のスライダーの位置に対応する撮影時刻に関連付けられた風景動画をディスプレイに表示させる車両用表示システムが開示されている。
【0004】
また、例えば、特許文献２には、動画データから静止画を抽出してサムネイル画像を生成し、タイムライン上に一定時間間隔で並べて表示させることで、動画中の所望の場面が記録された部分を容易に見つけることを可能とする動画像検索閲覧装置が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１３－３２９４９号公報
【特許文献2】特開２００２－２８１４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１の表示システムにおいては、移動体から外部の風景を撮影した動画中から所望の風景が記録された部分を見つけようとする際に、スライダーの位置を変化させつつ又はランドマークアイコン付近から再生させつつディスプレイに表示される画像を視認しながら所望の場面を探さねばならない故、動画の撮影時間が長いと所望の場面に到達するまでに時間を要する場合がある。
【0007】
また、特許文献２の動画像検索閲覧装置においては、例えば、移動体の移動速度が遅く所定時間あたりの風景の変化が少ない場合には、一定時間間隔のサムネイル画像には同じような風景や画像が複数並ぶ故、所望の風景が写ったサムネイル画像を見つけ出すまでに時間を要する場合がある。
【0008】
本発明は、上記の点に鑑みてなされたものであり、移動体から撮影された風景動画から、所望の場面を効率的に検索することが可能な画像処理装置及びその画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
請求項１に記載の発明は、移動体から撮影された風景動画を取得する取得部と、前記風景動画の撮影期間中の各時点における撮影状況に関する情報に基づいた重要度情報を、前記風景動画に付与した情報保有動画を生成する動画生成部と、前記風景動画を構成する複数のフレーム画像から前記重要度情報に基づいて複数のサムネイル画像を抽出し、前記サムネイル画像を時系列に沿って配列したサムネイル群画像を生成するサムネイル群画像生成部と、を有し、前記サムネイル群画像生成部は、前記重要度情報に応じて単位撮影時間当たりのサムネイル画像の抽出数を変化させることを特徴としている。
【0010】
また、請求項１０に記載の発明は、画像処理装置が、重要度情報が付与された情報保有動画からサムネイル画像を抽出する画像処理方法であって、前記重要度情報及びサムネイル画像生成数に基づいてサムネイル画像を抽出する抽出間隔を決定する間隔決定工程と、前記抽出間隔に基づいて前記情報保有動画を構成する複数のフレーム画像からサムネイル画像として抽出する複数のフレーム画像を決定するフレーム画像決定工程と、前記情報保有動画から前記サムネイル画像として抽出する複数のフレーム画像を抽出してサムネイル群画像を生成する抽出工程と、を含むことを特徴としている。
【0011】
また、請求項１１に記載の発明は、コンピュータに備える画像処理装置によって実行される画像処理プログラムであって、前記コンピュータに、重要度情報及びサムネイル画像生成数に基づいてサムネイル画像を抽出する抽出間隔を決定する間隔決定工程と、前記抽出間隔に基づいて情報保有動画を構成する複数のフレーム画像からサムネイル画像として抽出する複数のフレーム画像を決定するフレーム画像決定工程と、前記情報保有動画から前記サムネイル画像として抽出する複数のフレーム画像を抽出してサムネイル群画像を生成する抽出工程と、を実行させることを特徴としている。
【図面の簡単な説明】
【0012】
【図1】本願の実施例に係る画像処理装置１０を搭載した自動車Ｍの斜視図である。
【図2】本願の実施例に係る画像処理装置１０を搭載した自動車Ｍのリアドアを自動車Ｍの後席から見た図である。
【図3】本願の実施例に係る画像処理装置１０のタッチパネル１７に表示される操作受付表示の一例を示す図である。
【図4】本願の実施例に係る画像処理装置１０の機能ブロック図である。
【図5】本願の実施例に係る画像処理装置１０において、車載カメラＣＭで撮影された風景動画に仮想タイムコードを付与して情報保有動画を生成するフローチャートＦＣ１である。
【図6】本願の実施例に係る画像処理装置１０の風景動画撮影時の撮影開始からの経過時間、所定時間ごとの複数のフレームのフレーム番号及び複数のフレームの基本タイムコード、および仮想タイムコードの例である。
【図7】図６に示した情報保有動画の例における情報保有動画を構成する複数のフレームのフレーム番号とそれぞれのフレーム番号に付与される仮想タイムコードの関係及び抽出されるサムネイル画像の関係を示す図である。
【図8】本実施例の風景動画から抽出される１０枚のサムネイル画像ＳＭ１～ＳＭ１０における、当該サムネイル画像ＳＭ１～ＳＭ１０に付随するタイムコード、フレーム番号及びその重要度である。
【図9】本願の実施例に係る画像処理装置１０のサムネイル画像の生成を行う際のフローチャートＦＣ２である。
【発明を実施するための形態】
【0013】
以下に本発明の実施例について詳細に説明する。
【実施例0014】
図１は、本願の実施例に係る画像処理装置１０を搭載した自動車Ｍの斜視図である。
【0015】
画像処理装置１０は、自動車Ｍに搭載された車載カメラによって自動車Ｍの周囲の風景動画を撮影して、当該撮影した風景動画を再生する画像処理装置である。以下の説明においては、自動車Ｍのウィンドウに風景動画を表示可能な構成について説明する。
【0016】
画像処理装置１０は、例えば、自動車Ｍのダッシュボード内に搭載されている。画像処理装置１０は、外部から取得されるかまたは自身が保持する動画を再生して映像出力することが可能に構成されている。
【0017】
取得部としての車載カメラＣＭは、例えば、自動車Ｍのルーフ部分又はドアパネル部分等に搭載され、自動車Ｍの前方、側方又は後方の風景を撮影可能に構成されている。車載カメラＣＭは、画像処理装置１０に通信可能に接続されており、撮影した静止画または動画を画像処理装置に送信可能に構成されている。
【0018】
動画表示部としてのディスプレイ１５は、例えば、透明な液晶又は有機ＥＬのディスプレイ等の透明パネルで構成され、自動車ＭのウィンドウＷＤに取り付けられており、車内から視認可能な画像を表示可能なディスプレイである。ディスプレイ１５は、画像処理装置１０と通信可能に接続されており、画像処理装置１０から出力された静止画または動画を表示可能に構成されている。
【0019】
例えば、ディスプレイ１５は、車載カメラＣＭで撮影した自動車Ｍの前方、側方又は後方の風景動画がそれぞれフロントウィンドウ、ドアウィンドウ、リアウィンドウで表示可能に構成されている。尚、ディスプレイ１５は、例えば、自動車Ｍ内部に設置されたカーナビゲーションシステムのディスプレイ等でもよい。
【0020】
図２は、本願の実施例に係る画像処理装置１０を搭載した自動車Ｍのリアドアを自動車Ｍの後席から見た図である。
【0021】
上述のように、ディスプレイ１５は、例えば、透明な液晶又は有機ＥＬのディスプレイ等の透明パネルで構成され、自動車ＭのウィンドウＷＤに取り付けられる。従って、例えば、ディスプレイ１５に動画が表示されていない場合においては、自動車Ｍの内部からディスプレイ１５を介して外の景色を見ることが可能となる。
【0022】
操作受付部としてのタッチパネル１７は、ドアパネルの内側に取り付けられているタッチパネルディスプレイである。例えば、タッチパネル１７は、液晶パネル等のディスプレイ１７ａと、当該ディスプレイの表示面に貼り付けられ、人の指等での操作を受け付けるタッチパッド１７ｂと、を備えたタッチパネルディスプレイである。
【0023】
タッチパネル１７は、画像処理装置１０に通信可能に接続されており、画像処理装置１０から出力された映像を表示することが可能である。また、タッチパネル１７は、ディスプレイ１５に表示される動画の再生、早送り又は早戻しの操作を受け付けて、当該操作の受付に基づく指示を画像処理装置１０に送信することが可能である。
【0024】
具体的には、例えば、タッチパネル１７には、ディスプレイ１５にて再生している動画の所定時間ごとのサムネイル画像が再生時刻順に並べて表示される。
【0025】
図３は、本願の実施例に係る画像処理装置１０のタッチパネル１７に表示される操作受付表示の一例を示す図である。
【0026】
操作受付表示は、例えば、ディスプレイ１５にて再生している風景動画の所定時間ごとのサムネイル画像ＳＭ１～ＳＭ６が再生時刻順に並んでいるサムネイル画像列ＳＲと、再生又は一時停止を切り替える指示を行うボタンＰＬと、早送り操作を指示するボタンＦＷと、早戻し操作を指示するボタンＲＷ及び風景動画の現在再生時間位置を示すバーＢＡ並びに時間表示部ＴＭを含んでいる。また、サムネイル画像列ＳＲに含まれるサムネイル画像は、風景動画の再生時間の経過に応じて右方から左方にスクロールしながら表示される。
【0027】
図４は、本願の実施例に係る画像処理装置１０の機能ブロック図である。画像処理装置１０は、例えば、システムバス１３を介して、入力部２０と、出力部３０と、操作入力部４０と、記憶部５０及び動画制御部６０とが協働する装置である。
【0028】
入力部２０は、画像処理装置１０の外部の機器からデータを取得するインターフェースである。入力部２０は、自動車Ｍに備えられている車載カメラＣＭに接続されている。例えば、画像処理装置１０は、入力部２０を介して車載カメラＣＭから風景画像を取り込むことが可能である。
【0029】
また、入力部２０は、自動車の走行速度を取得する速度センサＳＳと、自動車の位置情報を取得する全地球航法衛星システム（ＧＮＳＳ：Global Navigation Satellite System）の１つである全地球測位システム（ＧＰＳ：Global Positioning System）の情報を受信可能なＧＰＳ受信機ＧＰと、に接続されている。すなわち、画像処理装置１０は、速度センサＳＳから自動車Ｍの速度を取得可能であり、かつＧＰＳ受信機ＧＰからＧＰＳ情報を取得可能に構成されている。
【0030】
出力部３０は、画像処理装置１０の外部の機器にデータを出力するインターフェースである。出力部３０は、上述したディスプレイ１５及びタッチパネル１７のディスプレイ１７ａに接続され、これらに画像を出力可能である。具体的には、例えば、画像処理装置１０は、出力部を介して、ディスプレイ１５には、動画を出力し、ディスプレイ１７ａには、再生操作のための操作受付表示となる操作画像を出力する。
【0031】
操作入力部４０は、外部の機器から操作入力の信号を取得するインターフェースである。操作入力部４０は、タッチパッド１７ｂに接続されており、タッチパッド１７ｂにおいて上記操作画像に対して受け付けられた操作を示す信号を取得可能である。
【0032】
記憶部５０は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成されており、画像処理装置１０におけるサムネイル画像の生成、動画の再生等に関する各種プログラムを記憶する。なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク（図示せず）を介して取得されるようにしてもよいし、記録媒体に記録されて各種ドライブ装置を介して読み込まれるようにしてもよい。
【0033】
記憶部５０に記憶される各種プログラムは、ネットワークを介して伝送可能であり、また、コンピュータ読み取り可能な記録媒体に記録して譲渡することが可能である。また、記憶部５０には、画像処理装置１０の外部から取り込まれたデータ、例えばカメラＣＭから取り込まれた風景動画のデータ、速度センサＳＳ及びＧＰＳ受信機ＧＰから取り込まれた風景動画撮影時の自動車Ｍの速度及び位置情報を格納可能である。また、記憶部５０には、画像処理装置１０の内部において生成されたデータを格納可能である。
【0034】
動画制御部６０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、コンピュータとして機能する。動画制御部６０においては、ＣＰＵが、ＲＯＭや記憶部５０に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。
【0035】
動画制御部６０は、入力部２０を介して取得された風景動画に情報を付与して再生用の情報保有動画を生成する動画生成部６３を有している。動画生成部６３は、記憶部５０に記録された風景動画と当該風景動画が撮影された各時点の自動車Ｍの速度及び位置情報のデータを読み出す。読み出された風景動画を構成する複数のフレーム画像の各々に対して、当該複数のフレームの各々が撮影された各時点の自動車Ｍの速度又は位置情報に基づいた情報を付与する。例えば、動画生成部６３は、各フレーム画像について、自動車Ｍの走行速度に応じた重要度を決定し、当該重要度に基づいた情報である重要度情報を風景動画に付与する。
【0036】
重要度は、例えば、自動車Ｍの走行速度、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、又は自動車Ｍの走行方向を基準とした車載カメラＣＭが撮影する撮影方向に基づいて判定される。
【0037】
例えば、自動車Ｍが低速で走行している又は停車中である場合、自動車から見られる周囲の風景はほとんど変化しない。それ故、動画生成部６３は、自動車の走行速度に対して重要度を判定する場合においては、自動車Ｍが低速で走行している又は停車中の間の風景の重要度を低いと判定する。逆に、自動車が高速で走行している場合においては、短時間で風景動画が大きく変化する故、重要度は高いと判定する。
【0038】
また、動画生成部６３は、例えば、ＧＰＳによる自動車の位置情報と予め記録された地図データベースを連動させて自動車が地図データベース上で見どころランクの高い位置にある場合に重要度が高いと判定する。逆に、自動車Ｍが地図データベース上で見どころランクの低い位置にある場合の風景動画においては、動画生成部６３は重要度が低いと判定する。
【0039】
また、位置情報による重要度は地図データベースと連動せずに判定されてもよい。例えば、標高の高い山間部においては、景色等の見ごたえ度が高い場合がある。それ故、ＧＰＳ等の測位情報から所定の位置の範囲の測位を検出した時点で重要度を高いと判定してもよい。
【0040】
また、自動車Ｍが走行中の風景動画においては、自動車Ｍの進行方向の前方又は後方を撮影した風景動画に対して進行方向の側方を撮影した風景動画は短時間で大きく変化する。従って、動画生成部６３は、進行方向の前方又は後方の風景動画に対して進行方向の側方の風景動画の重要度を高いと判定する。
【0041】
また、ＧＰＳ受信機ＧＰがＧＰＳ情報を所定時間以上に亘って取得できない場合は、自動車Ｍが例えばトンネル等の構造物の中を走行している可能性が高く、このような場合、風景動画は単調な内容が継続することになる。従って、動画生成部６３は、ＧＰＳ情報が受信される際の風景動画に対してＧＰＳ情報が受信されない際の風景動画の重要度を低いと判定する。
【0042】
上記の重要度の判定条件は、任意に設定可能である。また、重要度の判定条件は、自動車Ｍの走行速度、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、又は自動車Ｍの走行方向に対する撮影部が撮影する撮影方向の１つに限らず、複数の判定条件による重要度判定がなされてもよい。
【0043】
換言すれば、動画生成部６３は、重要度を自動車Ｍの移動速度、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、自動車Ｍの移動方向を基準とした撮影方向、又は衛星システムの電波受信状況に基づいて判定する。
【0044】
尚、重要度においても動画撮影時の速度や位置に限定されない。例えば、動画を構成する複数のフレーム画像の各々を比較してフレーム画像間の画像の変化の大きいフレームを重要度を大として判定してもよい。
【0045】
また、例えば、動画生成部６３は、重要度に基づいて風景動画の撮影時の実際の時間経過を示すタイムコード（以下、基本タイムコードと称する）とは異なる時間経過を示す仮想タイムコードを付与した情報保有動画を生成する。
【0046】
仮想タイムコードは、所定時間ごとの重要度の平均値から算出されるものであって、重要度を仮想的な時間経過に反映させた形式の重要度情報である。
【0047】
具体的には、動画生成部６３は、所定時間ごとに算出した重要度の平均値に応じて、風景動画の所定時間ごとの複数のフレーム画像の各々に基本タイムコードと時間経過の異なる時間経過を含む仮想タイムコードを付与する。すなわち、動画生成部６３は、風景動画と当該風景動画が撮影された時の自動車Ｍの速度又は位置情報のデータから重要度及び仮想タイムコードを生成する重要度情報取得部として機能する。また、当該生成した重要度情報としての仮想タイムコードを風景動画に付与して情報保有動画を生成する動画生成部として機能する。
【0048】
尚、仮想タイムコードは、重要度が高いほど基本タイムコードの時間経過と近くなり、また、重要度が低いほど基本タイムコードの時間経過よりも早くなるように設定される。
【0049】
また、動画生成部６３は、重要度の平均値を算出する所定時間を任意に設定可能である。
【0050】
動画生成部６３で生成された情報保有動画は、記憶部５０に保存される。なお、動画に付与される重要度情報は、自動車Ｍの移動速度、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、自動車Ｍの移動方向を基準とした撮影方向、衛星システムの電波受信状況に基づいた重要度、及び仮想タイムコードのうちの１または複数を含み得る。
【0051】
サムネイル群画像生成部としてのサムネイル生成部６５は、記憶部５０に記録されている情報保有動画を構成する複数のフレーム画像から、仮想タイムコード及びサムネイル画像の生成数量に基づいた所定時間ごとにフレーム画像を抽出し、タッチパネル１７のサムネイル表示領域ＳＲに表示させるサムネイル画像を生成する。サムネイル生成部６５は、当該生成したサムネイル画像を出力部３０を介してディスプレイ１７ａに供給してサムネイル画像列ＳＲに表示させる。
【0052】
尚、サムネイル画像の生成数量は任意に設定可能である。例えば、１つの風景画像に対して所定の数量を設定してもよいし、撮影した風景動画の録画時間から自動で設定されてもよい。
【0053】
再生制御部６７は、記憶部５０に記録されている情報保有動画を読み出して、再生、一時停止、早送り又は早戻しの指示に応じて情報保有動画の再生制御を行う。再生制御部６７は、当該再生した情報保有動画を出力部３０を介してディスプレイ１５に供給する。また、再生制御部６７は、再生している情報保有動画に対応した操作画像を出力部３０を介してディスプレイ１７ａに供給する。再生制御部６７は、タッチパッド１７ｂにおいて受け付けられた操作信号を取得して、当該操作信号に基づいて動画の再生制御を行う。
【0054】
換言すれば、移動体から撮影された風景動画を取得する車載カメラＣＭと、風景動画の撮影期間中の各時点における撮影状況に関する情報に基づいた仮想タイムコードを、風景動画に付与した情報保有動画を生成する動画生成部６３と、風景動画を構成する複数のフレーム画像から仮想タイムコードに基づいて複数のサムネイル画像を抽出し、サムネイル画像を時系列に沿って配列したサムネイル群画像を生成するサムネイル生成部６５と、を有し、サムネイル生成部６５は、仮想タイムコードに応じて単位撮影時間当たりのサムネイル画像の抽出数を変化させる。
【0055】
また、画像処理装置１０は、風景動画の撮影期間中の各時点における撮影状況に関する情報を取得する動画生成部６３と、動画生成部６３で生成された情報保有動画を記録する記憶部５０と、記憶部５０から情報保有動画を読み出して風景動画を再生、早送り又は早戻しさせる制御を行って映像を出力する再生制御部６７と、サムネイル生成部６５で生成されたサムネイル画像が再生時刻順に並べられたサムネイル画像列ＳＲを表示し、サムネイル画像列ＳＲに含まれるサムネイル画像の選択操作又はサムネイル画像列ＳＲに対するスクロール操作を含む指示操作を受け付けるタッチパネル１７と、をさらに含み、再生制御部６７は、指示操作に基づいて制御を行う。
【0056】
また、動画生成部６３は、撮影された風景動画を構成する複数のフレーム画像の各々に対して、当該複数のフレーム画像の各々が撮影された際の撮影状況に関する情報に基づいた一連の仮想的なタイムコードである仮想タイムコードを重要度情報として付与して情報保有動画を生成し、サムネイル生成部６５は、仮想タイムコードに基づいてサムネイル画像の抽出を行う。
【0057】
なお、サムネイル画像は、抽出されたフレーム画像そのものまたは当該抽出されたフレーム画像を縮小したものでもよい。以下、風景動画からフレーム画像を抽出してそれをそのままサムネイル画像として用いる処理、及び当該抽出されたフレーム画像を縮小してサムネイル画像を生成する処理の両方について、単にサムネイル画像を抽出するとして説明する。
【0058】
また、動画生成部６３は、撮影状況に関する情報に基づいて複数のフレーム画像の各々の重要度を判定し、当該重要度に対応する仮想タイムコードを複数のフレーム画像に付与する。
【0059】
また、動画生成部６３は、重要度が低いほど、一群のフレーム画像における仮想タイムコードが示す時間の経過が早くなるように、当該仮想タイムコードを付与する。
【0060】
図５は、本願の実施例に係る画像処理装置１０において、車載カメラＣＭで撮影された風景動画に仮想タイムコードを付与して情報保有動画を生成するフローチャートＦＣ１を示す。ここでは、自動車Ｍの走行速度に応じて風景画像の重要度を設定する例について説明する。
【0061】
まず、動画生成部６３は、ステップＳ１０１において、風景動画の撮影が終了したかどうかを判定する（ステップＳ１０１）。この判定は、例えば、カメラＣＭにアクセスし、動画撮影が終了したかを確認することで行われてもよい。また、この判定は、例えば、カメラＣＭからの動画データの受信が終了したか否かによって行われてもよい。
【0062】
風景動画の撮影が終了したと判定された場合（ステップＳ１０１：Ｙｅｓ）、動画生成部６３は記憶部５０に記録された当該風景動画及び撮影期間中に速度センサＳＳにより取得された自動車Ｍの走行速度を読み出す（ステップＳ１０２）。
【0063】
次に、動画生成部６３は、読み出した風景動画を構成する複数のフレーム画像の各々に、当該フレームが撮影された時点での自動車Ｍの走行速度を付与する（ステップＳ１０３）。
【0064】
動画生成部６３は、自動車Ｍの走行速度が付与された風景動画を構成する複数のフレームの各々において、自動車Ｍの走行速度に応じた重要度を判定し、当該重要度を風景動画にさらに付与する（ステップＳ１０４）。
【0065】
次に、動画生成部６３は、フレームの各々に重要度が付与された風景動画を所定時間ごとに区切り、当該所定時間ごとの重要度の平均値を算出する（ステップＳ１０５）。
【0066】
その後、動画生成部６３は、所定時間ごとの重要度の平均値に応じて、基本タイムコードと時間経過の異なる時間経過を含む仮想タイムコードを付与する（ステップＳ１０６）。
【0067】
ステップＳ１０６の終了後、動画生成部６３は、当該仮想タイムコードが付与された風景動画を情報保有動画として記憶部５０に記録する（ステップＳ１０７）。
【0068】
上記処理をすることで、車載カメラＣＭで撮影された風景動画と、速度センサＳＳで取得された自動車Ｍの走行速度から、重要度及び仮想タイムコードが付与された情報保有動画を生成する。
【0069】
尚、本実施例においては、風景動画への自動車Ｍの走行速度の付与、重要度の付与及び仮想タイムコードの付与は、風景動画の撮影後に行うこととして説明した。
【0070】
しかし、風景動画への自動車Ｍの走行速度の付与、重要度の付与及び仮想タイムコードの付与は、風景動画を撮影しながら行ってもよい。撮影しながら行う場合、風景動画のフレーム画像が供給される都度、当該フレーム画像時の自動車Ｍの走行速度の付与、重要度の判定及び付与を行う。また、風景動画の録画時間が重要度の平均値を算出する所定時間を超える都度、重要度の平均値を算出して仮想タイムコードを付与する。
【0071】
次に、図６を用いて情報保有動画に付与された仮想タイムコードについて説明する。
【0072】
図６は、本願の実施例に係る画像処理装置１０の風景動画撮影時の撮影開始からの経過時間、所定時間ごとの複数のフレームのフレーム番号及び複数のフレームの基本タイムコードの例を示す。また、動画生成部６３で算出された所定時間ごとの重要度の平均値、仮想タイムコードの基本タイムコードに対する倍率及び付与された仮想タイムコードを示す。
【0073】
本実施例においては、車載カメラＣＭが撮影した６００秒の風景動画において、撮影フレームレートを３０ｆｐｓとし、重要度の平均値を算出する所定時間を６０秒とし、走行速度に応じて区分けされる重要度を０～３の４段階で設定した場合について説明する。
【0074】
また、仮想タイムコードの倍率を、重要度３の場合は基本タイムコードと同等、重要度２の場合は基本タイムコードの１／２、重要度１の場合は基本タイムコードの１／３、重要度０の場合は基本タイムコードの１／５のタイムコード間隔で仮想タイムコードを付与する設定として説明する。
【0075】
基本タイムコード及び重要度３の場合の仮想タイムコード進行は、撮影された風景動画のフレームレートに準拠して進行する故、１フレームあたり１／３０秒（約０．０３３秒）の進行速度を有する。また、重要度２の場合の仮想タイムコード進行は、１フレームあたり１／６０秒（約０．０１７秒）の進行速度を有し、重要度１の場合の仮想タイムコード進行は、１フレームあたり１／９０秒（約０．０１１秒）の進行速度を有し、重要度０の場合の仮想タイムコード進行は、１フレームあたり１／１５０秒（約０．００７秒）の進行速度を有する。
【0076】
すなわち、重要度３では基本タイムコードと同等の時間経過速度、重要度２では基本タイムコードの約２倍の時間経過速度、重要度１では基本タイムコードの約３倍の時間経過速度、重要度０では基本タイムコードの約５倍の時間経過速度の仮想タイムコードが付与される。
【0077】
図６において、撮影開始からの経過時間０～１８０秒の間においては算出された重要度の平均値はいずれも３である。よって、仮想タイムコードは、基本タイムコードと同等の１フレームあたり１／３０秒の進行速度で付与される。
【0078】
また、撮影開始からの経過時間１８０～３００秒の間においては算出された重要度の平均値はいずれも１である。よって、仮想タイムコードは、基本タイムコードの１／３の進行速度である１フレームあたり１／９０秒の進行速度で付与される。すなわち、撮影開始からの経過時間１８０～３００秒の１２０秒間において、基本タイムコードはこの期間の実際の撮影時間と同等の進行速度であるが、仮想タイムコードはこの期間の実際の撮影時間１２０秒間に対して、４０秒間の進行速度で付与される。
【0079】
また、撮影開始からの経過時間３００～４２０秒の間においては算出された重要度の平均値はいずれも２である。よって、仮想タイムコードは、基本タイムコードの１／２の進行速度である１フレームあたり１／６０秒の進行速度で付与される。すなわち、撮影開始からの経過時間３００～４２０秒の１２０秒間において、仮想タイムコードはこの期間の実際の撮影時間１２０秒間に対して６０秒間の進行速度で付与される。
【0080】
また、撮影開始からの経過時間４２０～４８０秒の間においては算出された重要度の平均値は０である。よって、仮想タイムコードは、基本タイムコードの１／５の進行速度である１フレームあたり１／１５０秒の進行速度で付与される。すなわち、撮影開始からの経過時間４２０～４８０秒の６０秒間において、仮想タイムコードはこの期間の実際の撮影時間６０秒間に対して１２秒間の進行速度で付与される。
【0081】
また、撮影開始からの経過時間４８０～６００秒の間においては算出された重要度の平均値はいずれも２である。この間の仮想タイムコードの進行速度は上記の重要度２の場合と同様である故、説明は省略する。
【0082】
すなわち、車載カメラＣＭが３０ｆｐｓで撮影した６００秒の風景動画において、基本タイムコードは１フレームあたり１／３０秒で一定となる故、フレーム番号１～１８０００のフレーム数に対して基本タイムコードは０～５９９．９６７秒のタイムコードが付与されている。これに対し、仮想タイムコードは、所定時間ごとの重要度に応じてタイムコードの進行速度が変化する故、フレーム番号１～１８０００のフレーム数に対して仮想タイムコードは０～３５１．９６７秒のタイムコードが付与されている。
【0083】
図７は、図６に示した情報保有動画の例における情報保有動画を構成する複数のフレームのフレーム番号とそれぞれのフレーム番号に付与される仮想タイムコードの関係及び抽出されるサムネイル画像の関係を示す図である。
【0084】
横軸は情報保有動画を構成する複数のフレームのフレーム番号を示す。また、フレーム番号の各々に対応する撮影開始からの経過時間（基本タイムコード）を示す。また、縦軸は仮想タイムコードを表し、横軸のフレーム番号に対応する仮想タイムコードを示す。
【0085】
本実施例においては、図６に示した情報保有動画から１０枚のサムネイル画像を抽出する場合について説明する。
【0086】
図７に示すように、フレーム番号１～５４００（撮影開始からの経過時間０～１８０秒）の区間は、算出された重要度が３である故、１フレームあたりの仮想タイムコードは基本タイムコードと同等の経過時間で付与される。
【0087】
フレーム番号５４０１～９０００（撮影開始からの経過時間１８０～３００秒）の区間は、算出された重要度が１である故、１フレームあたりの仮想タイムコードは基本タイムコードの１／３の経過時間で付与される。
【0088】
フレーム番号９００１～１２６００（撮影開始からの経過時間３００～４２０秒）の区間は、算出された重要度が２である故、１フレームあたりの仮想タイムコードは基本タイムコードの１／２の経過時間で付与される。
【0089】
フレーム番号１２６０１～１４４００（撮影開始からの経過時間４２０～４８０秒）の区間は、算出された重要度が０である故、１フレームあたりの仮想タイムコードは基本タイムコードの１／５の経過時間で付与される。
【0090】
フレーム番号１４４０１～１８０００（撮影開始からの経過時間４８０～６００秒）の区間は、算出された重要度が２である故、１フレームあたりの仮想タイムコードは基本タイムコードの１／２の経過時間で付与される。
【0091】
これにより、本実施例の情報保有動画に対しては、情報保有動画を構成する複数のフレームと仮想タイムコードとの関係は図中実線のように示される。
【0092】
仮想タイムコードは、重要度が低いほど仮想タイムコードの進行速度が早くなるように付与される。よって、図７に示すように重要度が低いほど１フレームあたりの時間経過が短くなる故、仮想タイムコードの傾きは小さくなる。
【0093】
サムネイル生成部３５は、仮想タイムコードに基づいて仮想タイムコードの所定時間ごとのフレーム画像をサムネイル画像として抽出する。
【0094】
よって、本実施例の風景動画から１０枚のサムネイル画像を生成する場合、情報保有動画の仮想タイムコードは０～３５１．９６７秒のタイムコードが付与されている故、サムネイル生成部６５は、仮想タイムコードの０秒時から約３５．２秒ごとの１０枚のフレーム画像を抽出する。すなわち、サムネイル生成部６５は、図中の縦軸の約３５．２秒ごとの一定時間ごとのフレーム画像を抽出する。
【0095】
サムネイル画像として抽出されるフレーム画像は、仮想タイムコードが０秒時、３５．２秒時、７０．４秒時、・・・、２８１．６秒時及び３１６．８秒時の０秒時から約３５．２秒ごとの一定時間ごとのフレーム画像が選択される。この時、仮想タイムコードは所定時間ごとの重要度に応じてタイムコードの進行速度が変化する故、抽出されるサムネイル画像の基本タイムコード及びフレーム番号は一定数ごととはならない。
【0096】
従って、図７に示すように重要度が低いほど単位撮影時間当たりのサムネイル画像の抽出数は少なくなる。
【0097】
すなわち、本発明によれば、所定時間ごとの重要度に応じて仮想タイムコードの進行速度を変化させる故、当該重要度に応じて単位撮影時間当たりのサムネイル画像の抽出数を変化させることが可能となる。
【0098】
図８は、本実施例の風景動画から抽出される１０枚のサムネイル画像ＳＭ１～ＳＭ１０における、当該サムネイル画像ＳＭ１～ＳＭ１０に付随するタイムコード、フレーム番号及びその重要度を示す。
【0099】
図８の上段は比較例として従来の基本タイムコードに基づいて抽出されたフレーム画像によって生成されるサムネイル画像の情報を示し、図８の下段は本発明による仮想タイムコードに基づいて抽出されたフレーム画像によって生成されるサムネイル画像の情報を示している。尚、図８の下段においては、仮想タイムコードに基づいて抽出されるサムネイル画像のフレーム番号に対応する基本タイムコードも示す。
【0100】
図８の上段に示す通り、基本タイムコードに基づいてサムネイル画像を抽出する場合、サムネイル生成部６５は、基本タイムコードが０秒時、６０秒時、１２０秒時、・・・、４８０秒時及び５４０秒時の６０秒ごとの一定時間ごとのフレーム画像をサムネイル画像として抽出する。また、当該抽出するサムネイル画像のフレーム番号は、フレーム番号１、１８０１、３６０１、・・・、１４４０１、１６２０１のフレーム番号１から１８００ごとの一定フレーム数ごととなる。また、抽出するフレーム画像に対応する重要度は、１～３枚目のフレーム画像の重要度が３であり、４～５枚目のフレーム画像の重要度が１であり、６～７枚目のフレーム画像の重要度が２であり、８枚目のフ・BR>戟[ム画像の重要度が０であり、９～１０枚目のフレーム画像の重要度が２である。
【0101】
また、図８の下段に示す通り、仮想タイムコードに基づいてサムネイル画像を抽出する場合、サムネイル生成部６５は、仮想タイムコードが０秒時、３５．２秒時、７０．４秒時、・・・、２８１．６秒時及び３１６．８秒時の３５．２秒ごとの一定時間ごとのフレーム画像をサムネイル画像として抽出する。また、当該抽出するサムネイル画像のフレーム番号は、フレーム番号１、１０５６、２１１２、３１６８、４２２４、５２８０、８２１１、１０５８６、１２８４５及び１５８９０のフレーム画像となる。また、抽出するフレーム画像に対応する重要度は、１～６枚目のフレーム画像の重要度が３であり、７枚目のフレーム画像の重要度が１であり、８枚目のフレーム画像の重要度が２であり、９枚目のフレーム画像の重要度が０であり、１０枚目のフレーム画像の重要度が２である。
【0102】
すなわち、サムネイル生成部６５は、撮影された風景動画内の見どころが低いと判定された重要度の低い時間区間においてはサムネイル画像を少なく抽出し、見どころが高いと判定された重要度の高い時間区間においてはサムネイル画像を多く抽出する。
【0103】
また、仮想タイムコードに基づいて抽出するサムネイル画像のフレーム画像に対応する基本タイムコードに示す通り、重要度の低い区間においては抽出されるサムネイル画像の撮影時刻の間隔は長くなり、重要度の高い区間においては撮影時刻の間隔は短くなる。すなわち、重要度の低い区間においては、サムネイル画像または当該サムネイル画像の生成に用いるフレーム画像の抽出時間間隔が長くなり、重要度の高い区間においては、サムネイル画像または当該サムネイル画像の生成に用いるフレーム画像の抽出時間間隔が短くなる。
【0104】
これにより、撮影された風景動画の重要度の高い所望の場面付近のサムネイル画像が多く抽出される故、撮影された風景動画から所望の場面を効率的に検索することが可能となる。
【0105】
なお、動画生成部６３は、自動車Ｍの走行速度に応じて風景画像の重要度を設定することに代えて、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、自動車Ｍの移動方向を基準とした撮影方向、又は衛星システムの電波受信状況に基づいて風景画像の重要度を設定するようにしてもよい。または、動画生成部６３は、走行速度、撮影位置、撮影位置に対応する地図情報上の位置に関連付けられた風景の見ごたえ度、自動車Ｍの移動方向を基準とした撮影方向、及び衛星システムの電波受信状況のいずれかのうちの複数の要素の組み合わせに基づいて風景画像の重要度を設定するようにしてもよい。
【0106】
図９は、本願の実施例に係る画像処理装置１０のサムネイル画像の生成を行う際のフローチャートＦＣ２を示す。
【0107】
まず、再生制御部６７は、風景動画の再生が指示されたかを判定する。この判定は、例えば、タッチパネル１７において、風景動画の再生指示操作が受け付けられたか否かで行われてもよい（ステップＳ２０１）。
【0108】
次に、再生制御部６７は、記憶部５０に記録されている再生指示をされた情報保有動画を読み出す（ステップＳ２０２）。
【0109】
間隔決定工程として、サムネイル生成部６５は、再生制御部６７が読み出した情報保有動画の仮想タイムコード及び生成するサムネイル画像の数量設定から、サムネイル画像を抽出する仮想タイムコードの抽出間隔を決定する（ステップＳ２０３）。
【0110】
次いで、フレーム画像決定工程として、サムネイル生成部６５は、決定した仮想タイムコードのサムネイル画像抽出間隔からサムネイル画像とするフレーム番号を決定する（ステップＳ２０４）。
【0111】
次いで、抽出工程として、サムネイル生成部６５は、決定したフレーム番号のフレーム画像をサムネイル画像として抽出する（ステップＳ２０５）。
【0112】
その後、サムネイル生成部６５は、抽出したサムネイル画像を時系列順に並べて出力部３０に供給する（ステップＳ２０６）。
【0113】
ステップＳ２０６の処理が完了した後サムネイル生成部６５は処理を終了し、その後は再生制御部６７が情報保有動画の再生処理を実行する。
【0114】
上記処理により、重要度の高い区間のサムネイル画像が多く、重要度の低い区間のサムネイル画像が少ないサムネイル画像群を生成することが可能となる。
【0115】
換言すれば、本願発明の画像処理方法は、画像処理装置１０が仮想タイムコードが付与された情報保有動画からサムネイル画像を抽出する画像処理方法であって、仮想タイムコード及びサムネイル画像生成数に基づいてサムネイル画像を抽出する抽出間隔を決定する間隔決定工程と、当該抽出間隔に基づいて情報保有動画を構成する複数のフレーム画像からサムネイル画像として抽出する複数のフレーム画像を決定するフレーム画像決定工程と、情報保有動画からサムネイル画像として抽出する複数のフレーム画像を抽出してサムネイル群画像を生成する抽出工程と、を含む。
【0116】
【0117】
図１０Ａは、重要度が３の区間での再生時のタッチパネル１７の操作受付表示を示し、図１０Ｂは、重要度が１の区間での再生時のタッチパネル１７の操作受付表示を示している。また、図中矢印の長さは、スクロールの速度を示している。また、サムネイル画像ＳＭ１～ＳＭ１０の左下に表示されている時間は、表示されているサムネイル画像ＳＭ１～ＳＭ１０のそれぞれのフレームに対応する再生時刻（基本タイムコード）である。
【0118】
再生制御部６７は、再生時において再生速度、及び時間表示部ＴＭの再生時刻表示及びサムネイル画像列ＳＲのスクロール速度を基本タイムコードに基づいて制御する。
【0119】
例えば、図１０Ａの重要度が３であるサムネイル画像ＳＭ３の区間での再生時のスクロール速度は、７０．４秒の基本タイムコードが付与されているサムネイル画像ＳＭ３の先頭から１０５．６秒の基本タイムコードが付与されているサムネイル画像ＳＭ４の先頭までの間が約３５秒でスクロールされる。
【0120】
また、図１０Ｂの重要度が１であるサムネイル画像ＳＭ６の区間での再生時のスクロール速度は、２７３．７秒の基本タイムコードが付与されているサムネイル画像ＳＭ７の先頭から３５２．９秒の基本タイムコードが付与されているサムネイル画像ＳＭ８の先頭まで間が約７９秒でスクロールされる。
【0121】
言い換えれば、ディスプレイ１５に表示されている動画を構成する静止画として、サムネイル画像ＳＭ４の基のフレーム画像が表示された際には、現在再生時間位置を示すバーＢＡ上にサムネイル画像ＳＭ４が差し掛かり、ディスプレイ１５に表示されている動画を構成する静止画として、サムネイル画像ＳＭ８の基のフレーム画像が表示された際には、現在再生時間位置を示すバーＢＡ上にサムネイル画像ＳＭ８が差し掛かかるように、サムネイル画像列ＳＲのスクロール速度が制御される。
【0122】
すなわち、重要度が低いサムネイル画像に対応する動画の再生時間（基本タイムコード間隔）は、重要度が高いサムネイル画像に対応する再生時間よりも長い。従って、重要度が低い区間の動画再生時のサムネイル画像列ＳＲのスクロール速度は遅くなり、重要度が高い区間の動画再生時のサムネイル画像列ＳＲのスクロール速度は速くなる。
【0123】
また、サムネイル画像列ＳＲに表示されるサムネイル画像は、重要度の低い区間においては撮影された風景動画の録画時間に対してサムネイル画像が長い時間間隔で少なく表示され且つ、重要度の高い区間においては撮影された風景動画の録画時間に対してサムネイル画像が短い時間間隔で多く表示される。
【0124】
尚、ユーザが撮影された風景動画から所望の場面を検索しようとする場合、例えば、ユーザが所望の場面が風景動画中のどのあたりに記録されているかの見当がついている場合と、見当がついていない場合とでは、サムネイル画像列ＳＲとして表示する複数のサムネイル画像同士の好適な撮影時間間隔が異なる。前者の場合は、既に見当がついている撮影時間周辺のサムネイル画像であって、サムネイル画像同士の撮影時間間隔が比較的短いサムネイル画像列ＳＲが有効となり、後者の場合は、まずは所望の場面がどのあたりに記録されているかの見当をつける必要があるため、サムネイル画像同士の撮影時間間隔が比較的長いサムネイル画像列ＳＲが有効となる。
【0125】
これに対応するため、画像処理装置１０は、操作受付表示の一部としてサムネイル画像列ＳＲに表示する複数のサムネイル画像の隣接するサムネイル画像同士の撮影時間間隔を、ユーザにより変更可能に構成されていることが好ましい。
【0126】
具体的には、画像処理装置１０は、サムネイル画像列ＳＲの時間的スケールをユーザに指定されるための操作アイコンをタッチパネル１７の操作受付表示に含めて表示させ、サムネイル生成部６５は、ユーザの操作により指定された時間的スケールに応じて、サムネイル画像列ＳＲとして表示させるサムネイル画像を抽出するための仮想タイムコードの抽出間隔を決定する。これにより、サムネイル画像列の時間的スケールを任意に変更可能とすることで、限定的な時間範囲の中から所望の場面を探す場合、及び比較的長い時間範囲の中から所望の場面を探す場合において有効なサムネイル画像列を生成することができる。
【0127】
尚、上述の実施例である画像処理装置１０においては、再生指示がなされた後に情報保有動画からフレーム画像を抽出してサムネイル画像を生成する方法について説明した。しかし、サムネイル画像の生成はこれに限定されない。例えば、風景動画の撮影が終了して動画生成部６３が風景動画に仮想タイムコードを付与して情報保有動画を生成した後（図５のステップＳ１０１～Ｓ１０６）、当該情報保有動画に対してサムネイル生成部６５が図９のステップＳ２０２～Ｓ２０５の処理を実行して情報保有動画及びサムネイル画像を記憶部５０に記録させてもよい。これにより、予めサムネイル画像を生成して記録しておくことで再生時にすばやく風景動画の再生処理を実行させることが可能となる。
【0128】
実施例においては、自動車Ｍに搭載した車載カメラＣＭから撮影した風景動画に対して自動車Ｍの走行速度や撮影位置などに応じた重要度を判定し、当該重要度に応じてサムネイル生成部６５が単位撮影時間あたりのサムネイル画像の生成数量を可変に変更する画像処理装置１０を説明した。しかしながら、本発明による画像処理装置は自動車からの風景動画に限定されない。
【0129】
例えば、スマートフォンやハンディカメラ等で撮影した動画に重要度を付与した動画を生成することとしてもよい。また、撮影された情報保有動画を、例えば、ＵＳＢメモリやＨＤＤ等の外部記録装置に記録し、ＰＣ等の装置で処理及び再生されてもよい。
【0130】
また、本実施例においては、基本タイムコードの所定区間ごとに重要度の平均値を算出して、所定区間ごとに仮想タイムコードを付与する方法について説明したが、仮想タイムコードを付与する方法はこれに限定されない。例えば、重要度が付与された風景動画を構成する複数のフレームの各々に対して、１フレームごとの時間経過を重要度に応じて付与してもよい。これにより、基本タイムコードの所定区間で重要度が大きく変化した場合でも重要度の高い区間のサムネイル画像を効率的に生成することが可能となる。
【0131】
また、本実施例においては、風景動画に仮想タイムコードを付与した１つの動画データを生成して当該動画データの動画処理を行う画像処理装置１０について説明した。しかし、再生制御の方法は１つの動画データを生成することに限定されない。例えば、重要度及び仮想タイムコードが付与されていない風景動画と、当該風景動画からフレーム番号及びフレーム番号に対する仮想タイムコードを示した情報データを生成する。サムネイル生成部６５が情報データからサムネイル画像として抽出するフレーム番号を決定し、風景動画から当該フレーム番号のフレーム画像をサムネイル画像として抽出してもよい。これにより、風景動画のファイルデータ容量の削減をすることが可能となる。
【0132】
また、本実施例においては、自動車Ｍの走行速度から重要度判定し、当該重要度から仮想タイムコードを生成する方法について説明したが、仮想タイムコードを生成する方法はこれに限定されない。例えば、所定時間ごとの自動車Ｍの走行平均速度に複数の閾値を設け、当該走行平均速度の複数の閾値に応じた仮想タイムコードを設定してもよい。これにより、所定時間ごとの自動車Ｍの走行速度から直接仮想タイムコードを生成することが可能となる。
【0133】
すなわち、撮影した画像を構成する複数のフレーム画像の各々に特定の見どころを示す重要度の情報を付与し、当該重要度に応じて単位撮影時間あたりのサムネイル画像の生成数量を可変に変更できればよい。
【符号の説明】
【0134】
１０ 画像処理装置
１５ ディスプレイ
１７ タッチパネル
２０ 入力部
３０ 出力部
４０ 操作入力部
５０ 記憶部
６０ 動画制御部
６３ 動画生成部
６５ サムネイル生成部
６７ 再生制御部
１５ ディスプレイ
１７ タッチパネル
２０ 入力部
３０ 出力部
４０ 操作入力部
５０ 記憶部
６０ 動画制御部
６３ 動画生成部
６５ サムネイル生成部
６７ 再生制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】