特許 7052613 表示制御装置、表示制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】表示制御装置、表示制御方法及びプログラム

(51)【国際特許分類】

   G09G 5/14 20060101AFI20220405BHJP

   G09G 5/00 20060101ALI20220405BHJP

   G09G 5/38 20060101ALI20220405BHJP

   H04N 7/18 20060101ALI20220405BHJP

   H04N 5/93 20060101ALI20220405BHJP

   H04N 5/92 20060101ALI20220405BHJP

   B60R 11/02 20060101ALI20220405BHJP

【ＦＩ】

G09G5/14 A

G09G5/00 550C

G09G5/38 Z

G09G5/00 550B

H04N7/18 J

H04N7/18 U

H04N5/93 050

H04N5/92 010

B60R11/02 C

【請求項の数】 5

(21)【出願番号】P 2018137043

(22)【出願日】2018-07-20

(65)【公開番号】P2020013070

(43)【公開日】2020-01-23

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】滝脇 愛子

(72)【発明者】

【氏名】三原 真哉

(72)【発明者】

【氏名】八里 大介

【審査官】越川 康弘

(56)【参考文献】

【文献】特開２０１１－１４５４０７（ＪＰ，Ａ）

【文献】国際公開第２０１８／０４３１３５（ＷＯ，Ａ１）

【文献】特開２０１２－０９９９０６（ＪＰ，Ａ）

【文献】国際公開第２０１４／１７８２３３（ＷＯ，Ａ１）

【文献】特開２０１２－０１８２３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ５／１４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３８

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／９３

Ｈ０４Ｎ ５／９２

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

移動しながら撮像された複数の画像の情報を取得する画像情報取得部と、
前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定部と、
前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得部と、
取得した複数の前記サムネイルが、所定方向において、撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成部と、を有し、
前記画像は、３６０度画像であり、
前記設定時刻指定部は、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
前記表示画像生成部は、前記サムネイルが前記表示部に表示される仮想３次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
表示制御装置。

【請求項2】

前記位置情報は、前記画像を撮像する際の進行方向の情報を含み、
前記サムネイルは、第１設定時刻の第１サムネイルと、前記第１設定時刻より後の設定時刻である第２設定時刻の第２サムネイルとを有し、
前記表示画像生成部は、前記第２サムネイルが、前記第１サムネイルに対し、前記第１設定時刻から前記第２設定時刻までの前記進行方向側に位置するように、前記第１サムネイルと前記第２サムネイルとを並べる、請求項１に記載の表示制御装置。

【請求項3】

前記表示画像生成部は、それぞれの前記サムネイルが同一の所定方向側を表示する画像となるように、前記表示領域の回転を停止させた前記表示画像を生成する、請求項１又は請求項２に記載の表示制御装置。

【請求項4】

移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、
前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、
それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、
取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、を有し、
前記画像は、３６０度画像であり、
前記設定時刻指定ステップにおいては、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
前記表示画像生成ステップにおいては、前記サムネイルが前記表示部に表示される仮想３次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
表示制御方法。

【請求項5】

移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、
前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、
それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、
取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、をコンピュータに実行させるプログラムであって、
前記画像は、３６０度画像であり、
前記設定時刻指定ステップにおいては、複数の前記画像のうちの予め定めた条件を満たす特徴画像が撮像された時刻に基づき、前記設定時刻を指定することで、時系列に連続する前記設定時刻の間の長さを異ならせ、
前記表示画像生成ステップにおいては、前記サムネイルが前記表示部に表示される仮想３次元空間における球状の表示領域の外周面に表示されるようにし、前記特徴画像として抽出されたサムネイルと、前記特徴画像として抽出されなかったサムネイルとで、前記表示領域の動く軌跡を異ならせ、かつ、前記サムネイルがアングルを変化させながら表示されるように、前記表示画像を生成する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示制御装置、表示制御方法及びプログラムに関する。

【背景技術】

【0002】

例えば車載カメラの画像を記憶するドライブレコーダなど、移動しながら撮像された画像を保存し、表示させる装置がある。例えば特許文献１には、ドライブレコーダに記録された映像に関連するサムネイル画像を表示する表示制御システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２３５３９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

移動しながら撮像された画像は、長時間撮像されるなどの理由により、データ量が多くなる場合がある。このような場合、視聴者が必要とする場面を検出することが困難となるおそれがある。例えば特許文献１のようにサムネイル画像を並べて表示しても、単にサムネイル画像が行列状に並んでいるに過ぎないため、サムネイル画像同士の識別ができずに、必要とする場面を検出できないおそれがある。従って、データ量が多くなった撮像された画像から、視聴者が求める場面を適切に検出可能とすることが求められる。

【0005】

本発明は、上記課題を鑑み、撮像された画像から、視聴者が求める場面を適切に検出する表示制御装置、表示制御方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる表示制御装置は、移動しながら撮像された複数の画像の情報を取得する画像情報取得部と、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定部と、前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得部と、取得した複数の前記サムネイルが、所定方向において、撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成部と、を有する。

【0007】

本発明の一態様にかかる表示制御装置は、３６０度画像である画像のサムネイルを取得するサムネイル取得部と、取得した前記サムネイルが、表示部に表示される仮想３次元空間における球状の表示領域の外周面に表示され、かつ、前記表示領域が回転することで、前記サムネイルがアングルを変化させながら表示されるように、前記表示部に表示される表示画像を生成する表示画像生成部と、を有する。

【0008】

本発明の一態様にかかる表示制御方法は、移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、を有する。

【0009】

本発明の一態様にかかるプログラムは、移動しながら撮像された複数の画像の情報を取得する画像情報取得ステップと、前記画像の情報に基づき、複数の設定時刻を指定する設定時刻指定ステップと、それぞれの前記設定時刻に撮像された前記画像を、サムネイルとして取得するサムネイル取得ステップと、取得した複数の前記サムネイルが、所定方向において撮像された時系列の順番に並び、かつ、前記所定方向と異なる方向において、前記画像が撮像された位置を示す位置情報に基づき並んで表示されるように、表示部に表示される表示画像を生成する表示画像生成ステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、撮像された画像から、視聴者が求める場面を適切に検出することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係る車両の模式図である。

【図2】図２は、車両の移動の一例を示す図である。

【図3】図３は、本実施形態に係る表示制御システムの模式的なブロック図である。

【図4】図４は、設定時刻を説明するための図である。

【図5】図５は、表示画像の一例を示す図である。

【図6】図６は、表示画像モードにおける画像の一例を示す図である。

【図7】図７は、表示画像の他の例を示す図である。

【図8】図８は、表示画像の一例を示す図である。

【図9】図９は、表示画像の他の例を示す図である。

【図10】図１０は、表示画像の表示方法を説明するフローチャートである。

【図11】図１１は、本実施形態に係る表示制御システムの他の例を示すブロック図である。

【0012】

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

【0013】

（表示制御システムの構成）
図１は、本実施形態に係る車両の模式図である。本実施形態に係る表示制御システム１は、撮像装置１０によって撮像された画像の表示を制御するためのシステムである。図１に示すように、表示制御システム１は、撮像装置１０と、車載装置１２と、外部装置１４と、表示端末１６とを有する。

【0014】

図２は、車両の移動の一例を示す図である。撮像装置１０は、車両Ｖに搭載されて、画像を撮像する撮像装置である。撮像装置１０は、車両Ｖと共に移動しつつ、画像の撮像を行う。従って、撮像装置１０は、移動しながら、すなわち位置を変化させながら、位置毎の画像を撮像しているといえる。図２は、鉛直方向上方から車両Ｖの移動の例を見た図であり、方向Ｘ０が、絶対座標における水平方向であり、方向Ｙ０は、絶対座標において方向Ｘ０と直交する水平方向である。ここで、車両Ｖの移動する方向、すなわち、絶対座標における車両Ｖの移動方向を、進行方向Ｖ１とする。車両Ｖは、進行方向Ｖ１を変化させつつ移動する。図２の例では、進行方向Ｖ１は、方向Ｙ０側から方向Ｘ０側に切り替わり、さらに、方向Ｙ０側に切り替わった後、方向Ｘ０側に切り替わっている。ただし、図２の進行方向Ｖ１の変化は、一例である。なお、撮像装置１０は、進行方向Ｖ１に移動しながら画像を撮像するものであれば、車両Ｖに搭載されることに限られない。例えば、撮像装置１０は、歩行するユーザに携帯され、ユーザの歩行に伴い移動しながら画像を撮像するものであってもよい。

【0015】

また、撮像装置１０は、所定のフレームレート毎に連続して撮像を行うことで、画像として動画像（連続した複数の画像）を撮像する。ただし、撮像装置１０は、動画像を撮像することに限られず、所定のタイミング毎に静止画像を撮像するものであってもよい。本実施形態に係る撮像装置１０は、広域画像、すなわち３６０度画像を撮像する３６０度カメラである。３６０度画像とは、３６０度パノラマ画像を指し、所定の軸の放射方向外側を、所定の軸に対する周方向に沿って１周分、すなわち３６０度分、撮像した画像である。さらに言えば、３６０度画像は、全天球パノラマ画像、半天球パノラマ画像、３６０度水平パノラマ画像のいずれかであってよい。

【0016】

図１に示すように、本実施形態においては、撮像装置１０は、互いに反対に設けられるレンズ１０ａ、１０ｂを備えており、それぞれが半天球パノラマ画像を撮像することで、それらの半天球パノラマ画像を合成することで、全天球パノラマ画像を撮像している。レンズ１０ａ、１０ｂは、本実施形態では、超広角レンズ、すなわち魚眼レンズである。レンズ１０ａは、車両Ｖ内に設けられて、車両Ｖ内の３６０度画像を撮像する。レンズ１０ｂは、車両Ｖ外に設けられて、車両Ｖの周囲の３６０度画像を撮像する。すなわち、撮像装置１０は、車両Ｖ内と車両Ｖ外とを撮像しているといえる。ただし、撮像装置１０は、このように２つのレンズ１０ａ、１０ｂの撮像画像を合成して全天球パノラマ画像を構成することに限られず、１つのレンズの画像で３６０度画像を構成してもよい。

【0017】

また、撮像装置１０は、車両Ｖの天井に設置され、レンズ１０ａが車内側に設けられ、レンズ１０ｂが車外側に設けられる。ただし、撮像装置１０は、車両Ｖの天井に設けられることに限られず、車両Ｖの任意の位置に設けられてよい。例えば、撮像装置１０は、車両Ｖの窓に設置され、レンズ１０ａが車内側に向けて設けられ、レンズ１０ｂが車外側に向けて設けられてもよい。すなわち、レンズ１０ｂは、車両Ｖの窓から車外を撮像するように設けられている。また、本実施形態では、車両Ｖにおいて、撮像装置１０を取り付ける位置は予め定められている。ただし、例えばユーザが撮像装置１０を取り付ける位置を自由に設定してよく、使用毎に取付け位置を変えてもよい。

【0018】

このように、撮像装置１０は、３６０度画像を撮像するものであり、車両Ｖ内と車両Ｖ外とを撮像する。ただし、撮像装置１０は、移動しながら画像を撮像するものであれば、３６０度画像を撮像するものに限られず、例えば通常画角の画像を撮像するものであってもよい。すなわち、本実施形態に係る撮像装置１０は、移動しながら画像を撮像するものであるか、３６０度画像を撮像するものであるかの、少なくともいずれかである。

【0019】

図１に戻り、車載装置１２は、車両Ｖに設けられる装置であり、撮像装置１０が撮像した画像を記憶する記憶装置である。すなわち、車載装置１２は、ドライブレコーダである。また、外部装置１４は、車両Ｖの外部に設けられたサーバであり、車載装置１２が取得した画像、すなわち撮像装置１０が撮像した画像を取得する。詳しくは後述するが、外部装置１４は、撮像装置１０が撮像した画像から、複数のサムネイルを生成して、サムネイルが並んだ表示画像を生成する。表示端末１６は、外部装置１４が取得した画像、すなわち撮像装置１０が撮像した画像を表示する表示装置であり、外部装置１４が生成した表示画像についても表示する。

【0020】

図３は、本実施形態に係る表示制御システムの模式的なブロック図である。図３に示す撮像装置１０は、上述のように、車両Ｖの移動に伴って移動しながら、車両Ｖ内と車両Ｖの周囲とを撮像する。以下、撮像装置１０が撮像した画像を、画像Ｐとする。画像Ｐは、移動しながら撮像された画像であるといえる。なお、撮像装置１０は、図示しないマイクを備え、画像Ｐの撮像と共に、音声（例えば車両Ｖ内の音声）を録音してもよい。

【0021】

車載装置１２は、入力部３０と、表示部３２と、通信部３４と、記憶部３６と、制御部３８とを有する。入力部３０は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部３２は、画像などの各種情報を表示するタッチパネルなどのディスプレイである。また、車載装置１２は、図示しないスピーカにより音声を出力可能に構成されてもよい。この場合、車載装置１２は、表示部３２に、撮像装置１０が撮像した画像Ｐを表示しつつ、スピーカに、撮像装置１０が録音した音声を再生することができる。また、制御部３８が、地図のアプリケーションを作動させてＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって車両Ｖの絶対座標における現在位置を取得することで、表示部３２は、地図上に車両Ｖの位置を示したナビゲーション情報を表示可能である。車載装置１２は、スマートフォンやタブレットなどの携帯端末であってもよい。

【0022】

通信部３４は、制御部３８の制御により、他の装置、例えば撮像装置１０や外部装置１４などと通信することで、データの送受信をするよう構成される。記憶部３６は、制御部３８の演算内容や画像Ｐなどの各種情報を記憶するメモリである。記憶部３６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置との、少なくとも１つを含む。

【0023】

制御部３８は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部３８は、画像取得部４０と、位置情報取得部４２とを有する。画像取得部４０と位置情報取得部４２とは、記憶部３６に記憶されたソフトウェア（プログラム）を読み出し、ＣＰＵで所定の処理を行うことで、後述する処理を実行する。

【0024】

画像取得部４０は、通信部３４を介して、撮像装置１０が撮像した画像Ｐを取得する。画像取得部４０は、取得した画像Ｐを、撮像された時刻に関連付けて記憶部３６に記憶させる。画像取得部４０は、画像Ｐに加え、撮像装置１０に録音された音声データも取得してよい。

【0025】

位置情報取得部４２は、車両Ｖの位置情報を取得する。位置情報取得部４２は、位置情報として、車両Ｖの絶対座標における現在位置を取得する。位置情報取得部４２は、例えば、ＧＰＳとして、通信部５４を介して衛星と通信することで、絶対座標系における車両Ｖの現在位置を取得する。位置情報取得部４２は、所定時間毎に現在位置を取得することで、移動中の車両Ｖの位置を逐次検出することができる。

【0026】

また、位置情報取得部４２は、位置情報として、車両Ｖの進行方向Ｖ１を取得する。位置情報取得部４２は、車両Ｖの所定時間毎の現在位置に基づき、車両Ｖの進行方向Ｖ１を逐次取得する。すなわち、位置情報取得部４２は、直前の車両Ｖの位置と現在の車両Ｖの位置とから、車両Ｖがどの方向に進んだか、すなわち進行方向Ｖ１がどの方向であるかを検出する。位置情報取得部４２は、位置情報、すなわち現在位置と進行方向Ｖ１とを、その位置情報を取得した時刻と関連付けて、記憶部３６に記憶させる。

【0027】

外部装置１４は、入力部５０と、表示部５２と、通信部５４と、記憶部５６と、制御部５８とを有する。外部装置１４は、車両Ｖの外部に設けられたサーバ、すなわちコンピュータである。入力部５０は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部５２は、画像などの各種情報を表示するディスプレイである。また、外部装置１４は、図示しないスピーカにより音声を出力可能に構成されてもよい。ただし、外部装置１４は、サーバとして、少なくとも、通信部５４と、記憶部５６と、制御部５８とを有していればよい。

【0028】

通信部５４は、制御部５８の制御により、他の装置、例えば外部装置１４や表示端末１６などと通信することで、データの送受信をするよう構成される。記憶部５６は、制御部５８の演算内容や画像Ｐなどの各種情報を記憶するメモリである。記憶部５６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置との、少なくとも１つを含む。

【0029】

制御部５８は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部５８は、画像情報取得部６０と、画像方向決定部６２と、画像解析部６４と、設定時刻指定部６６と、サムネイル取得部６８と、表示画像生成部７０とを有する。画像情報取得部６０と、画像方向決定部６２と、画像解析部６４と、設定時刻指定部６６と、サムネイル取得部６８と、表示画像生成部７０とは、記憶部５６に記憶されたソフトウェア（プログラム）を読み出し、ＣＰＵで所定の処理を行うことで、後述する処理を実行する。

【0030】

画像情報取得部６０は、画像Ｐの情報を取得する。本実施形態において、画像情報取得部６０は、画像Ｐの情報として、車載装置１２から、画像Ｐと位置情報とを取得する。画像情報取得部６０は、取得した画像Ｐと位置情報とを、記憶部５６に記憶させる。画像情報取得部６０は、撮像装置１０による画像Ｐの撮像が完了した後に、画像Ｐと位置情報とを取得して、記憶部５６に記憶させる。すなわち、画像情報取得部６０は、画像Ｐの全体のデータを一括で取得する。ただし、例えば画像Ｐを動画像として連続的に撮像する場合、画像Ｐを複数の動画データに分割する場合がある。この場合、画像情報取得部６０は、画像Ｐの全体のデータを一括で取得せず、動画データが生成されるごとに、動画データを取得してよい。また、画像情報取得部６０は、画像Ｐの情報として、撮像装置１０に録音された音声のデータを取得して、記憶部５６に記憶させてもよい。

【0031】

画像方向決定部６２は、画像Ｐと位置情報とに基づき、画像Ｐ内での方向を、絶対座標においてどの方向であるかを決定（算出）する。画像Ｐ内での方向とは、撮像装置１０のカメラ座標系における方向であり、画像Ｐにおける上方向、下方向、右方向、左方向などの方向を意味している。以下、画像Ｐ内での方向と絶対座標での方向との関連付けの仕方について説明する。

【0032】

本実施形態においては、撮像装置１０は、予め定めた位置及び姿勢で、車両Ｖに取付けられる。従って、撮像装置１０の姿勢、すなわち撮像方向（カメラアングル、レンズの向く方向）は、車両Ｖに対して固定されている。言い換えれば、車両Ｖに対する撮像装置１０の姿勢は予め設定されているため、画像方向決定部６２は、車両Ｖに対する撮像装置１０の姿勢の設定値を取得することで、車両Ｖに対する撮像装置１０の姿勢の情報を取得することができる。車両Ｖに対する撮像装置１０の姿勢の情報により、車両Ｖの向きと画像Ｐ内での方向とを関連付けることができる。また、画像方向決定部６２は、位置情報として、車両Ｖの進行方向Ｖ１を取得する。車両Ｖの進行方向Ｖ１は、車両Ｖの向き（車両Ｖの前方）の絶対座標における方向なので、車両Ｖの向きと絶対座標における方向を関連付けることができる。このように、車両Ｖの向きと画像Ｐ内での方向とを関連付けた情報と、車両Ｖの向きと絶対座標における方向とを関連付けた情報とにより、画像Ｐ内での方向と絶対座標における方向とを、関連付けることができる。すなわち、画像方向決定部６２は、車両Ｖに対する撮像装置１０の姿勢の設定値と、車両Ｖの絶対座標における向きの情報とを取得し、それらの情報に基づき、絶対座標における撮像装置１０の姿勢を算出することができる。言い換えれば、画像方向決定部６２は、車両Ｖに対する撮像装置１０の姿勢の情報と、車両Ｖの絶対座標における向きの情報とに基づき、画像Ｐ内での方向を、絶対座標における方向に関連付けることができる。また、画像方向決定部６２は、画像Ｐの画像内での方向を絶対座標における方向に関連付けることで、画像Ｐの画像内での方向と車両Ｖの進行方向Ｖ１とを関連付けることができる。このように、画像方向決定部６２は、画像Ｐ内において、絶対座標の方向や、進行方向Ｖ１の方向を設定することができる。

【0033】

なお、上述の説明では、画像方向決定部６２は、予め設定された設定値を取得することで、車両Ｖに対する撮像装置１０の姿勢の情報を取得していた。ただし、画像方向決定部６２は、設定値に基づき車両Ｖに対する撮像装置１０の姿勢の情報を取得することに限られない。例えば、撮像装置１０に図示しない加速度センサを設け、加速度センサの検出値、すなわち撮像装置１０の加速度に基づき、画像方向決定部６２が、車両Ｖに対する撮像装置１０の姿勢の情報を取得してもよい。撮像装置１０は、進行方向Ｖ１に沿って加速度が発生するため、画像方向決定部６２が、撮像装置１０の加速度から、撮像装置１０の姿勢と進行方向Ｖ１とを関連付けることで、車両Ｖに対する撮像装置１０の姿勢の情報を取得することができる。また、例えば、撮像装置１０に、撮像装置１０の絶対座標における姿勢を検出可能なジャイロセンサを設け、画像方向決定部６２が、ジャイロセンサの検出値を、車両Ｖに対する撮像装置１０の姿勢の情報として取得してもよい。このようにセンサを用いて撮像装置１０の向きなどを検出することで、画像方向決定部６２は、撮像装置１０の取付位置が固定されていない場合でも、車両Ｖに対する撮像装置１０の姿勢の情報を取得することができ、絶対座標における撮像装置１０の姿勢を算出することができる。このように、画像方向決定部６２は、任意の方法を用いて、画像Ｐの画像内での方向を、絶対座標における方向及び進行方向Ｖ１に関連付けてよい。

【0034】

画像解析部６４は、画像情報取得部６０が取得した画像Ｐの情報を解析することで、複数の画像Ｐのうちから特徴画像を抽出し、特徴画像が撮像された時刻を、特徴時刻（特徴タグ）として検出する。言い換えれば、特徴画像は、特徴時刻に撮像された画像Ｐであるといえる。画像解析部６４は、複数の画像Ｐ（本実施形態では撮像装置１０にフレーム毎に撮像された動画像）のうち、予め定めた所定の条件を満たす画像Ｐを、特徴画像であると判断する。特徴画像は、ユーザが視聴を求める可能性が高いと推定される場面を撮像した画像であり、画像解析部６４は、所定の条件に基づき、このような特徴画像を抽出する。

【0035】

画像解析部６４は、画像Ｐが所定の条件を満たすかを判断することで、すなわち、画像Ｐから抽出するパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出する。例えば、画像解析部６４は、画像Ｐに写っている人の表情をパラメータとして、表情が、例えば笑顔など、予め定めた所定の特徴量を満たす表示である場合に、その画像Ｐを特徴画像と判断し、その画像Ｐが撮像された時刻を、特徴時刻として検出する。また、画像解析部６４は、画像Ｐに写っている人をパラメータとして、顔などの特徴量に基づき、予め設定された人が写っている画像Ｐを、特徴画像として抽出してもよい。また、画像解析部６４は、撮像装置１０に録音された音声（例えば車内の音声）が所定の条件を満たすかを判断することで、すなわち、音声から抽出されるパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出してもよい。例えば、画像解析部６４は、音声のパラメータ、例えば大きさや周波数が、所定の閾値以上であるなど、所定の範囲の範囲外である場合に、その音声が録音された時刻に撮像された画像Ｐを特徴画像と判断し、その画像Ｐが撮像された時刻（すなわちその音声が録音された時刻）を、特徴時刻として検出する。また、例えば、画像解析部６４は、音声に予め定めたキーワードが含まれていた場合に、その音声が録音された時刻に撮像された画像Ｐを特徴画像と判断してもよい。また、画像解析部６４は、位置情報が所定の条件を満たすかを判断することで、すなわち位置情報から抽出されるパラメータが所定の条件を満たすかを判断することで、特徴時刻を検出してもよい。例えば、画像解析部６４は、車両Ｖの位置をパラメータとして、車両Ｖが所定の場所に位置したかを検出し、所定の場所に位置した（到達した）時刻に撮像された画像Ｐを特徴画像と判断し、その画像Ｐが撮像された時刻（すなわち所定の場所に到達した時刻）を、特徴時刻として検出する。ここでの所定の場所は、ユーザが設定してもよいし、制御部５８が設定してもよい。所定の場所は、例えば、車両Ｖの移動経路の中間地点や分岐点、また、観光名所など、任意に設定可能である。

【0036】

画像解析部６４は、以上のような特徴画像の判断方法のいずれか１つを用いてよいし、複数を組み合わせてもよい。すなわち、画像解析部６４は、画像Ｐ、音声、位置情報の少なくともいずれかを用いて特徴画像であるかの判断を行ってもよいし、画像Ｐ、音声、位置情報の全てを用いて特徴画像であるかの判断を行ってもよい。また、画像解析部６４は、特徴画像を判断するためのパラメータが複数ある場合、スコア付けを行うことで、特徴画像の判断に重み付けを行ってもよい。例えば、画像解析部６４は、所定の条件を満たすパラメータの数をカウントし、その数が所定値以上となった時刻の画像Ｐを、特徴画像と判断してもよい。例えば所定数が２の場合、人の表情が笑顔であり、かつ、音声が所定の閾値以上となった時刻がある場合、所定の条件を満たすパラメータが２つとなるため、その時刻の画像Ｐが特徴画像であると判定される。また、１つのパラメータにつき、所定の条件、すなわち閾値を段階的に複数設定して、閾値毎に点数を設定してもよい。この場合、画像解析部６４は、例えば、点数の合計値が所定値以上となった時刻の画像Ｐを、特徴画像と判断する。また、特徴画像が複数抽出された場合、所定の条件を満たすパラメータの数や、点数の合計値毎に、すなわち、スコア毎に、特徴画像を順位付けしてもよい。すなわち、画像Ｐは、スコアが高いほど、ユーザが視聴を求める可能性が高いと推定される画像となる。スコアは、例えば、所定の条件を満たすパラメータの数や、点数の合計値などである。

【0037】

図４は、設定時刻を説明するための図である。設定時刻指定部６６は、画像Ｐの情報に基づき、画像Ｐが撮像された時間内から、互いに異なる複数の設定時刻を指定する。後述のサムネイル取得部６８は、設定時刻に撮像された画像Ｐを、サムネイル１００とする。設定時刻の設定の例を、図４に基づき説明する。図４の横軸は時間であり、図４の例では、時刻ｔｓから時刻ｔｅまでが、画像Ｐが撮像された時間（撮像時間）となっている。すなわち、時刻ｔｓで画像Ｐの撮像が開始され、時刻ｔｅで画像Ｐの撮像が終了している。

【0038】

設定時刻指定部６６は、図４の（ａ）に示すように、時刻ｔｓから時刻ｔｅまでの間において、予め定めた時間毎に、複数の仮時刻（仮タグ）を設定する。この予め定めた時間、すなわち仮時刻の間の時間は、例えば５分以上１０分以下などの、予め定めた一定の長さとなっている。すなわち、設定時刻指定部６６は、撮像時間の間に、一定時間毎の仮時刻を設定する。図４の例では、仮時刻は、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５であり、ｔ１からｔ２までの時間と、ｔ２からｔ３までの時間と、ｔ３からｔ４までの時間と、ｔ４からｔ５までの時間とは、互いに同じ長さとなっている。

【0039】

また、設定時刻指定部６６は、画像解析部６４が検出した特徴時刻、すなわち特徴画像が撮像された時刻を取得する。図４の例では、図４の（ｂ）に示すように、画像Ｐが撮像された時間内から、時刻ｔａと時刻ｔｂとが、特徴時刻として検出されている。

【0040】

設定時刻指定部６６は、この特徴時刻、すなわち特徴画像が撮像された時刻に基づき、設定時刻を指定する。より詳しくは、本実施形態では、設定時刻指定部６６は、仮時刻と特徴時刻とに基づき、設定時刻を指定する。図４の（ｃ）に示すように、設定時刻指定部６６は、仮時刻と特徴時刻とを設定時刻に設定している。さらに、設定時刻指定部６６は、複数の仮時刻のうち、特徴時刻に最も近い仮時刻を、その特徴時刻に置き換えて、置き換えた特徴時刻を、設定時刻としている。そして、設定時刻指定部６６は、特徴時刻に置き換えない仮時刻、すなわち特徴時刻に最も近い仮時刻でない仮時刻を、設定時刻としている。すなわち、図４の例では、特徴時刻である時刻ｔａに最も近い仮時刻が時刻ｔ２であり、もう１つの特徴時刻である時刻ｔｂに最も近い仮時刻が、時刻ｔ４である。従って、時刻ｔ２、ｔ４が、特徴時刻であるｔａ、ｔｂに置き換えられ、時刻ｔａ、ｔｂが設定時刻に設定される。また、その他の仮時刻である時刻ｔ１、ｔ３、ｔ５は、設定時刻に設定されている。すなわち、図４の例では、時刻ｔ１、ｔａ、ｔ３、ｔｂ、ｔ５が設定時刻として指定されている。

【0041】

仮時刻をそのまま設定時刻とした場合、設定時刻同士の間の時間は、一定となる。しかし、このように特徴時刻に基づき設定時刻を指定する場合、設定時刻同士の間、すなわち、時系列に連続する設定時刻の間の長さが、設定時刻毎に異なる。すなわち、時刻ｔ１と時刻ｔａとの間の時間と、時刻ｔａと時刻ｔ３との間の時間と、時刻ｔ３と時刻ｔｂとの間の時間と、時刻ｔｂと時刻ｔ５との間の時間とは、互いに異なる。ただし、設定時刻同士の間の時間の全てが、互いに異なることに限られず、設定時刻同士の間の時間の少なくとも１つが、他と異なればよい。すなわち、特徴時刻に基づき設定された設定時刻とその設定時刻に時系列的に連続する設定時刻との間の時間が、他設定時刻の少なくともいずれか１つが、他の設定時刻同士の間の時間と異なる。

【0042】

なお、上述の説明では、設定時刻指定部６６は、特徴時刻を設定時刻に設定したが、特徴時刻に基づいて設定時刻を設定するものであれば、特徴時刻をそのまま設定時刻に設定しなくてもよい。すなわち、設定時刻指定部６６は、特徴時刻から所定時間ずらした時刻を、設定時刻に設定してもよい。例えば、設定時刻指定部６６は、特徴時刻より所定時間だけ前の時刻を、設定時刻に設定してもよい。このように設定時刻を設定することで、その設定時刻から再生される画像を、特徴画像の前後を含む画像とすることができる。

【0043】

このように、本実施形態に係る設定時刻指定部６６は、仮時刻と特徴時刻とに基づき、設定時刻を設定していたが、仮時刻と特徴時刻とに基づいて設定時刻を設定することに限られない。設定時刻指定部６６は、仮時刻を用いず、特徴時刻に基づき設定時刻を設定してもよい。また、設定時刻指定部６６は、特徴時刻を用いず、仮時刻に基づき設定時刻を設定してもよい。すなわち、設定時刻指定部６６は、設定時刻同士の間の長さは一定となるように、設定時刻を設定してもよい。また、設定時刻指定部６６は、特徴時刻を用いない場合であっても、設定時刻同士の間の長さが互いに異なるように、設定時刻を設定してもよい。すなわち、設定時刻指定部６６は、画像Ｐの撮像時間、すなわち時刻ｔｓと時刻ｔｅとの間に、複数の設定時刻を設定すればよい。従って、設定時刻指定部６６は、画像Ｐの撮像時間の長さの情報（すなわち時刻ｔｓから時刻ｔｅまでの時間）があれば、設定時間を設定可能である。従って、設定時刻指定部６６は、画像Ｐの情報（ここでは画像Ｐの撮像時間の長さの情報）に基づき、設定時刻を設定しているといえる。

【0044】

図３に戻り、サムネイル取得部６８は、設定時刻に撮像された画像Ｐを、サムネイル１００として取得する。サムネイルとは、画像Ｐの縮小データを指し、本実施形態では、撮像装置１０によって設定時刻に撮像された画像Ｐを指す。本実施形態においては、サムネイル取得部６８は、画像情報取得部６０に取得されて記憶部５６に記憶された画像Ｐから、設定時刻に撮像された画像Ｐを、サムネイル１００として抽出する。サムネイル取得部６８は、設定時刻毎に、サムネイル１００を取得するため、サムネイル１００は、設定時刻の数の分、取得される。なお、サムネイル取得部６８は、設定時刻に撮像された画像Ｐのデータに対し、縮小するなどの処理を加えた上で、サムネイル１００として取得してもよいし、設定時刻に撮像された画像Ｐのデータに処理を加えず、そのままサムネイル１００として取得してもよい。また、本実施形態におけるサムネイル１００は、設定時刻における静止画像であるが、例えば設定時刻から所定時間の間に撮像された動画像であってもよい。

【0045】

表示画像生成部７０は、サムネイル取得部６８が取得したサムネイル１００を含む画像を、表示画像Ｐ１として生成する。本実施形態においては、表示画像生成部７０は、生成した表示画像Ｐ１を、表示端末１６に送信して、後述する表示端末１６の表示部８２に表示させる。ただし、表示画像生成部７０は、生成した表示画像Ｐ１を、表示制御システム１の他の表示部（例えば車載装置１２の表示部３２や外部装置１４の表示部５２）に表示させてもよい。表示画像Ｐ１については後述する。

【0046】

このように、本実施形態においては、外部装置１４が、画像情報取得部６０により画像Ｐの情報を取得し、設定時刻指定部６６により設定時刻を指定し、サムネイル取得部６８によりサムネイル１００を取得し、表示画像生成部７０により表示画像Ｐ１を生成する。従って、本実施形態においては、外部装置１４が、表示制御装置を構成している。

【0047】

図３に示すように、表示端末１６は、入力部８０と、表示部８２と、通信部８４と、記憶部８６と、制御部８８とを有する。表示端末１６は、表示画像Ｐ１を表示するための装置であり、例えば本実施形態では、ユーザに携帯されるタブレットやスマートフォンなどの携帯端末である。従って、表示端末１６は、ユーザによって車両Ｖ内に持ち込まれてもよい。ただし、表示端末１６は、表示画像Ｐ１を表示する装置であれば、任意のものであってよい。なお、車載装置１２と表示端末１６とは、異なる携帯端末であってもよいし、同一の携帯端末であってもよい。

【0048】

入力部８０は、ユーザからの情報が入力可能な機構であり、例えばボタンやタッチパネルなどである。表示部８２は、画像などの各種情報を表示するタッチパネルなどのディスプレイである。また、表示端末１６は、図示しないスピーカにより音声を出力可能に構成されてもよい。この場合、表示端末１６は、表示部８２に、撮像装置１０が撮像した画像Ｐを表示しつつ、スピーカに、撮像装置１０が録音した音声を再生してもよい。

【0049】

通信部８４は、制御部８８の制御により、他の装置、例えば外部装置１４など通信することで、データの送受信をするよう構成される。記憶部８６は、制御部８８の演算内容や画像Ｐなどの各種情報を記憶するメモリである。記憶部８６は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。

【0050】

制御部８８は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部８８は、表示画像取得部９０と、表示制御部９２とを有する。表示画像取得部９０と表示制御部９２とは、記憶部８６に記憶されたソフトウェア（プログラム）を読み出し、ＣＰＵで所定の処理を行うことで、後述する処理を実行する。

【0051】

表示画像取得部９０は、表示部８２に表示する画像を取得する。表示画像取得部９０は、表示部８２に表示する画像として、表示画像生成部７０が生成した表示画像Ｐ１を、外部装置１４から取得する。また、表示画像取得部９０は、表示部８２に表示する画像として、撮像装置１０が撮像した画像Ｐを、外部装置１４から取得する。表示制御部９２は、表示画像取得部９０が取得した画像を、表示部８２に表示させる。

【0052】

（表示画像について）
以下、外部装置１４の表示画像生成部７０が生成する表示画像Ｐ１について説明する。図５は、表示画像の一例を示す図である。図５は、表示画像Ｐ１が表示部８２の表示画面に表示された例を示している。また、図５は、表示画像Ｐ１を、サムネイルモード、すなわち後述の表示領域Ｑを回転させながら表示するモードで表示した例を説明している。図５に示すように、表示画像生成部７０は、サムネイル取得部６８が取得したサムネイル１００が、撮像された時系列の順番に並んで表示されるように、表示画像Ｐ１を生成する。表示端末１６は、表示画像取得部９０によって、表示画像生成部７０が生成した表示画像Ｐ１を取得して、表示制御部９２によって、取得した表示画像Ｐ１を表示部８２の表示画面に表示させる。

【0053】

ここで、サムネイル１００は、時系列毎、すなわち設定時刻毎に生成される。表示画像生成部７０は、撮像された時系列毎（設定時刻の時系列毎）にサムネイル１００を順番に並べた画像を、表示画像Ｐ１として生成する。図５の例では、サムネイル１００として、サムネイル１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅが表示されている。サムネイル１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅは、時系列にこの順で撮像された画像である。すなわち、サムネイル１００Ａが、図４に示す時刻ｔ１に撮像された画像であり、サムネイル１００Ｂが、図４に示す時刻ｔａに撮像された画像であり、サムネイル１００Ｃが、図４に示す時刻ｔ３に撮像された画像であり、サムネイル１００Ｄが、図４に示す時刻ｔｂに撮像された画像であり、サムネイル１００Ｅが、図４に示す時刻ｔ５に撮像された画像である。そのため、図５においては、サムネイル１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅが、この順で並んでいる。

【0054】

表示画像Ｐ１についてさらに詳細に説明する。以下では、方向Ｘ、方向Ｙ、方向Ｚに基づき表示画像Ｐ１を説明する。方向Ｘは、表示画像Ｐ１の表示画面に沿った方向であり、方向Ｙは、表示画像Ｐ１の表示画面に沿った方向であって方向Ｘに直交する方向である。また、方向Ｚは、方向Ｘ及び方向Ｙに直交する方向であり、表示画面の奥行方向である。すなわち、方向Ｘ、Ｙ、Ｚは、表示画面において設定された座標における各方向である。表示画像生成部７０は、表示画面上に、方向Ｘ、方向Ｙ、及び方向Ｚを３つの軸とする仮想３次元空間を再現して、その仮想３次元空間に、表示画像Ｐ１を再現する。表示画像生成部７０は、仮想３次元空間内、すなわち表示画像Ｐ１内に、球状の表示領域Ｑを複数配置する。そして、表示画像生成部７０は、球状の表示領域Ｑの外表面に、サムネイル１００をマッピングすることで、表示領域Ｑの外表面にサムネイル１００を表示させる。本実施形態においては、画像Ｐ、すなわちサムネイル１００は、３６０度画像なので、サムネイル１００は、表示領域Ｑの周方向の全周にわたってマッピングされることとなる。ただし、本実施形態では表示画面がＸ方向及びＹ方向に沿った２次元面であるため、表示領域Ｑに実際に表示される表示画像Ｐ１は、サムネイル１００の全体のうち、表示領域Ｑの方向Ｚの反対方向側（表示画面の手前側）の表面にマッピングされた画像となる。なお、表示領域Ｑは、球状であるが、中心から外周面までの距離が一定な球であってもよいし、中心から外周面までの距離が一定でない楕円体であってもよい。すなわち、ここでの球状とは、外周面が曲面であって連続している（不連続でない）形状であるといえる。

【0055】

そして、表示画像生成部７０は、図５に示すサムネイルモードにおいて、各表示領域Ｑを回転させるように、表示画像Ｐ１を生成する。サムネイル１００は、表示領域Ｑの回転に伴い、アングルを変化させながら表示されて、表示される画像（サムネイル１００の全体のうちの表示される画像領域）が変化する。言い換えれば、表示画像生成部７０は、表示領域Ｑを回転させることで、撮像装置１０のカメラアングル（撮像方向）を仮想的に変化させながらサムネイル１００を表示させているといえる。さらに言えば、サムネイル１００は、全体のうちの一部分の画像が表示されており、表示領域Ｑの回転に伴い、表示される部分が変化する。例えば、サムネイル１００は、あるタイミングでは３６０度画像のうちの０度から１８０度までの画像が表示されており、次のタイミングでは１度から１８１度までの画像が表示されるというように、表示領域Ｑの回転に伴い、異なるアングルの画像が表示される。なお、上述のように、画像Ｐ、すなわちサムネイル１００は、所定の軸に対する周方向に沿った１周分の画像であり、表示領域Ｑの回転方向は、例えば、この所定の軸に対する周方向に沿った方向であってよい。ただし、表示領域Ｑは、球状であるため、どの方向に回転しても、サムネイル１００を適切に表示することができる。従って、表示画像生成部７０は、表示領域Ｑを任意の方向にランダムに回転させることが好ましい。すなわち、表示画像生成部７０は、表示領域Ｑの回転方向を変化させてもよい。また、表示画像生成部７０は、表示領域Ｑ毎に、回転方向を同じとしてもよいし、表示領域Ｑ毎に回転方向を異ならせてもよい。また、表示画像生成部７０は、表示領域Ｑの回転速度を変化させてもよい。また、表示画像生成部７０は、表示領域Ｑ毎に、回転速度を同じとしてもよいし、表示領域Ｑ毎に回転速度を異ならせてもよい。

【0056】

また、表示画像生成部７０は、図５に示すサムネイルモードにおいては、各表示領域Ｑを、所定の軌跡で、方向Ｘ、方向Ｙ及び方向Ｚの少なくともいずれかの方向に動かす。これにより、表示領域Ｑ、すなわちサムネイル１００は、表示画面上で浮遊するように視認される。表示領域Ｑを動かす軌跡は、ランダムに設定されることが好ましい。また、表示画像生成部７０は、表示領域Ｑ毎に、軌跡を同じとしてもよいし、表示領域Ｑ毎に軌跡を異ならせてもよい。表示領域Ｑ毎に異なる軌跡となっていてもよい。なお、表示領域Ｑは、方向Ｘ、方向Ｙ及び方向Ｚの全ての方向に移動するように、軌跡が設定されていることが好ましい。このように軌跡を設定することで、より浮遊するように視認され易くなる。軌跡は、方向Ｘ、方向Ｙ及び方向Ｚの各軸に沿った方向に限らず任意の方向でよく、また、直線に限らず任意の曲線でもよい。所定の軌跡に沿って、表示領域Ｑを等速で動かしてもよいし、速度を変化させながら動かしてもよい。

【0057】

このように、表示画像生成部７０は、表示領域Ｑ毎に、回転方向や回転速度や動く軌跡の少なくともいずれかを異ならせてもよい。この場合、表示画像生成部７０は、表示領域Ｑ毎に、表示の仕方を異ならせているといえる。また、表示画像生成部７０は、表示領域Ｑ毎に、表示の仕方を同じとしてもよい。

【0058】

また、表示画像生成部７０は、表示領域Ｑに表示されるサムネイル１００の撮像された時刻（設定時刻）毎に、時系列の順番で、表示領域Ｑ、すなわちサムネイル１００を並べるよう、表示画像Ｐ１を生成している。より詳しくは、表示画像生成部７０は、表示領域Ｑ（サムネイル１００）が、方向Ｚ、すなわち画面の奥行方向に沿って、時系列の順で並ぶように、表示画像Ｐ１を生成している。すなわち、表示画像生成部７０は、撮像された時刻が遅くなるほど、表示領域Ｑ（サムネイル１００）を方向Ｚ側（画面の奥側）に配置する。図５の例では、表示領域ＱＡの外表面にサムネイル１００Ａを表示し、表示領域ＱＢの外表面にサムネイル１００Ｂを表示し、表示領域ＱＣの外表面にサムネイル１００Ｃを表示し、表示領域ＱＤの外表面にサムネイル１００Ｄを表示し、表示領域ＱＥの外表面にサムネイル１００Ｅを表示している。この場合、図５に示すように、表示領域ＱＡと、表示領域ＱＢと、表示領域ＱＣと、表示領域ＱＤと、表示領域ＱＥとが、方向Ｚ、すなわち画面奥側に向けて、この順で並んでいる。なお、表示画面は２次元となっているため、表示画像生成部７０は、表示領域ＱＡ、ＱＢ、ＱＣ、ＱＤ、ＱＥの順で、球体の大きさを小さくしているといえ、時系列が後になるほど、表示領域Ｑの大きさ、すなわちサムネイル１００の大きさを小さくしているといえる。なお、時系列毎に表示領域Ｑが並ぶ方向は、方向Ｚに限られず、任意の方向であってよい。すなわち、表示画像生成部７０は、表示領域Ｑが、所定方向において、サムネイル１００の撮像された時系列の順番に並んで表示されるように、表示画像Ｐ１を生成すればよい。

【0059】

また、表示画像生成部７０は、サムネイル１００、すなわち表示領域Ｑを、時系列での配列方向（ここでは方向Ｚ）と異なる方向において、サムネイル１００とされた画像Ｐが撮像された位置に基づき並べる。ここでは、第１設定時刻（例えば図４の時刻ｔ１）に撮像された第１サムネイル（ここではサムネイル１００Ａ）と、第１設定時刻より後の第２設定時刻（ここでは時刻ｔａ）に撮像された第２サムネイル（ここではサムネイル１００Ｂ）とに基づき、説明する。表示画像生成部７０は、位置情報として、車両Ｖの進行方向Ｖ１の情報を取得する。表示画像生成部は、第２サムネイル（サムネイル１００Ｂ）が、第１サムネイル（サムネイル１００Ａ）に対し、第１設定時刻から第２設定時刻までの進行方向Ｖ１側に位置するように、第１サムネイルと第２サムネイルとを並べる。図５の例では、第１設定時刻から第２設定時刻までの進行方向Ｖ１は、Ｙ方向（図２でのＹ０方向）であるため、第２サムネイル（サムネイル１００Ｂ）は、第１サムネイル（サムネイル１００Ａ）に対してＹ方向側に位置している。より詳しくは、表示画像生成部７０は、絶対座標における方向と、画面上における方向とを対応付ける。すなわち、表示画像生成部７０は、図２に示す絶対座標における方向Ｘ０を、表示画面上の方向Ｘに対応付け、図２に示す方向Ｙ０を、画面上の方向Ｙに対応付ける。これにより、表示画面上で進行方向Ｖ１を再現可能となる。表示画像生成部７０は、表示画像Ｐ１において、設定時刻毎の進行方向Ｖ１の向きを設定して、その設定した進行方向Ｖ１に沿って、サムネイル１００、すなわち表示領域Ｑを並べる。

【0060】

また、表示画像生成部７０は、サムネイル１００以外の領域に背景画像１１０が表示されるように、表示画像Ｐ１を生成する。すなわち、表示画像Ｐ１は、背景画像１１０上にサムネイル１００が表示される画像となる。背景画像１１０は、任意の画像であってよいが、例えば車両Ａが走行した領域の地図の画像であってよい。この場合、表示画像生成部７０は、サムネイル１００の撮像された時刻における車両Ｖの位置情報を取得し、背景画像１１０の地図上において、サムネイル１００の撮像された時刻での車両Ｖの位置に、そのサムネイル１００（表示領域Ｑ）を表示させることが好ましい。このように、地図上でのサムネイル１００が撮像された位置に、サムネイル１００を表示することで、どの位置で撮像された画像かを適切に認識することができる。また、例えば、背景画像１１０は、サムネイル１００の撮像された時刻に連動した画像となっていてもよい。この場合、例えば、サムネイル１００の撮像された時刻が夜の場合は、背景画像１１０が夜の画像となり、サムネイル１００の撮像された時刻が昼の場合は、背景画像１１０が昼の画像となる。

【0061】

また、例えば、表示画像生成部７０は、表示するサムネイル１００の数を変更してもよい。この場合、例えば、ユーザが、サムネイル１００の撮像された時刻である設定時刻同士の時間間隔を変更する操作（設定）を行うことで、表示画像生成部７０は、サムネイル１００の数を変化させる。すなわち、設定時刻同士の時間間隔を小さくするように操作された場合、表示画像生成部７０は、その旨の情報を取得して、サムネイル１００の数を増やしつつ、サムネイル１００同士の設定時刻の時間間隔を小さくするよう、表示画像Ｐ１を更新する。また、設定時刻同士の時間間隔を大きくするように操作された場合、表示画像生成部７０は、サムネイル１００の数を減らしつつ、サムネイル１００同士の設定時刻の時間間隔を大きくするよう、表示画像Ｐ１を更新する。

【0062】

また、図５の例では、作成した全てのサムネイル１００を１つの画面で表示しているが、サムネイル１００の一部を１つの画面で表示させ、例えばユーザによる操作など（画面のスワイプ操作など）によって、表示されなかったサムネイル１００を表示させるよう、表示画像Ｐ１を切り替えてもよい。

【0063】

図６は、表示画像モードにおける画像の一例を示す図である。表示端末１６の表示制御部９２は、表示画面（表示部８２）に表示画像Ｐ１を表示している状態で、サムネイル１００がユーザにより選択されたら、表示画面に表示する画像を、サムネイルモード、すなわち表示画像Ｐ１から、画像再生モード、すなわち図６に示す画像Ｐに、切り替える。言い換えれば、サムネイル１００がユーザにより選択されたら、表示端末１６は、表示画像取得部９０によって、外部装置１４から画像Ｐを取得して、表示制御部９２によって、取得した表示画像Ｐ１を表示部８２の表示画面に表示させる。この場合、表示端末１６は、外部装置１４から、逐次、画像Ｐを取得しつつストリーミング再生してもよい。また、表示端末１６は、外部装置１４から画像Ｐの全体のデータを取得して記憶部８６に記憶させ、記憶部８６に記憶した画像Ｐを読み出して再生してもよい。なお、表示端末１６の表示制御部９２は、表示部８２の表示画面に、表示画像Ｐ１の撮像方向（カメラアングル、レンズの向く方向）を示す画像Ｐ０を表示してもよい。図６は、画像Ｐが、車両Ｖの進行方向を撮像した例を示しており、ここでは車両Ｖの進行方向側の道路を撮像している。従って、図６の例では、画像Ｐ０は、画像Ｐ１が車両Ｖの進行方向を撮像していることを示している。例えば、画像Ｐ０は、車両Ｖのアイコンである画像Ｐ０ａと、画像Ｐ１の撮像方向を示す画像である画像Ｐ０ｂとを、重畳したものである。画像Ｐ０ａは、車両Ｖを鉛直方向上方から見た模式的な画像であるともいえる。画像Ｐ０ｂは、例えば、画像Ｐ０ａ上の鉛直方向に沿った軸を中心軸とした３６０度にわたる領域（図６の例では破線の円形の領域）のうち、撮像される範囲（図６の例では斜線の領域）を示した画像である。画像Ｐ０ｂにおいて撮像される範囲を示す画像の向きが、撮像方向を示しているといえる。表示制御部９２は、画像Ｐ１の撮像方向をスワイプ操作等により変更した場合、例えば、画像Ｐ０ｂの向き、すなわち撮像される範囲を示す画像の向きを変化させることで、画像Ｐ０が示す撮像方向も、合わせて変更させることが望ましい。

【0064】

さらに詳しくは、表示制御部９２は、表示画面内でサムネイル１００が選択されたら、そのサムネイル１００が撮像された時刻からの画像Ｐを、表示画面上に再生する。すなわち、表示制御部９２は、選択されたサムネイル１００の撮像時刻から、画像Ｐを連続再生する。これにより、ユーザは、サムネイル１００から、画像Ｐを頭出し再生することができる。なお、表示画像生成部７０は、サムネイル１００がユーザにより選択されたら、そのサムネイル１００がマッピングされている表示領域Ｑが弾けて割れるような表示にした後、画像Ｐの再生に切り替わるよう、表示画像Ｐ１を生成することが好ましい。ただし、画面の切り替え方は、これに限られず任意である。例えば、表示制御部９２は、ユーザが選択したサムネイル１００を拡大させたり展開させたりして画面全体に広げるような表示、または、ユーザが選択したサムネイル１００がＺ方向と反対側（画面手前側）に向かって飛び込んでくるような表示等を行った後、画像Ｐの再生に切り替わるよう、表示画像Ｐ１を生成してもよい。なお、ユーザは、例えば、サムネイル１００（表示領域Ｑ）が表示されている箇所をタッチすることで、そのサムネイル１００を選択してもよいし、ボタンなどを操作して、サムネイル１００を選択してもよい。すなわち、サムネイル１００の選択の仕方は任意である。

【0065】

図７は、表示画像の他の例を示す図である。ここで、特徴画像として抽出されたサムネイル１００、すなわち特徴時刻に基づき設定された設定時刻でのサムネイル１００がマッピングされた表示領域Ｑを、特徴表示領域と記載する。また、特徴画像として抽出されなかったサムネイル１００、すなわち特徴時刻に基づき設定されなかった（ここでは仮時刻に基づき設定された）設定時刻でのサムネイル１００がマッピングされた表示領域Ｑを、通常表示領域と記載する。この場合、表示画像生成部７０は、図７に示すように、サムネイルモードにおいて、特徴表示領域の表示の仕方を、通常表示領域の表示の仕方と異ならせることで、特徴表示領域にマッピングされたサムネイル１００、すなわち特徴画像を、強調表示させてもよい。図７の例では、表示領域ＱＢ、ＱＤが、特徴表示領域であり、表示領域ＱＡ、ＱＣ、ＱＥが、通常表示領域である。図７の例では、表示画像生成部７０は、表示領域ＱＢ、ＱＤを、表示領域ＱＡ、ＱＣ、ＱＥよりＺ方向と反対側（画面手前側）に表示させることで、表示領域ＱＢ、ＱＤを、表示領域ＱＡ、ＱＣ、ＱＥより大きく表示させている。すなわち、この場合、時系列の順番に関わらず、特徴表示領域である表示領域ＱＢ、ＱＤが、画面手前側に表示される。すなわち、図７の例では、特徴表示領域を画面手前側に表示させて大きくすることで、特徴表示領域の表示の仕方を、通常表示領域の表示の仕方と異ならせている。ただし、表示の異ならせ方は、これに限られない。例えば、表示画像生成部７０は、特徴表示領域の動く軌跡を、通常表示領域の動く軌跡と異ならせたり、特徴表示領域の動く軌跡を通常表示領域の動く軌跡より長くしたり、特徴表示領域の動く速度や頻度を、通常表示領域の動く速度や頻度より高めたりすることで、表示の仕方を異ならせてもよい。また、例えば、特徴表示領域に、文字や絵などで注記を付すことで、表示の仕方を異ならせて、特徴表示領域を強調表示させてもよい。

【0066】

また、上述のように、所定の条件を満たすパラメータの数や点数の合計値毎に、すなわちスコア毎に、特徴画像を順位付けする場合がある。このように特徴画像が順位付けされた場合、表示画像生成部７０は、特徴画像の順位毎に、特徴表示領域（表示領域ＱＢ、ＱＤ）同士を異なる方法で表示させてもよい。例えば、表示領域ＱＤのサムネイル１００Ｄの順位付けが、表示領域ＱＢのサムネイル１００Ｂの順位付けより高い場合、すなわちサムネイル１００Ｄのスコアがサムネイル１００Ｂのスコアより高い場合、表示画像生成部７０は、表示領域ＱＤを表示領域ＱＢよりも画面手前側に配置して、表示領域ＱＤを、表示領域ＱＢよりも大きくする。また、例えば、表示領域ＱＤの移動の軌跡を、表示領域ＱＢの移動の軌跡より大きくしてもよい。このように特徴画像の順位毎に表示領域Ｑの表示を変えることで、ユーザが視聴を求める可能性が高いと推定される場面である特徴画像を、ユーザが検出しやすくなる。

【0067】

なお、図７に示すような特徴表示領域を強調して表示する表示画像Ｐ１は、図５に示す表示画像Ｐ１の代わりに表示されるものであるが、図５に示すような表示画像Ｐ１と、図７に示すような表示画像Ｐ１とを、切り替えて表示可能であってもよい。また、図７に示すような特徴表示領域を強調して表示する表示画像Ｐ１は、後述する図８の固定サムネイルモードに用いられてもよい。

【0068】

図８は、表示画像の一例を示す図である。表示画像生成部７０は、図５に示したように、表示領域Ｑを回転させるサムネイルモードでの表示画像Ｐ１を生成する。ただし、表示画像生成部７０は、サムネイルモード以外の表示モードでの表示画像Ｐ１についても生成してもよい。図８は、固定サムネイルモードにおける表示画像Ｐ１を示している。図８に示すように、固定サムネイルモードにおける表示画像Ｐ１は、表示領域Ｑが回転しておらず、表示領域Ｑの回転が停止している点で、サムネイルモードにおける表示画像Ｐ１と異なる。この場合、表示領域Ｑに表示されるサムネイル１００は、アングルを変化させるような表示とならないため、アングルが所定方向に固定された画像として、表示される。言い換えれば、表示画像生成部７０は、固定サムネイルモードにおいて、サムネイル１００のアングルが固定された所定方向となるように、表示画像Ｐ１を生成する。

【0069】

さらに詳しくは、表示画像生成部７０は、固定サムネイルモードにおいて、表示されている全てのサムネイル１００のアングルが同一の所定方向となるように、表示画像Ｐ１を生成することが好ましい。すなわち、表示画像生成部７０は、サムネイル１００のアングルを一定方向、すなわち同一の所定方向に配列させる。このようにサムネイル１００のアングルを同一の所定方向に配列することで、固定サムネイルモードにおけるサムネイル１００は、同じ方向、すなわち同一の所定方向を撮像した画像として表示される。サムネイル１００のアングルの方向、すなわち所定方向は、任意に設定可能であるが、例えば、車両Ｖの進行方向Ｖ１であることが好ましい。全てのサムネイル１００のアングルを車両Ｖの進行方向Ｖ１とすることで、全てのサムネイル１００が、進行方向Ｖ１側を表示する画像となる。従って、表示画像Ｐ１は、進行方向Ｖ１側を撮像したサムネイル１００が時系列に並んだ画像となり、それを視認したユーザが、車両Ｖによる移動を追体験することができる。また、アングルの方向は、進行方向Ｖ１と反対方向であってもよい。このような場合、アングルの方向は、進行方向Ｖ１に基づき設定されているといえるため、全てのサムネイル１００が、進行方向Ｖ１に基づき設定された方向を表示する画像となる。また、アングルの方向は、絶対座標における所定の方向（例えば東西南北のいずれかの方向など）であってもよい。このように全てのサムネイル１００のアングルを絶対座標における所定の方向とすることで、全てのサムネイル１００が、絶対座標における所定の方向を表示する画像となる。また、表示画像生成部７０は、固定サムネイルモードにおいて、表示領域Ｑの、方向Ｘ、方向Ｙ及び方向Ｚの方向の移動、すなわち浮遊についても停止させてもよいし、浮遊させたままであってもよい。なお、固定サムネイルモードにおいて、サムネイル１００と共に、画像Ｐ０を表示させてもよい。この場合の画像Ｐ０は、サムネイル１００のアングルの方向を示す画像となり、例えば、画像Ｐ０ｂの向きがサムネイル１００のアングルの方向となる。

【0070】

サムネイルモードと固定サムネイルモードとの切り替えは、例えばユーザの操作（設定）によって行われる。表示部８２にサムネイルモードでの表示画像Ｐ１が表示されている場合に、切替の設定がなされたら、表示画像生成部７０は、固定サムネイルモードでの表示画像Ｐ１を生成して、表示端末１６に送信する。表示端末１６は、表示画像取得部９０によって、固定サムネイルモードでの表示画像Ｐ１を取得して、表示制御部９２によって、サムネイルモードでの表示画像Ｐ１を、固定サムネイルモードでの表示画像Ｐ１に切り替える。固定サムネイルモードからサムネイルモードへの切り替えも、同様に行われる。

【0071】

図９は、表示画像の他の例を示す図である。表示画像生成部７０は、図９に示すように、サムネイルモード以外の表示モードであるソートモードでの表示画像Ｐ１を生成してもよい。図９に示すように、ソートモードにおいて、サムネイル１００は、一方向（ここではＸ方向）において、時系列の順番で並ぶ。そして、サムネイル１００は、一方向と異なる方向（ここではＹ方向）において、特徴画像の抽出の際に算出されたスコアの順番で並ぶ。すなわち、サムネイル１００は、スコアが高いほど、一方向と異なる方向（ここではＹ方向）側に位置している。すなわち、ソートモードにおいては、サムネイル１００は、スコア、すなわちユーザが視聴を求める可能性が高いと推定される度合い毎に、ソートされる。なお、図９では、Ｘ方向に沿った時間の矢印とＹ方向に沿ったスコアの矢印が表示されているが、この矢印は実際には表示されなくてもよい。また、ソートモードにおいては、スコア以外のパラメータに基づいてソートされてもよい。なお、ソートモードでは、表示領域Ｑが回転していないが、表示領域Ｑが回転していてもよい。また、ソートモードにおいても、表示領域Ｑが回転していない場合に、サムネイル１００と共に、画像Ｐ０を表示させてもよい。すなわち、表示画像生成部７０は、表示領域Ｑが回転しない表示モードの場合に、画像Ｐ０を表示して、表示領域Ｑが回転する表示モードの場合に、画像Ｐ０を表示しないようにしてもよい。

【0072】

サムネイルモードとソートモードとの切り替えは、例えばユーザの操作（設定）によって行われる。表示部８２にサムネイルモードでの表示画像Ｐ１が表示されている場合に、切替の設定がなされたら、表示画像生成部７０は、ソートモードでの表示画像Ｐ１を生成して、表示端末１６に送信する。表示端末１６は、表示画像取得部９０によって、ソートモードでの表示画像Ｐ１を取得して、表示制御部９２によって、サムネイルモードでの表示画像Ｐ１を、ソートモードでの表示画像Ｐ１に切り替える。サムネイルモードからソートモードへの切り替えも、同様に行われる。また、固定サムネイルモードとソートモードとも、同様に切り替え可能である。ただし、表示画像生成部７０は、サムネイルモードと固定サムネイルモードとソートモードとの全てのモードの表示画像Ｐ１を生成することに限られず、サムネイルモードと固定サムネイルモードとソートモードとの少なくとも１つを生成すればよい。

【0073】

以上説明した表示画像Ｐ１の表示方法を、フローチャートに基づき説明する。図１０は、表示画像の表示方法を説明するフローチャートである。表示画像Ｐ１を表示する際には、最初に、撮像装置１０が移動しながら画像Ｐを撮像し、車載装置１２が、移動毎の位置情報を取得している。図１０に示すように、表示制御システム１は、外部装置１４の画像情報取得部６０により、画像Ｐの情報を取得する（ステップＳ１０）。本実施形態においては、画像情報取得部６０は、車載装置１２から、画像Ｐの情報として、画像Ｐ（画像データ）と位置情報とを取得する。画像Ｐの情報を取得したら、表示制御システム１は、外部装置１４の画像方向決定部６２により、画像Ｐ内での方向と絶対座標での方向とを関連付ける（ステップＳ１２）。すなわち、画像方向決定部６２は、画像Ｐ内での方向が、絶対座標においてどの方向を指すかを算出する。

【0074】

その後、表示制御システム１は、外部装置１４の画像解析部６４により、画像Ｐの情報を解析して、特徴時刻を検出する（ステップＳ１４）。すなわち、画像解析部６４は、画像Ｐのうちから、ユーザが視聴を求める可能性が高いと推定される特徴画像を抽出し、その特徴画像が撮像された時刻を、特徴時刻として検出する。特徴時刻を検出した後、表示制御システム１は、外部装置１４の設定時刻指定部６６により、設定時刻を指定する（ステップＳ１６）。本実施形態では、設定時刻指定部６６は、仮時刻と特徴時刻とを、設定時刻として指定する。設定時刻を設定した後、表示制御システム１は、外部装置１４のサムネイル取得部６８により、設定時刻に撮像された画像Ｐを、サムネイル１００として取得し（ステップＳ１８）、表示画像生成部７０により、サムネイル１００が時系列に並んだ画像を、表示画像Ｐ１として生成する。表示画像Ｐ１を生成したら、表示制御システム１は、表示端末１６の表示部８２に、表示画像Ｐ１を表示させる（ステップＳ２０）。

【0075】

以上説明したように、本実施形態に係る表示制御装置（ここでは外部装置１４）は、画像情報取得部６０と、設定時刻指定部６６と、サムネイル取得部６８と、表示画像生成部７０とを有する。画像情報取得部６０は、移動しながら撮像された複数の画像Ｐの情報を取得する。設定時刻指定部６６は、画像Ｐの情報に基づき、画像Ｐが撮像された時間から、互いに異なる複数の設定時刻を指定する。サムネイル取得部６８は、設定時刻に撮像された画像Ｐを、サムネイル１００として取得する。表示画像生成部７０は、取得した複数のサムネイル１００が、所定方向（本実施形態ではＺ方向）において、撮像された時系列の順番に並び、かつ、所定方向と異なる方向において、画像Ｐが撮像された位置を示す位置情報に基づき並んで表示されるように、表示部（本実施形態では表示部８２）に表示される表示画像Ｐ１を生成する。

【0076】

画像Ｐは、移動しながら撮像されるため、データ量が多くなる。従って、ユーザは、見たいと思う場面の画像を、画像Ｐから検出することが困難となる場合がある。それに対し、本実施形態に係る表示制御装置は、設定時間毎に撮像された画像をサムネイル１００として、サムネイル１００が、時系列毎に並び、かつ、撮像された位置に基づき並ぶように、表示画像Ｐ１を生成する。従って、この表示制御装置によると、ユーザは、時系列及び撮像された位置毎に並んだサムネイル１００を視認することで、複数のサムネイル１００のそれぞれを好適に識別することが可能となり、撮像された画像Ｐから、求める場面を適切に検出することができる。また、表示画像Ｐ１は、サムネイル１００を時系列毎に並べることで、移動毎の場面を、順番に表示することとなる。そのため、ユーザは、そのサムネイル１００を視認することで、移動を追体験することが可能となり、車両Ｖでの旅行などを振り返って、快適な体験をすることができる。さらに、表示画像Ｐ１は、サムネイル１００を、位置に基づいて並べる。すなわち、画像情報取得部６０は、画像Ｐが撮像された位置情報（ここでは車両Ｖの位置情報）を取得し、表示画像生成部７０は、位置情報を取得して、複数のサムネイル１００を、所定方向と異なる方向（本実施形態ではＸ方向及びＹ方向）において、画像Ｐが撮像された位置に基づき並べる。従って、ユーザは、サムネイル１００を視認することで、移動経路についても追体験することが可能となるため、見たいと思う場面の画像をより適切に検出することができる。

【0077】

また、位置情報は、画像Ｐを撮像する際の進行方向Ｖ１の情報を含み、サムネイル１００は、第１設定時刻の第１サムネイルと、第１設定時刻より後の設定時刻である第２設定時刻の第２サムネイルとを有する。表示画像生成部７０は、第２サムネイルが、第１サムネイルに対し、第１設定時刻から第２設定時刻までの進行方向Ｖ１側に位置するように、第１サムネイルと第２サムネイルとを並べる。この表示制御装置は、サムネイル１００を、時系列で並べると共に、進行方向Ｖ１にも沿って並べる。従って、ユーザは、サムネイル１００を視認することで、移動経路をより好適に追体験することが可能となるため、見たいと思う場面の画像をより適切に検出することができる。

【0078】

また、設定時刻指定部６６は、複数の画像Ｐのうちの予め定めた条件を満たす特徴画像が撮像された時刻（特徴時刻）に基づき、設定時刻を指定する。これにより、設定時刻指定部６６は、時系列に連続する設定時刻の間の長さを異ならせる。この表示制御装置は、特徴画像が撮像された時刻に基づき、設定時刻を指定する。これにより、サムネイル１００は、ユーザが見たいと思う可能性のある特徴画像を表示することが可能となり、ユーザは、見たいと思う場面の画像をより適切に検出することができる。

【0079】

また、画像Ｐは、３６０度画像である。そして、表示画像生成部７０は、サムネイル１００を、表示部に表示される仮想３次元空間における球状の表示領域Ｑの外周面に表示させるように、表示画像Ｐ１を生成する。そして、表示画像生成部７０は、表示領域Ｑを回転させることで、サムネイル１０が、表示領域Ｑの回転に伴い、アングルを変化させながら表示されるように、表示画像Ｐ１を生成する。このように、表示画像Ｐ１は、球状の表示領域Ｑが回転することで、サムネイル１００が、アングルが変化するように表示される。従って、この表示画像Ｐ１は、３６０度画像の全体を、サムネイル１００として表示することができる。すなわち、この表示制御装置によると、３６０度画像のサムネイル１００を、適切に表示することができる。

【0080】

また、表示画像生成部７０は、それぞれのサムネイル１００が同一の所定方向側を表示する画像となるように、表示領域Ｑの回転を停止させた表示画像Ｐ１を生成する。この表示制御装置によると、表示領域Ｑが回転して３６０度画像の全体がサムネイル１００として表示されるサムネイルモードと、表示領域Ｑの回転が停止して一方向のアングルの画像がサムネイル１００として表示される固定サムネイルモードとを、切り替えることができる。従って、この表示制御装置によると、サムネイル１００の表示方法を切り替えることで、ユーザは、見たいと思う場面の画像Ｐをより適切に検出することができる。

【0081】

また、本実施形態に係る表示制御装置（ここでは外部装置１４）は、３６０度画像である画像Ｐのサムネイル１００を取得するサムネイル取得部６８と、表示画像生成部７０とを有する。表示画像生成部７０は、取得したサムネイル１００が、表示部に表示される仮想３次元空間における球状の表示領域Ｑの外周面に表示され、かつ、表示領域Ｑが回転して、サムネイル１００が、表示領域Ｑの回転に伴い、アングルを変化させながら表示されるように、表示部に表示される表示画像Ｐ１を生成する。この表示制御装置によると、３６０度画像の全体を、サムネイル１００として表示することができる。すなわち、この表示制御装置によると、３６０度画像のサムネイル１００を、適切に表示することができる。従って、この表示制御装置によると、ユーザは、撮像された画像Ｐから、求める場面を適切に検出することができる。

【0082】

また、本実施形態に係る表示制御システム１は、表示制御装置と、画像Ｐを撮像する撮像装置と、表示画像Ｐ１を表示する表示部（本実施形態では表示部８２）と、を有する。この表示制御システム１によると、表示部により表示画像Ｐ１を表示することで、ユーザは、撮像された画像Ｐから、求める場面を適切に検出することができる。

【0083】

また、撮像装置は、車両Ｖに設けられ、車両Ｖの車内と車外とを撮像する。この表示制御システム１によると、ユーザは、車内と車外とが撮像された画像Ｐから、求める場面を適切に検出することができ、また、車両Ｖでの移動を追体験することが可能となる。

【0084】

なお、本実施形態においては、表示画像Ｐ１を表示する表示部は、表示端末１６の表示部８２であった。ただし、表示画像Ｐ１は、表示制御システム１のいずれの装置に表示されてもよく、例えば、車載装置１２の表示部３２や、外部装置１４の表示部５２に表示されてもよい。

【0085】

また、本実施形態においては、外部装置１４が表示制御装置を構成して、表示画像Ｐ１を生成していたが、表示制御装置を構成して表示画像Ｐ１を生成する装置は、表示制御システム１のいずれの装置であってもよい。例えば、図１１に示すように、表示端末１６Ａが、表示制御装置を構成してもよい。図１１は、本実施形態に係る表示制御システムの他の例を示すブロック図である。以降の図１１の表示制御システム１Ａの説明において、図３に示す表示制御システム１と構成が共通する箇所の説明は省略する。

【0086】

図１１に示す例の表示制御システム１Ａは、外部装置１４Ａと、表示端末１６Ａとを有する。外部装置１４Ａの制御部５８Ａは、画像情報取得部６０を有し、車載装置１２から、画像Ｐの情報、ここでは画像Ｐと位置情報とを取得する。表示端末１６Ａの制御部８８Ａは、画像情報取得部９０Ａと、画像方向決定部６２Ａと、画像解析部６４Ａと、設定時刻指定部６６Ａと、サムネイル取得部６８Ａと、表示画像生成部７０Ａと、表示制御部９２とを有する。

【0087】

画像情報取得部９０Ａは、外部装置１４Ａが取得した画像Ｐの情報、ここでは画像Ｐと位置情報とを取得する。画像方向決定部６２Ａは、図３に示した画像方向決定部６２と同じ方法で、画像Ｐ内での方向と絶対座標での方向とを関連付ける。画像解析部６４Ａは、図３に示した画像解析部６４と同じ方法で、特徴時刻を検出し、設定時刻指定部６６Ａは、図３に示した設定時刻指定部６６と同じ方法で、設定時刻を指定する。そして、サムネイル取得部６８Ａは、図３に示したサムネイル取得部６８と同じ方法で、サムネイル１００を取得し、表示画像生成部７０Ａは、図３に示した表示画像生成部７０と同じ方法で、表示画像Ｐ１を生成する。表示制御部９２は、表示部８２に、表示画像生成部７０Ａが生成した表示画像Ｐ１を表示させる。

【0088】

このように、図１１に示す表示制御システム１Ａは、表示端末１６Ａが表示制御装置を構成する。すなわち、表示端末１６Ａは、表示画像Ｐ１を生成しつつ、生成した表示画像Ｐ１を表示する。なお、図１１において、表示制御システム１Ａは、外部装置１４を含まず、車載装置１２が、画像Ｐの情報を、表示端末１６Ａに送信してもよい。

【0089】

また、例えば、車載装置１２が、表示制御装置を構成してもよい。すなわち、この場合、表示制御システム１は、外部装置１４を含まず、車載装置１２が生成した表示画像Ｐ１を、車載装置１２から表示端末１６に送信してもよい。また、この場合、車載装置１２が、生成した表示画像Ｐ１を自身の表示部３２に表示してもよい。また、この場合であっても、表示制御システム１は、外部装置１４を含み、車載装置１２が生成した表示画像Ｐ１を外部装置１４に送信し、外部装置１４から表示端末１６に、表示画像Ｐ１を送信してもよい。

【0090】

このように、表示制御装置は、画像情報取得部とサムネイル取得部と設定時刻指定部と表示画像生成部との機能を有する事で、表示画像Ｐ１を生成するものであれば、表示制御システム１のうち、どの装置が表示制御装置を構成してもよい。また、複数の装置によって、表示制御装置を構成してもよい。例えば、以下の構成も可能である。すなわち、外部装置１４が、画像Ｐを記憶しておき、特徴画像を抽出して、特徴時刻を検出する。外部装置１４は、特徴時刻を画像Ｐの情報として、表示端末１６に送信する。表示端末１６は、特徴時刻に基づき、設定時刻を設定し、設定時刻の情報を外部装置１４に送信する。外部装置１４は、設定時刻に基づきサムネイル１００を生成して、サムネイル１００が並んだ表示画像Ｐ１を生成する。表示端末１６は、表示画像Ｐ１を取得して、表示部８２に表示する。この場合、表示端末１６は、画像Ｐの情報として、画像データや位置情報を取得しないため、通信するデータ量を抑えることができる。

【0091】

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

【符号の説明】

【0092】

１ 表示制御システム
１０ 撮像装置
１２ 車載装置
１４ 外部装置（表示制御装置）
１６ 表示端末
６０ 画像情報取得部
６２ 画像方向決定部
６４ 画像解析部
６６ 設定時刻指定部
６８ サムネイル取得部
７０ 表示画像生成部
８２ 表示部
９０ 表示画像取得部
９２ 表示制御部
１００ サムネイル
Ｐ 画像
Ｐ１ 表示画像
Ｑ 表示領域
Ｖ 車両
Ｖ１ 進行方向

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】