特許 7602951 撮像装置、撮像方法、撮像プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】撮像装置、撮像方法、撮像プログラム及び記録媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241212BHJP

   H04N 5/77 20060101ALI20241212BHJP

【ＦＩ】

H04N23/60 300

H04N23/60 100

H04N5/77

【請求項の数】 13

(21)【出願番号】P 2021058109

(22)【出願日】2021-03-30

(65)【公開番号】P2022154854

(43)【公開日】2022-10-13

【審査請求日】2024-02-07

(73)【特許権者】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】110001025

【氏名又は名称】弁理士法人レクスト国際特許事務所

(72)【発明者】

【氏名】新居 健太

【審査官】櫃本 研太郎

(56)【参考文献】

【文献】特開２０２０－１２７１７５（ＪＰ，Ａ）

【文献】特開２０１８－０３８００９（ＪＰ，Ａ）

【文献】特開２０１０－１８１２８０（ＪＰ，Ａ）

【文献】特開２０１９－０２７８２４（ＪＰ，Ａ）

【文献】特開２０２０－００３８４０（ＪＰ，Ａ）

【文献】特開２０２０－１６０６３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７、

５／７６－５／７７５，５／８０－５／９５６、

７／１８

２３／００、２３／４０－２３／７６、

２３／９０－２３／９５９

Ｂ６０Ｒ １／００－１／０４、１／０８－１／３１、

９／００－１１／０６

Ｇ０７Ｃ １／００－１５／００

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６、２３／００－２５／００

(57)【特許請求の範囲】

【請求項1】

移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶する記憶部と、
ユーザーの操作による撮像指示を受付ける受付部と、
前記受付部が撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定部と、
前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出部と、
を備える撮像装置。

【請求項2】

前記撮像部は、前記移動体内の映像を撮像し、
前記設定部は、前記移動体内の映像に含まれる前記移動体の乗員の所定動作または前記乗員の表情の変化が検出されたタイミングを前記基準タイミングとして設定する請求項１に記載の撮像装置。

【請求項3】

前記設定部は、前記移動体と共に移動する集音部により集音された音の中に、所定の音が検出されたタイミングを前記基準タイミングとして設定する請求項１に記載の撮像装置。

【請求項4】

前記設定部は、前記移動体外の映像に含まれる障害物の見かけ上の大きさ、又は当該障害物と前記移動体との距離を検出し、前記期間内において前記見かけ上の大きさが最も小さい、又は前記距離が最も長いタイミングを前記基準タイミングとして設定する請求項１に記載の撮像装置。

【請求項5】

前記撮像部により撮像された前記移動体外の映像の撮像方向に存在する障害物と前記移動体との間の距離を測定する測定部を備え、
前記設定部は、前記測定部により測定された前記期間内における前記障害物と前記移動体との間の距離が最も長いタイミングを前記基準タイミングとして設定する請求項１に記載の撮像装置。

【請求項6】

前記受付部は、前記ユーザーの発話および接触操作に基づいて前記撮像指示を受付け、
前記抽出部は、前記受付部が前記発話に基づいて前記撮像指示を受付けた場合は、前記受付部が前記接触操作に基づいて前記撮像指示を受付けた場合よりも、前記第１時間を長く設定する請求項１乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記抽出部は、前記受付部が撮像指示を受付けた時点から前記第１時間遡った時点までの期間内に、前記移動体内の状況又は前記移動体外の状況が、前記設定部が前記基準タイミングを設定するための条件を満たさなかった場合に、前記撮像指示を受付けた時点から第２時間遡ったタイミングで前記撮像部により撮像された所定数の画像を前記記憶部から撮像画像として抽出する請求項１乃至６のいずれか１項に記載の撮像装置。

【請求項8】

前記受付部は、前記ユーザーの発話および接触操作に基づいて前記撮像指示を受付け、
前記抽出部は、前記受付部が撮像指示を受付けた時点から前記第１時間遡った時点までの期間内に、前記移動体内の状況又は前記移動体外の状況が、前記設定部が前記基準タイミングを設定するための条件を満たさなかった場合に、前記受付部が前記発話に基づいて前記撮像指示を受付けた場合は、前記受付部が前記接触操作に基づいて前記撮像指示を受付けた場合よりも、前記第２時間を長く設定する請求項７に記載の撮像装置。

【請求項9】

前記抽出部は、前記基準タイミングを基準とする１のタイミングで前記撮像部により撮像された１つの画像を前記記憶部から撮像画像として抽出する請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

前記抽出部により抽出された画像を、外部装置に送信する送信部を備える請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項11】

撮像装置によって実行される撮像方法であって、
移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、
ユーザーの操作による撮像指示を受付ける受付ステップと、
前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定ステップと、
前記設定ステップにおいて設定された前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出ステップと、
を含む撮像方法。

【請求項12】

コンピュータを備える撮像装置によって実行される撮像プログラムであって、前記コンピュータに、
移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、
ユーザーの操作による撮像指示を受付ける受付ステップと、
前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定ステップと、
前記設定ステップにおいて設定された前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出ステップと、
を実行させる撮像プログラム。

【請求項13】

請求項１２に記載の撮像プログラムを格納し、コンピュータが読取可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像方法、撮像プログラム及び記録媒体に関する。

【背景技術】

【0002】

予め撮影された複数の画像の中から、ベストショットの静止画等の目的の画像を抽出する技術が知られている。

【0003】

例えば、特許文献１には、動画データを静止画像化する場合に、撮影タイミング（シャッター操作タイミング）で得られた画像をメインフレームとして配置すると共に、その撮影タイミングの前に得られた所定数分のフレーム画像をその他のフレーム画像として配置した静止画を作成する撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－３１８７７３

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記のような撮像装置において、ユーザーの撮影の指示のタイミングと、目的の画像が実際に撮影されたタイミングとが合わない場合も多く、ユーザーからの指示があったタイミングで得られた画像を静止画像化しても、ユーザーが撮像したいと希望する画像が抽出されない場合もあることが課題の１つとして挙げられる。

【0006】

本発明は上記した点に鑑みてなされたものであり、ユーザーによる撮像指示に従って撮像する撮像装置において、ユーザーが撮像を希望する風景が映った画像を高い確率で取得することを可能とする撮像装置、撮像方法、撮像プログラム及び記録媒体を提供することを目的の１つとしている。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶する記憶部と、ユーザーの操作による撮像指示を受付ける受付部と、前記受付部が撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定部と、前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出部と、を備える。

【0008】

請求項１１に記載の発明は、撮像装置によって実行される撮像方法であって、移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、ユーザーの操作による撮像指示を受付ける受付ステップと、前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定ステップと、前記設定ステップにおいて設定された前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出ステップと、を含む。

【0009】

請求項１２に記載の発明は、コンピュータを備える撮像装置によって実行される撮像プログラムであって、前記コンピュータに、移動体と共に移動し、前記移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶部に記憶する記憶ステップと、ユーザーの操作による撮像指示を受付ける受付ステップと、前記受付ステップにおいて前記撮像指示を受付けた時点から第１時間遡った時点までの期間内における前記移動体内の状況、又は前記移動体外の状況に基づいて、前記期間内における基準タイミングを設定する設定ステップと、前記設定ステップにおいて設定された前記基準タイミングを基準とする１又は複数のタイミングの各々において前記撮像部により撮像された所定数の画像を、前記記憶部から撮像画像として抽出する抽出ステップと、を実行させる。

【図面の簡単な説明】

【0010】

【図1】実施例に係る撮像装置が搭載されている車両の前席部分を示す図である。

【図2】実施例に係る撮像装置の構成を示すブロック図である。

【図3】実施例に係る移動体外の画像の一例を示す図である。

【図4】実施例に係る撮像装置によって実行されるルーチンの一例を示すフローチャートである。

【図5】実施例に係る撮像装置によって実行されるサブルーチンの一例を示すフローチャートである。

【図6】実施例に係る撮像装置によって実行されるサブルーチンの他の一例を示すフローチャートである。

【図7】実施例に係る撮像装置によって実行されるルーチンの他の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に本発明の実施例について詳細に説明する。なお、以下の説明及び添付図面においては、実質的に同一又は等価な部分には同一の参照符号を付している。

【実施例】

【0012】

図１～図３を参照しつつ、実施例に係る撮像装置１０の構成について説明する。図１は、実施例に係る撮像装置１０が搭載されている移動体の一例としての車両Ｍの前席部分を示す図である。

【0013】

図１に示すように、撮像装置１０は、車両Ｍのセンターコンソールに配置されている。撮像装置１０は、車両Ｍから外部の風景を映した映像を取得し、ユーザーからの撮像の指示に応じて当該映像から撮像画像として画像を抽出する装置である。

【0014】

以下の説明において、撮像指示をする者をユーザーと称し、ユーザーを含み車両Ｍ内に居る者を乗員と称する。

【0015】

撮像部としての車外カメラ１１は、ルームミラーＲＭの裏、すなわちフロントガラスＦＧに対向する面に設けられている。車外カメラ１１は、車両Ｍの進行方向を撮影方向としている。車両Ｍの進行方向を前方としたとき、車外カメラ１１は、車両Ｍの前方、右前方及び左前方を含む範囲の画像を撮影可能に配置されている。従って、車外カメラ１１は、車両Ｍの前席に搭乗する乗員の前方を見ている際の視界の範囲内の画像を撮影可能である。車外カメラ１１は、撮像装置１０と通信可能に接続されており、撮影した映像の信号を撮像装置１０に送信することが可能である。

【0016】

撮像装置１０は、車外カメラ１１によって撮像された動画を取得して記憶する。言い換えれば、本実施例において、撮像装置１０は、いわゆるドライブレコーダと同様の機能を有する。

【0017】

車外カメラ１１は、車両Ｍの前方の映像を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、車外カメラ１１は、ダッシュボードＤＢ上に配されていてもよく、車両Ｍの外側面（外装面）、例えばボンネット上またはフロントバンパー等に設けられていてもよい。

【0018】

撮像部としての車内カメラ１３は、フロントガラスＦＧの上方の、車外カメラ１１の近傍に設けられている。車内カメラ１３は、車両Ｍの内部を撮影方向としている。車内カメラ１３は、車両Ｍの前席に搭乗するユーザーを含む乗員の映像を撮像可能に配置されている。

【0019】

車内カメラ１３は、撮像装置１０と通信可能に接続されており、撮影した映像の信号を撮像装置１０に送信することが可能である。撮像装置１０は、車内カメラ１３によって撮像された動画を取得して記憶する。

【0020】

車内カメラ１３は、車両Ｍ内に居るユーザーを含む乗員を撮影可能であれば車両Ｍのいずれの箇所に設けられてもよい。例えば、車外カメラ１１は、ダッシュボードＤＢ上に配されていてもよい。

【0021】

マイク１５は、車両Ｍ内の音を集音可能に配置された音声入力装置である。マイク１５は、撮像装置１０と通信可能に接続されており、集音した音を電気信号に変換して撮像装置１０に送信することが可能である。

【0022】

撮像装置１０は、マイク１５から車両Ｍ内の音を示す信号を受信して、ユーザーの発話に基づく音声について音声認識を行い、特定の言葉を認識した場合に、当該音声をユーザーからの撮像指示として認識する。

【0023】

また、撮像装置１０は、マイク１５から受信した信号に基づいて、車両Ｍ内の音を示す情報を記憶する。例えば、当該車両Ｍ内の音には、車両Ｍ内の乗員が発する声又は当該乗員が立てる音が含まれる。

【0024】

タッチパネルディスプレイ１７は、タッチパネル及びディスプレイからなる。タッチパネルディスプレイ１７は、撮像装置１０と通信可能に接続されている。タッチパネルディスプレイ１７のディスプレイは、撮像装置１０から供給される画像を表示する。タッチパネルディスプレイ１７のタッチパネルは、タッチパネルへの接触による入力操作を示す信号を撮像装置１０に送信する。

【0025】

例えば、タッチパネルディスプレイ１７は、撮像装置１０への撮像指示を示すボタンをディスプレイに表示する。例えば、撮像装置１０は、当該撮像指示を示すボタンが押されると、タッチパネルディスプレイ１７のタッチパネルを介して、ユーザーからの撮像指示を受け付ける。

【0026】

撮像装置１０は、マイク１５又はタッチパネルディスプレイ１７を介してユーザーからの音声操作又はタッチパネルへの接触操作による撮像指示を示す入力操作を受け付けると、記憶している動画を用いて撮像画像としての静止画を撮像する。具体的には、撮像装置１０は、記憶されている動画を構成する多数のフレーム画像の中から所定数のフレーム画像を抽出して静止画を生成する。撮像装置１０は、当該抽出された静止画をサーバ（図示せず）に送信する、すなわちアップロードする。

【0027】

図２は、撮像装置１０の構成を示すブロック図である。図２に示すように、撮像装置１０は、システムバス１９を介して各部が接続されて構成されている。

【0028】

入力部２１は、撮像装置１０と車両Ｍ１に備えられた機器とを通信可能に接続するインターフェースである。

【0029】

入力部２１は、撮像装置１０と、車外カメラ１１及び車内カメラ１３とを通信可能に接続する。また、入力部２１は、撮像装置１０と、マイク１５とを通信可能に接続する。

【0030】

入力部２１は、撮像装置１０と、タッチパネルディスプレイ１７のタッチパネルとを通信可能に接続する。

【0031】

入力部２１は、撮像装置１０と測距センサ２３とを通信可能に接続するインターフェースである。測距センサ２３は、車両Ｍの周辺の、車外カメラ１１の撮像方向に存在する物体と車両Ｍとの間の距離を測定するセンサである。

【0032】

本実施例において、車外カメラ１１の撮像方向に存在し、測距センサ２３によって検出される物体を、車両Ｍからの景色の視認を妨げる障害物とする。本実施例において、車両Ｍと障害物との距離が近い場合、車両Ｍからの景色の視認に対して障害物の影響が大きいと考える。また、車両Ｍと障害物との距離が遠い場合、車両Ｍからの景色の視認に対して障害物の影響は小さいと考える。

【0033】

測距センサ２３は、超音波センサ（ソナー（ＳＯＮＡＲ；Sound Navigation And Ranging））、ＬｉＤＡＲ（Light Detection and Ranging）又はミリ波レーダ等のセンサであって、車外カメラ１１の撮像方向に存在する障害物の有無の検出及び距離の測定が可能であるように車両Ｍに取り付けられている。

【0034】

本実施例において、測距センサ２３は、例えばミリ波レーダである。例えば、測距センサ２３は、車両Ｍの前側のバンパーに取り付けられている。なお、測距センサ２３は、ソナー、ミリ波レーダ及びＬｉＤＡＲのいずれかであってもよく、これらの任意の組み合わせでもよい。

【0035】

撮像装置１０は、測距センサ２３から距離を示す信号を受信して、車両Ｍの方の障害物と車両Ｍとの間の距離を示す距離情報を記憶する。

【0036】

大容量記憶装置２５は、例えば、ハードディスク装置、ＳＳＤ（solid state drive）、フラッシュメモリ等により構成された記憶装置である。大容量記憶装置２５は、撮像装置１０において実行される各種プログラムを記憶する。なお、各種プログラムは、例えば他のサーバ装置等からネットワークを介して取得されてもよく、記録媒体に記録されて各種ドライブ装置を介して読み込まれてもよい。

【0037】

例えば、大容量記憶装置２５は、撮像装置１０によって、動画から画像を抽出して静止画を作成する際に実行される撮像プログラムを記憶する。大容量記憶装置２５は、各種プログラムを実行するために必要な情報を記憶している。

【0038】

また、大容量記憶装置２５は、車両Ｍに備えられた機器によって、車両Ｍの走行中に取得される情報を記憶する。

【0039】

具体的には、大容量記憶装置２５は、車外映像記憶部２５Ａを有している。車外映像記憶部２５Ａは、車外カメラ１１によって撮像された動画像を記憶する。車外映像記憶部２５Ａは、例えば、一定時間分の動画像を保持する。また、車外映像記憶部２５Ａは、例えば、所定容量分の動画像を記憶する。

【0040】

大容量記憶装置２５は、画像一時保存部２５Ｂを有している。画像一時保存部２５Ｂには、例えば、車外映像記憶部２５Ａに記憶されている動画像に含まれる画像が一部抜粋されて一時保存される。例えば、画像一時保存部２５Ｂは、リングバッファのように、時々刻々と新しい画像が保存されるメモリ部分である。

【0041】

画像一時保存部２５Ｂには、例えば、数十秒分の動画像の中の複数のフレーム画像が保存され得る。例えば、画像一時保存部２５Ｂには、動画像の中から所定時間毎に抽出されたフレーム画像が保存される。画像一時保存部２５Ｂにおいて、古いフレーム画像が新しいフレーム画像によって書き換えられることで、時々刻々と画像の更新がなされる。

【0042】

例えば、画像一時保存部２５Ｂは、車外映像記憶部２５Ａに記憶されている動画像が１５～３０fps程度（例えば、２７．５fps)のフレームレートで撮像されている場合に、例えば、約１秒毎に１つのフレーム画像を１０枚、すなわち約１０秒間分保存してもよい。例えば、１秒間に６つ程度の画像を等時間間隔で数十秒分保存してもよい。

【0043】

言い換えれば、大容量記憶装置２５の車外映像記憶部２５Ａ及び画像一時保存部２５Ｂには、移動体と共に移動する撮像部により最近撮像された連続画像が記憶される。なお、連続画像とは、時系列に沿って並んでいる画像を指す。

【0044】

大容量記憶装置２５は、距離情報記憶部２５Ｃを有している。距離情報記憶部２５Ｃは、測距センサ２３によって取得された、車両Ｍの前方の障害物との距離を示す距離情報を記憶する。距離情報は、例えば、車両Ｍの前方の障害物と車両Ｍとの距離と、当該距離が測定された時間とが対応付けられて記憶されている。

【0045】

大容量記憶装置２５は、車内情報記憶部２５Ｄを有している。車内情報記憶部２５Ｄは、車両Ｍの車内の状況について取得された情報を記憶する。具体的には、車内情報記憶部２５Ｄは、車内カメラ１３によって撮像された車両Ｍ内の乗員を撮像した動画像を記憶する。言い換えれば、車内情報記憶部２５Ｄは、移動体内の映像を記憶する。

【0046】

車内情報記憶部２５Ｄは、例えば、一定時間分の動画像を保持する。また、車内情報記憶部２５Ｄは、例えば、所定容量分の動画像を記憶する。

【0047】

また、車内情報記憶部２５Ｄは、マイク１５によって集音された音声に基づいて生成された音声情報を記憶する。車内情報記憶部２５Ｄは、例えば、一定時間分の音声情報を記憶する。また、車内情報記憶部２５Ｄは、例えば、所定容量分の音声情報を記憶する。当該音声情報は、例えば、車両Ｍの内部を撮像した動画像に対応付けられて記憶されていてもよい。

【0048】

なお、車内カメラ１３が備えるマイクによって車両Ｍ内の撮像とともに集音された音についての音声情報が、当該撮像された動画像に対応付けられて車内情報記憶部２５Ｄに記憶されていてもよい。

【0049】

制御部２７は、ＣＰＵ（Central Processing Unit）２７Ａ、ＲＯＭ（Read Only Memory）２７Ｂ、ＲＡＭ（Random Access Memory）２７Ｃ等により構成され、コンピュータとして機能する。そして、ＣＰＵ２７Ａが、ＲＯＭ２７Ｂや大容量記憶装置２５に記憶された各種プログラムを読み出し実行することにより各種機能を実現する。

【0050】

制御部２７は、大容量記憶装置２５に記憶された撮像プログラムを読み出して実行することで、ユーザーからの撮像指示に応じて、入力部２１を介して取得した情報に基づいて、撮像画像を抽出する。

【0051】

制御部２７は、入力部２１を介して、車外カメラ１１によって取得された動画像を大容量記憶装置２５の車外映像記憶部２５Ａに記憶する。また、制御部２７は、車外映像記憶部２５Ａに記憶されている動画像に含まれる画像を一部抜粋して画像一時保存部２５Ｂに一時保存する。

【0052】

換言すれば、制御部２７は、移動体と共に移動する撮像部により最近撮像された連続画像を、記憶部としての車外映像記憶部２５Ａ又は画像一時保存部２５Ｂに記憶する記憶ステップを実行する。

【0053】

制御部２７は、入力部２１を介して、測距センサ２３によって測定された、車両Ｍの車外カメラ１１の撮像方向に存在する障害物との距離を取得し、当該距離を示す情報を距離情報記憶部２５Ｃに記憶する。

【0054】

換言すれば、制御部２７は、車外カメラ１１によって撮像された移動体外の映像の撮像方向に存在する障害物と当該移動体との間の距離を測定する測定部として機能する。制御部２７は、例えば、車両Ｍの前方の障害物と車両Ｍとの距離と、当該距離が測定された時刻を対応付けて記憶する。

【0055】

制御部２７は、入力部２１を介して、車内カメラ１３によって取得された車両Ｍ内の動画像を車内情報記憶部２５Ｄに記憶する。

【0056】

制御部２７は、入力部２１を介して、マイク１５によって集音された車両Ｍ内の音から音声情報を生成し、車内情報記憶部２５Ｄに記憶する。当該音声情報は、例えば音声と当該音声が集音された時刻とが対応付けられた情報である。当該音声情報は、例えば、車両Ｍの内部を撮像した動画像に対応付けられて記憶されていてもよい。

【0057】

なお、制御部２７は、車両Ｍ内の音を示す情報を、車内カメラ１３によって動画像の撮像とともに録音された音声に基づいて音声情報を生成してもよい。

【0058】

制御部２７は、入力部２１を介して、マイク１５によって集音された車両Ｍ内の音を取得し、音声認識を行う。制御部２７は、車両Ｍ内に居るユーザーの発話に基づいて特定の音声を認識した場合に、当該ユーザーからの撮像指示を受け付ける。例えば、制御部２７は、所定のウェイクワード及び音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付ける。言い換えれば、制御部２７は、ユーザーの音声操作による撮像指示を受け付ける。

【0059】

制御部２７は、入力部２１を介して、タッチパネルディスプレイ１７を用いた入力操作を認識する。制御部２７は、タッチパネルディスプレイ１７のタッチパネルになされた特定の接触操作を認識した場合に、ユーザーからの撮像指示を受け付ける。例えば、制御部２７は、タッチパネルディスプレイ１７のディスプレイに表示された撮像指示のボタンが押されたことを認識した場合に、ユーザーからの撮像指示を受け付ける。

【0060】

このように、制御部２７は、ユーザーの発話による音声操作又はユーザーのタッチパネルへの接触操作等のユーザーによる操作を認識することによって当該ユーザーからの撮像指示を受け付ける。制御部２７は、ユーザーからの操作による撮像指示を受付ける受付ステップを実行する受付部として機能する。

【0061】

制御部２７は、ユーザーからの撮像指示を受け付けると、大容量記憶装置２５の画像一時保存部２５Ｂに記憶された画像の中から所定数の画像を撮像画像として抽出する。

【0062】

より詳細には、制御部２７は、撮像指示を受付けた時点から所定の長さの時間（第１時間）だけ遡った時点までの期間内における基準タイミングを設定し、当該基準タイミングを基準とする１又は複数のタイミングの各々において撮像された所定数の画像を抽出する。制御部２７は、当該基準タイミングを設定する設定ステップを実行する設定部として機能する。

【0063】

ところで、ユーザーが撮像指示の操作を行ってから、撮像装置１０の制御部２７がユーザーの操作による撮像指示を受付けるまでには、制御部２７が撮像指示を認識するための処理時間を要する。さらに、ユーザーが撮像したいと思った時点から実際に撮像指示の操作を行うまでにも任意の時間を要する。特に車両Ｍが高速で走行している場合や、カーブを走行している場合、これらの時間分の遅れにより、撮像装置１０の制御部２７が撮像指示を認識したタイミングにおいて車外カメラ１１により撮像されている風景と、ユーザーが撮影したいと思った風景は、大きく乖離している可能性がある。

【0064】

このような問題に対応するため、本実施例においては、例えば、撮像指示を受け付けた時点を時点ｔ_０とし、時点ｔ_０から第１時間遡った時点を時点ｔ_１とすると、制御部２７は、時点ｔ_１から時点ｔ_０までの期間内の時点ｔ_３を、撮像画像を抽出するための基準となる時点である基準タイミングとして設定する。

【0065】

第１時間は、例えば、ユーザーからの撮像指示を受け付けるための音声認識又は接触操作の認識に必要な時間に加えて、ユーザーが撮像を希望した時点から実際に撮像指示を行う時点までの時間を考慮して十分な長さの時間が設定され得る。第１時間は、例えば５秒程度であってもよく、さらに長い時間であってもよい。基準タイミングは、例えば時刻であり、例えば走行開始時点からの経過時間によって示される時点であってもよい。

【0066】

制御部２７は、当該基準タイミングを、車両Ｍ内の状況（移動体内の状況）又は車両Ｍ外の状況（移動体外の状況）に基づいて設定する。基準タイミングの設定について、以下に説明する。

【0067】

［移動体内の状況に基づく基準タイミングの設定］
制御部２７は、車内カメラ１３によって撮像された移動体内の映像から移動体内の状況を取得する。

【0068】

制御部２７は、例えば、撮像指示を受付けた時点から第１時間遡った時点までの期間内における車両Ｍ内の映像について画像解析を行い、画像中の乗員の所定の動作又は所定の表情の変化を検出する。制御部２７は、当該所定の動作又は所定の表情の変化が検出されたタイミング（例えば、時刻）を、撮像画像の抽出の基準となる基準タイミングとして設定する。

【0069】

当該所定の動作として、例えば、車両Ｍの外に向かって指をさす動作等の、注目すべき風景を見つけた際に想定される動作が挙げられる。当該所定の表情の変化として、例えば、驚いた表情や嬉しそうな表情等の、注目すべき風景を目の当たりにした際に想定される表情が挙げられる。

【0070】

所定の動作の判定基準として、例えば、車外に向かって指をさしている人物が映っている画像が予め大容量記憶装置２５に記憶されていてもよい。また、所定の表情の判定基準として、例えば、驚いた顔をしている人物が映っている画像が予め大容量記憶装置２５に記憶されていてもよい。

【0071】

制御部２７は、例えば、予め大容量記憶装置２５に記憶されている、所定動作又は所定の表情の画像と、車内カメラ１３によって撮像された画像とを比較し、例えば一致度が所定値以上となった場合に、所定の動作又は所定の表情の変化を検出したこととしてもよい。なお、制御部２７は、ＡＩ等を用いて表情の変化を検出しても良い。

【0072】

このように、設定部としての制御部２７は、移動体内の映像に含まれる移動体の乗員の所定動作または乗員の表情の変化が検出されたタイミングを基準タイミングとして設定する。

【0073】

ユーザーが注目すべき風景に遭遇した際に発せられる可能性が高い動作又は表情を予め想定し、そのような動作又は表情が検出されたタイミングを基準タイミングとして撮像画像を抽出することで、ユーザーが撮像を希望したタイミングで撮像された画像を抽出する確率を高めることができる。

【0074】

また、制御部２７は、マイク１５によって集音された移動体内の音から移動体内の状況を取得する。

【0075】

制御部２７は、例えば、撮像指示を受付けた時点から第１時間遡った時点までの期間内における車両Ｍ内の音について音声認識を行い、車両Ｍ内の乗員が発した声又は乗員が立てた音に関する所定の音を検出する。制御部２７は、当該所定の音が検出されたタイミング（例えば、時刻）を、撮像画像の抽出の基準となる基準タイミングとして設定する。

【0076】

当該所定の音として、例えば、「おおっ！」等の歓声、「きれい」等の特定の言葉等の、乗員が注目すべき風景に遭遇した際に発すると予想される声が挙げられる。また、当該所定の音として、例えば、拍手の音等の、乗乗員が注目すべき風景に遭遇した際に立てると予想される音が挙げられる。

【0077】

所定の音の判定基準として、例えば、所定の音を発した際の音響特徴量のモデルが予め大容量記憶装置２５に記憶されていてもよい。制御部２７は、マイク１５によって収音された音の音響特徴量と、予め記憶されている音響特徴量との比較を行って、例えば所定値以上の一致度が得られた場合に、所定の音を検出したこととしてもよい。

【0078】

このように、設定部としての制御部２７は、移動体と共に移動する集音部により集音された音の中に、所定の音が検出されたタイミングを基準タイミングとして設定する。

【0079】

ユーザーが撮像を希望したことが現れている可能性が高い音を予め想定し、そのような音が検出されたタイミングを基準タイミングとして撮像画像を抽出することで、ユーザーが撮像を希望したタイミングで撮像された画像を抽出する確率を高めることができる。

【0080】

［移動体外の状況に基づく基準タイミングの設定］
制御部２７は、車外カメラ１１によって撮像された移動体外の映像から移動体外の状況を取得する。

【0081】

制御部２７は、例えば、撮像指示を受付けた時点から第１時間遡った時点までの期間内における車両Ｍ外の映像について画像解析を行い、当該映像に含まれる物体のうち、景色の視認の妨げとなり得る障害物を検出し、当該障害物の見かけ上の大きさ又は当該映像に含まれる当該障害物と車両Ｍとの距離を検出する。制御部２７は、当該障害物の見かけ上の大きさが最も小さいタイミング、又は当該障害物と車両Ｍとの距離が最も長いタイミングを撮像画像の抽出の基準となる基準タイミングとして設定する。

【0082】

当該障害物として、例えば、車両Ｍの前方に存在して車両Ｍからの景色の視認を妨げる他の車両等の物体が挙げられる。例えば、車両Ｍの前方、右側方、又は左側方に山や建物等の地物が視認可能な際に、車両Ｍから車外カメラ１１によって撮像される景色の一部を遮る他の車両等が車両Ｍの近傍に存在する場合に、当該他の車両等が障害物となる。

【0083】

例えば、制御部２７による障害物の検出のため、障害物の候補となる物体の画像が予め大容量記憶装置２５に記憶されていてもよい。例えば、前方の車両、左前方の車両又は右前方の対向車等の画像が障害物のモデルとなる登録画像として予め大容量記憶装置２５に記憶されていてもよい。制御部２７は、例えば、予め記憶されている登録画像と、車外カメラ１１によって撮像された画像とのマッチング処理によって、障害物を検出してもよい。

【0084】

図３は、車外カメラ１１によって撮像された車両Ｍ外の映像に含まれるフレーム画像Ｆの一例を示す図である。図３に示すように、フレーム画像Ｆには、車両Ｍの前方を走る他の車両である障害物ＯＢが含まれる。

【0085】

制御部２７は、障害物ＯＢを検出すると、例えば、当該障害物ＯＢがフレーム画像Ｆ全体に占める割合を、障害物ＯＢの見かけ上の大きさとしてもよい。制御部２７は、例えば、当該障害物ＯＢが映っている領域ＡＲを特定し、当該領域ＡＲの面積がフレーム画像Ｆ全体の面積に占める割合を障害物ＯＢの見かけ上の大きさとする。そして、当該障害物ＯＢの見かけ上の大きさが最も小さいフレーム画像が撮像されたタイミングを基準タイミングとして設定する。

【0086】

或いは、制御部２７は、フレーム画像Ｆに含まれる障害物ＯＢを検出すると、当該障害物ＯＢと車両Ｍとの距離を算出してもよい。制御部２７は、例えば、フレーム画像Ｆに基づいて算出した当該障害物ＯＢと車両Ｍとの距離が最も長いフレーム画像が撮像されたタイミングを、基準タイミングとして設定してもよい。

【0087】

このように、設定部としての制御部２７は移動体外の映像に含まれる障害物の見かけ上の大きさ、又は当該障害物と移動体との距離を検出し、撮像指示を受け付けた時点から第１時間遡った時点までの期間内において、当該障害物の見かけ上の大きさが最も小さい、又は当該障害物と移動体との距離が最も長いタイミングを基準タイミングとして設定する。

【0088】

これによって、ユーザーが撮像を希望する景色が障害物によって遮られている可能性が最も低いタイミングを基準タイミングとして撮像画像を抽出することができる。従って、ユーザーが撮像を希望したタイミングで撮像された画像を抽出する確率を高めることができる。

【0089】

また、制御部２７は、測距センサ２３によって測定された車両Ｍと車両Ｍの前方の障害物との距離から移動体外の状況を取得する。

【0090】

制御部２７は、例えば、距離情報記憶部２５Ｃを参照し、撮像指示を受付けた時点から第１時間遡った時点までの期間（以下、第１期間とも称する）内における車両Ｍの前方の障害物との距離が最も長いタイミングを撮像画像の抽出の基準となる基準タイミングとして設定する。

【0091】

このように、測定部としての制御部２７は、測距センサ２３を介して、車外カメラ１１により撮像された移動体外の映像の撮像方向に存在する障害物と移動体との間の距離を測定し、設定部としての制御部２７は、測定部により測定された第１期間内における障害物と移動体との間の距離が最も長いタイミングを基準タイミングとして設定する。

【0092】

これによって、ユーザーが撮像を希望する景色の視認を妨げる障害物が最も遠くにあるタイミングを基準タイミングとして撮像画像を抽出することができ、ユーザーが撮像を希望したタイミングで撮像された画像を抽出する確率を高めることができる。

【0093】

［撮像画像の抽出］
制御部２７は、基準タイミングを基準として、１又は複数のタイミングにおいて車外カメラ１１によって撮像された所定数の画像を抽出する抽出ステップを実行する抽出部として機能する。

【0094】

具体的には、例えば、制御部２７は、基準タイミングに撮像された１つの画像を撮像画像として抽出する。

【0095】

また、例えば、制御部２７は、基準タイミングを中心として、その前後の所定時間内の複数のタイミングの各々において撮像された画像を抽出して所定数の複数の撮像画像として抽出してもよい。例えば、当該複数のタイミングは、等間隔のタイミングであってもよい。

【0096】

制御部２７は、画像一時保存部２５Ｂに記憶されている画像から所定数の画像を抽出する。画像一時保存部２５Ｂにおいて、動画を構成する多数のフレーム画像を予め間引いた画像が保存されていることによって、撮像画像の抽出が効率良く実行される。なお、制御部２７は、車外映像記憶部２５Ａに記憶されている動画像から所定数の画像を抽出してもよい。

【0097】

出力部２９は、車両Ｍに備えられたタッチパネルディスプレイ１７のディスプレイに接続されている。出力部２９は、制御部２７からの命令に従って、ディスプレイに表示させるための各種情報を供給するためのインターフェースである。

【0098】

出力部２９は、制御部２７からの指示に応じて、タッチパネルディスプレイ１７のディスプレイに表示させるための画像を出力する。例えば、出力部２９は、撮像指示を受け付けるための撮像指示ボタンをユーザーに提示するための画像をディスプレイに供給する。

【0099】

なお、出力部２９は、車両Ｍ内に備えられたスピーカー（図示せず）に通信可能に接続されていてもよく、例えば撮像指示を受け付けた旨又は撮像が完了したことをユーザーに向けて音声によって報知してもよい。

【0100】

送受信部３１は、無線装置（図示せず）に接続されているＮＩＣ（Network Interface Card）等のネットワークアダプタである。送受信部３１は、制御部２７からの命令に従って、撮像装置１０と外部とのデータの送受信を行う。

【0101】

例えば、送受信部３１は、撮像装置１０において撮像画像として抽出された画像をサーバ等の外部装置に送信する送信部として機能する。

【0102】

図４～図７を参照しつつ、本実施例における撮像装置１０によって撮像が行われる際に制御部２７によって実行される情報処理について説明する。

【0103】

図４は、制御部２７によって実行されるルーチンの一例である撮像ルーチンＲＴ１を示すフローチャートである。制御部２７は、例えば、撮像装置１０に電源が投入されると、撮像ルーチンＲＴ１を開始する。また、制御部２７は、例えば、撮像装置１０に電源が投入されると、車外カメラ１１によって取得された動画像の車外映像記憶部２５Ａへの記憶を開始する。また、制御部２７は、例えば、動画像の車外映像記憶部２５Ａへの記憶を開始すると、車外映像記憶部２５Ａに記憶されている動画像に含まれる画像の画像一時保存部２５Ｂへの一時保存を開始する。

【0104】

また、制御部２７は、例えば、撮像装置１０に電源が投入されると、距離情報記憶部２５Ｃへの距離情報の記憶及び車内情報記憶部２５Ｄへの車両Ｍ内の映像及び音声情報の記憶を開始する。

【0105】

制御部２７は、撮像ルーチンＲＴ１を開始すると、ユーザーからの撮像指示を受け付けたか否かを判定する（ステップＳ１０１）。ステップＳ１０１において、例えば、制御部２７は、マイク１５から入力された音声について音声認識を行い、例えばウェイクワードに続いて撮像指示を示す所定の音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付けたと判定する。

【0106】

ステップＳ１０１において、例えば、制御部２７は、タッチパネルディスプレイ１７のディスプレイに表示された撮像指示のボタンが、タッチパネルへの接触操作によって押されたことを認識した場合に、撮像指示を受け付けたと判定してもよい。

【0107】

ステップＳ１０１において、制御部２７は、ユーザー操作による撮像指示を受付ける受付部として機能する。

【0108】

制御部２７は、ステップＳ１０１において、撮像指示を受け付けていないと判定する（ステップＳ１０１：ＮＯ）と、ステップＳ１０１を繰り返し、撮像指示を受け付けたか否かを再び判定する。

【0109】

制御部２７は、ステップＳ１０１において、撮像指示を受け付けたと判定する（ステップＳ１０１：ＹＥＳ）と、画像抽出サブルーチンを実行し、画像一時保存部２５Ｂに記憶されている画像から撮像画像を抽出する（ステップＳ１０２）。

【0110】

ステップＳ１０２において、例えば、制御部２７は、撮像指示を受付けた時点から第１時間遡った時点までの期間内の車両Ｍ内の状況又は車両Ｍ外の状況に基づいて、当該期間内における基準タイミングを設定する。その後、制御部２７は、当該基準タイミングを基準とする１又は複数のタイミングの各々において車外カメラ１１によって撮像された画像を所定数の撮像画像として抽出する。

【0111】

制御部２７は、ステップＳ１０２の実行後、ステップＳ１０２において抽出された画像を外部に送信する（ステップＳ１０３）。ステップＳ１０３において、例えば、制御部２７は、抽出された画像を予め設定されたサーバに送信する。ステップＳ１０３において、例えば、制御部２７は、抽出された画像をユーザーが保有する端末装置に送信してもよい。

【0112】

制御部２７は、ステップＳ１０３の実行後、撮像ルーチンＲＴ１を終了し、新たに撮像ルーチンＲＴ１を開始する。

【0113】

図５は、撮像ルーチンＲＴ１のステップＳ１０２において、制御部２７によって実行される画像抽出サブルーチンの一例である画像抽出サブルーチンＲＴ２を示すフローチャートである。

【0114】

制御部２７は、画像抽出サブルーチンＲＴ２を開始すると、撮像指示を受け付けた時点から第１時間遡った時点までの期間（第１期間）内における車両Ｍ内の状況を参照する（ステップＳ２０１）。

【0115】

制御部２７は、ステップＳ２０１において、第１期間内において車内カメラ１３によって撮像された映像を車内情報記憶部２５Ｄから読み出す。

【0116】

また、制御部２７は、ステップＳ２０１において、第１期間内においてマイク１５によって集音された音を示す音声情報を車内情報記憶部２５Ｄから読み出す。

【0117】

ステップＳ２０１における車内の状況として、例えば、車内の映像又は音声情報のいずれか一方が参照されてもよく、両方が参照されてもよい。

【0118】

制御部２７は、ステップＳ２０１の実行後、第１期間内に車両Ｍ内で、所定のイベントがあったか否かを判定する（ステップＳ２０２）。ステップＳ２０２において、例えば、制御部２７は、ステップＳ２０１において読み出した映像について画像解析を行い、画像中の乗員の所定の動作又は所定の表情の変化を検出すると、所定のイベントがあったと判定する。ステップＳ２０２において、例えば、指さし動作又は驚きの表情への変化が検出された場合、所定のイベントがあったと判定される。

【0119】

ステップＳ２０２において、例えば、制御部２７は、ステップＳ２０１において読み出した音声情報について音声認識処理を行い、車両Ｍ内の乗員が発した声又は乗員が立てた音に関する所定の音を検出すると、所定のイベントがあったと判定する。ステップＳ２０２において、例えば、歓声等の声又は拍手等の音が検出された場合、所定のイベントがあったと判定される。

【0120】

制御部２７は、ステップＳ２０２において、所定のイベントがあったと判定する（ステップＳ２０２：ＹＥＳ）と、所定のイベントがあった時点を基準タイミングとして設定する（ステップＳ２０３）。ステップＳ２０３において、例えば、乗員の所定の姿勢又は所定の表情を含む画像が撮像された時刻が基準タイミングとして設定される。また、ステップＳ２０３において、例えば、所定の音が集音された時刻が基準タイミングとして設定される。

【0121】

制御部２７は、ステップＳ２０３の実行後、基準タイミングに基づいて、１又は複数の画像を撮像画像として大容量記憶装置２５の画像一時保存部２５Ｂに記憶されている画像から抽出する（ステップＳ２０４）。ステップＳ２０４において、例えば、基準タイミングに撮像された１つの画像が抽出される。

【0122】

ステップＳ２０４において、例えば、基準タイミングを含む複数のタイミングの各々において撮像された画像が抽出されてもよい。例えば、当該複数のタイミングの各々に撮像された画像として、基準タイミングの前後の所定の期間内に撮像された所定数の画像が抽出されてもよい。

【0123】

制御部２７は、ステップＳ２０２において、車内で所定のイベントが無かったと判定する（ステップＳ２０２：ＮＯ）と、撮像指示を受け付けた時点から、第１時間とは別に設定された第２時間遡った時点に撮像された画像を抽出する（ステップＳ２０５）。

【0124】

例えば、第２時間として、制御部２７が撮像指示を受け付けるための音声認識又はタッチパネルへの接触操作の認識にかかる時間に加えて、ユーザーが撮像を希望した時点からユーザーが撮像指示を行った時点までの時間を統計的に考慮して予め設定された長さの時間が設定される。例えば、十分に長い第１時間が設定されている場合、第２時間として、第１時間よりも短い時間が設定されてもよい。

【0125】

制御部２７は、ステップＳ２０４の実行後、又はステップＳ２０５の実行後、画像抽出サブルーチンＲＴ２を終了する。

【0126】

画像抽出サブルーチンＲＴ２によれば、乗員の行動に起因する車内の所定のイベント、を検出し、検出されたイベントが起こったタイミングを基準タイミングとして撮像画像を抽出することで、ユーザーが撮像を希望したタイミングに撮像された画像を抽出する確率を高めることが可能となる。

【0127】

また、画像抽出サブルーチンＲＴ２のステップＳ２０５によって、例えば、ユーザーが撮像を希望した時点において、車内の映像又は音に現れるような行動を起こさなかった場合であっても、音声認識に係る時間及びユーザーが撮像を希望してから撮像指示を行うまでの時間を考慮して、第２時間遡った時点に撮像された画像を抽出することができる。換言すれば、移動体内の状況が、設定部としての制御部２７が基準タイミングを設定するための条件を満たさなかった場合にも、ユーザーが撮像を希望した時点に撮像された画像を抽出する確率を高めることができる。

【0128】

なお、画像抽出サブルーチンＲＴ２によって、１つ以上の画像が抽出されるが、例えば１つの画像のみが抽出される場合、抽出された画像を保存する際の容量を小さくすることができる。また、１つの画像のみが抽出される場合、ユーザーにとっても撮像画像の取扱が容易になる。

【0129】

図６は、撮像ルーチンＲＴ１のステップＳ１０３において、制御部２７によって実行される画像抽出サブルーチンの他の一例である画像抽出サブルーチンＲＴ３を示すフローチャートである。画像抽出サブルーチンＲＴ３は、ステップＳ３０１及びステップＳ３０２を除いて画像抽出サブルーチンＲＴ２（図５参照）と同様に進行するため、説明の一部を省略する。

【0130】

制御部２７は、画像抽出サブルーチンＲＴ３を開始すると、撮像指示を受け付けた時点から第１時間遡った時点までの期間（第１期間）内における車外の状況を参照する（ステップＳ３０１）。

【0131】

制御部２７は、ステップＳ３０１において、第１期間内において車外カメラ１１によって撮像された映像を車外映像記憶部２５Ａから読み出す。

【0132】

また、制御部２７は、ステップＳ３０１において、第１期間内において測距センサ２３によって測定された車両Ｍの前方の障害物と車両Ｍとの距離を示す距離情報を距離情報記憶部２５Ｃから読み出す。

【0133】

ステップＳ３０１における車外の状況として、例えば、車外カメラ１１によって撮像された車外の映像又は車両Ｍの前方の障害物との距離情報のいずれか一方が参照されてもよく、両方が参照されてもよい。

【0134】

制御部２７は、ステップＳ３０１の実行後、第１期間内に車両Ｍの前方に障害物が少ないタイミングがあったか否かを判定する（ステップＳ３０２）。ステップＳ３０２において、例えば、制御部２７は、ステップＳ３０１において読み出した映像について画像解析を行い、画像中の障害物が例えば所定の割合以下の画像があった場合に、障害物が少ないタイミングがあったと判定する。

【0135】

ステップＳ３０２において、例えば、制御部２７は、ステップＳ３０２において読み出した距離情報が示す距離が所定以上の距離となるタイミングがあった場合に、障害物が少ないタイミングがあったと判定する。

【0136】

制御部２７は、ステップＳ３０２において、障害物が少ないタイミングがあったと判定する（ステップＳ３０２：ＹＥＳ）と、第１期間における車両Ｍ外の状況に基づいて基準タイミングを設定する（ステップＳ３０３）。ステップＳ３０３において、例えば、障害物が最も少なかったタイミングが基準タイミングとして設定される。

【0137】

ステップＳ３０３において、例えば、車両Ｍの外部の映像において、画像中の障害物が占める割合が最も小さい画像が撮像されたタイミングが、基準タイミングとして設定される。ステップＳ３０３において、例えば、障害物と車両Ｍとの距離が最も長いタイミングが基準タイミングとして設定される。

【0138】

制御部２７は、ステップＳ３０３の実行後、基準タイミングに基づいて、１又は複数の画像を撮像画像として大容量記憶装置２５の画像一時保存部２５Ｂに記憶されている画像から抽出する（ステップＳ３０４）。ステップＳ３０４において、例えば、基準タイミングに撮像された１つの画像が抽出される。

【0139】

ステップＳ３０４において、例えば、基準タイミングを含む複数のタイミングの各々において撮像された画像が抽出されてもよい。例えば、当該複数のタイミングの各々に撮像された画像として、基準タイミングの前後の所定の期間内に撮像された所定数の画像が抽出されてもよい。

【0140】

制御部２７は、ステップＳ３０２において、障害物が少ないタイミングが無かったと判定する（ステップＳ３０２：ＮＯ）と、撮像指示を受け付けた時点から、第１時間とは別に設定された第２時間遡った時点に撮像された画像を抽出する（ステップＳ３０５）。

【0141】

制御部２７は、ステップＳ３０４の実行後、又はステップＳ３０５の実行後、画像抽出サブルーチンＲＴ３を終了する。

【0142】

画像抽出サブルーチンＲＴ３によれば、車両Ｍ外の状況として、車両Ｍの前方の障害物に関する情報を検出し、車両Ｍ内からの風景の視認について障害物の影響が最も少ないタイミングを基準タイミングとして撮像画像を抽出することができる。これによって、ユーザーが撮像を希望したタイミングに撮像された画像を抽出する確率を高めることが可能となる。

【0143】

また、画像抽出サブルーチンＲＴ３のステップＳ３０５によって、例えば、ユーザーが撮像を希望した時点において、車両Ｍの近くに他の車両等の障害物が存在していた場合であっても、音声認識に係る時間及びユーザーが撮像を希望してから撮像指示を行うまでの時間を考慮して、第２時間遡った時点に撮像された画像を抽出することができる。換言すれば、移動体外の状況が、設定部としての制御部２７が基準タイミングを設定するための条件を満たさなかった場合にも、ユーザーが撮像を希望した時点に撮像された画像を抽出する確率を高めることができる。

【0144】

なお、図５において説明した画像抽出サブルーチンＲＴ２と、図６において説明した画像抽出サブルーチンＲＴ３とは、並行して実行されてもよく、組み合わされて実行されてもよい。例えば、画像抽出サブルーチンＲＴ２において、車内で所定のイベントが無かったと判定された場合（ステップＳ２０２：ＮＯ）に、画像抽出サブルーチンＲＴ３が実行されてもよい。

【0145】

図７は、制御部２７によって実行されるルーチンの他の一例である撮像ルーチンＲＴ４を示すフローチャートである。撮像ルーチンＲＴ４は、図４において説明した撮像ルーチンＲＴ１と、ステップＳ４０２及びステップＳ４０３を含む点において異なり、その余の点においては同様に進行するため、説明の一部を省略する。

【0146】

制御部２７は、撮像ルーチンＲＴ４を開始すると、ユーザーからの撮像指示を受け付けたか否かを判定する（ステップＳ４０１）。

【0147】

ステップＳ４０１において、制御部２７は、ユーザーの発話に基づく撮像指示又はユーザーの接触操作に基づく撮像指示を受け付ける。例えば、制御部２７は、マイク１５から入力された、ユーザーの発話による音声について音声認識を行い、例えばウェイクワードに続いて撮像指示を示す所定の音声コマンドを認識した場合に、ユーザーからの撮像指示を受け付けたと判定する。例えば、制御部２７は、タッチパネルディスプレイ１７のタッチパネルへの接触操作による撮像指示を認識した場合に、撮像指示を受け付けたと判定する。

【0148】

制御部２７は、ステップＳ４０１において、撮像指示を受け付けたと判定する（ステップＳ４０１：ＹＥＳ）と、受け付けた撮像指示がユーザーの発話に基づく撮像指示であるか否かを判定する（ステップＳ４０２）。ステップＳ４０１において、例えば、制御部２７は、ステップＳ４０１において音声認識を実行していた場合に、ユーザーの発話に基づく撮像指示であると判定する。

【0149】

制御部２７は、ステップＳ４０２において発話による撮像指示であると判定する（ステップＳ４０２：ＹＥＳ）と、撮像指示を受け付けた時点から第１時間遡って車両Ｍ内の状況又は車両Ｍ外の状況を参照する際の第１時間の長さを、ユーザーの接触操作による撮像指示を受け付けた場合よりも長く設定する（ステップＳ４０３）。

【0150】

ステップＳ４０３において、例えば、音声認識によるユーザーからの撮像指示の認識に係る時間が、タッチパネルへの接触操作の認識にかかる時間を超える分だけ、第１時間が長く設定される。

【0151】

制御部２７は、ステップＳ４０２において、ユーザーの発話に基づく撮像指示ではないと判定した場合（ステップＳ４０２：ＮＯ）、又はステップＳ４０３の実行後、画像抽出サブルーチンを実行し、撮像画像として画像を抽出する（ステップＳ４０４）。

【0152】

ステップＳ４０４において、例えば、図５に示した画像抽出サブルーチンＲＴ２又は図６に示した画像抽出サブルーチンＲＴ３等のサブルーチンが実行される。ステップＳ４０４において、例えば、画像抽出サブルーチンＲＴ２が実行されて第１時間遡って車内の状況が参照される際に（ステップＳ２０１）、ステップＳ４０３において長く設定された第１時間が適用される。

【0153】

ステップＳ４０４において、例えば、画像抽出サブルーチンＲＴ３が実行されて第１時間遡って車外の状況が参照される際に（ステップＳ３０１）、ステップＳ４０３において長く設定された第１時間が適用される。

【0154】

制御部２７は、ステップＳ４０４の実行後、サーバ等の外部装置に抽出した画像を送信し（ステップＳ４０５）、撮像ルーチンＲＴ４を終了して新たに撮像ルーチンＲＴ４を繰り返す。

【0155】

撮像ルーチンＲＴ４によれば、ユーザーが撮像指示を行う際の操作方法に応じて適切に第１時間を設定することができる。従って、例えば音声認識に要する時間が接触操作の認識に要する時間よりも長い場合でも、基準タイミングを適切に設定して、当該基準タイミングに基づいて撮像画像を抽出することができる。従って、ユーザーが撮像を希望したタイミングに撮像された画像を抽出する確率を高めることができる。

【0156】

なお、撮像ルーチンＲＴ４のステップＳ４０４において、例えば、ユーザーの発話に基づく撮像指示が受付けられていた場合には、サブルーチンにおける第２時間の長さ（ステップＳ２０５又はステップＳ３０５）についても、ユーザーの接触操作に基づく撮像指示が受付けられていた場合よりも長く設定されてもよい。これによって、音声認識に要する時間が接触操作の認識に要する時間よりも長い場合でも、ユーザーが撮像を希望したタイミングで撮像された画像を抽出する確率を高めることができる。

【0157】

以上、詳細に説明したように、本実施例の撮像装置１０は、移動体と共に移動し、移動体外の映像を撮像する撮像部により最近撮像された連続画像を記憶する記憶部と、ユーザーの操作による撮像指示を受付ける受付部と、受付部が撮像指示を受付けた時点から第１時間遡った時点までの期間内における移動体内の状況、又は移動体外の状況に基づいて、当該期間内における基準タイミングを設定する設定部と、基準タイミングを基準とする１又は複数のタイミングの各々において撮像部により撮像された所定数の画像を、記憶部から撮像画像として抽出する抽出部と、を備える。

【0158】

従って、撮像装置１０によれば、撮像指示を受け付けた時点よりも前の期間内の、ユーザーが撮像を希望したタイミング又はそれに近いタイミングとして、移動体内の状況、又は移動体外の状況に基づいて適切に基準タイミングを設定することができる。よって、当該基準タイミングを基準とするタイミングに撮像された画像を抽出することで、ユーザーが撮像を希望したタイミングに撮像された画像を抽出する確率を高めることができる。

【0159】

従って、撮像装置１０によれば、ユーザーによる撮像指示に従って撮像する撮像装置において、ユーザーが撮像を希望する風景が映った画像を高い確率で取得することを可能とする撮像装置、撮像方法、撮像プログラム及び記録媒体を提供することができる。

【0160】

上記の第１時間として、任意の長さの時間を設定することができ、例えば、ユーザーの撮像指示を受け付けるために必要な時間に加えて、ユーザーが撮像を希望した時点から実際に撮像指示を行う時点までの時間を考慮した十分に長い時間を設定することができる。

【0161】

なお、上記の実施例において、撮像装置１０は、ユーザーからの撮像指示をタッチパネルディスプレイ１７を介して受け付けることが可能である場合について説明したが、これに限られない。例えば、撮像装置１０は、タッチパネルディスプレイ１７に接続されていなくともよい。例えば、車両Ｍにタッチパネルディスプレイ１７が備えられていなくともよい。例えば、撮像装置１０は、音声認識のみによって撮像指示を受け付けても良い。また、例えば、撮像装置１０は、音声認識に加えて、例えば、タッチパネルディスプレイではないプッシュボタンを用いたボタン操作による撮像指示を受け付け可能に構成されていてもよい。

【0162】

なお、上記の実施例において、撮像装置１０は、大容量記憶装置２５が有する画像一時保存部２５Ｂに保存されている画像から撮像画像を抽出する例について説明したが、これに限られない。例えば、撮像装置１０は、車外映像記憶部２５Ａに逐次記憶されて一定時間保持されている動画から、撮像画像を抽出してもよい。

【0163】

なお、上記の実施例において、撮像画像として抽出した画像により静止画を生成する例について説明したが、これに限られない。撮像装置１０は、例えば、撮像画像として抽出した複数のフレーム画像からなる動画を生成してもよい。

【0164】

なお、上記の実施例において、撮像装置１０は、抽出した撮像画像をサーバに送信する例について説明したが、これに限られない。撮像装置１０は、抽出した撮像画像を、ユーザーが保有する端末等の他の外部装置に送信してもよく、記憶部に保持してもよい。また、撮像装置１０は、抽出した撮像画像が、移動体に備えられたディスプレイに表示されてもよい。

【0165】

なお、上記の実施例において、移動体外の映像を撮像する撮像部として、車外カメラ１１の撮影方向が車両Ｍの前方である場合について説明したが、これに限られない。例えば、撮像装置１０は、移動体の側方又は後方を撮影方向とする撮像部によって最近撮像された連続画像を記憶し、撮像画像を抽出してもよい。

【0166】

また、距離情報が距離情報記憶部２５Ｃに記憶される例について説明したが、距離情報は、例えばフレーム画像に対応付けられて車外映像記憶部２５Ａ又は画像一時保存部２５Ｂに記憶されていてもよい。

【0167】

なお、上記の説明において、制御部２７が、撮像指示を受け付けた時点から第１時間遡った時点（ｔ₁）から撮像指示を受け付けた時点（ｔ_０）までの期間内における移動体内の状況又は移動体外の状況に基づいて基準タイミングを設定する例について説明したが、これに限られない。例えば、第１時間遡った時点（ｔ₁）の前後の所定の期間内に基準タイミングが設定されてもよい。

【0168】

上述した実施例における構成及びルーチンは例示に過ぎず、用途等に応じて適宜選択、組み合わせ、又は変更可能である。

【符号の説明】

【0169】

１０ 撮像装置
１１ 車外カメラ
１３ 車内カメラ
１５ マイク
１７ タッチパネルディスプレイ
１９ システムバス
２１ 入力部
２３ 測距センサ
２５ 大容量記憶装置
２５Ａ 車外映像記憶部
２５Ｂ 画像一時保存部
２５Ｃ 距離情報記憶部
２５Ｄ 車内情報記憶部
２７ 制御部
２９ 出力部
３１ 送受信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】