特許 7343621 インターバル撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-04

(45)【発行日】2023-09-12

(54)【発明の名称】インターバル撮像装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230905BHJP

   H04N 23/695 20230101ALI20230905BHJP

   H04N 23/45 20230101ALI20230905BHJP

   H04N 23/66 20230101ALI20230905BHJP

   G03B 15/00 20210101ALI20230905BHJP

   G03B 17/38 20210101ALI20230905BHJP

   G03B 37/00 20210101ALI20230905BHJP

【ＦＩ】

H04N23/60 100

H04N23/698

H04N23/45

H04N23/66

G03B15/00 U

G03B15/00 W

G03B15/00 R

G03B17/38 B

G03B37/00 A

【請求項の数】 7

(21)【出願番号】P 2021573677

(86)(22)【出願日】2020-01-28

(86)【国際出願番号】 JP2020003053

(87)【国際公開番号】W WO2021152711

(87)【国際公開日】2021-08-05

【審査請求日】2022-06-02

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】奥山 宣隆

(72)【発明者】

【氏名】奥 万寿男

(72)【発明者】

【氏名】吉澤 和彦

【審査官】大西 宏

(56)【参考文献】

【文献】特開２００９－１１８１３５（ＪＰ，Ａ）

【文献】特開２００９－２６７７２９（ＪＰ，Ａ）

【文献】特開２０１０－０１１３４３（ＪＰ，Ａ）

【文献】特開２０１３－１５３３２９（ＪＰ，Ａ）

【文献】特開２０１５－００５８０９（ＪＰ，Ａ）

【文献】特開２０１９－１２１８５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｇ０３Ｂ １５／００ －１５／０３５

Ｇ０３Ｂ １７／３８ －１７／４６

Ｇ０３Ｂ ３５／００ －３７／０６

(57)【特許請求の範囲】

【請求項1】

ユーザに装着され外部の撮影を間欠的に行うインターバル撮像装置であって、
複数の撮影モードで撮影可能な撮像部と、
前記インターバル撮像装置の動きを検出する動きセンサと、
前記動きセンサの検出結果から動きの有無を判定する動き判定部と、
前記撮像部が撮影するためのトリガー信号を所定の間隔で発生するタイミング生成部と、
前記動き判定部の判定結果に応じて前記撮像部と前記タイミング生成部を制御する撮影制御部と、を備え、
前記撮影制御部は前記撮像部に対し、動き有り（以下、運動状態）のときの撮影モードと動き無し（以下、静止状態）のときの撮影モードを切り替えるよう制御し、
前記動き判定部の判定結果が運動状態のとき、前記撮影制御部は前記タイミング生成部に対し、第１の間隔でトリガー信号を発生させ、
前記動き判定部の判定結果が静止状態のとき、前記撮影制御部は前記タイミング生成部に対し、前記第１の間隔より短い第２の間隔でトリガー信号を発生させることを特徴とするインターバル撮像装置。

【請求項2】

ユーザに装着され外部の撮影を間欠的に行うインターバル撮像装置であって、
複数の撮影モードで撮影可能な撮像部と、
前記インターバル撮像装置の動きを検出する動きセンサと、
前記動きセンサの検出結果から動きの有無を判定する動き判定部と、
前記撮像部が撮影するためのトリガー信号を所定の間隔で発生するタイミング生成部と、
前記動き判定部の判定結果に応じて前記撮像部と前記タイミング生成部を制御する撮影制御部と、を備え、
前記撮影制御部は前記撮像部に対し、動き有り（以下、運動状態）のときの撮影モードと動き無し（以下、静止状態）のときの撮影モードを切り替えるよう制御し、
前記撮像部は、標準画角で撮影する標準モードと、広角で撮影する広角モードとを備え、
前記撮影制御部は前記撮像部に対し、運動状態では標準モードで撮影し、静止状態では広角モードで撮影するよう制御することを特徴とするインターバル撮像装置。

【請求項3】

ユーザに装着され外部の撮影を間欠的に行うインターバル撮像装置であって、
複数の撮影モードで撮影可能な撮像部と、
前記インターバル撮像装置の動きを検出する動きセンサと、
前記動きセンサの検出結果から動きの有無を判定する動き判定部と、
前記撮像部が撮影するためのトリガー信号を所定の間隔で発生するタイミング生成部と、
前記動き判定部の判定結果に応じて前記撮像部と前記タイミング生成部を制御する撮影制御部と、を備え、
前記撮影制御部は前記撮像部に対し、動き有り（以下、運動状態）のときの撮影モードと動き無し（以下、静止状態）のときの撮影モードを切り替えるよう制御し、
前記撮像部は、複数形式の撮影画像を取得することが可能であり、
前記撮影制御部は前記撮像部に対し、運動状態では前記複数形式の撮影画像のうちの１つを取得し、静止状態では前記複数形式の撮影画像を全て取得するよう制御することを特徴とするインターバル撮像装置。

【請求項4】

請求項３に記載のインターバル撮像装置であって、
前記撮像部は、前記複数形式の撮影画像として、前半天球の画像と後半天球の画像を取得することが可能であり、
前記撮影制御部は前記撮像部に対し、運動状態では前半天球の画像を取得し、静止状態では前半天球と後半天球を含む全天球の画像を取得するよう制御することを特徴とするインターバル撮像装置。

【請求項5】

請求項３に記載のインターバル撮像装置であって、
前記撮像部は、前記複数形式の撮影画像として、左目視線の画像と右目視線の画像を取得することが可能であり、
前記撮影制御部は前記撮像部に対し、運動状態では左目視線の画像と右目視線の画像のいずれかを取得し、静止状態では左目視線の画像と右目視線の画像の両方を取得するよう制御することを特徴とするインターバル撮像装置。

【請求項6】

請求項１から３の何れか一項に記載のインターバル撮像装置であって、
前記インターバル撮像装置の動きを検出する前記動きセンサ（以下、第１の動きセンサ）の他に、前記インターバル撮像装置が装着される前記ユーザの第１の部位とは異なる第２の部位に装着され、前記ユーザの第２の部位の動きを検出する動きセンサ（以下、第２の動きセンサ）を備え、
前記動き判定部は、前記第１の動きセンサで検出した第１の動きデータと、前記第２の動きセンサで検出した第２の動きデータとを比較し、両者の動きデータの相関の有無により運動状態を複数のレベルで判定し、
前記動き判定部の判定結果が運動状態であっても前記両者の動きデータに相関がない場合には、前記撮影制御部は前記撮像部に対し、撮影を制限するよう制御することを特徴とするインターバル撮像装置。

【請求項7】

請求項１から３の何れか一項に記載のインターバル撮像装置であって、
前記動き判定部は、前記動きセンサで検出した動きデータの大きさによって運動状態を複数のレベルで判定し、
前記動き判定部の判定結果が運動状態であってもその動きデータが所定値を超える場合には、前記撮影制御部は前記撮像部に対し、撮影を制限するよう制御することを特徴とするインターバル撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ライフログカメラなどとして用いられるインターバル撮像装置に関する。

【背景技術】

【0002】

ユーザ等の移動体に装着して、カメラ撮影を間欠的に自動的に行い、移動体の行動履歴を得るインターバル撮像装置（ライフログカメラ）が知られている。この場合、撮影は自動的に行われるので、撮影に適さない状態であっても撮影が実行されるという問題がある。これに関し特許文献１では、撮影処理が可能な状態か不可能な状態かを判定し、撮影処理が不可能な状態と判定したときは、撮影を実行しないよう制御する自動撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１４７６４７公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１によれば、例えば、撮像装置が十分な光量を満たさないような暗所に存在する場合や、撮像レンズが上着等で覆われた状態にある場合に、自動撮影が行われないようにし、利用者にとって有意な画像のみを撮影することが可能になると述べられている。

【0005】

特許文献１を始め従来のインターバル撮像装置では、ユーザの動きの状態に関わらず撮影条件は一律に定められていた。しかしながら、ユーザの行動履歴を把握するという観点では、ユーザの動きの状態（静止状態であるか、運動状態であるか）に応じて、行動履歴に対する着目点が異なってくる。例えば、静止時にはユーザを取り巻く広い範囲の風景を収めた画像を取得するのが好ましく、運動時には目の前の狭い範囲の風景の変化の画像を取得するのが好ましい。また、限られた記憶部に撮影データを効率よく保存するために、静止時と運動時とで、行動履歴として撮影する画像の時間間隔（インターバル）の設定も重要になる。

【0006】

特許文献１を始め従来の技術では、ユーザにとって無意味な画像を撮影しないことは考慮されているが、上記したユーザの動きの状態と撮影条件との関係については、特に考慮されなかった。

【0007】

本発明は上記の点を鑑みてなされたものであり、その目的は、ユーザの動きの状態に応じて好適な撮影条件でインターバル撮影を行うインターバル撮像装置を提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のインターバル撮像装置は、複数の撮影モードで撮影可能な撮像部と、インターバル撮像装置の動きを検出する動きセンサと、動きセンサの検出結果から動きの有無を判定する動き判定部と、撮像部が撮影するためのトリガー信号を所定の間隔で発生するタイミング生成部と、動き判定部の判定結果に応じて撮像部とタイミング生成部を制御する撮影制御部と、を備え、撮影制御部は撮像部に対し、動き有り（運動状態）のときの撮影モードと動き無し（静止状態）のときの撮影モードを切り替えるよう制御する。

【0009】

好ましくは、撮像部は、標準画角で撮影する標準モードと、広角で撮影する広角モードとを備え、撮影制御部は撮像部に対し、運動状態では標準モードで撮影し、静止状態では広角モードで撮影するよう制御する。

【0010】

あるいは、撮像部は、複数形式の撮影画像を取得することが可能であり、撮影制御部は撮像部に対し、運動状態では複数形式の撮影画像のうちの１つを取得し、静止状態では複数形式の撮影画像を全て取得するよう制御する。

【発明の効果】

【0011】

本発明によれば、ユーザの動きの状態に応じて履歴画像として有効な画像を効率良く取得するインターバル撮像装置を提供できる。

【図面の簡単な説明】

【0012】

【図1】実施例１に係るインターバル撮像装置２の装着状態図。

【図2】インターバル撮像装置２のブロック図。

【図3】標準画角画像と広角画像の例を示す図。

【図4A】インターバル撮影の例を示すタイムチャート。

【図4B】インターバル撮影の例を示すタイムチャート。

【図5】インターバル撮影動作を示すフローチャート。

【図6】実施例２に係るインターバル撮像装置（全方位カメラ３）の装着状態図。

【図7】全方位カメラ３のブロック図。

【図8】実施例３に係るインターバル撮像装置（ＨＭＤ４）の外観図。

【図9】ＨＭＤ４のブロック図。

【図10】実施例４に係るインターバル撮像装置６の装着状態図。

【図11】インターバル撮像装置６のブロック図。

【図12】インターバル撮影の例を示すタイムチャート。

【図13】インターバル撮影動作を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、本発明の実施形態について説明する。本発明のインターバル撮像装置は、ユーザに装着され外部の撮影を間欠的に行うものであって、複数の撮影モードで撮影可能な撮像部（カメラ）を備えている。以下の実施例では、撮像部の構成を場合分けして具体的に説明する。

【実施例1】

【0014】

図１は、実施例１に係るインターバル撮像装置２をユーザが装着した状態を示す図である。ユーザ１の頭部には、インターバル撮像装置２が装着ベルト７にて装着されている。インターバル撮像装置２には、外部の撮影を行う撮像部として、ユーザ１の前方を撮影する標準カメラ１１と広角カメラ１２とが備えられている。

【0015】

図２は、インターバル撮像装置２のブロック図である。前記した標準カメラ１１と広角カメラ１２の他、センサ類として、加速度センサ１３、ジャイロセンサ１４、地磁気センサ１５、位置センサ１６、照度センサ１７、を有する。また、ユーザ設定部１８、通信部１９、ＣＰＵ（もしくはマイクロコンピュータ）２０、ＲＡＭ２１、フラッシュＲＯＭ２２を備え、各部は内部バス２６で接続されている。

【0016】

標準カメラ１１と広角カメラ１２は、それぞれと標準画角画像と広角画像を撮影するカメラであり、後述するようにユーザ１の動きの状態に応じて切り替えて使用する。なお撮影する画像はユーザの行動履歴を得るためのものであり、静止画であっても、また短い動画であってもよい。撮影された画像データは、撮影データ保持部２５に、あるいは通信部１９を介して外部のストレージに保存される。

【0017】

加速度センサ１３とジャイロセンサ１４では、インターバル撮像装置２（すなわちこれを装着したユーザ１）の動きや揺れ等を検出する。加速度センサ１３は、一軸、二軸あるいは三軸方向の加速度を検出し、ジャイロセンサ１４は、一軸、二軸あるいは三軸方向の角速度を検出する。

【0018】

地磁気センサ１５ではインターバル撮像装置２の方位情報を、位置センサ（例えばＧＰＳ受信部）１６では位置情報を取得し、これらの情報を撮影画像のメタデータとして、画像データに添付して取り扱う。照度センサ１７は周囲の明るさを検知して、カメラの撮影条件を調整するために用いられる。

【0019】

ユーザ設定部１８は、インターバル撮影の時間間隔（撮影間隔）等をユーザが所望値に設定するための操作入力部である。

【0020】

通信部１９は、４Ｇなどのモバイル通信、ワイアレスＬＡＮ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの全て、もしくは一部の通信機能を含む。通信部１９は、標準カメラ１１や広角カメラ１２で撮影した画像データを、ネットワークを介して外部のストレージに送信することも可能である。

【0021】

ＣＰＵ２０は、フラッシュＲＯＭ２２に記憶格納されているプログラム２３をＲＡＭ２１に展開し、これを実行することによって、インターバル撮像装置２の各構成部の制御を行い、各種の機能を実現する。

【0022】

フラッシュＲＯＭ２２は、プログラム２３と撮影データ保持部２５を含み、さらにプログラム２３は、インターバル撮影アプリ２４を構成する動き判定処理２４ａ、タイミング生成処理２４ｂ、撮影制御処理２４ｃを含む。インターバル撮影アプリ２４が実行されることで、それぞれ対応する機能ブロック（動き判定部２４ａ、タイミング生成部２４ｂ、撮影制御部２４ｃ）が構成される。

【0023】

動き判定部２４ａは、加速度センサ１３とジャイロセンサ１４の検出値を、別途設定している閾値と比較して、インターバル撮像装置２（すなわちこれを装着しているユーザ１）の動きの有無を判定する。なお、インターバル撮像装置２（ユーザ１）が一定速度で移動している場合は、動き有（運動状態）と判定する。なお、現在の速度は、加速度を時間積分することで算出することができる。

【0024】

タイミング生成部２４ｂは、設定された撮影間隔で撮影のタイミングを示すトリガー信号を生成する。撮影制御部２４ｃは、動き判定部２４ａの判定結果に基づき、撮影モードの切替、すなわち標準カメラ１１と広角カメラ１２との切替を行うとともに、タイミング生成部２４ｂに対しトリガー信号の生成について制御する。
なお、ＣＰＵ２０、ＲＡＭ２１、フラッシュＲＯＭ２２は、１つの集積回路に実装されてもよい。

【0025】

図３は、標準画角画像と広角画像の例を示す図である。本実施例では、撮影モードとして標準モードと広角モードを備え、これを適宜切り替える。標準モードでは、標準カメラ１１で標準画角画像８１を撮影し、広角モードでは、広角カメラ１２で広角画像８２を撮影する。標準画角画像８１は、例えば前方の人物８３の周囲を含む画像となるが、広角画像８２は、広い範囲の背景が撮影可能であり、背景の状況をより詳細に把握するために有効となる。

【0026】

図４Ａと図４Ｂは、インターバル撮影の例を示すタイムチャートである。図面の上から、動き判定結果、撮影タイミング、撮影モードについて、それぞれの時間推移を示している。

【0027】

動き判定結果は、動き判定部２４ａによりインターバル撮像装置２の動きの状態を判定したものである。以下では、動き有の状態とその期間を「運動状態」「運動期間」、動き無の状態とその期間を「静止状態」「静止期間」と呼ぶことにする。この図では、「運動状態」を「運動」、「静止状態」を「静止」と記述している。

【0028】

撮影タイミング信号Ｔ１～Ｔ１１は、タイミング生成部２４ｂにより生成され、これに基づきカメラへのトリガー信号を発生する。撮影モードは、標準モードと広角モードがあり、撮影制御部２４ｃにより切り替えられる。

【0029】

図４Ａから説明する。撮影タイミングの間隔ΔＴは、区間［Ｔ２，Ｔ３］、［Ｔ８，Ｔ９］を除いて一定であり、ユーザ設定部１８を介して、秒、分あるいは時間単位で、ユーザの行動履歴を得るのに適した値に設定される。例えば、撮影間隔ΔＴを数分程度に設定する。

【0030】

動きの状態が運動状態から静止状態に遷移するＴ３とＴ９においては、それまでの撮影タイミングの間隔がリセットされ、新たな撮影タイミングが設定される。すなわち、Ｔ３とＴ９が新たな撮影タイミングとなり、以降、これを基準に間隔ΔＴで設定される。

【0031】

これにより、ユーザが静止状態へ遷移後直ぐに撮影が行なわれるので、たとえ静止状態の期間が撮影タイミングの間隔ΔＴより短い場合でも、カメラ撮影を逃すことがない。なお、Ｔ３とＴ９の静止状態への遷移直後では、ユーザの身体が不安定な状態の場合がある。よって、加速度センサ１３、ジャイロセンサ１４の詳細な値を解析し、安定した静止状態であることを確認した後に撮影を実施することにより、一層安定した撮影画像を得ることができる。

【0032】

次に、動き判定結果に応じて撮影モードを切り替える。動きの状態が運動状態であるタイミング（Ｔ１、Ｔ２、Ｔ５など）では、標準カメラ１１のみを用いた標準モードで撮影する。標準カメラ１１は、広角カメラ１２に比較して画素数等を少なくしてもよい。

【0033】

一方、動きの状態が静止状態であるタイミング（Ｔ３、Ｔ４、Ｔ９）では、広角カメラ１２を使用する広角モードで撮影する。なお、広角モードでは、同時に標準カメラ１１を用いた撮影を行ってもよい。

【0034】

図４Ｂは、図４Ａに対して、静止期間での撮影タイミングを増加させたものである。静止状態の［Ｔ３，Ｔ４］の期間では、Ｔ３ａ、Ｔ３ｂの撮影タイミングを追加し、［Ｔ９，Ｔ１０］の期間では、Ｔ９ａ，Ｔ９ｂの撮影タイミングを追加し、広角モードで撮影を行っている。例えば、静止期間での撮影間隔ΔＴ’を数１０秒程度に設定する。これにより、周囲に動く物体や変化する物体がある場合に、周囲の状況をより詳細に観察することができる。

【0035】

図５は、インターバル撮影動作を示すフローチャートである。撮影動作は、インターバル撮影アプリ２４（動き判定部２４ａ、タイミング生成部２４ｂ、撮影制御部２４ｃ）によって進行する。パラメータとして、タイマー値ｔ、動きフラグＦ、運動期間の撮影間隔ΔＴ（第１撮影間隔）、静止期間の撮影間隔ΔＴ’（第２撮影間隔）を用いる。動きフラグＦは、運動状態ではＦ＝１、静止状態ではＦ＝０とする。

【0036】

Ｓ１０１：撮影を開始するとタイマー値ｔをリセットする（ｔ＝０）。
Ｓ１０２：動きフラグＦの初期値をＦ＝１（運動状態）に設定する。
Ｓ１０３：加速度センサ１３、ジャイロセンサ１４の出力を取得する。
Ｓ１０４：動き判定部２４ａにより、動きの状態を判定する。

【0037】

Ｓ１０５：運動状態の場合はＳ１０６へ、静止状態の場合はＳ１０９へ進む。
Ｓ１０６：現在の動きフラグＦが１以外（Ｆ＝０）の場合はＦ＝１に設定する。
Ｓ１０７：タイマー値ｔと第１撮影間隔ΔＴを比較する。ｔ≧ΔＴならＳ１０８へ、そうでなければＳ１１５へ進む。
Ｓ１０８：標準モードで、すなわち標準カメラ１１で撮影する。これにより運動状態においては、第１撮影間隔ΔＴで標準モードの撮影がなされる。

【0038】

Ｓ１０９：Ｓ１０５で静止状態の場合は、現在の動きフラグＦが１かどうかで分岐する。Ｆ＝１であればＳ１１０へ、それ以外（Ｆ＝０）の場合はＳ１１２へ進む。
Ｓ１１０：動きフラグＦを１から０に書き換える。
Ｓ１１１：広角モードで、すなわち広角カメラ１２で撮影する。これにより運動状態から静止状態に遷移したタイミングで、広角モードの撮影がなされる（図４ＢのタイミングＴ３，Ｔ９）。
Ｓ１１２：静止状態（Ｆ＝０）が継続しているので、タイマー値ｔと第２撮影間隔ΔＴ’を比較する。ｔ≧ΔＴ’ならＳ１１１へ進み、静止状態において、第２撮影間隔ΔＴ’で広角モードの撮影がなされる。ｔ≧ΔＴ’でなければＳ１１５へ進む。

【0039】

Ｓ１１３：撮影した画像を、撮影データ保持部２５に保存する、もしくは通信部１９から外部ストレージに送信して保存する。
Ｓ１１４：タイマー値ｔをリセットする（ｔ＝０）。
Ｓ１１５：タイマー値ｔをカウントアップする。
Ｓ１１６：撮影を継続するかどうかを判定する。継続する場合はＳ１０３へ戻り、上記の処理を繰り返す。

【0040】

以上説明した実施例１の構成によれば、静止時には広角カメラ１２により背景の観察に有効な画像を取得できるとともに、撮影間隔を狭くすることで画像情報をより豊富に取得することができる。また、運動状態から静止状態へ遷移後直ちに撮影を行なうので、静止期間が短くても静止状態での撮影を撮り逃すことがない。一方、運動時には標準カメラ１１のみを用いて撮影するので、撮影データ保持部２５の容量と装置の消費電力を節約し、効率の良いインターバル撮像装置を実現できる。

【0041】

なお、上記の説明では、撮影モードの切替とは、動きの状態に応じて標準カメラ１１で撮影するか、あるいは広角カメラ１２で撮影するかを切り替えるものとしたが、一旦両方のカメラ１１，１２で撮影した後で、動きの状態に対応する撮影画像のみを選択して撮影データ保持部２５に保存するようにしても良い。このことは、以下の実施例においても同様である。

【実施例2】

【0042】

実施例２では、インターバル撮影のための撮像部として、全方位カメラを用いる場合について説明する。

【0043】

図６は、実施例２に係るインターバル撮像装置（全方位カメラ３）をユーザが装着した状態を示す図である。ユーザ１は、ヘルメットなどの装着治具８を用いて、全方位カメラ３を頭部に装着する。全方位カメラ３は、ユーザ１の前方を撮影する前半天球光学系３１と、ユーザ１の後方を撮影する後半天球光学系３２を有する。

【0044】

図７は、全方位カメラ３のブロック図を示す。実施例１（図２）のインターバル撮像装置２と同じ構成要素については、同一の符号を付しており、重複する説明を省略する。

【0045】

全方位カメラ３において、前半天球光学系３１は魚眼レンズ等で構成され、ユーザ１の前半天球を捉え、同様に後半天球光学系３２も魚眼レンズ等で構成され、ユーザ１の後半天球を捉える。捉えられた前半天球と後半天球の画像は、撮像センサ（撮像素子）３３上に投影され、画像データとして取り出される。その際、撮像素子の検出領域を選択することで、前半天球の撮影画像と後半天球の撮影画像に分けて取得することができる。

【0046】

全方位カメラ３を用いたインターバル撮影は、実施例１の図４Ａ，４Ｂに示した撮影タイミングと撮影モードと同様に行う。また、撮影動作のフローチャートは図５と同様に行う。ただし、撮影モードに関しては、標準モードでは前半天球光学系３１を用いた前半天球画像を取得する。また広角モードでは、前半天球光学系３１と後半天球光学系３２の両方を用いた全天球画像を取得する。

【0047】

以上の構成により、実施例２によれば、静止時には全天球画像による背景観察に有効な画像を取得できるとともに、運動時にも所定の撮影間隔で履歴画像を得ることができる。

【実施例3】

【0048】

実施例３は、インターバル撮影のための撮像部として、ヘッドマウントディスプレイ（ＨＭＤ）を用いる場合について説明する。

【0049】

図８は、実施例３に係るインターバル撮像装置（ヘッドマウントディスプレイ（ＨＭＤ）４）の外観図である。その構成は、左目視線カメラ４１、右目視線カメラ４２、左右の投影光学系４４ａ，４４ｂ、レンズやスクリーン等の表示光学系４５、スピーカ４６、マイク４７、フレーム筐体４８ａ～４８ｃ、ノーズパッド４９、コントローラ５０などを有する。コントローラ５０、左目視線カメラ４１、右目視線カメラ４２、スピーカ４６、マイク４７は、フレーム筐体４８ａ～４８ｃに配置される。なお、配置場所は図８の通りでなくてもよい。さらに、加速度センサ、ジャイロセンサ、位置センサ等のセンサ群を内蔵する。

【0050】

ユーザ１は、フレーム筐体４８ａ，４８ｂとノーズパッド４９で、ＨＭＤ４を自身の頭部に装着する。左目視線カメラ４１と右目視線カメラ４２は、ユーザの視線前方を撮影するとともに、左目と右目の視差を利用して、撮影画像が捉える現実空間の物体までの距離の測定が可能な三次元カメラを構成している。測定された距離は撮影画像の奥行き情報として利用することで、撮影画像の理解に役立つ。

【0051】

コントローラ５０は、左目視線カメラ４１、右目視線カメラ４２で撮影した現実空間の画像、さらに現実空間の物体までの距離データ等を、内部のメモリやＣＰＵに取り込む。さらにコントローラ５０は、投影光学系４４ａ，４４ｂで投影する映像をコンピュータグラフィックス等で作成し、またスピーカ４６から出力する音声を作成する。

【0052】

投影光学系４４ａ，４４ｂと表示光学系４５は、ＨＭＤ４の表示部となる。投影光学系４４ａ，４４ｂは、コントローラ５０が作成した仮想物体の映像を、左目用映像と右目用映像に分けて、表示光学系４５に投影して表示する。ユーザ１は、透過型の表示光学系４５を介して前方の風景や現実物体を見るとともに、投影光学系４４ａ，４４ｂから投影された仮想物体の映像を、表示光学系４５上で重ねて視認することができる。

【0053】

図９は、ヘッドマウントディスプレイ（ＨＭＤ）４のブロック図を示す。図８と同一の構成要素には同一の符号を付しており、それ以外の要素として、センサ群４３、距離算出部５１、通信部５２、ＣＰＵ５３、ＲＡＭ５４、画像ＲＡＭ５５、フラッシュＲＯＭ５６を有し、各部は内部バス６０で接続されている。

【0054】

投影光学系４４は、図８の投影光学系４４ａ，４４ｂに対応し、左目用映像と右目用映像を独立に表示光学系４５に投影させる。他に、１つのプロジェクタでインタリーブした左目用映像と右目用映像を投影し、シャッタ光学系で、左目用映像と右目用映像をそれぞれの目に投影させる方式でもよい。さらには、ホログラフィックレンズを用いた光学系でもよい。

【0055】

通信部５２は、モバイル通信、ワイアレスＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の複数の通信機能を有し、ＨＭＤ４を、ネットワークを介して外部ストレージ等に接続させる。

【0056】

ＣＰＵ５３は、フラッシュＲＯＭ５６に格納されているプログラムをＲＡＭ５４に展開し、これを実行することによって、ＨＭＤ４の各構成部の動作制御を行う。画像ＲＡＭ５５は、投影光学系４４に送出する映像データを格納している。

【0057】

フラッシュＲＯＭ５６には、基本動作プログラム５７、インターバル撮影アプリ５８の処理プログラム、及び撮影データ保持部５９が含まれる。基本動作プログラム５７はＨＭＤ４としての投影動作処理を行い、インターバル撮影アプリ５８は、実施例１（図２）で述べた動き判定処理２４ａ、タイミング生成処理２４ｂ、撮影制御処理２４ｃを行うものである。また撮影データ保持部５９は、カメラで撮影された画像データを保存する。

【0058】

本実施例におけるＨＭＤ４を用いたインターバル撮影は、実施例１の図４Ａ，４Ｂに示した撮影タイミングと撮影モードと同様に行う。また、撮影動作のフローチャートは図５と同様に行う。ただし、撮影モードに関しては、標準モードでは左目視線カメラ４１または右目視線カメラ４２を使用して撮影する。また、広角モードでは、左目視線カメラ４１と右目視線カメラ４２の両方を用いて三次元撮影を行う。

【0059】

以上の構成により、実施例３によれば、静止時には三次元画像による背景観察に有効な画像を取得できるとともに、運動時にも所定の撮影間隔で履歴画像を得ることができる。また、運動時の履歴画像の撮影データ量や消費電力を削減することができる。

【0060】

さらに本実施例のようにＨＭＤ４を用いる場合には、左目視線カメラ４１と右目視線カメラ４２のレンズの光軸をユーザの視線とほぼ一致させることができるので、実際にユーザが見る風景を立体写真として保存することができる。また、投影光学系４４と表示光学系４５を動作させることで、インターバル撮影を中断することなく、撮影済みの画像を時間的に遡って見ることができるという利点がある。

【実施例4】

【0061】

実施例４は、実施例１における動き判定処理を複数レベルで判定する構成とした。具体的には、ユーザの頭部の動きと胴体の動きをそれぞれ検出し、それらの動きを比較して撮影制御を行う。

【0062】

図１０は、実施例４に係るインターバル撮像装置６をユーザが装着した状態を示す図である。実施例１（図１）と同様に、ユーザ１の頭部には、インターバル撮像装置６の本体部６ａ（以下、装置本体部）が装着ベルト７にて装着されている。装置本体部６ａには、標準カメラ１１と広角カメラ１２とが備えられている。さらに本実施例では、ユーザ１の胴体（例えば胸部）にセンサ端末６ｂが装着されている。センサ端末６ｂはユーザ１の胴体の動きを検出するものである。

【0063】

本実施例のインターバル撮像装置６では、ユーザの頭部の動きデータとユーザの胴体の動きデータとを用いて、動き判定を行なう。以下では、２つの動きデータを区別するために、ユーザの頭部の動きについては「第１の動きデータ」と呼び、ユーザの胴体の動きについては「第２の動きデータ」と呼ぶことにする。

【0064】

図１１は、インターバル撮像装置６のブロック図を示す。装置本体部６ａの構成は実施例１（図２）と同様であり、加速度センサ１３とジャイロセンサ１４は、ユーザの頭部の動きを検出する「第１の動きセンサ」となる。インターバル撮影アプリ２４には、図２で述べたように、動き判定処理２４ａ、タイミング生成処理２４ｂ、撮影制御処理２４ｃが含まれている。なお、この図では装置本体部６ａの一部の構成要素を省略している。

【0065】

センサ端末６ｂの構成は、加速度センサ６１、ジャイロセンサ６２、通信部６３、ＣＰＵ（もしくはマイクロコンピュータ）６４、ＲＡＭ６５、フラッシュＲＯＭ６６を有する。このうち加速度センサ６１とジャイロセンサ６２は、ユーザの胴体の動きを検出する「第２の動きセンサ」となる。

【0066】

通信部６３は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの低電力通信プロトコルに対応しており、装置本体部６ａの通信部１９との間で、一対一の通信を行う。フラッシュＲＯＭ６６に格納する動作プログラム６７は、第２の動きセンサ６１，６２にてユーザの胴体の動きデータを取得し、装置本体部６ａへ送信する処理を行うためのものである。

【0067】

センサ端末６ｂは、装置本体部６ａの撮影動作に連動してユーザの胴体の動きデータを取得する。具体的には、装置本体部６ａから動きデータ要求を受信すると、加速度センサ６１、ジャイロセンサ６２の検出値を第２の動きデータとして装置本体部６ａに送信する。

【0068】

本実施例のインターバル撮像装置６は、ユーザの頭部（第１の動きセンサ１３，１４）の第１の動きデータと、ユーザの胴体（第２の動きセンサ６１，６２）の第２の動きデータとを用いて、動き判定部２４ａにより動きの状態を複数レベルで判定する。判定では、それぞれの動きの状態とともに両者の動きデータの相関を調べる。

【0069】

具体的には、第１の動きデータと第２の動きデータが共に「動き有」で同方向、同程度の大きさである場合（相関有）、すなわち頭部と胴体が同期して動いている場合は「運動状態１」と判定し、標準モード（標準カメラ１１のみ）による撮影を行う。第１の動きデータと第２の動きデータが異なる方向、異なる大きさである場合（相関無）、すなわち頭部と胴体が同期せずにランダムに動いている場合は「運動状態２」と判定し、カメラ撮影を制限（中止）する。第１の動きデータと第２の動きデータがいずれも「動き無」の場合は「静止状態」と判定し、広角モード（広角カメラ１２）による撮影を行う。

【0070】

図１２は、インターバル撮影の例を示すタイムチャートである。図の表記は実施例１（図４Ａ）と同様である。動き判定結果は、動きの状態を「運動１」「運動２」「静止」の３段階で判定している。撮影モードは、標準モードと広角モードの他に、撮影を制限するモードを追加している。撮影タイミングの間隔ΔＴは図４Ａと同様に設定しており、動き判定が運動状態から静止状態に遷移するＴ２３とＴ３０においては、それまでの撮影タイミングの間隔がリセットされ、新たな撮影タイミングが設定される。

【0071】

動き判定結果が「運動１」のときは、例えばＴ２１、Ｔ２２のように、標準モードで撮影する。動き判定結果が「運動２」のときは、例えばＴ２７、Ｔ２８のように、カメラ撮影を制限する。動き判定結果が「静止」のときは、例えばＴ２３、Ｔ２４のように、広角モードで撮影する。

【0072】

これにより、ユーザが例えば激しい動きをしている時や、急に顔を振り横に向けた場合には「運動２」と判定され、カメラ撮影を制限（中止）するので、無駄な撮影を回避することができる。そしてユーザの頭部と胴体が同期した動きになると、「運動１」と判定されて標準モードでの撮影に戻る。

【0073】

なお、図１２では、撮影タイミングの間隔ΔＴは標準モードと広角モードとで等しく設定したが、図４Ｂのように、広角モードでは異なる間隔ΔＴ’に設定してもよい。

【0074】

図１３は、インターバル撮影動作を示すフローチャートである。実施例１（図５）で示したフローチャートと同一の内容のステップには、同一の番号を付している。本実施例では、動きの状態を３段階に分け、「運動状態２」と動きフラグＦ＝２を追加している。撮影タイミングの間隔は、標準モードではΔＴ、広角モードではΔＴ’とする。図５のフローチャートと異なるステップは以下の通りである。

【0075】

Ｓ１０３ａ：装置本体部６ａの第１の動きセンサ（加速度センサ１３、ジャイロセンサ１４）の出力を取得する。
Ｓ１０３ｂ：センサ端末６ｂの第２の動きセンサ（加速度センサ６１、ジャイロセンサ６２）の出力を取得する。

【0076】

Ｓ１０４ａ：動き判定部２４ａにより、第１の動きデータと第２の動きデータを比較し、３段階の動き判定を行う。第１、第２の動きデータが「動き有」で相関があれば、「運動状態１」とする。第１、第２の動きデータが「動き有」で相関がなければ、「運動状態２」とする。第１、第２の動きデータがいずれも「動き無」の場合は「静止状態」とする。

【0077】

Ｓ１０６～Ｓ１０８：判定の結果、運動状態１の場合は動きフラグＦ＝１とし、第１撮影間隔ΔＴで標準モードの撮影を行う。
Ｓ１０９～Ｓ１１２：判定の結果、静止状態の場合は動きフラグＦ＝０とし、第２撮影間隔ΔＴ’で広角モードの撮影を行う。
Ｓ１２１～Ｓ１２２：判定の結果、運動状態２の場合は動きフラグＦ＝２とし、撮影を行わずに次の撮影タイミングまで待機する。

【0078】

以上説明したように、実施例４によれば、ユーザの頭部と胴体に装着した動きセンサを用いて動き判定を行い、両者が運動状態であっても動きデータに相関がない場合は、カメラ撮影を制限するようにした。これにより無駄な撮影を削減し、撮影データ保持部の容量や装置の消費電力を節約する、効率の良いインターバル撮像装置を実現できる。

【0079】

なお、実施例４の変形として、装置本体部６ａの第１の動きセンサ１３，１４のみを用いて、運動状態をその動きデータの大きさに応じて複数レベルで判定してもよい。すなわち、小さな動き、大きな動きといった判定を行い、所定値を超える大きな動きの場合はカメラ撮影を制限することで無駄な撮影を削減し、同様の効果が得られる。

【0080】

以上、本発明に係るいくつかの実施例を説明したが、本発明はこれらに限られるものではなく、ある実施例の構成の一部を他の実施例に置き換えることが可能である。また、ある実施例の構成に、他の実施例の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値はあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。

【0081】

例えば、上記実施例では、本発明のインターバル撮像装置をユーザに装着して、ユーザの履歴画像（ライフログ）を取得する場合について説明したが、これに限らず、インターバル撮像装置を動物や車両などの移動体に装着して、その行動履歴の画像を取得する場合にも適用できる。

【0082】

また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。

【符号の説明】

【0083】

１：ユーザ、２，６：インターバル撮像装置、３：全方位カメラ、４：ヘッドマウントディスプレイ（ＨＭＤ）、６ａ：装置本体部、６ｂ：センサ端末、１１：標準カメラ、１２：広角カメラ、１３，６１：加速度センサ、１４，６２：ジャイロセンサ、１９，６３：通信部、２４，５８：インターバル撮影アプリ、２４ａ：動き判定処理、２４ｂ：タイミング生成処理、２４ｃ：撮影制御処理、２５，５９：撮影データ保持部、３１：前半天球光学系、３２：後半天球光学系、３３：撮像センサ、４１：左目視線カメラ、４２：右目視線カメラ。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】