特開 2022-156044 撮像装置、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022156044

(43)【公開日】2022-10-14

(54)【発明の名称】撮像装置、および制御プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221006BHJP

   G03B 15/00 20210101ALI20221006BHJP

   G03B 37/00 20210101ALI20221006BHJP

   G06T 7/00 20170101ALI20221006BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 380

G03B15/00 V

G03B15/00 W

G03B37/00 A

G06T7/00 650Z

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2021059542

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】篠田 兼崇

(72)【発明者】

【氏名】築山 大亮

(72)【発明者】

【氏名】大塚 大

(72)【発明者】

【氏名】大野 龍一

【テーマコード（参考）】

2H059

5C122

5L096

【Ｆターム（参考）】

2H059BA02

2H059BA11

5C122DA14

5C122EA42

5C122EA61

5C122FA02

5C122FA18

5C122FB06

5C122FH04

5C122FH09

5C122FH18

5C122HA77

5C122HA86

5C122HB01

5L096AA06

5L096BA04

5L096CA05

5L096DA02

5L096FA32

5L096FA66

5L096FA67

5L096GA51

(57)【要約】

【課題】電子ジンバルによる補正を制御すること。
【解決手段】移動体に搭載可能な撮像装置は、被写体を撮像する撮像部と、前記撮像装置の姿勢の変化に関する第１情報を取得する取得部と、前記撮像部からの出力により生成された前記被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定する特定部と、前記取得部によって取得された第１情報に基づいて前記画像データからの出力対象画像データの抽出範囲の位置を変動させる変動パラメータを決定する第１決定処理と、前記第１決定処理とは異なる第２決定処理とのうち、前記特定部によって特定された視認不可領域に基づいて、いずれか一方の決定処理を実行する決定部と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

移動体に搭載可能な撮像装置であって、
被写体を撮像する撮像部と、
前記撮像装置の姿勢の変化に関する第１情報を取得する取得部と、
前記撮像部からの出力により生成された前記被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定する特定部と、
前記取得部によって取得された第１情報に基づいて前記画像データからの出力対象画像データの抽出範囲の位置を変動させる変動パラメータを決定する第１決定処理と、前記第１決定処理とは異なる第２決定処理とのうち、前記特定部によって特定された視認不可領域に基づいて、いずれか一方の決定処理を実行する決定部と、
を有する撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記視認不可領域に基づいて、前記撮像装置の姿勢の変化に関する第２情報を算出する算出部と、を有し、
前記決定部は、前記第１情報と前記算出部によって算出された第２情報とに基づいて、前記いずれか一方の決定処理を実行する、撮像装置。

【請求項3】

請求項１に記載の撮像装置であって、
前記第１情報の元となるデータを検出するセンサを有し、
前記第２決定処理は、前記センサによって検出されたデータの出力を停止する処理である、撮像装置。

【請求項4】

請求項１に記載の撮像装置であって、
前記第２決定処理は、前記画像データに基づいて前記抽出範囲の位置を変動させる変動パラメータを決定する処理である、撮像装置。

【請求項5】

請求項４に記載の撮像装置であって、
前記第２決定処理は、前記第１情報を用いずに、前記画像データからの出力対象画像データの抽出範囲の位置を変動させる変動パラメータを決定する、撮像装置。

【請求項6】

請求項４に記載の撮像装置であって、
前記撮像部からの出力により生成された時系列な画像データ群に基づいて、動きベクトルを検出する動き検出部を有し、
前記特定部は、前記動き検出部によって検出された動きベクトルに基づいて、前記視認不可領域を特定する、撮像装置。

【請求項7】

請求項４に記載の撮像装置であって、
前記画像データの輝度を検出する輝度検出部を有し、
前記特定部は、前記輝度検出部によって検出された輝度に基づいて、前記視認不可領域を特定する、撮像装置。

【請求項8】

請求項４に記載の撮像装置であって、
前記画像データの被写体距離を検出する距離検出部を有し、
前記特定部は、前記移動体内の内周壁までの基準距離と、前記距離検出部によって検出された被写体距離と、に基づいて、前記視認不可領域を特定する、撮像装置。

【請求項9】

請求項６に記載の撮像装置であって、
前記視認不可領域に基づいて、前記撮像装置の姿勢の変化に関する第２情報を算出する算出部を有し、
前記決定部は、前記第２決定処理において、前記算出部によって算出された第２情報を用いて前記抽出範囲の位置を変動させる変動パラメータを決定する、撮像装置。

【請求項10】

請求項６に記載の撮像装置であって、
前記特定部は、前記動きベクトルの方向および大きさに基づいて、前記視認不可領域を特定する、撮像装置。

【請求項11】

請求項６に記載の撮像装置であって、
前記動き検出部は、前記時系列な画像データ群の中の第１画像データから前記第１画像データよりも時間的に後の第２画像データへの注目領域の移動角度に基づいて、前記動きベクトルを検出する、撮像装置。

【請求項12】

請求項８に記載の撮像装置であって、
前記撮像部は、第１魚眼レンズと、前記第１魚眼レンズを介して第１被写体を撮像する第１撮像素子と、前記第１魚眼レンズと凹面どうしが対向するように配置される第２魚眼レンズと、前記第２魚眼レンズを介して第２被写体を撮像する第２撮像素子と、により構成され、
前記距離検出部は、前記第１撮像素子からの出力により生成された第１画像データと、前記第２撮像素子からの出力により生成された第２画像データと、の重複範囲に基づいて、前記被写体距離を検出する、撮像装置。

【請求項13】

移動体に搭載可能であり被写体を撮像する撮像装置の制御をプロセッサに実行させる制御プログラムであって、
前記プロセッサに、
前記撮像装置の姿勢の変化に関する情報を取得させ、
前記撮像装置によって撮像された前記被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定させ、
前記情報に基づいて前記画像データから出力対象画像データの抽出範囲の位置を変動させる変動パラメータを決定する第１決定処理と、前記第１決定処理とは異なる第２決定処理とのうち、前記視認不可領域に基づいて、いずれか一方の決定処理を実行させる、制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、および制御プログラムに関する。

【背景技術】

【0002】

従来、加速度センサやジャイロセンサからの検出信号を用いて電子ジンバルにより姿勢を制御して撮像するカメラがある（たとえば、下記特許文献１を参照。）。しかしながら、上述した従来技術では、電子ジンバルを使用して撮像するモードと電子ジンバルを使用せずに撮像するモードとを自動的に切り替える点については、考慮されていない。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３‐２１４９４７号公報

【発明の概要】

【0004】

本願において開示される発明の一側面となる撮像装置は、移動体に搭載可能な撮像装置であって、被写体を撮像する撮像部と、前記撮像装置の姿勢の変化に関する第１情報を取得する取得部と、前記撮像部からの出力により生成された前記被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定する特定部と、前記取得部によって取得された第１情報に基づいて前記画像データからの出力対象画像データの抽出範囲の位置を変動させるパラメータを決定する第１決定処理と、前記第１決定処理とは異なる第２決定処理とのうち、前記特定部によって特定された視認不可領域に基づいて、いずれか一方の決定処理を実行する決定部と、を有する。

【0005】

本願において開示される発明の一側面となる制御プログラムは、移動体に搭載可能であり被写体を撮像する撮像装置の制御をプロセッサに実行させる制御プログラムであって、前記プロセッサに、前記撮像装置の姿勢の変化に関する情報を取得させ、前記撮像装置によって撮像された前記被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定させ、前記情報に基づいて前記画像データから出力対象画像データの抽出範囲の位置を変動させるパラメータを決定する第１決定処理と、前記第１決定処理とは異なる第２決定処理とのうち、前記視認不可領域に基づいて、いずれか一方の決定処理を実行させる。

【図面の簡単な説明】

【0006】

【図1】図１は、自動車内に搭載した撮像装置による撮像例１を示す説明図である。

【図2】図２は、自動車内に搭載した撮像装置による撮像例２を示す説明図である。

【図3】図３は、自動車内に搭載した撮像装置による撮像例３を示す説明図である。

【図4】図４は、撮像装置のハードウェア構成例を示すブロック図である。

【図5】図５は、撮像装置の機能的構成例を示すブロック図である。

【図6】図６は、画像処理部による全天球画像データの生成例（前半）を示す説明図である。

【図7】図７は、画像処理部による全天球画像データの生成例（後半）を示す説明図である。

【図8】図８は、結合正距円筒変換画像データにおける視認可能領域および視認不可領域を示す説明図である。

【図9】図９は、結合正距円筒変換画像データにおける視認可能領域の動きベクトルを示す説明図である。

【図10】図１０は、抽出範囲の位置に関する移動量を示す説明図である。

【図11】図１１は、動き検出部によって得られる移動角度を示す説明図である。

【図12】図１２は、重複領域における被写体距離の検出例を示す説明図である。

【図13】図１３は、撮像装置による手動モード切替の処理手順例を示すフローチャートである。

【図14】図１４は、センサ使用モードにおける撮像装置による撮像処理手順例を示すフローチャートである。

【図15】図１５は、撮像装置の自動モード切替の処理手順例を示すフローチャートである。

【図16】図１６は、画像検出モードにおける撮像装置による撮像処理手順例１を示すフローチャートである。

【図17】図１７は、画像検出モードにおける撮像装置による撮像処理手順例２を示すフローチャートである。

【図18】図１８は、画像検出モードにおける撮像装置による撮像処理手順例３を示すフローチャートである。

【図19】図１９は、全天球画像データの再生処理手順例を示すフローチャートである。

【図20】図２０は、バイクに搭載した撮像装置による撮像例を示す説明図である。

【発明を実施するための形態】

【0007】

本実施例にかかる撮像装置は、たとえば、移動体または移動体の搭乗者に搭載可能であり、被写体を撮像して全天球画像データを撮像する全天球型カメラ（または３６０度カメラともいう）を有する。このような撮像装置は、電子ジンバルを搭載する。この電子ジンバルは、撮像装置の傾きを検出して、当該傾きを打ち消すように、全天球画像データから出力対象画像データを抽出する抽出範囲の位置を補正する。

【0008】

撮像装置を移動体または移動体の搭乗者に搭載した場合、移動体の加減速や旋回により撮像装置に加速度がかかる。これにより、電子ジンバルが、実際には撮像装置は傾いていないのに、あたかも撮像装置が傾いたように、撮像した画像データを補正する。本実施例では、電子ジンバルによるこのような補正をしないように制御することにより、被写体が移動体ではない移動体外の画像データに基づいて、移動体の加減速や旋回による出力対象画像データを抽出する抽出範囲の誤った位置変更を抑制する。これにより、実際の移動体の走行に適した画像データを提供することができる。

【0009】

以下、本実施例について詳細に説明する。移動体には、たとえば、車両（たとえば、自動車やバイク、自転車、電車）、船舶、飛翔体（たとえば、飛行機やヘリコプタ、ドローン）、ロボットがあるが、以下の実施例では、移動体として自動車を例に挙げて説明する。移動体が自動車の場合、撮像装置は、車内または搭乗者に着脱自在に固定されるが、以下の実施例では、車内の任意の位置に固定された場合を例に挙げて説明する。

【0010】

また、全天球型カメラは、２個の撮像素子の裏面側を対向させ、各撮像素子の前段にそれぞれ画角が１８０度以上である魚眼レンズを設けたカメラである。両魚眼レンズの光軸は一致するものとする。全天球型カメラは、両撮像素子からの画像データを合成することにより、撮像装置を中心としてどの方向にも３６０度回転可能な全天球画像データを生成する。全天球型カメラは、電子ジンバルを搭載する。電子ジンバルは、加速度センサやジャイロセンサにより全天球型カメラの傾きを検出して、傾きを打ち消すように画像データを補正する。

【0011】

なお、全天球型カメラは、上下前後左右の６か所に撮像素子とレンズを設けた構成でもよい。また、全天球型カメラではなく、１つの撮像素子と１つの魚眼レンズを搭載したカメラでもよい。また、魚眼レンズではなく、画角が、たとえば、１７０°以上１８０°未満の超広角レンズでもよい。以下、実施例について説明する。

【0012】

＜自動車内に搭載した撮像装置による撮像例＞
図１～図３は、自動車内に搭載した撮像装置による撮像例１～３を示す説明図である。図１は、自動車１００が加速した場合の撮像例１であり、図２は、自動車１００が減速した場合の撮像例２であり、図３は、自動車１００が進行方向右に旋回した場合の撮像例３である。自動車１００が進行方向左に旋回した場合の撮像例は、撮像例３とは反対方向の旋回であるため、説明を省略する。なお、撮像装置１０１である全天球型カメラは、自動車１００の進行方向および後退方向にそれぞれ撮像素子および魚眼レンズ１０２ａ，１０２ｂを向けて自動車１００内に固定されているものとする。

【0013】

図１において、（Ａ）は、自動車１００が加速した場合に撮像装置１０１にかかる加速度の種類を示す。進行方向側の第１魚眼レンズ１０２ａおよび後退方向側の第２魚眼レンズ１０２ｂの光軸ＯＡは一致する。撮像方向ＣＤ１は、光軸ＯＡの方向のうち進行方向側の撮像素子および第１魚眼レンズ１０２ａが向いている方向を示す。自動車１００が加速した場合、撮像装置１０１には、鉛直方向への重力加速度ｇと、自動車１００の後退方向への加速度ａ１とがかかる。合成加速度ｇａ１は、重力加速度ｇと加速度ａ１とを合成した加速度である。

【0014】

（Ｂ）は、自動車１００が加速した場合の撮像装置１０１の傾き検出例を示す。撮像装置１０１の電子ジンバルは、合成加速度ｇａ１により、撮像装置１０１の進行方向側がピッチ方向上方に傾いた（傾き角度α）と判断する（ただし、実際には撮像装置１０１は固定されているため傾かない）。電子ジンバルは、進行方向側の第１魚眼レンズ１０２ａが進行方向正面を向くように、すなわち、その傾き角度αを打ち消すように、撮像方向ＣＤ１を撮像方向ＣＤ２に変更する。なお、撮像装置１０１は固定されているため、実際には光軸ＯＡは、撮像方向ＣＤ２のようにずれることはない。

【0015】

（Ｃ）は、加速度ａ１が撮像装置１０１にかかっていない場合の撮像装置１０１による被写体の画像データの出力例を示す。具体的には、たとえば、（Ｃ）は、撮像方向ＣＤ１をステッチングされた画像データの投影方向とした場合における全天球画像データの抽出範囲１１０と、抽出範囲１１０で全天球画像データから抽出された出力対象画像データ１１１と、を示す。全天球画像データとは、ステッチング後の画像データを仮想球面に張り付けた画像データである。出力対象画像データ１１１のうち、画像データ１１１ａがフロントガラス越しに撮像された車外の風景の画像データであり、画像データ１１１ｂが車内の画像データである。

【0016】

（Ｄ）は、加速度ａ１が撮像装置１０１にかかっている場合の撮像装置１０１による被写体の画像データの出力例を示す。具体的には、たとえば、（Ｄ）は、撮像方向ＣＤ２をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲１２０と、抽出範囲１２０で全天球画像データから抽出された出力対象画像データ１２１と、を示す。出力対象画像データ１２１のうち、画像データ１２１ａがフロントガラス越しに撮像された車外の風景の画像データであり、画像データ１２１ｂが車内の画像データである。

【0017】

（Ｄ）に示したように、加速度ａ１が撮像装置１０１にかかる都度、抽出範囲１１０が抽出範囲１２０に変更されるため、出力対象画像データ１１１から出力対象画像データ１２１にぶれてしまう。したがって、本来出力してほしい領域（本例では車外の景色の画像データ１２１ａ）の少なくとも一部が抽出範囲１１０外となって出力されず、余計な領域（本例では車内の画像データ１２１ｂ）が抽出範囲１１０に含まれてしまう。

【0018】

図２において、（Ａ）は、自動車１００が減速した場合に撮像装置１０１にかかる加速度の種類を示す。自動車１００が減速した場合、撮像装置１０１には、鉛直方向への重力加速度ｇと、自動車１００の進行方向への加速度（負の加速度）ａ２とがかかる。合成加速度ｇａ２は、重力加速度ｇと加速度ａ２とを合成した加速度である。

【0019】

（Ｂ）は、自動車１００が減速した場合の撮像装置１０１の傾き検出例を示す。撮像装置１０１の電子ジンバルは、合成加速度ｇａ２により、撮像装置１０１の進行方向側がピッチ方向下方に傾いた（傾き角度α）と判断する（ただし、実際には撮像装置１０１は固定されているため傾かない）。電子ジンバルは、進行方向側の第１魚眼レンズ１０２ａが進行方向正面を向くように、すなわち、その傾き角度αを打ち消すように、撮像方向ＣＤ１を撮像方向ＣＤ３に変更する。なお、撮像装置１０１は固定されているため、実際には光軸ＯＡは、撮像方向ＣＤ２のようにずれることはない。

【0020】

（Ｃ）は、加速度ａ２が撮像装置１０１にかかっていない場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｃ）は、図１の（Ｃ）と同様、撮像方向ＣＤ１をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲１１０と、抽出範囲１１０で全天球画像データから抽出された出力対象画像データ１１１と、を示す。

【0021】

（Ｄ）は、加速度ａ２が撮像装置１０１にかかっている場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｄ）は、撮像方向ＣＤ３をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲１３０と、抽出範囲１３０で全天球画像データから抽出された出力対象画像データ１３１と、を示す。出力対象画像データ１３１は、フロントガラス越しに撮像された車外の風景の画像データである。

【0022】

（Ｄ）に示したように、加速度ａ２が撮像装置１０１にかかる都度、抽出範囲１１０が抽出範囲１３０に変更されるため、出力対象画像データ１１１から出力対象画像データ１３１にぶれてしまい、視認性が低下する。

【0023】

図３において、（Ａ）は、自動車１００が右方向に旋回した場合に撮像装置１０１にかかる加速度の種類を示す。自動車１００が右方向に旋回した場合、撮像装置１０１には、鉛直方向への重力加速度ｇと、自動車１００の旋回方向への加速度（求心加速度）とがかかる。合成加速度ｇａ３は、重力加速度ｇと求心加速度とを合成した加速度である。

【0024】

（Ｂ）は、自動車１００が右方向に旋回した場合の撮像装置１０１の傾き検出例を示す。撮像装置１０１の電子ジンバルは、合成加速度ｇａ３により、撮像装置１０１の進行方向側が右ヨー方向に傾いた（傾き角度α）と判断する（ただし、実際には撮像装置１０１は固定されているため傾かない）。電子ジンバルは、進行方向側の第１魚眼レンズ１０２ａが進行方向正面を向くように、すなわち、その傾き角度αを打ち消すように、撮像方向ＣＤ１を撮像方向ＣＤ４に変更する。なお、撮像装置１０１は固定されているため、実際には光軸ＯＡは、撮像方向ＣＤ４のようにずれることはない。

【0025】

（Ｃ）は、求心加速度が撮像装置１０１にかかっていない場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｃ）は、図１の（Ｃ）と同様、撮像方向ＣＤ１をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲１１０と、抽出範囲１１０で全天球画像データから抽出された出力対象画像データ１１１と、を示す。

【0026】

（Ｄ）は、求心加速度が撮像装置１０１にかかっている場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｄ）は、撮像方向ＣＤ４をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲１４０と、抽出範囲１３０で全天球画像データから抽出された出力対象画像データ１４１と、を示す。出力対象画像データ１４１のうち、画像データ１４１ａがフロントガラス越しに撮像された車外の風景の画像データであり、画像データ１４１ｂが車内の画像データである。

【0027】

（Ｄ）に示したように、加速度ａ２が撮像装置１０１にかかる都度、抽出範囲１１０が抽出範囲１３０に変更されるため、出力対象画像データ１１１から出力対象画像データ１３１にぶれてしまい、視認性が低下する。

【0028】

このように、本実施例にかかる撮像装置１０１は、上述した視認性の低下を抑制するため、手動または自動で切り替え可能な２つのモードを実装する。１つは、通常通り、加速度センサやジャイロセンサからの検出信号を用いて電子ジンバルにより傾き検出を実行するセンサ使用モードである。

【0029】

センサ使用モードを適用した場合、撮像装置１０１を自動車１００に搭載してもしていなくても、電子ジンバルは傾き検出を実行して、検出した傾きに応じて、投影方向により設定される抽出範囲を変更する。したがって、撮像装置１０１を自動車１００に搭載すると、電子ジンバルの傾き検出により抽出範囲および出力対象画像データが、図１～図３の（Ｃ）から（Ｄ）に変更されることになる。

【0030】

もう１つのモードは、センサ使用モードとは異なるモード、すなわち、センサによる傾きの補正を抑制する抑制モードである。抑制モードには、具体的には、たとえば、停止モード、不使用モード、画像検出モードの３つのモードがある。停止モードは、加速度センサまたはジャイロセンサからの検出信号の出力を停止するモードである。不使用モードは、加速度センサまたはジャイロセンサからの検出信号を受け付けるが使用しないモードである。これにより、停止モードまたは不使用モードでは、電子ジンバルは、加速度センサまたはジャイロセンサからの検出信号を用いないため、上述した出力対象画像データの抽出範囲が変更されない。

【0031】

画像検出モードは、加速度センサまたはジャイロセンサからの検出信号に基づく補正をせずに画像データから車内の動きを検出する画像検出モードがある。画像検出モードにおいて、検出元の画像データは、全天球画像データではなく、球面貼り付け前のステッチング後の画像データである。車内の動きは微小であるため、傾きが発生してもセンサ使用モードに比べて視認性に影響しない。

【0032】

このように、撮像装置１０１を自動車１００内に搭載する場合、ユーザは、抽出範囲１１０が変更されないようにあらかじめ抑制モードに設定しておくか、または、撮像装置１０１は、傾き検出した場合に自動的に抑制モードに切り替える。これにより、電子ジンバルが傾き検出した場合であっても、再生時に抽出範囲１１０を維持することができ、自動車１００での走行時に撮影された画像データの視認性の向上を図ることができる。

【0033】

＜撮像装置１０１のハードウェア構成例＞
図４は、撮像装置１０１のハードウェア構成例を示すブロック図である。撮像装置１０１は、プロセッサ４０１と、記憶デバイス４０２と、操作デバイス４０３と、センサ４０４と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）４０５と、全天球型カメラ４０６と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）４０７と、を有する。これらは、バス４０８により接続されている。プロセッサ４０１は、撮像装置１０１を制御する。記憶デバイス４０２は、プロセッサ４０１の作業エリアとなる。

【0034】

記憶デバイス４０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス４０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。操作デバイス４０３は、データを操作する。操作デバイス４０３としては、たとえば、ボタン、タッチパネルがある。

【0035】

センサ４０４は、撮像装置１０１の姿勢に関する情報を生成するための加速度センサまたはジャイロセンサである。加速度センサは、加速度を検出するセンサ４０４である。Ｘ軸、Ｙ軸、Ｚ軸で張られるＸＹＺ座標系（原点Ｏは撮像装置１０１の重心）では、たとえば、Ｘ軸は自動車１００の進行方向、Ｚ軸は鉛直方向、Ｙ軸はＸ軸およびＺ軸に平行方向である。この場合、加速度センサは、加速度ｖ＝（ｖｘ，ｖｙ，ｖｚ）を検出する。ｖｘはＸ軸方向の加速度、ｖｙはＹ軸方向の加速度、ｖｚはＺ軸方向の加速度である。

【0036】

ジャイロセンサは、角速度ω＝（ωｙ，ωｐ，ωｒ）を検出するセンサ４０４である。ωｙはＺ軸回りのヨー角θｙの角速度、ωｐはＹ軸回りのピッチ角θｐの角速度、ωｒはＸ軸回りのロール角θｒの角速度である。加速度ｖは、プロセッサ４０１またはＬＳＩ４０５により角速度ωに変換される。

【0037】

ＬＳＩ４０５は、画像処理や圧縮伸張処理など、特定の処理を実行する集積回路である。全天球型カメラ４０６は、被写体を撮像して全天球画像データを生成する。全天球型カメラ４０６は、２個の撮像素子の裏面側を対向させ、各撮像素子の前段にそれぞれ画角が１８０度以上である魚眼レンズ１０２ａ，１０２ｂを設けたカメラである。通信ＩＦ４０７は、ネットワークを介して端末４００と接続し
、データを送受信する。端末４００は、撮像装置１０１から出力される全天球画像データを受信、記憶、再生可能である。

【0038】

＜撮像装置１０１の機能的構成例＞
図５は、撮像装置１０１の機能的構成例を示すブロック図である。撮像装置１０１は、撮像部５０１と、取得部５０２と、特定部５０３と、決定部５０４と、動き検出部５０５と、輝度検出部５０６と、距離検出部５０７と、算出部５０８と、を有する。

【0039】

撮像部５０１は、自動車１００内において被写体を撮像する。撮像部５０１は、具体的には、たとえば、図４に示した全天球型カメラ４０６である。撮像部５０１は、上述した第１魚眼レンズ１０２ａと、第２魚眼レンズ１０２ｂと、第１撮像素子５０１ａと、第２撮像素子５０１ｂと、画像処理部５０１ｃと、を有する。第１魚眼レンズ１０２ａは、その前方の第１被写体からの光を集光して第１撮像素子５０１ａに出射する。第２魚眼レンズ１０２ｂは、その前方の第２被写体からの光を集光して第２撮像素子５０１ｂに出射する。

【0040】

第１撮像素子５０１ａは、第１魚眼レンズ１０２ａを介して入射された第１被写体の光を受光して光電変換し、第１円周魚眼画像データを生成する。本例の場合、第１円周魚眼画像データは、第１被写体を車内から進行方向側の被写体として撮像した円周魚眼の画像データである。第２撮像素子５０１ｂは、第２魚眼レンズ１０２ｂを介して入射された第２被写体の光を受光して光電変換し、第２円周魚眼画像データを生成する。本例の場合、第２円周魚眼画像データは、第２被写体を車内から進行方向側の被写体として撮像した円周魚眼の画像データである。

【0041】

画像処理部５０１ｃは、第１円周魚眼画像データおよび第２円周魚眼画像データをそれぞれ第１正距円筒変換画像データおよび第２正距円筒変換画像データに変換し、第２正距円筒変換画像データを分割して、第１正距円筒変換画像データと結合（ステッチング）し、結合正距円筒変換画像データを出力する（図８を参照。）。

【0042】

画像処理部５０１ｃは、結合正距円筒変換画像データを仮想球体の仮想球面に張り付けることで、撮像装置１０１の重心に相当する仮想球体の中心を回転中心として、どの方向にも３６０度回転可能な全天球画像データを生成する。画像処理部５０１ｃは、結合正距円筒変換画像データおよび全天球画像データを記憶デバイス４０２に格納する。

【0043】

なお、画像処理部５０１ｃは、図４に示した記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により実現される。

【0044】

図６は、画像処理部５０１ｃによる全天球画像データの生成例（前半）を示す説明図である。図６において、（Ａ）は、第１魚眼レンズ１０２ａおよび第２魚眼レンズ１０２ｂによる被写体像の結像状態を示す。（Ｂ）は、（Ａ）の結像により、第１撮像素子５０１ａおよび第２撮像素子５０１ｂから入力され、かつ、デベイヤ処理された第１円周魚眼画像データ６０１ａおよび第２円周魚眼画像データ６０１ｂを示す。（Ｃ）は、正距円筒変換を示す。第１正距円筒変換画像データ６０２ａおよび第２正距円筒変換画像データ６０２ｂはそれぞれ、第１円周魚眼画像データ６０１ａおよび第２円周魚眼画像データ６０１ｂから正距円筒変換された画像データである。

【0045】

図７は、画像処理部５０１ｃによる全天球画像データの生成例（後半）を示す説明図である。図７において、（Ｄ）は、後画像分割、すなわち、（Ｃ）の第２正距円筒変換画像データ６０２ｂを分割して得られた分割画像データ６０２ｂ１，６０２ｂ２を示す。（Ｅ）は、ステッチングを示す。結合正距円筒変換画像データ７０１は、第１円周魚眼画像データ６０１ａおよび２つの分割画像データ６０２ｂ１，６０２ｂ２をステッチングすることにより得られた画像データである。

【0046】

（Ｆ）は、結合正距円筒変換画像データ７０１を仮想球体７０２の仮想球面７０３に張り付ける処理を示す。（Ｇ）は、仮想球面７０３に対する平行投影を示す。仮想球面７０３には結合正距円筒変換画像データ７０１が貼り付けられており、投影方向（たとえば、光軸ＯＡの方向）から平行投影することにより、抽出範囲ＴＡで仮想球面７０３から出力対象画像データ７１０が抽出される。（Ｇ）での抽出範囲ＴＡは、（Ｆ）後の結合正距円筒変換画像データ７０１の再生時に設定される。

【0047】

図５に戻り、取得部５０２は、撮像装置１０１の姿勢の変化に関する第１情報を取得する。具体的には、たとえば、取得部５０２は、センサ４０４からの検出信号に基づいて、第１情報を取得する。センサ４０４がジャイロセンサである場合、検出信号は角速度であるため、取得部５０２は、角速度の検出信号を第１情報として取得する。また、センサ４０４が加速度センサである場合、検出信号は加速度であるため、取得部５０２は、加速度を角速度に変換する。

【0048】

具体的には、たとえば、取得部５０２は、加速度を積分し、ＸＹＺ座標系における単位時間での移動量（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）を算出する。座標値（ｘ１，ｙ１，ｚ１）は移動前の位置、座標値（ｘ２，ｙ２，ｚ２）は移動前の位置である。取得部５０２は、座標値（ｘ１，ｙ１，ｚ１）と座標値（ｘ２，ｙ２，ｚ２）と原点Ｏとにより、座標値（ｘ１，ｙ１，ｚ１）から座標値（ｘ２，ｙ２，ｚ２）への移動角度を求め、単位時間で微分することにより、単位時間あたりの移動角度として、角速度（ωｙ，ωｐ，ωｒ）を第１情報として算出する。

【0049】

なお、取得部５０２は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0050】

特定部５０３は、撮像部５０１からの出力により生成された被写体の画像データに基づいて、移動体外を視認不可能な視認不可領域を特定する。ここでいう画像データは、図７の（Ｅ）における結合正距円筒変換画像データ７０１である。視認不可領域とは、具体的には、撮像装置１０１が搭載された移動体以外を視認できない領域である。移動体とは、移動体の運転席、助手席、後部座席などの車内空間や、当該内部空間から視認可能な移動体の外表面（たとえば、自動車のボンネット）を含む。移動体外を視認不可能な視認不可領域は、換言すれば、移動体の車内空間および移動体の外表面に遮蔽されて、移動体の内側から移動体の外側の風景が視認できない領域である。一方、視認可能領域とは、撮像装置１０１が搭載された移動体の内部空間から視認可能な移動体の外側の領域（たとえば、風景）である。

【0051】

図８は、結合正距円筒変換画像データ７０１における視認可能領域および視認不可領域を示す説明図である。たとえば、車内空間となる内周面、ドアパネルの裏面、ダッシュボード、アームレスト、センターコンソール、コンソールボックス、グローブボックス、インストルメントパメル、座席などがある。また、フロントガラス越しに見えるボンネットも視認不可領域となる。一方、フロントガラス越しに見える車外の景色は視認可能領域となる。ドアの窓は、窓ガラスの開閉を問わず車外の景色が視認可能であるため、視認可能領域となる。

【0052】

図９は、結合正距円筒変換画像データ７０１における視認可能領域の動きベクトルを示す説明図である。自動車１００が走行中であれば、視認可能領域の景色は移り変わるが、視認不可領域は同じ景色となる。したがって、特定部５０３は、時系列な結合正距円筒変換画像データ７０１群から動きベクトルｍｖを検出し、動きベクトルｍｖが所定の大きさ以上の領域を視認可能領域として特定し、所定の大きさ未満の領域を視認不可領域として特定する。

【0053】

なお、特定部５０３は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0054】

決定部５０４は、第１決定処理と、第１決定処理とは異なる第２決定処理とのうち、特定部５０３によって特定された視認不可領域に基づいて、いずれか一方の決定処理を実行する。第１決定処理は、取得部５０２によって取得された第１情報に基づいて画像データからの出力対象画像データ７１０の抽出範囲ＴＡの位置を変動させる変動パラメータを決定する処理である。

【0055】

具体的には、たとえば、第１決定処理は、上述したセンサ使用モードによる処理である。決定部５０４は、第１情報である角速度を積分して角度を求める。角速度の方向および求めた角度が、出力対象画像データ７１０の抽出範囲ＴＡの位置を変動させる変動パラメータとなる。取得部５０２および決定部５０４の第１決定処理が電子ジンバルとして機能する。

【0056】

図１０は、抽出範囲ＴＡの位置の移動量を示す説明図である。投影線ＰＤ１は、結合正距円筒変換画像データ７０１内の抽出範囲ＴＡ１の重心を通る線分であり、図７の（Ｇ）の投影方向となる。αは、第１情報である角速度を積分した角度、すなわち、抽出範囲ＴＡ１の位置に関する変動量である。変動量である角度αは、角速度の方向とともに、変動パラメータとなる。投影線ＰＤ２は、投影線ＰＤ１を原点Ｏから角度α分、その角速度の方向に遷移した線分であり、これにより、抽出範囲ＴＡ１が移動して抽出範囲ＴＡ２となる。投影線ＰＤ２は、抽出範囲ＴＡ２の重心を通る。

【0057】

図５に戻り、決定部５０４の第２決定処理とは、センサ使用モードとは異なるモード、すなわち、センサ４０４による傾きの補正を抑制する抑制モードである。より具体的には、たとえば、加速度センサまたはジャイロセンサからの検出信号の出力を停止する停止モード、当該検出信号を使用しない不使用モード、図７（Ｅ）のステッチング後の結合正距円筒変換画像データに基づいて抽出範囲ＴＡの位置を変動させる変動パラメータを決定する画像検出モードがある。

【0058】

画像検出モードにおいて、検出元の画像データは、全天球画像データではなく、図７（Ｅ）のステッチング後の結合正距円筒変換画像データ７０１である。車内の動き、すなわち、変動パラメータの変動量（角度）は微小であるため、傾きが発生してもセンサ使用モードに比べて、抽出範囲ＴＡの位置の変動に影響しない。

【0059】

なお、決定部５０４は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0060】

動き検出部５０５は、撮像部５０１からの出力により生成された時系列な画像データ群に基づいて、動きベクトルｍｖを検出する。この画像データは、図７（Ｅ）のステッチング後の結合正距円筒変換画像データ７０１である。具体的には、たとえば、動き検出部５０５は、時間的に連続する２枚の結合正距円筒変換画像データにおける注目領域の移動角度に基づいて、動きベクトルｍｖを検出する。

【0061】

図１１は、動き検出部５０５によって得られる移動角度を示す説明図である。点Ｐ１は時間的に連続する２枚の結合正距円筒変換画像データのうち先行する結合正距円筒変換画像データの注目領域上の点であり、点Ｐ２は後続の結合正距円筒変換画像データの注目領域上の点である。すなわち、点Ｐ１が点Ｐ２に移動したことを示している。正距円筒座標系において、点Ｐ１は、半径ｒ、ヨー角θ１、ピッチ角φ１で特定される点であり、点Ｐ２は、半径ｒ、ヨー角θ２、ピッチ角φ２で特定される点である。

【0062】

半径ｒは、視認不可領域となる車内の被写体（たとえば、車内空間の内周壁）までの被写体距離である。移動角度αは、線分ＯＰ１と線分ＯＰ２とのなす角度である。また、点Ｐ１を始点とし点Ｐ２を終点とする仮想球面７０３を通るベクトルが動きベクトルｍｖである。

【0063】

この場合、特定部５０３は、この動きベクトルｍｖに基づいて、上述した視認不可領域を特定する。たとえば、特定部５０３は、動きベクトルｍｖ群の各動きベクトルｍｖの方向および大きさの差がともに許容範囲内である場合、その動きベクトルｍｖ群が存在する領域ごとに、視認可能領域と視認不可領域とを特定する。具体的には、たとえば、各動きベクトルｍｖの方向および大きさが同じであり、かつ、各動きベクトルｍｖの大きさがしきい値以上であれば、当該動きベクトルｍｖ群の存在領域を視認可能領域として特定する。

【0064】

すなわち、特定部５０３は、フロントガラス越しまたは窓ガラス越しに見える景色が移り変わっている様子を映す領域であると特定する。また、動きベクトルｍｖの方向が異なっており、かつ、大きさがしきい値未満であれば、当該動きベクトルｍｖ群の存在領域を視認不可領域と特定する。すなわち、特定部５０３は、ほぼ変わることがない車内の様子を映す領域であると特定する。

【0065】

なお、動き検出部５０５は、センサ４０４からの検出信号（ジャイロセンサであれば角速度、加速度センサであれば加速度）を用いて、上述した動きベクトルｍｖを検出してもよい。ジャイロセンサからの検出信号であれば、動き検出部５０５は、角速度を結合正距円筒変換画像データ７０１のフレームレートで除算することで、移動角度を得ることができる。角速度の方向および移動角度が動きベクトルｍｖとして検出される。加速度センサの場合、取得部５０２と同様の極座標変換により、動き検出部５０５は、角速度の方向および移動角度に変換する。

【0066】

結合正距円筒変換画像データ７０１やジャイロセンサにより、角速度の方向および移動角度を求める場合、ＸＹＺ座標系から極座標系への変換が不要となるため、加速度センサから求めるよりも高精度化を図ることができる。

【0067】

なお、動き検出部５０５は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0068】

輝度検出部５０６は、結合正距円筒変換画像データ７０１の輝度を検出する。撮像装置１０１による撮像状態では、車外は車内に対し高輝度であると考えられる。したがって、輝度検出部５０６は、結合正距円筒変換画像データ７０１を視認可能領域と視認不可領域に区分けするために、結合正距円筒変換画像データ７０１の輝度を検出する。

【0069】

この場合、特定部５０３は、輝度検出部５０６によって検出された輝度に基づいて、視認不可領域を特定する。具体的には、たとえば、特定部５０３は、結合正距円筒変換画像データ７０１を領域分割し、分割した領域ごとに輝度を検出し、平均輝度を求める。そして、特定部５０３は、平均輝度より低い輝度の領域を視認不可領域、平均輝度以上の領域を視認可能領域と特定する。

【0070】

なお、平均輝度ではなく、しきい値となる輝度をあらかじめ設定しておき、特定部５０３は、当該しきい値より低い輝度の領域を視認不可領域、しきい値以上の輝度の領域を視認可能領域であると特定してもよい。

【0071】

なお、輝度検出部５０６は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0072】

距離検出部５０７は、画像データの被写体距離を検出する。すなわち、距離検出部５０７は、撮像装置１０１から結合正距円筒変換画像データとして撮像された被写体までの被写体距離を検出する。撮像部５０１は、第１魚眼レンズ１０２ａと、第１撮像素子５０１ａと、第２魚眼レンズ１０２ｂと、第２撮像素子５０１ｂと、を有する。第１魚眼レンズ１０２ａおよび第２魚眼レンズ１０２ｂの画角はともに１８０度以上である。

【0073】

ここで、第１魚眼レンズ１０２ａおよび第２魚眼レンズ１０２ｂの画角をともに２００度とすると、１６０度から２００度の範囲で、第１撮像素子５０１ａからの出力により生成された第１画像データと、第２撮像素子５０１ｂからの出力により生成された第２画像データとが重複する。

【0074】

重複領域は、図７（Ｅ）のステッチングで重ね合わされる。この重複領域について三角測量を用いることにより、距離検出部５０７は、重複領域における被写体距離を検出することができる。なお、重複領域以外の画角については、たとえば、超音波センサやＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などの測距センサをセンサ４０４として搭載することで重複領域外の被写体距離を検出してもよい。

【0075】

この場合、特定部５０３は、あらかじめ設定された基準距離と、距離検出部５０７によって検出された被写体距離と、に基づいて、視認不可領域を特定する。基準距離とは、撮像装置１０１を車内の任意の位置に固定設置した場合の車内の内周壁までの最大距離であり、あらかじめ設定される。

【0076】

特定部５０３は、検出した被写体距離が基準距離以上であれば、その被写体は車外に存在すると判断して、その被写体像が結合正距円筒変換画像データ１０７中に存在する領域を視認可能領域であると特定する。また、特定部５０３は、検出した被写体距離が基準距離未満であれば、その被写体は車内に存在すると判断して、その被写体像が結合正距円筒変換画像データ１０７中に存在する領域を視認不可領域であると特定する。

【0077】

図１２は、重複領域における被写体距離の検出例を示す説明図である。図１２では、撮像装置１０１は、第１魚眼レンズ１０２ａおよび第２魚眼レンズ１０２ｂの画角が重複する重複領域に存在する被写体１２００までの被写体距離Ｄを算出する。ここで、第１魚眼レンズ１０２ａおよび第２魚眼レンズ１０２ｂの光軸ＯＡ上の既知の間隔をＢ、被写体１２００から光軸ＯＡまでの垂線（垂線の長さが被写体距離Ｄ）と光軸ＯＡとの交点をＣ、第２魚眼レンズ１０２ｂの設置位置から交点Ｃまでの光軸ＯＡ上の未知の距離をＸとする。

【0078】

γは、被写体１２００に対する第１魚眼レンズ１０２ａの画角であり、α＝１８０－γ／２となる。βは、γに対応する被写体１２００に対する第２魚眼レンズ１０２ｂの半画角であり、γが決まると一意に決まる。被写体距離Ｄは、下記式（１）、（２）で表される。

【0079】

Ｄ＝Ｑｔａｎα・・・・・・・（１）
Ｄ＝（Ｑ＋Ｂ）ｔａｎβ・・・（２）

【0080】

上記式（１）、（２）から、未知の距離Ｑを消去することにより、下記式（３）により被写体距離Ｄが求められる。

【0081】

Ｄ＝Ｂ×（ｔａｎα×ｔａｎβ）／（ｔａｎα－ｔａｎβ）・・・（３）

【0082】

したがって、重複領域が視認可能領域である場合、撮像装置１０１は、車外の被写体までの被写体距離を特定することができる。たとえば、重複領域がフロントガラスおよびリアガラスの視認可能領域となるように、撮像装置１０１を車内に設置すれば、自動車１００の前後の被写体の各々の被写体間距離を特定することができる。

【0083】

なお、距離検出部５０７は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0084】

算出部５０８は、視認不可領域に基づいて、撮像装置１０１の姿勢の変化に関する第２情報を算出する。具体的には、たとえば、算出部５０８は、視認不可領域の動きベクトルｍｖから角速度を第２情報として算出する。この角速度についても、上述したように、動きベクトルｍｖから得られるＸＹＺ座標系における単位時間での移動量（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）を算出する。

【0085】

座標値（ｘ１，ｙ１，ｚ１）は移動前の位置、座標値（ｘ２，ｙ２，ｚ２）は移動前の位置である。算出部５０８は、座標値（ｘ１，ｙ１，ｚ１）と座標値（ｘ２，ｙ２，ｚ２）と原点Ｏとにより、座標値（ｘ１，ｙ１，ｚ１）から座標値（ｘ２，ｙ２，ｚ２）への移動角度を求め、単位時間で微分することにより、単位時間あたりの移動角度として、角速度（ωｙ，ωｐ，ωｒ）を第２情報として算出する。第２情報の角速度は、自動車１００の車内での動きを表現している。すなわち、第２情報の角速度は、自動車１００自体の揺れとなるため、第１情報の角速度に比べて微小な値となる。

【0086】

算出部５０８は、たとえば、撮像装置１０１に第１決定処理と第２決定処理の自動切り替え機能が設定された場合に実行される。したがって、算出部５０８によって第２情報の角速度が算出された場合、決定部５０４は、第１情報の角速度と算出部５０８によって算出された第２情報の角速度とに基づいて、いずれか一方の決定処理に切り替えて実行する。

【0087】

たとえば、角速度差（微分した角度差でもよい）が所定のしきい値以上であれば、車内外での動きベクトルｍｖの差が大きいことになるため、決定部５０４は、自動車１００が走行中であると判断する。したがって、図１～図３の（Ｄ）のような抽出範囲ＴＡの変動を抑制するため、決定部５０４は、現在の決定処理が第２決定処理であれば、継続して第２決定処理を実行し、現在の決定処理が第１決定処理であれば、第２決定処理に切り替えて実行する。これにより、第１決定処理と第２決定処理とを自動的に切り替えることができ、ユーザによる手動切替の煩わしさが解消される。したがって、利便性の向上を図ることができる。

【0088】

なお、算出部５０８は、具体的には、たとえば、記憶デバイス４０２に記憶されたプログラムをプロセッサ４０１に実行させることにより、または、ＬＳＩ４０５により、実現される。

【0089】

＜手動モード切替の処理手順例＞
図１３は、撮像装置１０１による手動モード切替の処理手順例を示すフローチャートである。撮像装置１０１は、操作デバイス４０３から手動操作による設定入力を待ち受ける（ステップＳ１３０１：Ｎｏ）。設定入力があった場合（ステップＳ１３０１：Ｙｅｓ）、撮像装置１０１は、設定入力されたモードがセンサ使用モードであるか否かを判断する（ステップＳ１３０２）。

【0090】

センサ使用モードである場合（ステップＳ１３０２：Ｙｅｓ）、撮像装置１０１は、現在のモードをセンサ使用モードに切り替える（ステップＳ１３０３）。なお、現在のモードがセンサ使用モードであれば、撮像装置１０１は、センサ使用モードを維持する。一方、センサ使用モードでない場合（ステップＳ１３０２：Ｎｏ）、撮像装置１０１は、現在のモードを画像検出モードに切り替える（ステップＳ１３０４）。なお、現在のモードが画像検出モードであれば、撮像装置１０１は、画像検出モードを維持する。これにより、撮像装置１０１は、手動によるモード切替を終了する。

【0091】

このように、手動によるモード切替を実装することで、たとえば、ユーザが手に持って使用する場合は、手動操作によりセンサ使用モードに設定することで、センサ４０４からの検出信号に応じた撮像装置１０１の姿勢を用いて、図１～図３の（Ｄ）に示したように、撮像装置１０１の傾きに応じて抽出範囲ＴＡの抽出位置を抽出範囲１２０，１３０，１４０に変更する。

【0092】

一方、たとえば、撮像装置１０１を自動車１００に搭載した場合、手動操作により画像検出モードに設定することで、撮像装置１０１は、センサ４０４からの検出信号に応じた撮像装置１０１の姿勢を用いずに、図１～図３の（Ｃ）に示したような撮像装置１０１の抽出範囲ＴＡの抽出位置を抽出範囲１１０で維持する。すなわち、撮像装置１０１は、自動車１００の加減速や旋回による影響を無視して、あたかも自動車１００が加減速や旋回がなかったかのように撮影することができる。

【0093】

＜センサ使用モードにおける撮像装置１０１による撮像処理手順例＞
図１４は、センサ使用モードにおける撮像装置１０１による撮像処理手順例を示すフローチャートである。撮像装置１０１は、操作デバイス４０３から開始トリガ（たとえば、撮像開始ボタンの入力）を待ち受け（ステップＳ１４０１：Ｎｏ）、開始トリガがあった場合（ステップＳ１４０１：Ｙｅｓ）、センサ４０４からの検出信号により取得部５０２により角速度を取得し、単位時間（たとえば、全天球画像データのフレームレート）を乗じることにより、角度を求める。これにより、取得部５０２は、角速度が示す方向と、角度と、により構成される抽出範囲ＴＡの位置を変動させる変動パラメータを取得する（ステップＳ１４０２）。

【0094】

また、撮像装置１０１は、第１撮像素子５０１ａおよび第２撮像素子５０１ｂから画像データを取得して、図６および図７に示したように、全天球画像データを生成する（ステップＳ１４０３）。そして、撮像装置１０１は、ステップＳ１４０３で生成した全天球画像データとステップＳ１４０２で取得した変動パラメータとを関連付けて記憶デバイス４０２に保存する（ステップＳ１４０４）。

【0095】

撮像装置１０１は、操作デバイス４０３から終了トリガ（たとえば、撮像終了ボタンの入力）を待ち受ける（ステップＳ１４０５）。終了トリガがない場合（ステップＳ１４０５：Ｎｏ）、ステップＳ１４０２に戻る。ステップＳ１４０２～Ｓ１４０４を繰り返し実行することにより、時系列な全天球画像データ、すなわち、動画データを記憶デバイス４０２に保存することができる。終了トリガがあった場合（ステップＳ１４０５：Ｙｅｓ）、撮像装置１０１は、全天球画像データの撮像を終了する。

【0096】

全天球画像データと変動パラメータとを関連付けて保存することにより、再生時の抽出範囲ＴＡは変動パラメータで示される変動方向（角速度の方向）および変動量（角度）によりその位置が変動する。したがって、撮像装置１０１の姿勢変化に応じた抽出範囲ＴＡの画像を表示することが可能となる。

【0097】

＜自動モード切替の処理手順例＞
図１５は、撮像装置１０１の自動モード切替の処理手順例を示すフローチャートである。なお、図１５では、センサ使用モードをデフォルトのモードとする。撮像装置１０１は、操作デバイス４０３から開始トリガ（たとえば、撮像開始ボタンの入力）を待ち受け（ステップＳ１５０１：Ｎｏ）、開始トリガがあった場合（ステップＳ１５０１：Ｙｅｓ）、図７の（Ｅ）に示したように、結合正距円筒変換画像データＥｔを取得する（ステップＳ１５０２）。添え字ｔは、ステップＳ１５０２での取得した時点での結合正距円筒変換画像データＥの時系列な番号を示す。

【0098】

撮像装置１０１は、取得部５０２により、センサ４０４からの検出信号から撮像装置１０１の姿勢に関する第１情報として第１角速度を取得する（ステップＳ１５０３）。撮像装置１０１は、取得した結合正距円筒変換画像データＥｔと時間的に１つ前に取得した結合正距円筒変換画像データＥｔ－１とを用いて、動きベクトルｍｖを検出する（ステップＳ１５０４）。撮像装置１０１は、特定部５０３により、検出した動きベクトルｍｖから、結合正距円筒変換画像データＥｔにおいて視認可能領域と視認不可領域とを特定する（ステップＳ１５０５）。

【0099】

撮像装置１０１は、算出部５０８により、特定した視認不可領域の動きベクトルｍｖから、第２角速度を算出する（ステップＳ１５０６）。そして、撮像装置１０１は、第１角速度と第２角速度の角速度差を求め、角速度差の絶対値がしきい値以上であるか否かを判断する（ステップＳ１５０７）。ここでは、角速度差を用いているが、第１角速度および第２角速度に単位時間（たとえば、全天球画像データのフレームレート）を乗じることにより、第１角度および第２角度に変換して、その角度差を用いてもよい。

【0100】

角速度差（または角度差）の絶対値のしきい値未満であれば（ステップＳ１５０８：Ｎｏ）、自動車１００は走行していないこととなり、撮像装置１０１は、センサ使用モードに切り替える（ステップＳ１５０８）。現在のモードがセンサ使用モードであれば、センサ使用モードを維持する。

【0101】

一方、角速度差（または角度差）の絶対値のしきい値以上であれば（ステップＳ１５０７：Ｙｅｓ）、自動車１００が走行していることとなり、撮像装置１０１は、画像検出モードに切り替える（ステップＳ１５０９）。現在のモードが画像検出モードであれば、画像検出モードを維持する。

【0102】

撮像装置１０１は、操作デバイス４０３から終了トリガ（たとえば、撮像終了ボタンの入力）を待ち受ける（ステップＳ１５１０）。終了トリガがない場合（ステップＳ１５１０：Ｎｏ）、ステップＳ１５０２に戻る。ステップＳ１５０２～Ｓ１５１０を繰り返し実行することにより、常時自動車１００の挙動を監視して、センサ使用モードおよび画像検出モードの自動切り替えを実行することができる。終了トリガがあった場合（ステップＳ１５１０：Ｙｅｓ）、撮像装置１０１は、自動モード切替を終了する。

【0103】

このように、自動モード切替では、センサ使用モードおよび画像検出モードの自動切り替えを実行することができるため、ユーザが手動で切り替える煩わしさがなく、利便性の向上を図ることができる。

【0104】

＜画像検出モードにおける撮像装置１０１による撮像処理手順例＞
図１６は、画像検出モードにおける撮像装置１０１による撮像処理手順例１を示すフローチャートである。図１６の撮像処理手順例１は、動き検出部５０５により動きベクトルｍｖを検出する場合の処理手順例である。撮像装置１０１は、操作デバイス４０３から開始トリガ（たとえば、撮像開始ボタンの入力）を待ち受け（ステップＳ１６０１：Ｎｏ）、開始トリガがあった場合（ステップＳ１６０１：Ｙｅｓ）、図７の（Ｅ）に示したように、結合正距円筒変換画像データＥｔを取得する（ステップＳ１５０２）。添え字ｔは、ステップＳ１６０２での取得した時点での結合正距円筒変換画像データＥの時系列な番号を示す。

【0105】

撮像装置１０１は、動き検出部５０５により、取得した結合正距円筒変換画像データＥｔと時間的に１つ前に取得した結合正距円筒変換画像データＥｔ－１とを用いて、動きベクトルｍｖを検出する（ステップＳ１６０３）。撮像装置１０１は、特定部５０３により、検出した動きベクトルｍｖから、結合正距円筒変換画像データＥｔにおいて視認可能領域と視認不可領域とを特定する（ステップＳ１６０４）。

【0106】

撮像装置１０１は、算出部５０８により、結合正距円筒変換画像データＥｔにおける視認不可領域の動きベクトルｍｖから第２角速度を算出する（ステップＳ１６０５）。撮像装置１０１は、算出した第２角速度に単位時間（たとえば、全天球画像データのフレームレート）を乗じることにより、第２角度を算出する（ステップＳ１６０６）。この第２角度は、視認不可領域の動きベクトルｍｖ由来の角度であるため、自動車１００の振動などにより生じる微小な角度である。この第２角度は、抽出範囲ＴＡの位置を変動させる変動パラメータの変動量となる。

【0107】

そして、撮像装置１０１は、全天球画像データＦｔと変動パラメータ（第２角速度の方向および第２角度）とを関連付けて記憶デバイス４０２に保存する（ステップＳ１４０４）。撮像装置１０１は、操作デバイス４０３から終了トリガ（たとえば、撮像終了ボタンの入力）を待ち受ける（ステップＳ１６０８）。終了トリガがない場合（ステップＳ１６０８：Ｎｏ）、ステップＳ１６０２に戻る。ステップＳ１６０２～Ｓ１６０７を繰り返し実行することにより、画像検出モードでの撮像を実行することができる。終了トリガがあった場合（ステップＳ１６０８：Ｙｅｓ）、撮像装置１０１は、画像検出モードの処理を終了する。

【0108】

このように、画像検出モードでは、センサ４０４からの検出信号を用いないため、センサ４０４からの検出信号由来の角速度や角度の影響を受けない。したがって、電子ジンバルを機能させずに、図１～図３の（Ｃ）に示したような位置変動しない画像を表示することができる。

【0109】

図１７は、画像検出モードにおける撮像装置１０１による撮像処理手順例２を示すフローチャートである。図１７の撮像処理手順例２は、輝度検出部５０６により輝度を検出する場合の処理手順例である。なお、図１６の撮像処理手順例１と同一処理については同一ステップ番号を付し、その説明を省略する。

【0110】

撮像装置１０１は、輝度検出部５０６により、ステップＳ１６０２で取得した結合正距円筒変換画像データＥｔの各領域から輝度を検出する（ステップＳ１７０３）。撮像装置１０１は、特定部５０３により、検出した輝度から、結合正距円筒変換画像データＥｔにおいて視認可能領域と視認不可領域とを特定する（ステップＳ１７０４）。

【0111】

撮像装置１０１は、算出部５０８により、結合正距円筒変換画像データＥｔ，Ｅｔ－１から動きベクトルｍｖを求め、結合正距円筒変換画像データＥｔにおける視認不可領域の動きベクトルｍｖから第２角速度を算出する（ステップＳ１７０５）。

【0112】

このように、画像検出モードでは、センサ４０４からの検出信号を用いないため、センサ４０４からの検出信号由来の角速度や角度の影響を受けない。したがって、電子ジンバルを機能させずに、図１～図３の（Ｃ）に示したような位置変動しない画像を表示することができる。

【0113】

また、一般的に、車内は車外に比べて輝度が低い。たとえば、昼間は、車内空間の天井により太陽光が遮光されるため、車内は車外に比べて輝度が低い。また、夜間は、自動車１００のヘッドライトや車外の照明により車内よりも明るいため、車内は車外に比べて輝度が低い。このような性質を利用することにより、動きベクトルｍｖ検出を利用しなくても、結合正距円筒変換画像データＥｔ単独で視認可能領域と視認不可領域とを特定することができ、処理速度の向上を図ることができる。

【0114】

図１８は、画像検出モードにおける撮像装置１０１による撮像処理手順例３を示すフローチャートである。図１７の撮像処理手順例３は、距離検出部５０７により輝度を検出する場合の処理手順例である。なお、図１６の撮像処理手順例１と同一処理については同一ステップ番号を付し、その説明を省略する。

【0115】

撮像装置１０１は、距離検出部５０７により、結合正距円筒変換画像データＥｔにおけるステッチング時の重複領域から被写体距離を検出する（ステップＳ１８０３）。撮像装置１０１は、あらかじめ設定された基準距離と被写体距離とを比較して、重複領域内において、視認可能領域と視認不可領域とを特定する（ステップＳ１８０４）。

【0116】

撮像装置１０１は、算出部５０８により、結合正距円筒変換画像データＥｔ，Ｅｔ－１の各重複領域から動きベクトルｍｖを求め、結合正距円筒変換画像データＥｔにおける重複領域内の視認不可領域の動きベクトルｍｖから第２角速度を算出する（ステップＳ１８０５）。

【0117】

このように、画像検出モードでは、センサ４０４からの検出信号を用いないため、センサ４０４からの検出信号由来の角速度や角度の影響を受けない。したがって、電子ジンバルを機能させずに、図１～図３の（Ｃ）に示したような位置変動しない画像を表示することができる。

【0118】

また、重複領域の被写体距離を求めるため、被写体が車内に存在するか車外に存在するかを空間的に特定することが可能となる。また、変動パラメータを求めるための処理すべき結合正距円筒変換画像データＥｔの範囲が重複領域に制限されるため、結合正距円筒変換画像データＥｔの全範囲を用いる必要がなく、画像検出モードの処理の効率化を図ることができる。

【0119】

＜全天球画像データの再生処理手順例＞
図１９は、全天球画像データの再生処理手順例を示すフローチャートである。全天球画像データの再生処理は、たとえば、全天球画像データおよび変動パラメータの転送先である端末４００で実行される。端末４００は、再生開始トリガを待ち受ける（ステップＳ１９０１：Ｎｏ）。再生開始トリガがあった場合（ステップＳ１９０１：Ｙｅｓ）、端末４００は、ｉ番目の再生位置の全天球画像データＦｉおよび関連付けられた変動パラメータを読み込む（ステップＳ１９０２）。

【0120】

端末４００は、全天球画像データＦｉおよび関連付けられた変動パラメータにより抽出範囲ＴＡを更新する（ステップＳ１９０３）。端末４００は、ステップＳ１９０３の更新後の抽出範囲ＴＡの出力対象画像データ７１０を端末４００の表示画面に表示する。端末４００は再生位置ｉをインクリメントし（ステップＳ１９０５）、終了トリガが受け付けられたか否かを判断する（ステップＳ１９０６）。

【0121】

終了トリガが受け付けられていない場合（ステップＳ１９０６：Ｎｏ）、ステップＳ１９０２に戻る。これにより、次の全天球画像データＦｉについてステップＳ１９０２～Ｓ１９０４が実行される。終了トリガが受け付けられた場合（ステップＳ１９０６：Ｙｅｓ）、端末４００は再生処理を終了する。

【0122】

このように、全天球画像データと変動パラメータとが関連付けられているため、再生時に抽出範囲ＴＡを更新しながら出力対象画像データ７１０を表示することができる。したがって、センサ使用モードで撮像された全天球画像データについては、図１～図３の（Ｄ）のように抽出範囲ＴＡの位置が抽出範囲１２０，１３０，１４０に変動して出力対象画像データ７１０が表示され、画像検出モードで撮像された全天球画像データについては、図１～図３の（Ｃ）のように抽出範囲ＴＡの位置が抽出範囲１１０に維持されて出力対象画像データ７１０が表示される。

【0123】

＜バイクへの応用例＞
図２０は、バイクに搭載した撮像装置１０１による撮像例を示す説明図である。（Ａ）は、撮像装置１０１を搭載したバイク２０００の側面図であり、（Ｂ）は、撮像装置１０１を搭載したバイク２０００の平面図であり、（Ｃ）は、撮像装置１０１を搭載したバイク２０００の正面図である。（Ｃ）は、旋回の遠心力ｃによりバイク２０００が傾いている状態を示す。

【0124】

（Ａ）に示すように、撮像装置１０１には重力加速度ｇがかかり、（Ｂ）に示すように、左旋回する場合には、撮像装置１０１には旋回の遠心力ｃがかかる。旋回する場合、バイク２０００は傾くため、（Ｃ）に示すように、重力加速度ｇと旋回の遠心力ｃとの合成加速度ｇｃが得られる。

【0125】

（Ｄ）は、旋回による遠心力ｇｃがかかっていない場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｄ）は、撮像方向ＣＤ１をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲２００１と、抽出範囲２００１で全天球画像データから抽出された出力対象画像データ２０１０と、を示す。出力対象画像データ２０１０は、動きがないバイク２０００の画像データ２０１１と、動きがある風景の画像データ２０１２と、を含む。

【0126】

（Ｅ）は、旋回による遠心力ｇｃがかかっている場合の撮像装置１０１による被写体の撮像例を示す。具体的には、たとえば、（Ｅ）は、撮像方向ＣＤ１をステッチングされた全天球画像データの投影方向とした場合における全天球画像データの抽出範囲２００２と、抽出範囲２００２で全天球画像データから抽出された出力対象画像データ２０２０と、を示す。出力対象画像データ２０２０は、動きがないバイク２０００の画像データ２０２１と、動きがある風景の画像データ２０２２と、を含む。

【0127】

（Ｄ）において、撮像装置１０１がセンサ使用モードである場合、（Ｃ）のようにバイク２０００が傾くと、撮像装置１０１の電子ジンバルが合成加速度ｇｃにより傾き補正をするため、抽出範囲ＴＡの位置を変動させる変動パラメータを生成する。すなわち、バイク２０００は傾いているが、電子ジンバルは、あたかも傾いていないかのように抽出範囲ＴＡの位置を補正する。したがって、撮像装置１０１は、電子ジンバルの補正により、（Ｄ）に示した抽出範囲２００１となる。

【0128】

（Ｄ）において、撮像装置１０１が画像検出モードである場合、（Ｃ）のようにバイク２０００が傾くと、撮像装置１０１の電子ジンバルが合成加速度ｇｃによる傾き補正をしないため、抽出範囲ＴＡの位置をほぼ変動させない変動パラメータを生成する。したがって、撮像装置１０１は、電子ジンバルの補正がかからないため、（Ｅ）に示した抽出範囲２００２となる。このように、バイク２０００に適用した場合には、旋回によるバイク２０００の傾きを考慮した出力対象画像データ７１０が得られるため、ダイナミックなツーリング映像の表示が可能となる。

【0129】

（１）以上説明したように、本実施例にかかる撮像装置１０１によれば、撮像装置１０１の姿勢の変化に関する第１情報（たとえば、第１角速度）に基づいて画像データからの出力対象画像データ７１０の抽出範囲ＴＡの位置を変動させる変動パラメータを決定する第１決定処理（たとえば、センサ使用モードの処理）と、第１決定処理とは異なる第２決定処理と、の自動切替を実現することができる。

【0130】

（２）また、視認不可領域に基づいて、撮像装置１０１の姿勢の変化に関する第２情報（たとえば、第２角速度）を算出して、いずれか一方の決定処理を実行することにより、移動体の挙動に応じて第１決定処理と第２決定処理との自動切替を実現することができる。

【0131】

（３）また、第２決定処理をセンサ４０４によって検出されたデータの出力を停止する処理とすることにより、センサ４０４からのデータを強制的に遮断して、第２決定処理を実行することができる。

【0132】

（４）また、画像データに基づいて抽出範囲ＴＡの位置を変動させる変動パラメータを決定することにより、センサ４０４からのデータを使用せずに第２決定処理を実行することができる。

【0133】

（５）また、撮像装置１０１の姿勢の変化に関する第１情報（たとえば、第１角速度）を用いずに、画像データからの出力対象画像データ７１０の抽出範囲ＴＡの位置を変動させる変動パラメータを決定することにより、第２決定処理を、たとえば、画像検出モードとして実行することができる。

【0134】

（６）また、センサ４０４から得られるデータを用いずに、動きベクトルｍｖおよび視認不可領域を特定することができ、センサ４０４から得られるデータによる抽出範囲の位置の変動を抑制することができる。

【0135】

（７）また、動きベクトルｍｖを検出することなく、視認不可領域を特定することができ、特定処理の高速化を図ることができる。

【0136】

（８）また、移動体内の内周壁までの基準距離と、被写体距離と、に基づいて、視認不可領域を特定することにより、動きベクトルｍｖを検出することなく、視認不可領域を特定することができ、特定処理の高速化を図ることができる。

【0137】

（９）また、撮像装置１０１の姿勢の変化に関する第２情報を算出して抽出範囲ＴＡの位置を変動させる変動パラメータを決定することにより、移動体本体の挙動（たとえば、加減速や旋回）ではなく、移動体内の挙動（たとえば、振動）を視認不可領域を介して特定し、抽出範囲ＴＡに反映させることができる。したがって、振動がない場合は、抽出範囲ＴＡには変動はなく、振動があれば抽出範囲ＴＡは振動に追従して変動することになる。

【0138】

（１０）また、動きベクトルｍｖの方向および大きさに基づいて、視認不可領域を特定することにより、視認不可領域の特定精度の向上を図ることができる。

【0139】

（１１）また、結合正距円筒変換画像データＥｔ－１から結合正距円筒変換画像データＥｔへの注目領域の移動角度に基づいて、動きベクトルｍｖを検出することにより、極座標系での計算となるため、動きベクトルｍｖの検出精度の向上を図ることができる。

【0140】

（１２）また、第１正距円筒変換画像データ６０２ａと第２正距円筒変換画像データ６０２ｂと、の重複範囲に基づいて、被写体距離Ｄを検出することにより、被写体が移動体内に存在するか移動体外に存在するかを空間的に特定することができる。また、変動パラメータを求めるための処理すべき範囲が重複領域に制限されるため、結合正距円筒変換画像データの全範囲を用いる必要がなく、第２決定処理の効率化を図ることができる。

【0141】

（１３）また、本実施例にかかる制御プログラムによれば、撮像装置１０１の姿勢の変化に関する情報（たとえば、角速度）に基づいて画像データから出力対象画像データ７１０の抽出範囲ＴＡの位置を変動させる変動パラメータを決定する第１決定処理と、第１決定処理とは異なる第２決定処理と、の自動切替を、ソフトウェアで実現することができる。したがって、制御プログラムがインストールされていない撮像装置に対しても、制御プログラムをインストールすることにより、当該撮像装置は、第１決定処理と第２決定処理との自動切替を実行することができる。

【0142】

また、上述した撮像装置１０１により撮像された画像データ（たとえば、全天球画像データ）と変動パラメータとを関連付けておき、再生装置（たとえば、端末４００）が、全天球画像データから抽出範囲ＴＡを指定して出力対象画像データを再生する場合、変動パラメータにより抽出範囲ＴＡの位置が制御される。すなわち、第１決定処理により得られた変動パラメータであれば、抽出範囲ＴＡの位置は変動するが、第２決定処理により得られた変動パラメータであれば、抽出範囲ＴＡの位置はほぼ変動しない。

【0143】

このように、撮像装置１０１が移動体に搭載されていない場合は、第１決定処理を実行する。一方、撮像装置１０１が移動体に搭載された場合には、第１決定処理から第２決定処理に自動的に切り替えて実行するため、電子ジンバルの過補正を停止することで、撮像方向が安定した全天球画像データを表示することができる。

【符号の説明】

【0144】

１００ 自動車、１０１ 撮像装置、１０２ａ 第１魚眼レンズ、１０２ｂ 第２魚眼レンズ、１０７，７０１ 結合正距円筒変換画像データ、ＴＡ，１１０，１２０，１３０，１４０，２００１，２００２ 抽出範囲、１１１，１２１，１３１，１４１，７１０，２０１０，２０２０ 出力対象画像データ、４００ 端末、４０１ プロセッサ、４０２ 記憶デバイス、４０３ 操作デバイス、４０４ センサ、４０６ 全天球型カメラ、５０１ 撮像部、５０１ａ 第１撮像素子、５０１ｂ 第２撮像素子、５０１ｃ 画像処理部、５０２ 取得部、５０３ 特定部、５０４ 決定部、５０５ 検出部、５０６ 輝度検出部、５０７ 距離検出部、５０８ 算出部、１２００ 被写体、２０００ バイク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】