特開 2023-131181 撮影装置及び撮影方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131181

(43)【公開日】2023-09-22

(54)【発明の名称】撮影装置及び撮影方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230914BHJP

   G03B 15/00 20210101ALI20230914BHJP

   G03B 37/00 20210101ALI20230914BHJP

   G03B 7/00 20210101ALI20230914BHJP

【ＦＩ】

H04N5/232 290

G03B15/00 H

G03B37/00 A

G03B7/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022035755

(22)【出願日】2022-03-09

(71)【出願人】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100166408

【弁理士】

【氏名又は名称】三浦 邦陽

(72)【発明者】

【氏名】寺内 正和

【テーマコード（参考）】

2H002

2H059

5C122

【Ｆターム（参考）】

2H002GA05

2H002GA13

2H059BA11

5C122EA54

5C122EA55

5C122FA08

5C122FA10

5C122FA11

5C122FC03

5C122FH18

5C122HA88

5C122HB01

5C122HB10

(57)【要約】

【課題】簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得る。
【解決手段】撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る２次元の撮像素子と、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、を有することを特徴とする撮影装置。２次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、を有することを特徴とする撮影方法。
【選択図】図９

【特許請求の範囲】

【請求項1】

撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る２次元の撮像素子と、
前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、
を有することを特徴とする撮影装置。

【請求項2】

前記撮影装置が固定されており、前記撮影装置に対して移動する前記被写体を撮影する、
ことを特徴とする請求項１に記載の撮影装置。

【請求項3】

前記画像合成部は、前記撮像素子の像面における被写体像の移動量と等しくなるように前記複数の画像をずらしながら合成する、
ことを特徴とする請求項１又は請求項２に記載の撮影装置。

【請求項4】

前記画像合成部は、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように前記複数の画像をずらしながら合成する、
ことを特徴とする請求項１から請求項３のいずれかに記載の撮影装置。

【請求項5】

前記画像合成部は、前記撮影装置と前記被写体の相対移動速度×（主面距離／主面距離から前記被写体までの距離）×前記撮影時間間隔と等しくなるようなずらし量で前記複数の画像を合成する、
ことを特徴とする請求項１から請求項４のいずれかに記載の撮影装置。

【請求項6】

前記撮影時間間隔は、少なくとも隣接する撮影時間間隔の画像に前記被写体が含まれるように設定される、
ことを特徴とする請求項１から請求項５のいずれかに記載の撮影装置。

【請求項7】

前記撮影時間間隔は、前記撮像素子の幅又は高さ／（前記撮影装置と前記被写体の相対移動速度×（主面距離／主面距離から前記被写体までの距離））より短くなるように設定される、
ことを特徴とする請求項１から請求項６のいずれかに記載の撮影装置。

【請求項8】

前記撮像素子の露光方式がローリングシャッタ方式である場合、前記撮影装置と前記被写体の相対移動方向が前記ローリングシャッタの走査方向と直交するように、前記撮像素子が前記複数の画像を得るとともに、前記画像合成部が前記複数の画像を合成する、
ことを特徴とする請求項１から請求項７のいずれかに記載の撮影装置。

【請求項9】

前記撮影装置から前記被写体までの距離と、前記撮影装置と前記被写体の相対移動速度と、前記撮影時間間隔と、撮影光学系の焦点距離とを撮影条件として設定する撮影条件設定部をさらに有する、
ことを特徴とする請求項１から請求項８のいずれかに記載の撮影装置。

【請求項10】

２次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、
画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、
を有することを特徴とする撮影方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影装置及び撮影方法に関する。

【背景技術】

【0002】

従来から、スリット画像（スリット写真）と呼ばれる、被写体の動きに合わせてフィルムを動かして撮影を行う技法が知られている。スリット画像は、撮影装置に対して相対移動する被写体を連続的に捉えた複数の線状画像を繋ぎ合わせることで得られるものである。

【0003】

また、特許文献１には、ラインセンサカメラと画像記録部と操作器とビデオモニタとを有する着順およびタイム判定装置が記載されている。ラインセンサカメラは、判定基準線を挟んで両方向から撮像するように複数が配置される。画像記録部は、複数のラインセンサカメラから入力される複数の映像信号を記録し、複数の映像信号を走査変換し、合成した１つの映像信号あるいは個々の映像信号として読み出し出力する。操作器は、画像記録部における少なくとも信号の記録および読み出しの選択を操作する。ビデオモニタは、画像記録部から入力された複数の映像信号を合成し１つの映像信号とした画像あるいは複数の映像信号の個々の映像信号の画像を表示する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３１８３３１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、フィルムカメラでスリット画像を得る場合には、専用のスリットカメラを用いて、被写体に同期してフィルムを動かして撮影しなければならないため、特別かつ大掛かりな装置が必要であり、高コスト化にも繋がってしまう。特許文献１の着順およびタイム判定装置は、フィルムカメラからデジタルカメラに代替わりした後のスリット画像の撮影技術であるが、やはり、複数のラインセンサカメラをはじめとする特別かつ大掛かりな装置が必要であり、高コスト化にも繋がってしまう。

【0006】

本発明は、以上の問題意識に基づいてなされたものであり、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得ることを目的とする。

【課題を解決するための手段】

【0007】

本実施形態の撮影装置は、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る２次元の撮像素子と、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成する画像合成部と、を有することを特徴とする。

【0008】

本実施形態の撮影方法は、２次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るステップと、画像合成部により、前記撮影装置に対して相対移動する前記被写体が重なるようにずらしながら前記複数の画像を合成するステップと、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる撮影装置及び撮影方法を得ることができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態のデジタルカメラの全体構成の一例を示すブロック図である。

【図2】通常の写真の撮影事例を示す図である。

【図3】パノラマ写真の撮影事例を示す図である。

【図4】スリット写真の撮影事例を示す図である。

【図5】本実施形態のスリット画像撮影モードにおける撮影概念の一例を示す図である。

【図6】本実施形態のスリット画像撮影モードにおける撮影条件の設定の一例を示す図である。

【図7】本実施形態のスリット画像撮影モードにおける撮影処理の一例を示すフローチャートである。

【図8】本実施形態のスリット画像撮影モードにおける合成処理の一例を示すフローチャートである。

【図9】本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第１の図である。

【図10】本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第２の図である。

【図11】本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第３の図である。

【図12】本実施形態のスリット画像撮影モードにおける撮影処理の変形例を示すフローチャートである。

【図13】ローリングシャッタ方式の撮像素子の操作の一例を示す図である。

【図14】複数の画像における被写体の移動方向とローリングシャッタの露光走査方向による歪みの違いの一例を説明する図である。

【発明を実施するための形態】

【0011】

＜デジタルカメラの全体構成＞
図１は、本実施形態のデジタルカメラ（撮影装置）１０の全体構成の一例を示すブロック図である。

【0012】

図１に示すように、デジタルカメラ１０は、そのカメラボディ２０に着脱自在に装着された撮影レンズ１１を備えており、撮影レンズ１１は、被写体側（図の左側）から順に、撮影光学系としての撮影レンズ群Ｌ及び絞り１３を備え、カメラボディ２０は、シャッタ１５及び２次元の撮像素子（エリアセンサ、イメージセンサ）１７を備えている。撮影レンズ群Ｌから入射し、絞り１３及び開放されたシャッタ１５を通った被写体光束による被写体像が、撮像素子１７の受光面に形成され、露光される。撮像素子１７の受光面に形成された被写体像は、マトリックス状に配置された多数の画素によって、電気的な画素信号に変換され、画像信号としてＣＰＵ（Central Processing Unit）２１に出力される。ＣＰＵ２１は、ＤＳＰ（Digital Signal Processor）と読み替えられてもよい。

【0013】

ＣＰＵ２１は、画像信号に所定の処理を施して、これを表示部材２３に表示し、着脱可能なメモリカード２５に書き込む。ＣＰＵ２１は、電源スイッチ、レリーズスイッチ、ダイヤルスイッチなどの操作部材２７、絞り１３とシャッタ１５を駆動制御する絞り／シャッタ駆動回路３１、撮像素子駆動機構（撮像素子駆動部）４０を介して撮像素子１７を駆動する撮像素子駆動回路（撮像素子駆動部）３３、及びカメラ機能に関する各種プログラムが書き込まれたメモリ３５と接続されている。

【0014】

撮影レンズ１１は、絞り１３の開口径（絞り値）情報、撮影レンズ群Ｌの解像力（ＭＴＦ）情報を記憶したメモリ１９を搭載していて、これらの情報がＣＰＵ２１に読み込まれる。撮影レンズ群Ｌは、通常、絞り１３を光軸方向に挟んで複数のレンズ群を有する（図１では単レンズとして簡略化して描いている）。

【0015】

また、撮像素子１７は、撮影レンズ１１の光軸Ｚと直交するＸ軸方向とＹ軸方向（直交二方向）に移動可能に撮像素子駆動機構（撮像素子駆動部）４０に搭載されている。ＣＰＵ２１は、像振れ防止動作（手振れ防止動作、防振動作）時に、図示しない角速度センサによりデジタルカメラ１０の振れを検出して、撮像素子１７に対して被写体像が相対移動しないように撮像素子振動回路３３を介して撮像素子駆動機構４０の可動ステージ（撮像素子１７）を像振れ防止動作（手振れ防止動作、防振動作）させる。

【0016】

ＣＰＵ２１は、絞り／シャッタ駆動回路３１や撮像素子駆動回路３３を駆動制御する駆動制御部２１Ａと、撮像素子１７による撮影画像（例えば複数の画像）に対して後述する「スリット画像撮影モード」での所定の画像合成処理を施す画像合成部２１Ｂとを有している。画像合成部２１Ｂの機能については後に詳細に説明する。

【0017】

＜通常の写真、パノラマ写真、スリット写真の違い＞
図２は、通常の写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左右方向に延びる３両編成の電車を被写体として撮影する場合を示している。図２に示すように、通常の写真の場合、被写体である電車を一度に捉えて全体を撮影する。

【0018】

図３Ａ、図３Ｂ、図３Ｃは、パノラマ写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左右方向に延びる３両編成の電車を被写体として撮影する場合を示している。パノラマ写真を撮影する場合、静止している被写体（電車）に対してカメラ（撮像素子）を動かして順次露光していき、小間切れになった画像を繋ぎ合わせて１つの画像にする。パノラマ写真では、基本的に、動いている被写体（走行中の電車）は撮影できない。パノラマ写真では、カメラをパンして撮影・合成するので、パースペクティブにより周辺部が小さくなってしまう。

【0019】

図４Ａ、図４Ｂ、図４Ｃは、スリット写真の撮影事例を示す図である。ここでは、撮影装置を固定して、図中の左方向から右方向に向かって走行する３両編成の電車を被写体として撮影する場合を示している。スリット写真を撮影する場合、動体である被写体（電車）に合わせてフィルム又は撮像素子を動かして順次露光していく。すると、動いている被写体（電車）は止まって写り、静止している被写体（建物や風景）は流れて写る。露光は、フィルムの直前に置かれたスリットによって一部の範囲が露光されるようになっている。デジタルカメラの場合、ラインセンサを使ってスリットの代わりに撮影することもある。スリット写真では、スリットの幅又は１次元の撮像素子の幅の画像（線状画像）を連続して撮影してこれらを隙間なく繋ぎ合わせることで、２次元の画像を合成・生成している。スキャナと同じ原理により、１次元の線状画像を２次元のスリット画像に変換している。このとき、動いている被写体と１次元の線状画像を取得するタイミングを合わせることで、動いているものが止まっている画像として取得される。

【0020】

複数の画像を撮影して繋いで１枚の写真を作る代表例としてパノラマ写真が存在する。パノラマ写真も複数回撮影すること、カメラに対して相対的に位置が変わっているもの（パノラマ写真の場合には動いている被写体ではなく、地上に対して静止している又はそれに近いものを対象にしているが、カメラとの関係であれば位置が変わる）のずれ量を補正して合成していくという点では、スリット写真と共通する。しかし、スリット写真では、動く被写体に対してレンズが正対したまま複数回撮影して合成する点が異なっている（スリット写真ではカメラと被写体が常に正対しているのに対して、パノラマ写真では被写体に対してレンズが正対しない）。

【0021】

パースペクティブにより、遠くのものは小さく、近くのものは大きく写るため、カメラを動かして撮影するパノラマ写真のような撮影方法の場合は、光軸中心から被写体までの距離が遠くなったり近くなったりすることで合成する結果、図３Ｃのように周辺に行くほど小さく合成されてしまうことになる。ここから画像処理によって歪みを補正することも可能であるが、もともと小さく撮影されているため解像が低く粗い画像になってしまう。

【0022】

一方、スリット写真では、被写体（この場合動いている被写体）に対して正対（動いている方向に対して垂直）から常に撮影することで、光軸上で被写体までの距離が一定であることと、通常のレンズの射影方式（ｙ＝ｆ・ｔａｎθ）であれば同一距離の面上にある被写体が同じサイズに写るため、合成した際にきれいに合成でき且つ歪みを生じにくいというメリットがある。このように、スリット写真は、被写体に正対して真横から同じ倍率で歪みなくかつぶれなく撮影した写真として定義される。

【0023】

＜本実施形態のスリット画像撮影モード＞
本実施形態の撮影装置及び撮影方法は、上述したスリット写真のメリットを活かしつつ、特別かつ大掛かりな装置を不要として低コスト化を図った簡易な構成あるいは方法で、撮影装置に対して相対移動する被写体を好適に撮影することができる撮影モードを具備している。本明細書では、この撮影モードを「スリット画像撮影モード」と呼ぶ。撮影者は、表示部材２３を見ながら操作部材２７を操作することで、数ある撮影モードの中からスリット画像撮影モードを選択・設定することができる。

【0024】

スリット画像撮影モードでは、２次元の撮像素子１７により、デジタルカメラ（撮影装置）１０に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得る。そして、ＣＰＵ２１の画像合成部２１Ｂにより、デジタルカメラ（撮影装置）１０に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。つまり、撮像素子（エリアセンサ）１７にて連続して撮影された複数の画像を、動いているものを重ね合わせるように合成する。これにより、動いているものを止めて、止まっているものをぼかして合成することで、スリット写真のメリットを活かした合成画像を得ることができる（スリット写真のような効果を得ることができる）。

【0025】

図５は、本実施形態のスリット画像撮影モードにおける撮影概念の一例を示す図である。図５では、デジタルカメラ（撮影装置）１０が固定されており、デジタルカメラ１０に対して移動する被写体（図中の左方向から右方向に向かって走行する３両編成の電車）を撮影する場合を例示する。図５に示すように、スリット画像撮影モードでは、２次元の撮像素子１７によって２次元の画像としての複数（ここでは５つ）の画像が取得される。これらの複数の画像は、図４Ｂに示したような従来のスリット画像の元となる線状画像よりも幅を持った（図中の左右方向に広い）ものである。また、複数の画像のうち、隣接する撮影時間間隔の画像は、被写体の重なり合う部分を有し、これらの重なり合う部分を、動いている被写体（走行する電車）が一致するようなずらし量として合成する。重なり合う部分の合成処理に際しては、当該重なり合う部分を単純に合成する方法のほか、当該重なり合う部分の平均をとる方法が考えられる。このようにして、デジタルカメラ（撮影装置）１０に対して相対移動する被写体（走行する電車）が重なるようにずらしながら複数の画像を合成すると、動いているもの（電車）が静止して、静止しているもの（建物や風景）をぼかした高品質な画像（スリット画像）が得られる。

【0026】

スリット画像撮影モードでは、撮影条件として、以下の（１）－（４）の少なくとも１つ又は全部を設定する。（１）－（４）に加えて、明るさ（絞り開度）やシャッタスピードを撮影条件として設定してもよい。
（１）デジタルカメラ（撮影装置）１０から被写体までの距離
（２）デジタルカメラ（撮影装置）１０と被写体の相対移動速度
（３）撮像素子１７による被写体の撮影時間間隔
（４）撮影レンズ群（撮影光学系）Ｌの焦点距離

【0027】

撮影条件の設定に際しては、撮影者が、表示部材２３を見ながら操作部材２７を操作してマニュアルで設定してもよいし、所定の撮影条件に基づいてデジタルカメラ１０のＣＰＵ２１の側で自動設定してもよい（撮影後に自動で処理してもよい）。

【0028】

図６Ａ－図６Ｄは、本実施形態のスリット画像撮影モードにおける撮影条件の設定の一例を示す図である。図６Ａは、被写体までの距離と被写体の速度が分かる場合を例示しており、これらを撮影者がマニュアルで入力している（焦点距離：３００ｍｍ、被写体までの距離：３０ｍ、被写体の速度：８０ｋｍ／ｈ）。図６Ｂは、被写体までの距離と被写体の速度が分からない場合を例示しており、これらを自動で設定している（焦点距離：３００ｍｍ、被写体までの距離：自動、被写体の速度：自動）。図６Ｃでは、被写体までの距離と被写体の速度が分からないのでこれらを自動で設定する一方、撮影時間間隔だけを撮影者がマニュアルで入力している（焦点距離：３００ｍｍ、被写体までの距離：自動、被写体の速度：自動、撮影間隔：１０ｆｐｓ）。図６Ｄでは、被写体までの距離と撮影時間間隔が分かるので撮影者がマニュアルで入力する一方、被写体の速度が分からないので所定の最大速度が仮入力されている（焦点距離：３００ｍｍ、被写体までの距離：５０ｍ、被写体の速度：Ｍａｘ８０ｋｍ／ｈ、撮影間隔：６ｆｐｓ）。なお、図６Ｄとは逆に、被写体の速度が分かるが被写体までの距離が分からない場合でも、撮影時間間隔を入力すれば、スリット画像撮影モードの実行が可能である。

【0029】

図７は、本実施形態のスリット画像撮影モードにおける撮影処理の一例を示すフローチャートである。

【0030】

ステップＳＴ１では、撮影条件を設定する。例えば、図６Ａ－図６Ｄのように、焦点距離、被写体までの距離、被写体の速度、撮影間隔を設定する。ステップＳＴ２では、撮影を開始するか否か（例えばシャッタレリーズボタンが押されたか否か）を判定する。例えばシャッタレリーズボタンが押されない場合は、シャッタレリーズボタンが押されるのを待ち（ステップＳＴ２：Ｎｏ）、シャッタレリーズボタンが押された場合は（ステップＳＴ２：Ｙｅｓ）、ステップＳＴ３に進む。ステップＳＴ３では、指定条件で撮影を行う（指定条件の例示・詳細については後述する）。ステップＳＴ４では、撮影を終了するか否か（例えばシャッタレリーズボタンが開放されたか否か）を判定する。例えばシャッタレリーズボタンが開放されない場合は、シャッタレリーズボタンが開放されるまで所定の撮影時間間隔での撮影を繰り返し（ステップＳＴ４：Ｎｏ、ステップＳＴ３）、シャッタレリーズボタンが開放された場合は（ステップＳＴ４：Ｙｅｓ）、ステップＳＴ５に進む。ステップＳＴ３、ステップＳＴ４のループを繰り返すことで、撮像素子１７により、デジタルカメラ１０に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像が得られる。ステップＳＴ５では、撮像素子１７により得られた複数の画像を指定条件で合成する（指定条件の例示・詳細については後述する）。ステップＳＴ６では、ステップＳＴ５における合成画像を保存して、処理を終了する。

【0031】

図８は、本実施形態のスリット画像撮影モードにおける合成処理の一例を示すフローチャートである。

【0032】

ステップＳＴ１１では、撮像素子１７が所定の撮影時間間隔にて撮影した複数の画像を合成対象として、合成対象である複数の画像のうちの隣接する画像を指定量だけ移動させる。ステップＳＴ１２では、ステップＳＴ１１で指定量だけ移動させた隣接する画像の重なっている部分を合成する。ステップＳＴ１３では、複数の画像の全ての合成が終了したか否かを判定する。複数の画像の全ての合成が終了していない場合には（ステップＳＴ１３：Ｎｏ）、ステップＳＴ１１に戻り、複数の画像の全ての合成が終了した場合には（ステップＳＴ１３：Ｙｅｓ）、処理を終了する。このようにして、ＣＰＵ２１の画像合成部２１Ｂにより、デジタルカメラ１０に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。つまり、撮像素子１７にて連続して撮影された複数の画像を、動いているものを重ね合わせるように合成する。これにより、動いているものを止めて、止まっているものをぼかして合成することで、スリット写真のメリットを活かした合成画像を得ることができる（スリット写真のような効果を得ることができる）。

【0033】

ＣＰＵ２１の画像合成部２１Ｂは、撮像素子１７による複数の画像を合成する際に、撮像素子１７の像面における被写体像の移動量と等しくなるように複数の画像をずらしながら合成する。ＣＰＵ２１の画像合成部２１Ｂは、撮像素子１７による複数の画像を合成する際に、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように複数の画像をずらしながら合成する。撮像素子１７による撮影時間隔は、少なくとも隣接する撮影時間間隔の画像に被写体が含まれるように設定される。

【0034】

撮像素子１７による撮影時間隔は、撮像素子１７の幅又は高さ／（撮影装置と被写体の相対移動速度×（主面距離／主面距離から被写体までの距離））より短くなるように設定される。「撮像素子１７の幅又は高さ」は、「撮像素子１７の有効範囲」と読み替えてもよい。さらに、ＣＰＵ２１の画像合成部２１Ｂは、撮影装置と被写体の相対移動速度×（主面距離／主面距離から被写体までの距離）×撮影時間間隔と等しくなるようなずらし量で、撮像素子１７による複数の画像を合成する。

【0035】

図９Ａ－図９Ｄは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第１の図である。図９Ａに示すように、撮像素子１７の有効範囲は２４ｍｍ＝０．０２４ｍとなっている。また、被写体の移動速度は８０ｋｍ／ｈ＝２２．２ｍ／ｓとなっている。また、被写体までの距離は５０ｍとなっている。また、主面距離は３００ｍｍ＝０．３ｍとなっている。また、主面距離から被写体までの距離は、５０ｍ－０．３ｍ＝４９．７ｍとなっている。

【0036】

撮像素子１７による撮影時間隔を決定する場合、露光間隔ｔ＝ｔ２－ｔ１としたとき、ｔ２－ｔ１＜撮像素子１７の有効範囲／（被写体の移動速度×（主面距離／主面距離から被写体までの距離））を満足することが必要となる。当該条件の右式は、０．０２４／（２２．２×（０．３／４９．７））＝０．１７９となるため、撮影時間間隔（露光間隔ｔ＝ｔ２－ｔ１）は、０．１７９秒未満となるように設定することが必要となる。撮影時間間隔（露光間隔ｔ）を０．１２秒に設定すれば、像の移動量ｄは、ｄ＝被写体の移動速度×（主面距離／主面距離から被写体までの距離）×撮影時間間隔となり、２２．２×（０．３／４９．７）×０．１２＝０．０１６１ｍ、つまり、１６．１ｍｍと算出される。このように算出した像の移動量ｄに基づいて、時間ｔ１、ｔ２の画像１、２をずらして（位置合わせして）合成を行う。具体的に、画像１、２の重なり合う部分を単純に合成するか、あるいは、画像１、２の重なり合う部分の平均をとることができる。また、画像１、２の重なり合わない部分は、当該部分をそのまま使用することができる。同様の合成を３枚目以降の画像（時間ｔ３の画像３、時間ｔ４の画像４、時間ｔ５の画像５・・・）についても行っていく。

【0037】

図１０Ａ、図１０Ｂは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第２の図である。図１０Ａに示すように、撮影時に被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からない場合が存在する。この場合、ｔ２－ｔ１＜撮像素子１７の有効範囲／（被写体の移動速度×（主面距離／主面距離から被写体までの距離））に基づいて撮影時間隔を高精度に設定することができない。そこで、被写体の移動速度、被写体までの距離を大まかに予測して、その予測値を考慮しても十分に短い撮影時間間隔を設定することが好ましい。具体的には、撮影時間隔を、少なくとも隣接する撮影時間間隔の画像に被写体の同じ部分が含まれるように設定することができる。このようにすれば、撮像素子１７の像面における被写体像の移動量と等しくなるように複数の画像をずらしながら合成することができ、且つ／又は、隣接する撮影時間間隔の画像の静止部分を除いた移動量と等しくなるように複数の画像をずらしながら合成することができる。また、合成時の画像のずらし量が算出できない場合、図１０Ｂに示すように、時間的に互いに隣り合う２枚の画像又はその組み合わせを使って、静止している部分と動いている部分を検出して、移動している被写体部分を推測して、そのずれ量から、合成時の画像のずらし量を算出してもよい。

【0038】

図１１Ａ－図１１Ｅは、本実施形態のスリット画像撮影モードにおける合成処理の一例を示す第３の図である。撮影時に被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からない場合には、撮影時間間隔を十分に短く設定して複数の画像を撮影し、その複数の画像から被写体の移動量を算出する。被写体が移動している場所を選択・特定するため、時間的に隣り合う２枚の画像（図１１Ａの時間ｔ１で撮影した画像１、図１１Ｂの時間ｔ２で撮影した画像２）について、差分画像（差の絶対値）（図１１Ｃの｜ｔ１－ｔ２｜における画像）をとる。この差分画像（差の絶対値）をとることで、画像１、２の静止している部分と移動している部分を検出することができる。静止している部分は小さな数値が検出され、移動している部分（被写体の移動・変化がある部分）は大きな数値が検出される。図１１Ｄに示すように、上記の大きな数値が検出された部分に移動を検出するエリアを定め、当該エリアにおける被写体の移動量を算出する。図１１Ｅでは、画像１、２の差分画像、移動検出エリアの一致する部分の移動量ｄが算出されている。この検出・演算方法としては、例えば、ＳＡＤ（Sum of Absolute Difference）の他、任意の動体検出技術を適用することができる。また、検出精度を上げるため、時間的に隣り合う画像のみでなく、それ以上離れているものや複数の結果をまとめて使うことも考えられる（例えば、時間ｔ１の画像１と時間ｔ３の画像３を使用してもよいし、時間ｔ１の画像１と時間ｔ２の画像２と時間ｔ３の画像３を使用してもよい）。

【0039】

図１２は、本実施形態のスリット画像撮影モードにおける撮影処理の変形例を示すフローチャートである。

【0040】

ステップＳＴ２１では、撮影条件の設定値に不明なものがあることを検出する。例えば、被写体の移動速度、被写体までの距離、主面距離から被写体までの距離の全部又は一部が分からないことを検出する。ステップＳＴ２２では、撮影を開始するか否か（例えばシャッタレリーズボタンが押されたか否か）を判定する。例えばシャッタレリーズボタンが押されない場合は、シャッタレリーズボタンが押されるのを待ち（ステップＳＴ２２：Ｎｏ）、シャッタレリーズボタンが押された場合は（ステップＳＴ２２：Ｙｅｓ）、ステップＳＴ２３に進む。ステップＳＴ２３では、最速の条件で撮影を行う。つまり、撮影条件の設定値に不明なものがあっても確実にスリット画像撮影を実行可能な撮影時間間隔を設定して撮影を行う。ステップＳＴ２４では、撮影を終了するか否か（例えばシャッタレリーズボタンが開放されたか否か）を判定する。例えばシャッタレリーズボタンが開放されない場合は、シャッタレリーズボタンが開放されるまで所定の撮影時間間隔での撮影を繰り返し（ステップＳＴ２４：Ｎｏ、ステップＳＴ２３）、シャッタレリーズボタンが開放された場合は（ステップＳＴ２４：Ｙｅｓ）、ステップＳＴ２５に進む。ステップＳＴ２３、ステップＳＴ２４のループを繰り返すことで、撮像素子１７により、デジタルカメラ１０に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像が得られる。ステップＳＴ２５では、複数の画像から移動している被写体の領域を求める（図１１Ｃ）。ステップＳＴ２６では、移動量の算出エリアを決定する（図１１Ｄ）。ステップＳＴ２７では、算出エリア内の移動量を求める（図１１Ｅ）。ステップＳＴ２８では、ステップＳＴ２７で決定した移動量でずらしながら複数の画像を合成していき、スリット画像撮影が完了する。ステップＳＴ２９では、ステップＳＴ２８における合成画像を保存して、処理を終了する。

【0041】

撮像素子１７は、その露光方式をローリングシャッタ方式とすることができる。ローリングシャッタは、固体撮像素子の露光手法の一つで、行または列毎に読出しを行いながら露光する手法であり、画面内の位置により露光のタイミングが異なる。

【0042】

図１３は、ローリングシャッタ方式の撮像素子の走査の一例を示す図である。図１３の例では、撮像素子の像面の最も上の行を左端の列から右端の列に向かって走査し、その後、撮像素子の像面の上から２番目の行を左端の列から右端の列に向かって走査し、この走査を撮像素子の像面の最も下の行まで繰り返すことで走査・読出しが終了する。図１３では、走査開始時の露光、読出し位置をｔ＝０で表しており、走査開始からｎ秒後の露光、読出し位置をｔ＝ｎで表している。

【0043】

図１４Ａ－図１４Ｃは、複数の画像における被写体の移動方向とローリングシャッタの露光走査方向による歪みの違いの一例を説明する図である。図１４Ａ－図１４Ｃのいずれにおいても、被写体の移動方向が左方向から右方向となっている（電車が左方向から右方向に走行している）。図１４Ａにおけるローリングシャッタの露光走査方向は、図１３で説明したものと同じである。図１４Ｂにおけるローリングシャッタの露光走査方向は、撮像素子の像面の最も右の列を上端の行から下端の行に向かって走査し、その後、撮像素子の像面の右から２番目の列を上端の行から下端の行に向かって走査し、この走査を撮像素子の像面の最も左の列まで繰り返すことで走査・読出しが終了する。図１４Ｃにおけるローリングシャッタの露光走査方向は、撮像素子の像面の最も左の列を下端の行から上端の行に向かって走査し、その後、撮像素子の像面の左から２番目の列を下端の行から上端の行に向かって走査し、この走査を撮像素子の像面の最も右の列まで繰り返すことで走査・読出しが終了する。

【0044】

ローリングシャッタ方式では、画面内の位置により露光のタイミングが異なるので、被写体が動いている場合、露光のタイミングのずれによって被写体の形が歪んでしまう（多少の歪みは避けられない）。

【0045】

但し、図１４Ａのように、露光走査方向と被写体の移動方向が平行になる場合は、移動している被写体が上下差により斜めに変形してしまうため、被写体の歪みが大きくなってしまう（円が斜めの楕円に変形してしまう）。これに対して、図１４Ｂ、図１４Ｃのように、露光走査方向と被写体の移動方向が直交している場合は、歪みの方向が被写体の動きの方向に一致して被写体の伸び縮みになるため、被写体の歪みが小さくて済む（円が縦長又は横長の楕円に変形するだけで済む）。また、歪みの補正が一方向への圧縮または伸張により実現できるので、補正も簡単になる。

【0046】

そこで、本実施形態では、撮像素子の露光方式がローリングシャッタ方式である場合、撮影装置と被写体の相対移動方向がローリングシャッタの走査方向と直交するように、撮像素子が複数の画像を得るとともに、画像合成部が複数の画像を合成する。ローリングシャッタの走査方向は製造時に決まっているため、撮影装置と被写体の相対移動方向がローリングシャッタの走査方向と直交するように、撮影装置の構図（縦構図、横構図）を合わせる必要がある。例えば、撮影装置と被写体の相対移動方向を検知したときに、当該検知方向とローリングシャッタの走査方向が直交する構図（縦構図、横構図）を撮影者に知らせるとともに、当該構図に合わせるように撮影者に促すような機構を撮影装置に設けることができる。この機構は、スリット画像撮影モードのときにのみ動作して、音声や表示によって撮影者に最適な構図を知らせることができる。

【0047】

このように、本実施形態の撮影装置及び撮影方法では、２次元の撮像素子により、撮影装置に対して相対移動する被写体を所定の撮影時間間隔にて撮影することで複数の画像を得るとともに、画像合成部により、撮影装置に対して相対移動する被写体が重なるようにずらしながら複数の画像を合成する。これにより、簡易な構成あるいは方法で相対移動する被写体を好適に撮影することができる。すなわち、スリット写真のメリットを活かした合成画像を得ることができる（スリット写真のような効果を得ることができる）。

【0048】

本発明は上記の実施の形態及び変形例に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらに、技術の進歩又は派生する別技術によって、技術的思想を別の仕方で実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。

【0049】

以上の実施形態では、撮影装置（デジタルカメラ）が固定されており、撮影装置に対して移動する被写体（例えば電車）を撮影する場合を例示して説明した。しかし、撮影装置は、自身に対して相対移動する被写体を撮影するものであればよく、撮影装置の側が電車、車、ケーブルカー等の移動体に設置されており、そこから建物や風景等の固定側の被写体を撮影してもよい。

【符号の説明】

【0050】

１０ デジタルカメラ（撮影装置）
１１ 撮影レンズ
Ｌ 撮影レンズ群（撮影光学系）
１３ 絞り
１５ シャッタ
１７ ２次元の撮像素子（エリアセンサ、イメージセンサ）
１９ メモリ
２０ カメラボディ
２１ ＣＰＵ（Central Processing Unit）
２１Ａ 駆動制御部
２１Ｂ 画像合成部
２３ 表示部材
２５ メモリカード
２７ 操作部材（撮影モード設定部、撮影条件設定部）
３１ 絞り／シャッタ駆動回路
３３ 撮像素子駆動回路（撮像素子駆動部）
３５ メモリ
４０ 撮像素子駆動機構（撮像素子駆動部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】