特開 2022-107659 画像処理装置および撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022107659

(43)【公開日】2022-07-22

(54)【発明の名称】画像処理装置および撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20220714BHJP

【ＦＩ】

H04N5/225 100

H04N5/225 300

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022082085

(22)【出願日】2022-05-19

(62)【分割の表示】P 2020032322の分割

【原出願日】2013-08-20

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】栗山 孝司

(57)【要約】

【課題】読出速度の高い撮像素子を使用しやすくする。
【解決手段】画像信号処理装置であって、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える。上記画像信号処理装置において、送信画像信号生成部は、原画像信号に対して雑音抑圧処理を実行することにより送信画像信号を生成してもよい。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１基板に設けられ、光を受光して信号を生成する受光部と、
前記第１基板に積層される第２基板に設けられ、前記受光部で生成された信号を処理する第１処理部と、
前記第２基板に積層される第３基板に設けられ、前記第１処理部から第１伝送速度で送られてきた信号を第１伝送速度よりも低減した第２伝送速度で出力する出力部と、
を備える撮像素子。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置および撮像装置に関する。

【背景技術】

【0002】

画像信号を生成する撮像部の解像度等が向上するにつれて、撮像部から画像処理回路への画像信号伝送量も増加する（例えば、特許文献１参照）。
特許文献１ 特開２００８－２１９３１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

信号伝送路の容量を並列化により拡大する場合は、撮像部と画像処理回路の双方を並列信号伝送に対応させなくてはならない。このため、撮像装置の構成部品を大幅に変更しなければならない。

【課題を解決するための手段】

【0004】

本発明の第一態様においては、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理装置が提供される。

【0005】

本発明の第二態様においては、露光毎に原画像信号を生成する撮像部と、複数のフレームを含む原画像信号を撮像部から受信する原画像信号受信部と、原画像信号を参照して、原画像信号受信部が受信した原画像信号に含まれる複数のフレームのフレーム数よりも少ない数のフレームを含む送信画像信号を生成する送信画像信号生成部と、送信画像信号生成部が生成した送信画像信号を、信号伝送路を介して外部の画像処理回路に送信する送信画像信号送信部とを備える画像信号処理ユニットが提供される。

【0006】

本発明の第三態様においては、上記画像信号処理ユニットを備える撮像装置が提供される。

【0007】

上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションも発明となり得る。

【図面の簡単な説明】

【0008】

【図1】撮像装置１００のブロック図である。

【図2】送信画像信号生成部２０１のブロック図である。

【図3】切替回路２２１の制御手順を示す流れ図である。

【図4】画像信号処理装置２００の実装形態を例示する模式図である。

【図5】画像信号処理装置２００の実装形態を例示する模式図である。

【図6】画像信号処理装置２００の実装形態を例示する模式的断面図である。

【図7】画像信号処理装置２００の実装形態を例示する模式的断面図である。

【図8】送信画像信号生成部２０２のブロック図である。

【図9】送信画像信号生成部２０３のブロック図である。

【発明を実施するための形態】

【0009】

発明の実施の形態を通じて本発明を説明する。下記の実施形態は、特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0010】

図１は、撮像装置１００のブロック図である。撮像装置１００は、撮像部１２０、画像信号処理装置２００、システム制御部１４０および画像処理部１５０を備える。

【0011】

撮像部１２０は、光学系１１０を通じて入射した被写界光を受光して電気信号に変換する撮像素子を含み、撮像素子が露光される毎に生じるフレームに対応した原画像信号を生成する。光学系１１０は、複数のレンズの他、絞り、シャッタ、光学フィルタ等の光学部材を含む。

【0012】

撮像部１２０の撮像素子としては、ＣＭＯＳセンサ、ＣＣＤセンサ等を用いることができる。また、撮像素子は、複数のＡ／Ｄコンバータ等をデバイス内部に備えて並列読み出しを行い、高解像度且つ高フレームレートで画像信号を出力できる。なお、撮像部１２０の撮像素子がベイヤー配列等のカラーフィルタを有する場合に撮像部１２０が出力する原画像信号は、色毎に画素を補完する前の画像信号であってもよい。

【0013】

画像信号処理装置２００は、原画像信号受信部２１０、送信画像信号生成部２０１、フレームメモリ２３０および送信画像信号送信部２４０を有する。原画像信号受信部２１０は、撮像部１２０が生成した、複数のフレームを含む原画像信号を取得する。

【0014】

なお、撮像素子が例えば２０メガピクセルの解像度と、２４０ＦＰＳの読出速度とを有する場合、撮像部１２０から画像信号処理装置２００に向かって出力される原画像信号の出力ビットレートは５７．６Ｇｂｐｓ以上にも及ぶ。これに対して、画像信号処理装置２００における原画像信号受信部２１０は、例えば、４８チャンネルの多並列信号線路を通じて撮像部１２０に結合される。これにより、信号伝送路におけるチャンネル当たりの信号速度は低減され、撮像部１２０と原画像信号受信部２１０とをフレキシブルケーブルにより結合できる。

【0015】

送信画像信号生成部２０１は、取得した原画像信号を処理して送信画像信号を生成する。送信画像信号は、画像信号をフレーム単位で含む。送信画像信号生成部２０１における処理については、他の図を参照して後述する。

【0016】

フレームメモリ２３０は、随時読み書きができるＤＲＡＭを含み、送信画像信号生成部２０１の作業領域となる。よって、フレームメモリ２３０は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。

【0017】

送信画像信号送信部２４０は、送信画像信号生成部２０１が生成した送信画像信号を、画像信号処理装置２００の外部に配された画像処理部１５０に送信する。なお、原画像信号受信部２１０、送信画像信号生成部２０１および送信画像信号送信部２４０は、共通の汎用プロセッサにおいて実行されるプログラムとして実装される場合もある。

【0018】

送信画像信号送信部２４０が出力する送信画像信号は、画像信号処理装置２００に対して外部に配された信号伝送路１３０を通じて、画像処理部１５０が受信できる信号形式で送信される。信号伝送路１３０は、例えば、画像信号処理装置２００と画像処理部１５０とを結合するフレキシブル基板、プリント基板上のプリント配線、ワイヤ等により形成される。

【0019】

撮像装置１００における画像処理部１５０は、画像信号の補間処理、圧縮処理、縮小処理等を実行する。また、画像処理部１５０は、処理した画像信号を、ＪＰＥＧ形式等、予め定められたファイルフォーマットに従って画像ファイル化する。これにより、処理された送信画像信号は、例えば、表示部１８０にスルー画等として表示される。また、画像処理部１５０に処理された送信画像信号は、二次記録媒体１９０に画像ファイルとして格納される。

【0020】

ワークメモリ１６０は、随時読み書きができるＤＲＡＭを含み、画像処理部１５０の作業領域となる。よって、ワークメモリ１６０は、少なくとも複数フレーム分の画像信号を格納し得る容量を有する。

【0021】

システム制御部１４０は、撮像部１２０、画像信号処理装置２００および画像処理部１５０の動作を包括的に制御する。即ち、システム制御部１４０は、シャッタボタン、コマンドダイヤル等の操作部材１７０が外部から操作された場合に、例えば、撮像部１２０における原画像信号のフレームレートを変更することにより、操作に応じた動作を撮像部１２０に実行させる。

【0022】

また、システム制御部１４０は、撮像部１２０から画像信号処理装置２００への原画像信号の受け渡し、画像信号処理装置２００から画像処理部１５０への送信画像信号の受け渡し等の通信制御も司る。更に、画像信号処理装置２００および画像処理部１５０の各々における内部処理も、システム制御部１４０の制御の下に実行される。なお、システム制御部１４０および画像処理部１５０は、共通のＡＳＩＣにおいて実行されるプログラムとして実装されてもよい。

【0023】

図２は、送信画像信号生成部２０１の一例を示すブロック図である。送信画像信号生成部２０１は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、リサイズ回路２２４、アライメント検出回路２２５、アライメント調整回路２２６およびフレーム合成回路２２７を含む。

【0024】

切替回路２２１は、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数、例えば２つのフレーム３０１、３０２を含む画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。入力がバイパス回路２２２に結合された場合、原画像信号は、バイパス回路２２２を通じて、送信画像信号送信部２４０に直結される。よって、この場合は、原画像信号受信部２１０が受信した原画像信号が、そのまま送信画像信号送信部２４０に伝達される。

【0025】

切替回路２２１が、入力を本回路２２３に結合した場合、原画像信号は、リサイズ回路２２４およびアライメント調整回路２２６の両方に伝えられる。リサイズ回路２２４は、アライメント検出回路２２５が、複数フレーム３０１、３０２の画像信号における像の位置ずれを検出できる範囲で、原画像信号の解像度が低減される。これにより、アライメント検出回路２２５は、原画像信号におけるフレーム相互の像の位置ずれを高速に検出できる。

【0026】

アライメント検出回路２２５は、フレーム相互における像の位置ずれを検出して、検出結果をアライメント調整回路２２６に通知する。アライメント調整回路２２６は、アライメント検出回路２２５から取得した検出結果に基づいてフレーム毎に像の位置を調整し、フレーム相互の位置ずれを解消させる。フレーム合成回路２２７は、位置ずれが解消された複数のフレームを合成することにより、雑音を抑圧したひとつの画像の画像信号を生成する。ここで、画像信号の合成方法としては、加算平均法を例示できるが、この方法に限られるわけではない。

【0027】

こうして生成された単一フレームの画像信号は、送信画像信号として、送信画像信号送信部２４０に送信される。送信画像信号送信部２４０は、２フレーム分の原画像信号から生成された１フレーム分の送信画像信号を、信号伝送路１３０を通じて画像処理部１５０に送信する。

【0028】

このように、画像信号処理装置２００は、複数フレーム分の原画像信号を参照して、より少ないフレーム数の送信画像信号を生成して画像処理部１５０に送信する。これにより、信号伝送路１３０における信号速度を低減でき、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。

【0029】

また、送信画像信号生成部２０１において雑音の抑圧処理が既に実行されているので、画像処理部１５０における画像処理の負荷を低減できる。なお、複数フレームの原画像信号から生成された送信画像信号は、画素数、ビット深度等が削減または抑圧されているわけではない。よって、送信画像信号は、撮像部１２０により撮像された原画像信号の品質を保っている。

【0030】

上記の例では、送信画像信号生成部２０１が、２つのフレーム３０１、３０２の画像信号から１つのフレーム３０３を生成するように記載した。しかしながら、送信画像信号生成部２０１は、撮影素子から時間的に連続したＮ（Ｎは２以上の整数）枚のフレームを含む原画像信号を受信し、Ｎよりも少ないＭ（Ｍは１以上の整数）枚のフレームを含む送信画像信号を生成すればよく、上記の枚数に限定されるわけではない。

【0031】

図３は、システム制御部１４０による切替回路２２１の制御手順を示す流れ図である。システム制御部１４０は、撮像装置１００の動作モードに応じて、撮像部１２０における撮像素子の読出速度を変更させる制御を実行する。なお、撮像装置１００の動作モードとは、例えば、ライブビューモード、静止画撮影モード、動画撮影モード等、ユーザが予め選択した動作モードを含む。システム制御部１４０は、設定された動作モードに応じて、出力する原画像信号のフレームレートを撮像部１２０に指示する。

【0032】

ここで、システム制御部１４０が指示したフレームレートが予め設定された閾値以下である場合（ステップＳ１０１：ＮＯ）、システム制御部１４０は、切替回路２２１をバイパス回路２２２側に切り替える（ステップＳ１０２）。これにより、原画像信号受信部２１０が受信した原画像信号は、そのまま送信画像信号送信部２４０に伝達され、画像処理部１５０に送信される。

【0033】

また、システム制御部１４０が設定した読出速度が予め設定された閾値を超えた場合（ステップＳ１０１：ＹＥＳ）、システム制御部１４０は、切替回路２２１を本回路２２３側に切り替える（ステップＳ１０３）。これにより、送信画像信号生成部２０１は、原画像信号受信部２１０が受信した複数フレームの原画像信号から、より少ないフレーム数の送信画像信号を生成して、送信画像信号送信部２４０から画像処理部１５０に送信する。

【0034】

ここで、システム制御部１４０が切替回路２２１を切り替える閾値は、例えば、信号伝送路１３０により伝送される送信画像信号のフレームレートの限界により決定される。即ち、撮像部１２０が出力する原画像信号のフレームレートは、システム制御部１４０による制御に従って変化する。

【0035】

撮像部１２０が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路１３０を通じて伝送できる速度よりも速い場合、システム制御部１４０は、切替回路２２１を本回路２２３側に切り替える。これにより、信号伝送路１３０を通じて送信される送信画像信号のフレームレートを、信号伝送路１３０を通じて伝送できるフレームレートまで低減される。

【0036】

撮像部１２０が出力する原画像信号のフレームレートが、フレキシブル基板等を用いて形成した信号伝送路１３０を通じて伝送できる速度よりも遅い場合、システム制御部１４０は、切替回路２２１を、バイパス回路２２２側に切り替える。これにより、送信画像信号生成部２０１は、原画像信号を処理することなく、そのまま、送信画像信号として信号伝送路１３０に送出する。

【0037】

また、システム制御部１４０が切替回路２２１を切り替える閾値は、画像処理部１５０が処理できるフレームレートの上限に応じて決定してもよい。これにより、撮像部１２０が出力する原画像信号のフレームレートにかかわらず、処理できる範囲のフレームレートの送信画像信号が画像処理部１５０に送信される。

【0038】

なお、送信画像信号生成部２０１が原画像信号を処理しない場合は、フレームメモリ２３０は使用されていない。よって、フレームメモリ２３０を、動画撮影中に撮影した静止画等を格納する等のバッファメモリとして利用してもよい。

【0039】

図４は、撮像部１２０および画像信号処理装置２００の実装形態を例示する模式図である。図示の例において、送信画像信号生成部２０１を含む画像信号処理装置２００が実装された基板２５０は、撮像素子１２２を含む撮像部１２０が実装された基板１２１の直近に隣接して配される。これにより、多並列化信号線路を形成して一対の基板１２１、２５０を結合するフレキシブルケーブル１２４の寸法を短縮して、伝送される原画像信号の減衰を抑制できる。

【0040】

なお、画像信号処理装置２００から出力される送信画像信号も、フレキシブルケーブル１３１により送信される。ただし、撮像素子１２２を含む撮像部１２０は、光学系１１０に対する光学的な条件により配置できる場所が制限される。一方、画像処理部１５０は、回路規模が大きく、撮像装置１００における配置が制限される。このため、画像処理部１５０に結合される信号伝送路１３０を形成するフレキシブルケーブル１３１の長さは、撮像部１２０に結合されたフレキシブルケーブル１２４よりも長くなる場合が多い。

【0041】

しかしながら、送信画像信号生成部２０１を用いることにより、例えば、２４０ＦＰＳの読出速度を有する撮像素子を用いて、雑音が抑圧された６０ＦＰＳの信号を、多並列化されていない信号伝送路１３０と、多並列Ｉ／Ｏ回路のない画像処理回路を用いて処理できる。また、画像処理部１５０が受信する送信画像信号は、画像信号処理装置２００において、一部の画像処理を既に実行されているので、画像処理部１５０における負荷が軽減される。

【0042】

なお、上記の例では、基板１２１、２５０の間をフレキシブルケーブルにより結合した。しかしながら、プリント基板、ワイヤ等、他の部材を用いて結合してもよいことはもちろんである。

【0043】

図５は、撮像部１２０および画像信号処理装置２００の他の実装形態を例示する模式図である。図示の例においては、画像信号処理装置２００が、撮像素子１２２を含む撮像部１２０が実装された基板１２１に実装される。これにより、撮像部１２０および原画像信号受信部２１０を、フレキシブルケーブルを用いることなく結合して、原画像信号の減衰を抑制できる。

【0044】

また、撮像部１２０および画像信号処理装置２００を一体的に取り扱うことにより、高い読み出し速度を有する撮像部１２０を、読み出し速度の低い旧来の撮像部１２０と同じように取り扱うことができる。これにより、読み出し速度の高い撮像部１２０の利点を、低い開発コストで利用できる。

【0045】

図６は、撮像部１２０および画像信号処理装置２００のまた他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置２００が実装された基板２５０は、撮像素子１２２を含む撮像部１２０が実装された基板１２１に対して積層されている。また、基板２５０上の画像信号処理装置２００は、基板１２１を貫通して形成された複数のビア１２６を通じて撮像部１２０に電気的に結合される。これにより、撮像部１２０および原画像信号受信部２１０の間の信号伝送路は極限まで短縮され、原画像信号の減衰をいっそう抑制できる。

【0046】

また、基板２５０を基板１２１に積層することにより、撮像部１２０と画像信号処理装置２００とを備えた撮像ユニットを、単独の撮像部１２０と殆ど変わらない空間に実装できる。よって、高い読み出し速度を有する撮像部１２０を、撮像装置１００の規模を拡大することなく、旧来の撮像部１２０と同じように取り扱うことができる。

【0047】

なお、上記の例では、基板１２１、２５０の間をビア１２６により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。

【0048】

図７は、撮像部１２０および画像信号処理装置２００の更に他の実装形態を例示する模式的断面図である。図示の例において、画像信号処理装置２００が実装された基板２５０は、裏面照射型の撮像部１２０に対して積層されている。

【0049】

即ち、撮像部１２０は、互いに積層された受光基板１２３および論理基板１２５を有する。受光基板１２３は、研磨により薄化された基板１２１の裏面から被写界光を受光して電気信号に変換する。論理基板１２５は、受光基板１２３において生成された電気信号をデジタル化するアナログ／デジタルコンバータ等の論理回路１２８が実装され、原画像信号を生成する。

【0050】

受光基板１２３と論理基板１２５は、個別に作製された上で相互に積層して貼り合わされる。また、受光基板１２３の撮像素子１２２と論理基板１２５の論理回路１２８とは、受光基板１２３を厚さ方向に貫通して形成されたビア１２６等を通じて結合される。

【0051】

画像信号処理装置２００が形成された基板２５０は、上記した撮像部１２０の受光基板１２３および論理基板１２５とは別に作製され、撮像部１２０の論理基板１２５に対して更に積層して貼り合わされる。基板２５０上の画像信号処理装置２００は、論理基板１２５を厚さ方向に貫通して形成された複数のビア１２７等を通じて、論理基板１２５に実装された論理回路１２８に電気的に結合される。このような構造により、撮像素子１２２から論理回路１２８を通じて原画像信号受信部２１０に至る信号伝送路は極限まで短縮され、原画像信号の減衰が抑制される。

【0052】

なお、上記の例では、受光基板１２３、論理基板１２５および基板２５０の間をビア１２６により結合した。しかしながら、ボンディングワイヤ、バンプ等の他の部材を用いて結合してもよいことはもちろんである。

【0053】

図８は、送信画像信号生成部２０１に換えて使用できる他の送信画像信号生成部２０２のブロック図である。送信画像信号生成部２０２は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、合成マップ生成回路２６１、フレーム合成回路２６２、動体領域抽出回路２６３および動体領域置換回路２６４を含み、いわゆるＨＤＲ合成（Ｈｉ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）処理を実行する。

【0054】

切替回路２２１は、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数のフレーム３１１、３１２、３１３を含む原画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。切替回路２２１の結合先の選択は、先に説明した送信画像信号生成部２０１の場合と同様に、原画像信号受信部２１０が受信した原画像信号のフレームレートの多寡により決定される。

【0055】

即ち、原画像信号のフレームレートが、信号伝送路１３０の帯域で伝送できる範囲に含まれており、且つ、画像処理部１５０により処理できる範囲に含まれている場合、切替回路２２１は、原画像信号受信部２１０をバイパス回路２２２に結合する。これにより、原画像信号は、そのまま送信画像信号として、送信画像信号送信部２４０から送信される。

【0056】

また、原画像信号のフレームレートが、信号伝送路１３０の帯域で伝送できる範囲を超えている場合、あるいは、画像処理部１５０により処理できる範囲を超えている場合、切替回路２２１は、原画像信号受信部２１０を本回路２２３に結合する。これにより、原画像信号は、合成マップ生成回路２６１および動体領域抽出回路２６３の両方に伝えられる。

【0057】

合成マップ生成回路２６１は、表示装置のダイナミックレンジを最大限に活かすべく、複数のフレーム３１１、３１２、３１３を合成する割合を算出する。フレーム合成回路２６２は、合成マップ生成回路２６１により算出された割合に従って、複数のフレーム３１１、３１２、３１３を合成して、単一のフレーム３１４を生成する。これにより、ダイナミックレンジを有効に利用して表現された単一のフレーム３１４が生成される。

【0058】

ただし、複数のフレーム３１１、３１２、３１３において移動した被写体に関しては、画像の輝度を合成した場合に、輪郭がぼけてしまう。そこで、動体領域抽出回路２６３が、複数のフレーム３１１、３１２、３１３相互の間で移動した被写体を含む領域を抽出し、動体領域置換回路２６４が、生成されたフレーム３１４において、動体領域を鮮明な像に置換する。これにより、フレーム３１４は、ダイナミックレンジを有効に利用し、且つ、被写体の輪郭が鮮明な画像となる。

【0059】

このように、送信画像信号生成部２０２を備えた画像信号処理装置２００は、フレーム毎に撮像する場合の露出条件が異なる複数のフレームを合成して、表示装置のダイナミックレンジを最大限に活かせる単一の画像を合成する。よって、ＨＤＲ合成処理を実行する送信画像信号生成部２０２は、複数フレームの原画像信号から、よりフレーム数の少ない送信画像信号を生成して画像処理部１５０に送り出すことができる。

【0060】

これにより、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。また、送信画像信号生成部２０１においてＨＤＲ合成処理が既に実行されているので、画像処理部１５０における画像処理の負荷が更に低減される。

【0061】

なお、切替回路２２１が原画像信号受信部２１０を本回路２２３に結合している場合は、原画像信号に対して常時ＨＤＲ合成処理が実行される。しかしながら、ユーザがＨＤＲ合成処理を望まない場合、送信画像信号生成部２０２は、他の処理により原画像信号のフレームレートを低減してもよい。

【0062】

図９は、送信画像信号生成部２０１、２０２に換えて使用できるまた他の送信画像信号生成部２０３のブロック図である。送信画像信号生成部２０３は、切替回路２２１、バイパス回路２２２および本回路２２３を有する。更に、本回路２２３は、顔検出回路２７１、顔画像生成回路２７２、表情評価回路２７３およびフレーム選択回路２７４を含む。

【0063】

切替回路２２１は、送信画像信号生成部２０１、２０２と同様に、システム制御部１４０からの指示により、原画像信号受信部２１０が受信した複数のフレーム３２１、３２２、３２３、３２４、３２５を含む画像信号を、バイパス回路２２２および本回路２２３のいずれかに選択的に結合する。入力がバイパス回路２２２に結合された場合、原画像信号は、バイパス回路２２２を通じて、送信画像信号送信部２４０に直結される。

【0064】

切替回路２２１が、入力を本回路２２３に結合した場合、複数のフレーム３２１～３２５を含む原画像信号は、まず、顔検出回路２７１において、それぞれの画像に含まれる被写体としての顔を検出される。次いで、顔画像生成回路２７２は、検出された顔のそれぞれを画像化する。これにより、検出された顔の各々について、表情が画像に現れる。

【0065】

次に、表情評価回路２７３は、生成された顔画像のそれぞれにおいて表情の評価値を算出する。評価値としては、口角の形状による笑顔の検出を例示できる。また、検出された顔が撮像装置１００の方を向いていること、検出された画像において目が開いていること等、他の評価値を用いてもよい。更に、複数の評価値を参照して総合的な評価を算出してもよい。

【0066】

こうして、複数のフレーム３２１～３２５の各々に対して評価値が算出されると、フレーム選択回路２７４は、評価値の高いフレーム３２２のみを選択して送信画像信号を生成する。よって、画像処理部１５０には、評価値の高いフレーム３２２が送信され、ユーザの意図が反映されている確率が高い画像が画像処理部１５０により処理され、最終的に記録される。

【0067】

なお、フレーム選択回路２７４により選択されるフレーム３２２は単一とは限らず、予め設定された閾値を超える複数のフレーム３２２が選択されてもよい。ただし、いずれの場合も、最終的に、送信画像信号に含まれるフレーム３２２のフレーム数は、原画像信号に含まれるフレーム数よりも少ない。よって、信号伝送路１３０の伝送速度、および、画像処理部１５０の処理速度よりも高速な読出速度を有する撮像素子が導入された場合であっても、既存の信号伝送路１３０および画像処理部１５０を使用できる。

【0068】

また、顔検出と笑顔による評価を例にあげて説明したが、他の選択基準によりフレームを選択できることはいうまでもない。画像信号処理装置２００は、動体追尾等により主要被写体を特定し、特定した主要被写体が画像全体に占める面積の割合が大きいこと、主要被写体が画像の中央に位置すること、画像における主要被写体の露出バランスが良好であること等、他の評価値により、あるいは、他の評価値も併せて、画像処理部１５０に送信するフレームを選択してもよい。

【0069】

なお、切替回路２２１が原画像信号受信部２１０を本回路２２３に結合している場合は、上記のようなフレーム選択処理が常時実行される。しかしながら、ユーザがフレームの自動的な選択を望まない場合、送信画像信号生成部２０３は、他の処理により原画像信号のフレームレートを低減するようにしてもよい。

【0070】

以上、本発明の実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0071】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の語を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0072】

１００ 撮像装置、１１０ 光学系、１２０ 撮像部、１２１、２５０ 基板、１２２ 撮像素子、１２３ 受光基板、１２４、１３１ フレキシブルケーブル、１２５ 論理基板、１２６、１２７ ビア、１２８ 論理回路、１３０ 信号伝送路、１４０ システム制御部、１５０ 画像処理部、１６０ ワークメモリ、１７０ 操作部材、１８０ 表示部、１９０ 二次記録媒体、２００ 画像信号処理装置、２１０ 原画像信号受信部、２０１、２０２、２０３ 送信画像信号生成部、２２１ 切替回路、２２２ バイパス回路、２２３ 本回路、２２４ リサイズ回路、２２５ アライメント検出回路、２２６ アライメント調整回路、２２７、２６２ フレーム合成回路、２３０ フレームメモリ、２４０ 送信画像信号送信部、２６１ 合成マップ生成回路、２６３ 動体領域抽出回路、２６４ 動体領域置換回路、２７１ 顔検出回路、２７２ 顔画像生成回路、２７３ 表情評価回路、２７４ フレーム選択回路、３０１、３０２、３０３、３１１、３１２、３１３、３１４、３２１、３２２、３２３、３２４、３２５ フレーム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】