知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年5月2日
【発行日】2020年12月3日
(54)【発明の名称】制御装置と制御方法およびプログラム
(51)【国際特許分類】
H04N 5/235 20060101AFI20201106BHJP
H04N 5/232 20060101ALI20201106BHJP
H04N 5/225 20060101ALI20201106BHJP
G03B 7/091 20060101ALN20201106BHJP
【ＦＩ】
H04N5/235 100
H04N5/232 290
H04N5/225 600
G03B7/091
【審査請求】未請求
【予備審査請求】未請求
【全頁数】41
【出願番号】特願2019-549926(P2019-549926)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年9月12日
(31)【優先権主張番号】特願2017-205183(P2017-205183)
(32)【優先日】2017年10月24日
(33)【優先権主張国】JP
(81)【指定国】
AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】金井 俊憲
(72)【発明者】
【氏名】坂口 翔平
【テーマコード（参考）】
2H002
5C122
【Ｆターム（参考）】
2H002AB04
2H002CC01
2H002CC21
2H002CD11
2H002DB14
2H002DB25
2H002DB30
2H002DB32
2H002FB01
2H002FB21
2H002JA07
5C122DA04
5C122DA14
5C122DA26
5C122EA12
5C122FF01
5C122FF17
5C122FF23
5C122FF26
5C122FH10
5C122GG16
5C122GG22
5C122HA03
5C122HA46
5C122HA88
5C122HB01
(57)【要約】
領域抽出部３１は、撮像画から被写体領域の画像と背景領域の画像を抽出する。領域別露出制御量算出部３３は、被写体領域の画像に基づいた被写体領域露出制御量と、背景領域の画像に基づいた背景領域露出制御量の算出を行う。露出制御量算出部３４は、被写体領域露出制御量と背景領域露出制御量の寄与率を設定して、設定した寄与率に基づく混合比で被写体領域露出制御量と背景領域露出制御量を混合して、露出調整に用いる露出制御量を算出する。制御部５５は、露出制御量算出部３４で算出された露出制御量に基づき、シャッター速度や絞り等を制御する。したがって、フラッシュ発光が行われる場合およびフラッシュ発光が行われない場合のいずれでも、撮像画は自然で調和の取れた明るさとなり、安定した露出を得られる。
【特許請求の範囲】
【請求項1】
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部
を備える制御装置。
を備える制御装置。
【請求項2】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づいて前記露出制御量を算出する
請求項１に記載の制御装置。
請求項１に記載の制御装置。
【請求項3】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の寄与率を設定して、前記寄与率に基づいて前記露出制御量を算出する
請求項２に記載の制御装置。
請求項２に記載の制御装置。
【請求項4】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づき前記寄与率を設定する
請求項３に記載の制御装置。
請求項３に記載の制御装置。
【請求項5】
前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合、前記背景領域露出制御量の寄与率を前記被写体領域露出制御量よりも高くする
請求項４に記載の制御装置。
請求項４に記載の制御装置。
【請求項6】
前記露出制御量算出部は、フラッシュ発光が行われない場合、または前記被写体領域露出制御量が前記背景領域露出制御量よりも大きくない場合、前記被写体領域露出制御量の寄与率を前記背景領域露出制御量よりも高くする
請求項４に記載の制御装置。
請求項４に記載の制御装置。
【請求項7】
前記露出制御量算出部は、前記設定した寄与率に基づいて算出される露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように、前記寄与率を調整する
請求項３に記載の制御装置。
請求項３に記載の制御装置。
【請求項8】
前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合に前記寄与率の調整を行う
請求項７に記載の制御装置。
請求項７に記載の制御装置。
【請求項9】
前記露出制御量算出部は、撮像画の取得に関する撮像関連情報に基づいて前記寄与率を調整する
請求項３に記載の制御装置。
請求項３に記載の制御装置。
【請求項10】
前記撮像関連情報は、撮像環境情報、撮像設定情報、前記撮像画の画像状態情報、またはユーザ設定情報のいずれかを含む
請求項９に記載の制御装置。
請求項９に記載の制御装置。
【請求項11】
前記撮像環境情報は、外光の照度または被写体までの距離を含む
請求項１０に記載の制御装置。
請求項１０に記載の制御装置。
【請求項12】
前記撮像設定情報は、シャッター速度、ＩＳＯ感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む
請求項１０に記載の制御装置。
請求項１０に記載の制御装置。
【請求項13】
前記画像状態情報は、前記被写体領域と前記背景領域の面積比、前記撮像画における前記被写体領域の位置、前記背景領域の画像のボケ量のいずれかを含む
請求項１０に記載の制御装置。
請求項１０に記載の制御装置。
【請求項14】
前記露出制御量算出部は、前記ユーザ設定情報を前記撮像関連情報における他の情報よりも優先させて前記寄与率の調整を行う
請求項１０に記載の制御装置。
請求項１０に記載の制御装置。
【請求項15】
撮像画から前記被写体領域の画像と前記背景領域の画像を抽出する領域抽出部と、
前記被写体領域の画像に基づいた前記被写体領域露出制御量の算出と、前記背景領域の画像に基づいた前記背景領域露出制御量の算出を行う領域別露出制御量算出部とをさらに備える
請求項１に記載の制御装置。
前記被写体領域の画像に基づいた前記被写体領域露出制御量の算出と、前記背景領域の画像に基づいた前記背景領域露出制御量の算出を行う領域別露出制御量算出部とをさらに備える
請求項１に記載の制御装置。
【請求項16】
前記領域抽出部は、前記被写体領域と前記背景領域における一方の領域の画像が抽出できない場合、前記撮像画から抽出できた他方の領域の画像を除いた画像を前記一方の領域の画像とする
請求項１５に記載の制御装置。
請求項１５に記載の制御装置。
【請求項17】
前記領域抽出部で前記被写体領域と前記背景領域の画像を抽出できない場合、前記領域別露出制御量算出部は前記撮像画に基づいて全体領域露出制御量を算出して、前記露出制御量算出部は前記領域別露出制御量算出部で算出された前記全体領域露出制御量を前記露出制御量とする
請求項１５に記載の制御装置。
請求項１５に記載の制御装置。
【請求項18】
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出すること
を含む制御方法。
を含む制御方法。
【請求項19】
露出調整に用いる露出制御量の算出をコンピュータで実行させるプログラムであって、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する手順
を前記コンピュータで実行させるプログラム。
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する手順
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、制御装置と制御方法およびプログラムに関し、安定した露出を得られるようにする。【背景技術】
【0002】
従来、撮像装置では、適度な明るさの撮像画を得られるように露出制御が行われている。例えば特許文献１では、被写体領域と背景領域を分離して、それぞれの領域の平均輝度の差から全体の露出制御量を算出している。また、特許文献２では、被写体領域を抽出し、被写体領域と背景領域の測光値から算出したコントラスト値を用いて最終の露出制御量を決定している。【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３−０１３０４１号公報
【特許文献2】特開平０９−０３７１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述の特許文献のように、被写体領域と背景領域の輝度差から露出制御量を算出すると、撮影時のカメラ設定や環境によらず露出制御が行われて、例えばフラッシュ発光を行って得られた撮像画は、発光成分の上乗せにより意図した仕上がりにならない可能性がある。【0005】
そこで、この技術では安定した露出を得られる制御装置と制御方法およびプログラムを提供することを目的とする。【課題を解決するための手段】
【0006】
この技術の第１の側面は、被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部
を備える制御装置にある。
【0007】
この技術においては、撮像画から被写体領域の画像と背景領域の画像が画像抽出部で抽出されて、被写体領域の画像に基づく被写体領域露出制御量と背景領域の画像に基づく背景領域露出制御量が領域別露出制御量算出部で算出される。露出制御量算出部は、被写体領域露出制御量と背景領域露出制御量の寄与率を決定して、寄与率に基づき被写体領域露出制御量と背景領域露出制御量を混合して、露出調整に用いる露出制御量である最終露出制御が算出される。【0008】
露出制御量算出部は、被写体領域露出制御量と背景領域露出制御量の比較結果に基づき寄与率を設定する。例えば被写体領域露出制御量が背景領域露出制御量よりも大きい場合、背景領域露出制御量の寄与率を被写体領域露出制御量よりも高くする。また、フラッシュ発光が行われない場合または被写体領域露出制御量が背景領域露出制御量よりも大きくない場合、被写体領域露出制御量の寄与率を背景領域露出制御量よりも高くする。【0009】
露出制御量算出部は、設定した寄与率に基づいて算出される露出制御量と寄与率が低い領域の露出制御量との差を予め設定された閾値と比較して、露出制御量差が閾値を超えないように寄与率の調整を行う。また、この寄与率の調整は被写体領域露出制御量が背景領域露出制御量よりも大きい場合に行う。【0010】
また、寄与率は、撮像画の取得に関する撮像関連情報、例えば撮像環境情報、撮像設定情報、撮像画の画像状態情報、またはユーザ設定情報の少なくともいずれかに基づいて調整する。撮像環境情報は外光の照度や被写体までの距離を含み、撮像設定情報は、シャッター速度、ＩＳＯ感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む。画像状態情報は、被写体領域と背景領域の面積比、撮像画における被写体領域の位置、背景領域の画像のボケ量のいずれかを含む。また、ユーザ設定情報を撮像関連情報における他の情報よりも優先させて寄与率の調整を行う。【0011】
さらに、領域の抽出において、被写体領域と背景領域における一方の領域の画像が抽出できない場合、撮像画から抽出できた他方の領域の画像を除いた画像を一方の領域の画像とする。また、被写体領域と背景領域の画像を抽出できない場合、撮像画に基づいて全体領域露出制御量を算出して、算出された全体領域露出制御量を露出制御量とする。【0012】
この技術の第２の側面は、被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出すること
を含む制御方法にある。
【0013】
この技術の第３の側面は露出調整に用いる露出制御量の算出をコンピュータで実行させるプログラムであって、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する手順
を前記コンピュータで実行させるプログラムにある。
【0014】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。【発明の効果】
【0015】
この技術によれば、被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量が算出される。このため、算出された露出制御量に応じた露出調整を行うことで、安定した露出を得られるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。【図面の簡単な説明】
【0016】
【図1】撮像装置の構成を例示した図である。
【図2】撮像画を例示した図である。
【図3】被写体領域と背景領域を例示した図である。
【図4】領域露出制御量の補完処理を説明するための図である。
【図5】最終露出制御量の算出動作を例示したフローチャートである。
【図6】最終寄与率の設定時に重視する領域を示した図である。
【図7】最終寄与率の設定処理を示すフローチャートである。
【図8】フラッシュ発光が行われない場合の最終露出制御量の推移を例示した図である。
【図9】フラッシュ発光が行われる場合の最終露出制御量の推移を例示した図である。
【図10】露出制御量と寄与率の関係を例示した図である。
【図11】最終寄与率の第２の設定処理を示すフローチャートである。
【図12】フラッシュ発光が行われない場合の最終露出制御量の推移を例示した図である。
【図13】フラッシュ発光が行われる場合の最終露出制御量の推移を例示した図である。
【図14】最終寄与率の他の設定処理を示すフローチャートである。
【図15】車両制御システムの概略的な構成の一例を示すブロック図である。
【図16】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図17】内視鏡手術システムの概略的な構成の一例を示す図である。
【発明を実施するための形態】
【0017】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。１．撮像装置の構成
２．撮像装置の動作
２−１．第１の動作例
２−２．第２の動作例
２−３．他の動作例
３．応用例
３−１．応用例１
３−２．応用例２
【0018】
＜１．撮像装置の構成＞図１は、本技術を用いた撮像装置の構成を例示している。撮像装置１０は、撮像光学系ブロック２１、イメージセンサ部２２、信号処理部２３、現像処理部２４、画像記録部２５を有している。また、撮像装置１０は、領域抽出部３１、全体領域測光部３２ｗ、被写体領域測光部３２ｍ、背景領域測光部３２ｂ、領域別露出制御量算出部３３、露出制御量算出部３４、ユーザインタフェース部５１、制御部５５を有している。さらに、撮像装置１０は、発光制御量算出部４１とフラッシュユニット６１等を有していてもよい。
【0019】
撮像光学系ブロック２１は、フォーカスレンズやズームレンズ等のレンズ群で構成されており、所望の被写体サイズとされた光学像をイメージセンサ部２２の撮像面に結像させる。また、撮像光学系ブロック２１は、光学像の光量を調整する絞り機構を設けた構成であってもよい。【0020】
イメージセンサ部２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）メージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等と、イメージセンサを駆動する駆動部で構成されている。イメージセンサ部２２は、光電変換を行い光学像に応じた撮像信号を生成して信号処理部２３へ出力する。【0021】
信号処理部２３は、イメージセンサ部２２で生成された撮像信号に対してアナログ／デジタル変換やノイズ除去，欠陥補正等の信号処理を行い、信号処理後の画像信号を現像処理部２４と領域抽出部３１および全体領域測光部３２ｗへ出力する。なお、信号処理後の画像信号をＲＡＷ画像データともいう。【0022】
現像処理部２４は、信号処理部２３から供給された画像データに対して現像処理を行う。現像処理では、ガンマ補正、ホワイトバランス調整、色空間変換、光学歪補正等の一部または全ての処理を含む。また、現像処理部２４は、イメージセンサ部２２のイメージセンサでカラーモザイクフィルタが用いられている場合、デモザイク処理を行い色成分ごとの画像データを生成する。現像処理部２４は、現像処理後の画像データを画像記録部２５へ出力する。【0023】
画像記録部２５には、記録媒体が固定状態または着脱可能に設けられている。画像記録部２５は、現像処理部２４から出力された画像データを所定フォーマットのデータに変換して記録媒体に記録する。また、画像記録部２５は、所定フォーマットのデータに関する付属情報を所定フォーマットのデータに関連付けて記録する。【0024】
領域抽出部３１は、信号処理部２３から供給された画像データと予め設定された抽出条件に基づき、撮像画から被写体領域と背景領域を抽出する。被写体領域は、例えば被写体認識によって撮像画から検出した人物などの注目被写体（主被写体）を示す画像領域である。また、背景領域は、例えば所定距離よりも離れている空や雲などを示す画像領域である。なお、背景領域は、後述するように、撮像画から被写体領域を除いた画像領域としてもよい。領域抽出部３１は、被写体領域の画像データを被写体領域測光部３２ｍへ出力して、背景領域の画像データを背景領域測光部３２ｂへ出力する。【0025】
図２は、信号処理部２３から供給された画像データが示す撮像画を例示しており、撮像画には、被写体ＯＢａ，ＯＢｂと被写体ＯＢｃ，ＯＢｄ、地面ＯＢｅ、空ＯＢｆが含まれている。なお、以下の説明では、被写体ＯＢａ，ＯＢｂを注目被写体として、被写体ＯＢａ，ＯＢｂの画像領域を被写体領域とする。【0026】
図３は、被写体領域と背景領域を例示した図である。領域抽出部３１は、被写体領域と背景領域を個々に抽出する。なお、図３および後述する図４では、抽出されていない領域を斜線で示している。領域抽出部３１は、図３の（ａ）に示すように、被写体ＯＢａ，ＯＢｂの画像領域を被写体領域として抽出して、例えば空の白飛びを抑制するために空ＯＢｆの画像領域を背景領域として抽出する。この場合、被写体ＯＢｃ，ＯＢｄおよび地面ＯＢｅの画像領域は、被写体領域と背景領域のいずれにも該当しない領域として処理される。【0027】
また、領域抽出部３１は、被写体領域と背景領域のいずれか一方の領域を抽出して、抽出されていない領域を他方の領域としてもよい。領域抽出部３１は、図３の（ｂ）に示すように、被写体ＯＢａと被写体ＯＢｂの画像領域を被写体領域として抽出して、他の画像領域を背景領域とする。【0028】
なお、領域の抽出は、例えば画像データを用いて算出した局所特徴量と被写体モデルの学習結果を比較して、注目被写体の学習結果に類似する局所特徴量が算出された領域を被写体領域として抽出する。また、領域の抽出は、局所特徴量を用いた手法に限らず、被写体までの距離等に基づき撮像装置との距離が近い、またはある一定距離内にある前景を被写体とし、それ以外を背景とするように被写体領域と背景領域の抽出を行ってもよい。なお、距離情報は、撮像装置１０に測距センサを設けて測距センサから取得してもよく、イメージセンサ部２２のイメージセンサとして像面位相差画素を設けたイメージセンサを用いて、像面位相差画素の画素信号に基づいて距離情報を取得してもよい。【0029】
全体領域測光部３２ｗは、信号処理部２３から供給された画像データに基づき画面全体の測光処理を行う。全体領域測光部３２ｗは、測光処理によって算出した測光値を領域別露出制御量算出部３３へ出力する。【0030】
被写体領域測光部３２ｍは、領域抽出部３１から供給された被写体領域の画像データに基づき被写体領域の測光処理を行う。被写体領域測光部３２ｍは、測光処理によって算出した測光値を領域別露出制御量算出部３３へ出力する。【0031】
背景領域測光部３２ｂは、領域抽出部３１から供給された背景領域の画像データに基づき背景領域の測光処理を行う。背景領域測光部３２ｂは、測光処理によって算出した測光値を領域別露出制御量算出部３３へ出力する。【0032】
領域別露出制御量算出部３３は、全体領域露出制御量算出部３３ｗと被写体領域露出制御量算出部３３ｍと背景領域露出制御量算出部３３ｂを有しており、領域ごとに露出制御量を算出する。なお、露出制御量とは例えばＥＶ（exposure value）値である。また、露出制御量は現在のＥＶ値からの増減量を示す相対値でもよい。全体領域露出制御量算出部３３ｗは、全体領域測光部３２ｗから供給された測光値に基づいて全体領域露出制御量を算出する。また、被写体領域露出制御量算出部３３ｍは、被写体領域測光部３２ｍから供給された測光値に基づいて被写体領域露出制御量を算出する。さらに、背景領域露出制御量算出部３３ｂは、背景領域測光部３２ｂから供給された測光値に基づいて背景領域露出制御量を算出する。領域別露出制御量算出部３３は、全体領域露出制御量算出部３３ｗと被写体領域露出制御量算出部３３ｍと背景領域露出制御量算出部３３ｂで算出した領域露出制御量を露出制御量算出部３４へ出力する。【0033】
露出制御量算出部３４は、露出調整に用いる露出制御量（最終露出制御量ともいう）を算出する。露出制御量算出部３４は、最終露出制御量を算出する際の被写体領域と背景領域の寄与率（以下「最終寄与率」という）を設定して、設定した最終寄与率に応じて被写体領域露出制御量と背景領域露出制御量を混合して最終露出制御量を算出する。露出制御量算出部３４は、被写体領域露出制御量と背景領域露出制御量の比較結果とフラッシュユニット６１のフラッシュ発光動作に基づき最終寄与率を設定する。例えば被写体領域の寄与率が１００％の時には背景領域の寄与率を０％として、被写体領域露出制御量を最終露出制御量とする。【0034】
また、露出制御量算出部３４は、被写体領域または背景領域のいずれか一方の領域について領域露出制御量が算出されていない場合、算出されていない他方の領域の領域露出制御量を補完する。【0035】
図４は、領域露出制御量の補完処理を説明するための図であり、全体領域は被写体領域と背景領域で構成されている。すなわち、背景領域は被写体領域を反転させた領域とする。この場合、全体領域露出制御量ＣＶｗと被写体領域露出制御量ＣＶｍとの露出制御量差（ＣＶｗ−ＣＶｍ）と、全体領域露出制御量ＣＶｗと背景領域露出制御量ＣＶｂとの露出制御量差（ＣＶｗ−ＣＶｂ）は、式（１）に示す関係となる。（ＣＶｗ−ＣＶｍ）＝−（ＣＶｗ−ＣＶｂ） ・・・（１）
【0036】
したがって、背景領域露出制御量ＣＶｂが算出されていない場合、式（２）に基づき背景領域露出制御量ＣＶｂを算出して、被写体領域露出制御量ＣＶｍが算出されていない場合、式（３）に基づき被写体領域露出制御量ＣＶｍを算出する。ＣＶｂ＝２ＣＶｗ−ＣＶｍ ・・・（２）
ＣＶｍ＝２ＣＶｗ−ＣＶｂ ・・・（３）
【0037】
発光制御量算出部４１は、撮像装置１０に設けた測光センサ（図示せず）または露出制御量算出部３４から供給された露出制御量に基づき、フラッシュユニット６１でフラッシュ発光を行う必要があるか判別して、フラッシュ発光判別結果を露出制御量算出部３４へ出力する。また、発光制御量算出部４１は、フラッシュ発光を行う必要があると判別した場合、フラッシュユニット６１の発光量を設定するための発光制御量を最終露出制御量に基づき算出して、発光制御量を制御部５５へ出力する。【0038】
ユーザインタフェース部５１は、操作スイッチや操作ボタン，タッチパネル等を用いて構成されており、ユーザ操作（シャッター操作や各種設定操作等）に応じた操作信号を制御部５５へ出力する。【0039】
制御部５５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read Only Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random Access Memory）は、各種パラメータ等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、ユーザインタフェース部５１からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置１０で行われるように各部を制御する。【0040】
また、制御部５５は、露出制御を行う露出制御部５５ａとフラッシュ発光の制御を行う発光制御部５５ｂを有している。露出制御部５５ａは、露出制御量算出部３４で算出された最終露出制御量に基づきシャッタースピードや絞り，ＩＳＯ値を設定して、設定に応じた露出制御信号を撮像光学系ブロック２１やイメージセンサ部２２へ出力する。また、露出制御部５５ａは、この時の各制御値（シャッタースピードや絞り，ＩＳＯ値）を領域別露出制御量算出部３３へ出力して、次回の制御量の算出に用いるようにする。発光制御部５５ｂは、発光制御量算出部４１から供給された発光制御値に基づき発光制御信号を生成してフラッシュユニット６１へ出力する。【0041】
フラッシュユニット６１は、発光制御部５５ｂから供給された発光制御信号に基づいた発光量でシャッター動作のタイミングに合わせてフラッシュ発光を行う。【0042】
＜２．撮像装置の動作＞＜２−１．第１の動作例＞
次に、撮像装置１０の動作について説明する。図５は、撮像装置における最終露出制御量の算出動作を例示したフローチャートであり、被写体領域と背景領域を個々に抽出する場合を示している。
【0043】
ステップＳＴ１で撮像装置は画面全体の測光処理を行う。撮像装置１０の全体領域測光部３２ｗは、信号処理部２３から供給された画像データに基づき画面全体の測光値を算出してステップＳＴ２に進む。【0044】
ステップＳＴ２で撮像装置は全体領域露出制御量ＣＶｗを算出する。撮像装置１０の全体領域露出制御量算出部３３ｗは、ステップＳＴ１で算出した測光値に基づき適正露出とするための全体領域露出制御量ＣＶｗを算出してステップＳＴ３に進む。【0045】
ステップＳＴ３で撮像装置は被写体領域を抽出する。撮像装置１０の領域抽出部３１は、信号処理部２３から供給された画像データを用いて被写体領域の抽出を行いステップＳＴ４に進む。【0046】
ステップＳＴ４で撮像装置は抽出が成功したか判別する。撮像装置１０は、被写体領域の抽出が成功した場合にステップＳＴ５に進み、成功していない場合はステップＳＴ７に進む。【0047】
ステップＳＴ５で撮像装置は被写体領域の測光処理を行う。撮像装置１０の被写体領域測光部３２ｍは、領域抽出部３１から供給された被写体領域の画像データに基づき測光値を算出してステップＳＴ６に進む。【0048】
ステップＳＴ６で撮像装置は被写体領域露出制御量ＣＶｍを算出する。撮像装置１０の被写体領域露出制御量算出部３３ｍは、ステップＳＴ５で算出した測光値に基づき適正露出とするための被写体領域露出制御量ＣＶｍを算出してステップＳＴ７に進む。【0049】
ステップＳＴ７で撮像装置は背景領域を抽出する。撮像装置１０の領域抽出部３１は、信号処理部２３から供給された画像データを用いて背景領域の抽出を行いステップＳＴ８に進む。【0050】
ステップＳＴ８で撮像装置は抽出が成功したか判別する。撮像装置１０は、背景領域の抽出が成功した場合にステップＳＴ９に進み、成功していない場合はステップＳＴ１１に進む。【0051】
ステップＳＴ９で撮像装置は背景領域の測光処理を行う。撮像装置１０の背景領域測光部３２ｂは、領域抽出部３１から供給された背景領域の画像データに基づき測光値を算出してステップＳＴ１０に進む。【0052】
ステップＳＴ１０で撮像装置は背景領域露出制御量ＣＶｂを算出する。撮像装置１０の背景領域露出制御量算出部３３ｂは、ステップＳＴ９で算出した測光値に基づき適正露出とするための背景領域露出制御量ＣＶｂを算出してステップＳＴ１１に進む。【0053】
ステップＳＴ１１で撮像装置は各領域を抽出したか判別する。撮像装置１０は、被写体領域と背景領域を抽出した場合にステップＳＴ１４に進み、他の場合にステップＳＴ１２に進む。【0054】
ステップＳＴ１２で撮像装置は一方の領域のみを抽出したか判別する。撮像装置１０は、被写体領域と背景領域のいずれか一方のみを抽出した場合にステップＳＴ１３に進み、被写体領域と背景領域の両方を抽出していない場合にステップＳＴ１６に進む。【0055】
ステップＳＴ１３で撮像装置は抽出されていない領域の領域露出制御量を算出する。撮像装置１０の露出制御量算出部３４は、全体領域の全体領域露出制御量と抽出されている領域の領域露出制御量に基づき、抽出されていない領域の領域露出制御量を算出してステップＳＴ１４に進む。【0056】
ステップＳＴ１４で撮像装置は最終寄与率の設定処理を行う。最終寄与率は、露出調整に用いる最終露出制御量を算出するための寄与率であり、最終寄与率の混合比で被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂを混合して最終露出制御量ＣＶｆを算出できるようにする。最終寄与率の設定処理では、フラッシュ発光と被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂに基づき、最終寄与率の設定処理で重視する領域を判別する。【0057】
図６は、最終寄与率の設定時に重視する領域を示している。露出制御量算出部３４は、フラッシュユニット６１でフラッシュ発光が行われない場合、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂにかかわらず被写体領域を重視して最終寄与率を設定する。また、露出制御量算出部３４は、フラッシュ発光が行われる場合、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂとの比較結果に基づき、領域露出制御量が小さい領域を重視して最終寄与率を設定する。すなわち、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合は背景領域を重視して最終寄与率の設定を行い、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも小さい場合は被写体領域を重視して最終寄与率の設定を行う。露出制御量算出部３４は、重視する領域の領域露出制御量の寄与率が高くされている最終寄与率の混合比で被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂを混合して最終露出制御量ＣＶｆを算出する。【0058】
図７は最終寄与率の設定処理を示すフローチャートである。ステップＳＴ２１で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部３４は、発光制御量算出部４１から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップＳＴ２２に進み、フラッシュ発光が行われないと判別した場合にステップＳＴ２４に進む。【0059】
ステップＳＴ２２で露出制御量算出部は被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きいか判別する。露出制御量算出部３４は、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合にステップＳＴ２３に進み、大きくない場合にステップＳＴ２４に進む。【0060】
ステップＳＴ２３で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部３４は、背景領域を重視して仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」を設定してステップＳＴ２５に進む。【0061】
ステップＳＴ２４で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部３４は、被写体領域を重視して仮の寄与率「Ｒｍtmp:Ｒｂtmp（＜Ｒｍtmp）」を設定してステップＳＴ２５に進む。【0062】
ステップＳＴ２５で露出制御量算出部は最終寄与率を設定する。露出制御量算出部３４は、ステップＳＴ２３またはステップＳＴ２４で設定された仮の寄与率「Ｒｍtmp:Ｒｂtmp」を最終寄与率「Ｒｍf：Ｒｂf」として、最終寄与率の設定処理を終了する。【0063】
図５に戻り、ステップＳＴ１４で最終寄与率の設定処理を行ったのち、ステップＳＴ１５で撮像装置は最終露出制御量ＣＶｆを算出する。露出制御量算出部３４は、ステップＳＴ６で算出した被写体領域露出制御量ＣＶｍとステップＳＴ１０で算出した背景領域露出制御量ＣＶｂを、ステップＳＴ１４で設定された最終寄与率「Ｒｍf：Ｒｂf」の混合比で混合して、露出調整に用いる最終露出制御量ＣＶｆを算出して、最終露出制御量の算出動作を終了する。なお、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂが等しい場合、最終寄与率「Ｒｍf：Ｒｂf」にかかわらず最終露出制御量ＣＶｆは、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂに等しくなる。【0064】
ステップＳＴ１２からステップＳＴ１６に進むと、露出制御量算出部は全体領域露出制御量ＣＶｗを最終露出制御量ＣＶｆとする。撮像装置１０の露出制御量算出部３４は、被写体領域と背景領域が抽出されていないことから、全体領域露出制御量ＣＶｗを最終露出制御量ＣＶｆとして、最終露出制御量の算出動作を終了する。【0065】
なお、最終露出制御量の算出動作は、図５に示す順序で行う場合に限られない。例えばステップＳＴ１，２の処理群と、ステップＳＴ３乃至ステップＳＴ６の処理群、ステップＳＴ７乃至ステップＳＴ１０の処理群は、いずれの処理群を先に行ってもよい。【0066】
図８は、フラッシュ発光が行われない場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を１００％とする。また、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂは一例であり、露出制御量には上限ＣＶupと下限ＣＶloが設定されている。【0067】
フラッシュユニット６１でフラッシュ発光が行われない場合、上述のように重視する領域は被写体領域に設定される。また、重視する領域の寄与率が１００％であることから、最終露出制御量ＣＶｆは、被写体領域露出制御量ＣＶｍと等しくなる。さらに、露出制御量には上限ＣＶupと下限ＣＶloが設定されていることから、最終露出制御量ＣＶｆは上限ＣＶupと下限ＣＶloで制限される。したがって、最終露出制御量ＣＶｆは、被写体領域露出制御量ＣＶｍと等しく実線Ｌａで示すように推移する。なお、重視する領域の寄与率が１００％よりも低い場合、上限ＣＶupと下限ＣＶloの範囲内における実線Ｌａの傾きは寄与率が小さくなるに伴い緩やかとなる。【0068】
図９は、フラッシュ発光が行われる場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を１００％とする。また、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂは一例であり、露出制御量には上限ＣＶupと下限ＣＶloが設定されている。【0069】
フラッシュユニット６１でフラッシュ発光が行われるとき、上述のように被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合、重視する領域は背景領域に設定されて、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも小さい場合、重視する領域は被写体領域に設定される。また、重視する領域の寄与率が１００％であることから、最終露出制御量ＣＶｆは、被写体領域が重視される場合に被写体領域露出制御量ＣＶｍと等しくなり、背景領域が重視される場合に背景領域露出制御量ＣＶｂと等しくなる。また、露出制御量には上限ＣＶupと下限ＣＶloが設定されていることから、最終露出制御量ＣＶｆは、上限ＣＶupと下限ＣＶloで制限される。したがって、最終露出制御量ＣＶｆは、実線Ｌｂで示すように推移する。なお、重視する領域の寄与率が１００％よりも低い場合、上限ＣＶupと下限ＣＶloの範囲内における実線Ｌｂの傾きは、被写体領域を重視する場合に寄与率が小さくなるに伴い緩やかとなり、背景領域を重視する場合に寄与率が小さくなるに伴い急峻となる。【0070】
このように、本技術によれば、フラッシュユニット６１のフラッシュ発光動作と、被写体領域の露出制御量と背景領域の露出制御量に基づき、最終露出制御量が決定される。このため、フラッシュ発光が行われる場合およびフラッシュ発光が行われない場合のいずれでも、自然で調和の取れた明るさの撮影画像を得られる露出制御を自動的に行うことができる。また、被写体と背景領域のいずれか一方または両方が抽出できなかった場合でも安定した露出制御を行うことができる。【0071】
＜２−２．第２の動作例＞次に、撮像装置１０の第２の動作例について説明する。被写体領域と背景領域の輝度差が大きい場合、一方の領域の寄与率が高いと他方の領域が明るくまたは暗くなりすぎてしまう場合がある。そこで、第２の動作例では、被写体領域と背景領域の輝度差が大きく一方の領域の寄与率が高い場合でも、他方の領域が明るくまたは暗くなりすぎてしまうことがないように露出制御を行う。
【0072】
一方の領域の寄与率が高くても他方の領域が明るくまたは暗くなりすぎてしまうことがないように露出制御を行う場合、被写体領域を露出オーバー状態として背景領域との輝度差を減少させる必要性は少ないと考えられる。したがって、第２の動作例では、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きく被写体領域が露出オーバー状態に調整されることがない場合に、寄与率の調整を行う。【0073】
図１０は、露出制御量と寄与率の関係を例示しており、被写体領域露出制御量ＣＶｍは背景領域露出制御量ＣＶｂよりも大きい。ここで、重視する領域が背景領域に設定された場合、露出制御量算出部３４は、背景領域を重視した仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」を設定する。また、仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」の露出制御量ＣＶtmpと寄与率の低い被写体領域露出制御量ＣＶｍとの露出制御量差ＣＶdifが閾値Ｃthを超える場合、露出制御量算出部３４は、露出制御量ＣＶtmpと被写体領域露出制御量ＣＶｍとの露出制御量差ＣＶdifが閾値ＣＶthを超えないように仮の寄与率を調整する。例えば、露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶthと等しくなるように仮の寄与率を調整して、調整後の寄与率を最終寄与率「Ｒｍf：Ｒｂf（＞Ｒｍf）」とする。また、露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶthを超えない場合、仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」を最終寄与率「Ｒｍf：Ｒｂf（＞Ｒｍf）」とする。【0074】
図１１は、最終寄与率の第２の設定処理を示すフローチャートであり、露出制御量差ＣＶdifが閾値ＣＶthを超えないように最終寄与率を設定する場合を示している。なお、図１１におけるステップＳＴ３１乃至ステップＳＴ３４の処理は、図７におけるステップＳＴ２１乃至ステップＳＴ２４の処理に対応している。【0075】
ステップＳＴ３１で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部３４は、発光制御量算出部４１から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップＳＴ３２に進み、フラッシュ発光が行われないと判別した場合にステップＳＴ３４に進む。【0076】
ステップＳＴ３２で露出制御量算出部は被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きいか判別する。露出制御量算出部３４は、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合にステップＳＴ３３に進み、大きくない場合にステップＳＴ３４に進む。【0077】
ステップＳＴ３３で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部３４は、背景領域を重視した仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」を設定してステップＳＴ３５に進む。【0078】
ステップＳＴ３４で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部３４は、被写体領域を重視した仮の寄与率「Ｒｍtmp:Ｒｂtmp（＜Ｒｍtmp）」を設定してステップＳＴ３５に進む。【0079】
ステップＳＴ３５で露出制御量算出部は仮の寄与率に応じた露出制御量ＣＶtmpを算出する。露出制御量算出部３４は、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂを、ステップＳＴ３３またはステップＳＴ３４で設定された仮の寄与率「Ｒｍtmp:Ｒｂtmp」の混合比で混合して、露出制御量ＣＶtmpを算出してステップＳＴ３６に進む。【0080】
ステップＳＴ３６で露出制御量算出部は露出制御量差ＣＶdifを算出する。露出制御量算出部３４は、ステップＳＴ３５で算出した露出制御量ＣＶtmpと寄与率の低い露出制御量との露出制御量差ＣＶdifを算出してステップＳＴ３７に進む。【0081】
ステップＳＴ３７で露出制御量算出部は露出制御量差ＣＶdifと閾値ＣＶthを比較する。露出制御量算出部３４は、ステップＳＴ３６で算出した露出制御量差ＣＶdifと予め設定されている閾値ＣＶthを比較する。露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶthよりも大きい場合はステップＳＴ３８に進み、露出制御量差ＣＶdifが閾値ＣＶthよりも大きくない場合はステップＳＴ３９に進む。【0082】
ステップＳＴ３８で露出制御量算出部は寄与率の調整を行う。露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶth以内、例えば露出制御量差ＣＶdifが閾値ＣＶthと等しくなるように仮の寄与率の調整を行い、調整後の寄与率を最終寄与率「Ｒｍf：Ｒｂf」として最終寄与率の設定処理を終了する。【0083】
ステップＳＴ３９で露出制御量算出部は仮の寄与率を最終寄与率に設定する。露出制御量算出部３４は、仮の寄与率「Ｒｍtmp:Ｒｂtmp」を最終寄与率「Ｒｍf：Ｒｂf」として最終寄与率の設定処理を終了する。【0084】
その後、第１の動作例と同様に、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂを最終寄与率「Ｒｍf：Ｒｂf」の混合比で混合して、露出調整に用いる最終露出制御量ＣＶｆを算出して、最終露出制御量ＣＶｆに基づき露出制御を行う。【0085】
図１２は、フラッシュ発光が行われない場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を１００％とする。また、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂは一例であり、露出制御量には上限ＣＶupと下限ＣＶloが設定されている。【0086】
フラッシュユニット６１でフラッシュ発光が行われない場合、上述のように重視する領域は被写体領域に設定される。また、重視する領域の寄与率が１００％であることから、最終露出制御量ＣＶｆは、被写体領域露出制御量ＣＶｍと等しくなる。さらに、露出制御量には上限ＣＶupと下限ＣＶloが設定されていることから、最終露出制御量ＣＶｆは上限ＣＶupと下限ＣＶloで制限される。また、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きく、仮の寄与率に基づいて算出した露出制御量ＣＶtmpと寄与率の低い背景領域露出制御量ＣＶｂとの露出制御量差ＣＶdifが閾値Ｃthを超える場合、露出制御量差ＣＶdifが閾値ＣＶth以内、例えば露出制御量差ＣＶdifが閾値ＣＶthと等しくなるように仮の寄与率の調整が行われる。したがって、最終露出制御量ＣＶｆは、実線Ｌａで示すように推移する。なお、重視する領域の寄与率が１００％よりも低い場合、上限ＣＶupと下限ＣＶloの範囲内において、露出制御量差ＣＶdifが閾値Ｃthを超えるまでの実線Ｌａの傾きは、寄与率が小さくなるに伴い緩やかとなる。【0087】
図１３は、フラッシュ発光が行われる場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を１００％とする。また、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂは一例であり、露出制御量には上限ＣＶupと下限ＣＶloが設定されている。【0088】
フラッシュユニット６１でフラッシュ発光が行われるとき、上述のように被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合、重視する領域は背景領域に設定されて、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも小さい場合、重視する領域は被写体領域に設定される。また、重視する領域の寄与率が１００％であることから、最終露出制御量ＣＶｆは、被写体領域が重視される場合に被写体領域露出制御量ＣＶｍと等しくなり、背景領域が重視される場合に背景領域露出制御量ＣＶｂと等しくなる。また、露出制御量には上限ＣＶupと下限ＣＶloが設定されていることから、最終露出制御量ＣＶｆは、上限ＣＶupと下限ＣＶloで制限される。さらに、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きく、仮の寄与率に基づいて算出した露出制御量ＣＶtmpと寄与率の低い被写体領域露出制御量ＣＶｍとの露出制御量差ＣＶdifが閾値Ｃthを超える場合、露出制御量差ＣＶdifが閾値ＣＶth以内、例えば露出制御量差ＣＶdifが閾値ＣＶthと等しくなるように仮の寄与率の調整が行われる。したがって、最終露出制御量ＣＶｆは、実線Ｌｂで示すように推移する。なお、重視する領域の寄与率が１００％よりも低い場合、上限ＣＶupと下限ＣＶloの範囲内において、露出制御量差ＣＶdifが閾値Ｃthを超えるまでの実線Ｌｂの傾きは、被写体領域を重視する場合に寄与率が小さくなるに伴い緩やかとなり、背景領域を重視する場合に寄与率が小さくなるに伴い急峻となる。【0089】
このように、第２の動作例では、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きく、重視する領域が背景領域に設定される場合に、露出制御量差ＣＶdifが閾値Ｃthを超えないように調整された最終寄与率を用いて露出制御が行われる。すなわち、最終寄与率は、設定した最終寄与率に基づいて算出される最終露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように調整される。したがって、例えば被写体領域よりも背景領域が暗いシーン（夜景や暗い建物の前での撮影など）において、背景領域に露出を合わせるように露出調整を行った場合、被写体領域が露出オーバー状態となってしまうことを防止できるようになる。【0090】
なお、上述の最終露出制御量の算出動作において、最終寄与率は、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きく、重視する領域が背景領域に設定される場合に、露出制御量差ＣＶdifが閾値Ｃthを超えないように調整される場合に限られない。最終寄与率は、露出制御量差ＣＶdifと閾値Ｃthとの比較結果に基づき調整してもよい。例えば露出制御量差ＣＶdifの絶対値が閾値Ｃthよりも大きい場合、露出制御量差ＣＶdifの絶対値が閾値Ｃthを超えないように寄与率の調整を行う。この場合、被写体領域の輝度を高めて背景領域との輝度差を減少させる動作も行われるようになる。【0091】
このような第２の動作例によれば、第１の動作例と同様な作用効果を得ることができる。さらに、第２の動作例では、最終露出制御量と寄与率の低い領域露出制御量との差は閾値を超えないように調整される。したがって、第２の動作例によれば、逆光時などのような被写体と背景の輝度差が大きいシーンであっても、被写体と背景のいずれも明るくまたは暗くなりすぎることのない撮像画を取得することが可能となる。【0092】
＜２−３．他の動作例＞次に、撮像装置１０の他の動作例について説明する。他の動作例では、被写体領域の露出制御量と背景領域の露出制御量の比較結果とフラッシュ発光動作だけでなく、撮像関連情報を用いて最終寄与率を決定する場合について説明する。
【0093】
撮像関連情報は、撮像画の取得や取得した撮像画に関連した情報であり、撮像環境情報、撮像設定情報、画像状態情報、ユーザ設定情報の少なくともいずれかの情報を含む。撮像環境情報は、外光の照度や被写体までの距離を含む。撮像設定情報は、シャッター速度，ＩＳＯ感度，絞り値，距離，被写体までのフラッシュ発光量，フラッシュ到達距離等のいずれかを含む。また、画像状態情報は、被写体領域と背景領域の面積比，撮像画像における被写体領域の位置，背景領域の画像のボケ量等のいずれかを含む。さらに、ユーザ設定情報は、撮像モード、被写体領域と背景領域のいずれが重視する領域として指定されているか示す情報等を含む。【0094】
露出制御量算出部３４は、最終露出制御量を算出する際の被写体領域と背景領域の寄与率を、被写体領域と背景領域との露出制御量の比較結果、フラッシュ発光動作および撮像関連情報に基づき決定する。露出制御量算出部３４は、決定した寄与率に応じて被写体領域露出制御量と背景領域露出制御量を混合して最終露出制御量を算出する。例えば、露出制御量算出部３４は、最終寄与率において被写体領域の寄与率が８０％で背景領域の寄与率が２０％である場合、被写体領域露出制御量と背景領域露出制御量を「８：２」の割合で混合して最終露出制御量とする。【0095】
また、露出制御量算出部３４は、被写体領域または背景領域のいずれか一方の領域について領域露出制御量が算出されていない場合、上述したように、算出されていない他方の領域の領域露出制御量を補完する。【0096】
図１４は、最終寄与率の他の設定処理を示すフローチャートであり、露出制御量の比較結果とフラッシュ発光動作および撮像関連情報に基づき最終寄与率を設定する場合を示している。なお、図１４におけるステップＳＴ４１乃至ステップＳＴ４８の処理は、図１１におけるステップＳＴ３１乃至ステップＳＴ３８の処理に対応している。【0097】
ステップＳＴ４１で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部３４は、発光制御量算出部４１から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップＳＴ４２に進み、フラッシュ発光が行われないと判別した場合にステップＳＴ４４に進む。【0098】
ステップＳＴ４２で露出制御量算出部は被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きいか判別する。露出制御量算出部３４は、被写体領域露出制御量ＣＶｍが背景領域露出制御量ＣＶｂよりも大きい場合にステップＳＴ４３に進み、大きくない場合にステップＳＴ４４に進む。【0099】
ステップＳＴ４３で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部３４は、背景領域を重視した仮の寄与率「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」を設定してステップＳＴ４５に進む。【0100】
ステップＳＴ４４で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部３４は、被写体領域を重視した仮の寄与率「Ｒｍtmp:Ｒｂtmp（＜Ｒｍtmp）」を設定してステップＳＴ４５に進む。【0101】
ステップＳＴ４５で露出制御量算出部は仮の寄与率に応じた露出制御量ＣＶtmpを算出する。露出制御量算出部３４は、被写体領域露出制御量ＣＶｍと背景領域露出制御量ＣＶｂを、ステップＳＴ４３またはステップＳＴ４４で設定された仮の寄与率「Ｒｍtmp:Ｒｂtmp」の混合比で混合して、露出制御量ＣＶtmpを算出してステップＳＴ４６に進む。【0102】
ステップＳＴ４６で露出制御量算出部は露出制御量差ＣＶdifを算出する。露出制御量算出部３４は、ステップＳＴ４５で算出した露出制御量ＣＶtmpと寄与率の低い領域露出制御量との露出制御量差ＣＶdifを算出してステップＳＴ４７に進む。【0103】
ステップＳＴ４７で露出制御量算出部は露出制御量差ＣＶdifと閾値ＣＶthを比較する。露出制御量算出部３４は、ステップＳＴ４６で算出した露出制御量差ＣＶdifと予め設定されている閾値ＣＶthを比較する。露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶthよりも大きい場合はステップＳＴ４８に進み、露出制御量差ＣＶdifが閾値ＣＶthよりも大きくない場合はステップＳＴ４９に進む。【0104】
ステップＳＴ４８で露出制御量算出部は寄与率の調整を行う。露出制御量算出部３４は、露出制御量差ＣＶdifが閾値ＣＶth以内、例えば露出制御量差ＣＶdifが閾値ＣＶthと等しくなるように仮の寄与率の調整を行いステップＳＴ４９に進む。【0105】
ステップＳＴ４９で、露出制御量算出部は撮像関連情報に基づき寄与率を調整する。露出制御量算出部３４は、ステップＳＴ４３またはステップＳＴ４４で設定された仮の寄与率、または露出制御量差ＣＶdifが閾値ＣＶthを超えないようにステップＳＴ４８で調整された仮の寄与率を撮像関連情報に基づき調整する。露出制御量算出部３４は、調整後の寄与率を最終寄与率として設定する。【0106】
露出制御量算出部３４は、撮像関連情報が撮像環境情報例えば外光照度（例えばＬＶ(Light Value)値）を示す場合、照度が大きいときには、背景が暗くなりすぎないように寄与率を調整する。【0107】
露出制御量算出部３４は、撮像関連情報が撮像環境情報例えば被写体までの距離と撮像設定情報例えばフラッシュ到達距離を示す場合、フラッシュ光が被写体に届かないと判断したとき被写体領域の寄与率を上げる調整を行う。【0108】
露出制御量算出部３４は、撮像関連情報が画像状態情報例えば撮像画における被写体領域の面積比である場合、面積比が大きくなるに伴い被写体領域の寄与率を上げる調整を行う。撮像画に基づく情報が例えば撮像画における被写体領域の位置である場合、注目する被写体等が中央付近であるとき被写体領域の寄与率を上げる調整を行う。さらに、撮像画に基づく情報として背景領域のボケ量の度合いに応じて寄与率の調整を行い、背景のボケ量が大きくなるに伴い被写体領域の寄与率を上げる調整を行う。【0109】
露出制御量算出部３４は、撮像関連情報のユーザ設定情報によって、複数の撮像モード例えば人物の撮像に適した撮像モードや風景の撮像に適した撮像モードあるいは夜景の撮像に適した撮像モード等からユーザが選択した撮像モードが示されている場合、選択した撮像モードに応じて寄与率の調整を行う。【0110】
さらに、露出制御量算出部３４は、ユーザ設定情報を撮像関連情報における他の情報よりも優先させて寄与率の調整を行うようにしてもよい。例えば、ユーザ設定によって被写体領域と背景領域のいずれかが重視する領域として指定されている場合、撮像関連情報における他の情報にかかわらず、指定されている領域の領域露出制御量の寄与率を、指定されていない領域の領域露出制御量の寄与率よりも高くする。重視する領域の指定は、例えばメニュー等によって重視する領域をユーザが選択してもよく、重視する領域をユーザが撮像画上で指定してもよい。【0111】
なお、撮像関連情報に基づく寄与率の調整は、図１４に示すステップ順序で行う場合に限られない。露出制御量算出部３４は、例えばステップＳＴ４９の処理をステップＳＴ４５の直前に行い、撮像関連情報に基づいて調整された仮の寄与率を用いて、露出制御量ＣＶtmpを算出してもよい。また、露出制御量算出部３４は、例えばステップＳＴ４３で背景領域重視の寄与率設定を行う場合、およびステップＳＴ４４で被写体領域重視の寄与率設定を行う場合、予め設定された寄与率を撮像関連情報に基づき調整して、調整後の寄与率を仮の寄与率「Ｒｍtmp:Ｒｂtmp（＜Ｒｍtmp）」，「Ｒｍtmp:Ｒｂtmp（＞Ｒｍtmp）」として、図７または図１１と同様な処理によって最終寄与率を設定してもよい。【0112】
このような他の動作例によれば、第１の動作例および第２の動作例と同様な作用効果を得ることができる。さらに、他の動作例では、撮像状況に応じて詳細な露出制御を行うことができるようになる。また、例えば撮像部が別体として設けられて、無線または有線の伝送路を介してカメラコントロールユニットと接続される場合、カメラコントロールユニットによって上述の露出制御を行うようにしてもよい。【0113】
＜３．応用例＞＜３−１．応用例１＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0114】
図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。【0115】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。【0116】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。【0117】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。【0118】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。【0119】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。【0120】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。【0121】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。【0122】
ここで、図１６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。【0123】
なお、図１６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。【0124】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。【0125】
図１５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。【0126】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。【0127】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。【0128】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。【0129】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。【0130】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏth（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。【0131】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。【0132】
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。【0133】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。【0134】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏth（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。【0135】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。【0136】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。【0137】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。【0138】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。【0139】
なお、図１５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。【0140】
本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット７４００または車内情報検出ユニット７５００に好適に適用され得る。例えば撮像画中の人、車、障害物、標識又は路面上の文字等を被写体領域、または背景領域として設定し露出制御量を設定することで運転者にとってまたは画像認識処理に好適な撮像画とすることが可能となる。これにより車両制御システム７０００の使い勝手を向上させることができる。【0141】
＜３−２．応用例２＞次に、応用例２では、本開示に係る技術を内視鏡手術システムに適用した場合について説明する。
【0142】
図１７は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図１７では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。【0143】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。【0144】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。【0145】
（支持アーム装置）支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【0146】
（内視鏡）内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【0147】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。【0148】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。【0149】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。【0150】
（カートに搭載される各種の装置）ＣＣＵ５０３９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【0151】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。【0152】
光源装置５０４３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。【0153】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。【0154】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。【0155】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。【0156】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。【0157】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。【0158】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。【0159】
（支持アーム装置）支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図１７では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【0160】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。【0161】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。【0162】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。【0163】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。【0164】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。【0165】
（光源装置）光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0166】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。【0167】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。【0168】
（カメラヘッド及びＣＣＵ）図１８を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図１８は、図１７に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【0169】
図１８を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。【0170】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。【0171】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。【0172】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。【0173】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。【0174】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。【0175】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画の倍率及び焦点が適宜調整され得る。【0176】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。【0177】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。【0178】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５００１に搭載される。【0179】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。【0180】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。【0181】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。【0182】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。【0183】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。【0184】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。【0185】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。【0186】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。【0187】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。【0188】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。【0189】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。【0190】
本開示に係る技術は、以上説明した構成のうち、画像処理部５０６１に好適に適用され得る。例えば撮像画中の術具５０１７の領域を被写体領域、または背景領域として設定し露出制御量を設定することで患者５０７１の体組織を術者５０６７又は助手等にとって観察しやすくすることが可能となる。また眼底検査など体組織を撮像した際に明暗がはっきり分かれるような画像においても術具５０１７や観察したい体組織を被写体領域、または背景領域として設定し露出制御量を設定することで術者５０６７又は助手等にとって観察しやすくすることが可能となる。これにより内視鏡システム５０００の使い勝手を向上させることができる。【0191】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。【0192】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。【0193】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。【0194】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。【0195】
また、本技術の制御装置は以下のような構成も取ることができる。（１） 被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部を備える制御装置。
（２） 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づいて前記露出制御量を算出する（１）に記載の制御装置。
（３） 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の寄与率を設定して、前記寄与率に基づいて前記露出制御量を算出する（２）に記載の制御装置。
（４） 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づき前記寄与率を設定する（３）に記載の制御装置。
（５） 前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合、前記背景領域露出制御量の寄与率を前記被写体領域露出制御量よりも高くする（４）に記載の制御装置。
（６） 前記露出制御量算出部は、フラッシュ発光が行われない場合、または前記被写体領域露出制御量が前記背景領域露出制御量よりも大きくない場合、前記被写体領域露出制御量の寄与率を前記背景領域露出制御量よりも高くする（４）または（５）に記載の制御装置。
（７） 前記露出制御量算出部は、前記設定した寄与率に基づいて算出される露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように、前記寄与率を調整する（３）乃至（６）のいずれかに記載の制御装置。
（８） 前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合に前記寄与率の調整を行う（７）に記載の制御装置。
（９） 前記露出制御量算出部は、撮像画の取得に関する撮像関連情報に基づいて前記寄与率を調整する（３）乃至（８）のいずれかに記載の制御装置。
（１０） 前記撮像関連情報は、撮像環境情報、撮像設定情報、前記撮像画の画像状態情報、またはユーザ設定情報のいずれかを含む（９）に記載の制御装置。
（１１） 前記撮像環境情報は、外光の照度または被写体までの距離を含む（１０）に記載の制御装置。
（１２） 前記撮像設定情報は、シャッター速度、ＩＳＯ感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む（１０）または（１１）に記載の制御装置。
（１３） 前記画像状態情報は、前記被写体領域と前記背景領域の面積比、前記撮像画における前記被写体領域の位置、前記背景領域の画像のボケ量のいずれかを含む（１０）乃至（１２）のいずれかに記載の制御装置。
（１４） 前記露出制御量算出部は、前記ユーザ設定情報を前記撮像関連情報における他の情報よりも優先させて前記寄与率の調整を行う（１０）乃至（１３）のいずれか記載の制御装置。
（１５） 撮像画から前記被写体領域の画像と前記背景領域の画像を抽出する領域抽出部と、
前記被写体領域の画像に基づいた前記被写体領域露出制御量の算出と、前記背景領域の画像に基づいた前記背景領域露出制御量の算出を行う領域別露出制御量算出部とをさらに備える（１）乃至（１４）のいずれかに記載の制御装置。
（１６） 前記領域抽出部は、前記被写体領域と前記背景領域における一方の領域の画像が抽出できない場合、前記撮像画から抽出できた他方の領域の画像を除いた画像を前記一方の領域の画像とする（１５）に記載の制御装置。
（１７） 前記領域抽出部で前記被写体領域と前記背景領域の画像を抽出できない場合、前記領域別露出制御量算出部は前記撮像画に基づいて全体領域露出制御量を算出して、前記露出制御量算出部は前記領域別露出制御量算出部で算出された前記全体領域露出制御量を前記露出制御量とする（１５）に記載の制御装置。
【産業上の利用可能性】
【0196】
この技術の制御装置と制御方法およびプログラムでは、撮像画における被写体領域の画像に基づいて算出した被写体領域露出制御量と背景領域の画像に基づいて算出した背景領域露出制御量とに基づいて、露出制御量が算出される。このため、算出された露出制御量に応じた露出調整を行うことで、安定した露出を得られるようになる。したがって、車両制御システムや内視鏡手術システムのように、自然で調和の取れた明るさの撮影画像が必要とされるシステムに適している。【符号の説明】
【0197】
１０・・・撮像装置２１・・・撮像光学系ブロック
２２・・・イメージセンサ部
２３・・・信号処理部
２４・・・現像処理部
２５・・・画像記録部
３１・・・領域抽出部
３２ｂ・・・背景領域測光部
３２ｍ・・・被写体領域測光部
３２ｗ・・・全体領域測光部
３３・・・領域別露出制御量算出部
３３ｂ・・・背景領域露出制御量算出部
３３ｍ・・・被写体領域露出制御量算出部
３３ｗ・・・全体領域露出制御量算出部
３４・・・露出制御量算出部
４１・・・発光制御量算出部
５１・・・ユーザインタフェース部
５５・・・制御部
５５ａ・・・露出制御部
５５ｂ・・・発光制御部
６１・・・フラッシュユニット
【国際調査報告】