特表-19082539IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
<>
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000003
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000004
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000005
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000006
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000007
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000008
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000009
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000010
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000011
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000012
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000013
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000014
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000015
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000016
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000017
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000018
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000019
  • 再表WO2019082539-制御装置と制御方法およびプログラム 図000020
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2019年5月2日
【発行日】2020年12月3日
(54)【発明の名称】制御装置と制御方法およびプログラム
(51)【国際特許分類】
   H04N 5/235 20060101AFI20201106BHJP
   H04N 5/232 20060101ALI20201106BHJP
   H04N 5/225 20060101ALI20201106BHJP
   G03B 7/091 20060101ALN20201106BHJP
【FI】
   H04N5/235 100
   H04N5/232 290
   H04N5/225 600
   G03B7/091
【審査請求】未請求
【予備審査請求】未請求
【全頁数】41
【出願番号】特願2019-549926(P2019-549926)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2018年9月12日
(31)【優先権主張番号】特願2017-205183(P2017-205183)
(32)【優先日】2017年10月24日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】金井 俊憲
(72)【発明者】
【氏名】坂口 翔平
【テーマコード(参考)】
2H002
5C122
【Fターム(参考)】
2H002AB04
2H002CC01
2H002CC21
2H002CD11
2H002DB14
2H002DB25
2H002DB30
2H002DB32
2H002FB01
2H002FB21
2H002JA07
5C122DA04
5C122DA14
5C122DA26
5C122EA12
5C122FF01
5C122FF17
5C122FF23
5C122FF26
5C122FH10
5C122GG16
5C122GG22
5C122HA03
5C122HA46
5C122HA88
5C122HB01
(57)【要約】
領域抽出部31は、撮像画から被写体領域の画像と背景領域の画像を抽出する。領域別露出制御量算出部33は、被写体領域の画像に基づいた被写体領域露出制御量と、背景領域の画像に基づいた背景領域露出制御量の算出を行う。露出制御量算出部34は、被写体領域露出制御量と背景領域露出制御量の寄与率を設定して、設定した寄与率に基づく混合比で被写体領域露出制御量と背景領域露出制御量を混合して、露出調整に用いる露出制御量を算出する。制御部55は、露出制御量算出部34で算出された露出制御量に基づき、シャッター速度や絞り等を制御する。したがって、フラッシュ発光が行われる場合およびフラッシュ発光が行われない場合のいずれでも、撮像画は自然で調和の取れた明るさとなり、安定した露出を得られる。
【特許請求の範囲】
【請求項1】
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部
を備える制御装置。
【請求項2】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づいて前記露出制御量を算出する
請求項1に記載の制御装置。
【請求項3】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の寄与率を設定して、前記寄与率に基づいて前記露出制御量を算出する
請求項2に記載の制御装置。
【請求項4】
前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づき前記寄与率を設定する
請求項3に記載の制御装置。
【請求項5】
前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合、前記背景領域露出制御量の寄与率を前記被写体領域露出制御量よりも高くする
請求項4に記載の制御装置。
【請求項6】
前記露出制御量算出部は、フラッシュ発光が行われない場合、または前記被写体領域露出制御量が前記背景領域露出制御量よりも大きくない場合、前記被写体領域露出制御量の寄与率を前記背景領域露出制御量よりも高くする
請求項4に記載の制御装置。
【請求項7】
前記露出制御量算出部は、前記設定した寄与率に基づいて算出される露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように、前記寄与率を調整する
請求項3に記載の制御装置。
【請求項8】
前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合に前記寄与率の調整を行う
請求項7に記載の制御装置。
【請求項9】
前記露出制御量算出部は、撮像画の取得に関する撮像関連情報に基づいて前記寄与率を調整する
請求項3に記載の制御装置。
【請求項10】
前記撮像関連情報は、撮像環境情報、撮像設定情報、前記撮像画の画像状態情報、またはユーザ設定情報のいずれかを含む
請求項9に記載の制御装置。
【請求項11】
前記撮像環境情報は、外光の照度または被写体までの距離を含む
請求項10に記載の制御装置。
【請求項12】
前記撮像設定情報は、シャッター速度、ISO感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む
請求項10に記載の制御装置。
【請求項13】
前記画像状態情報は、前記被写体領域と前記背景領域の面積比、前記撮像画における前記被写体領域の位置、前記背景領域の画像のボケ量のいずれかを含む
請求項10に記載の制御装置。
【請求項14】
前記露出制御量算出部は、前記ユーザ設定情報を前記撮像関連情報における他の情報よりも優先させて前記寄与率の調整を行う
請求項10に記載の制御装置。
【請求項15】
撮像画から前記被写体領域の画像と前記背景領域の画像を抽出する領域抽出部と、
前記被写体領域の画像に基づいた前記被写体領域露出制御量の算出と、前記背景領域の画像に基づいた前記背景領域露出制御量の算出を行う領域別露出制御量算出部とをさらに備える
請求項1に記載の制御装置。
【請求項16】
前記領域抽出部は、前記被写体領域と前記背景領域における一方の領域の画像が抽出できない場合、前記撮像画から抽出できた他方の領域の画像を除いた画像を前記一方の領域の画像とする
請求項15に記載の制御装置。
【請求項17】
前記領域抽出部で前記被写体領域と前記背景領域の画像を抽出できない場合、前記領域別露出制御量算出部は前記撮像画に基づいて全体領域露出制御量を算出して、前記露出制御量算出部は前記領域別露出制御量算出部で算出された前記全体領域露出制御量を前記露出制御量とする
請求項15に記載の制御装置。
【請求項18】
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出すること
を含む制御方法。
【請求項19】
露出調整に用いる露出制御量の算出をコンピュータで実行させるプログラムであって、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する手順
を前記コンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、制御装置と制御方法およびプログラムに関し、安定した露出を得られるようにする。
【背景技術】
【0002】
従来、撮像装置では、適度な明るさの撮像画を得られるように露出制御が行われている。例えば特許文献1では、被写体領域と背景領域を分離して、それぞれの領域の平均輝度の差から全体の露出制御量を算出している。また、特許文献2では、被写体領域を抽出し、被写体領域と背景領域の測光値から算出したコントラスト値を用いて最終の露出制御量を決定している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−013041号公報
【特許文献2】特開平09−037143号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上述の特許文献のように、被写体領域と背景領域の輝度差から露出制御量を算出すると、撮影時のカメラ設定や環境によらず露出制御が行われて、例えばフラッシュ発光を行って得られた撮像画は、発光成分の上乗せにより意図した仕上がりにならない可能性がある。
【0005】
そこで、この技術では安定した露出を得られる制御装置と制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
この技術の第1の側面は、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部
を備える制御装置にある。
【0007】
この技術においては、撮像画から被写体領域の画像と背景領域の画像が画像抽出部で抽出されて、被写体領域の画像に基づく被写体領域露出制御量と背景領域の画像に基づく背景領域露出制御量が領域別露出制御量算出部で算出される。露出制御量算出部は、被写体領域露出制御量と背景領域露出制御量の寄与率を決定して、寄与率に基づき被写体領域露出制御量と背景領域露出制御量を混合して、露出調整に用いる露出制御量である最終露出制御が算出される。
【0008】
露出制御量算出部は、被写体領域露出制御量と背景領域露出制御量の比較結果に基づき寄与率を設定する。例えば被写体領域露出制御量が背景領域露出制御量よりも大きい場合、背景領域露出制御量の寄与率を被写体領域露出制御量よりも高くする。また、フラッシュ発光が行われない場合または被写体領域露出制御量が背景領域露出制御量よりも大きくない場合、被写体領域露出制御量の寄与率を背景領域露出制御量よりも高くする。
【0009】
露出制御量算出部は、設定した寄与率に基づいて算出される露出制御量と寄与率が低い領域の露出制御量との差を予め設定された閾値と比較して、露出制御量差が閾値を超えないように寄与率の調整を行う。また、この寄与率の調整は被写体領域露出制御量が背景領域露出制御量よりも大きい場合に行う。
【0010】
また、寄与率は、撮像画の取得に関する撮像関連情報、例えば撮像環境情報、撮像設定情報、撮像画の画像状態情報、またはユーザ設定情報の少なくともいずれかに基づいて調整する。撮像環境情報は外光の照度や被写体までの距離を含み、撮像設定情報は、シャッター速度、ISO感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む。画像状態情報は、被写体領域と背景領域の面積比、撮像画における被写体領域の位置、背景領域の画像のボケ量のいずれかを含む。また、ユーザ設定情報を撮像関連情報における他の情報よりも優先させて寄与率の調整を行う。
【0011】
さらに、領域の抽出において、被写体領域と背景領域における一方の領域の画像が抽出できない場合、撮像画から抽出できた他方の領域の画像を除いた画像を一方の領域の画像とする。また、被写体領域と背景領域の画像を抽出できない場合、撮像画に基づいて全体領域露出制御量を算出して、算出された全体領域露出制御量を露出制御量とする。
【0012】
この技術の第2の側面は、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出すること
を含む制御方法にある。
【0013】
この技術の第3の側面は
露出調整に用いる露出制御量の算出をコンピュータで実行させるプログラムであって、
被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する手順
を前記コンピュータで実行させるプログラムにある。
【0014】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【0015】
この技術によれば、被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量が算出される。このため、算出された露出制御量に応じた露出調整を行うことで、安定した露出を得られるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【0016】
図1】撮像装置の構成を例示した図である。
図2】撮像画を例示した図である。
図3】被写体領域と背景領域を例示した図である。
図4】領域露出制御量の補完処理を説明するための図である。
図5】最終露出制御量の算出動作を例示したフローチャートである。
図6】最終寄与率の設定時に重視する領域を示した図である。
図7】最終寄与率の設定処理を示すフローチャートである。
図8】フラッシュ発光が行われない場合の最終露出制御量の推移を例示した図である。
図9】フラッシュ発光が行われる場合の最終露出制御量の推移を例示した図である。
図10】露出制御量と寄与率の関係を例示した図である。
図11】最終寄与率の第2の設定処理を示すフローチャートである。
図12】フラッシュ発光が行われない場合の最終露出制御量の推移を例示した図である。
図13】フラッシュ発光が行われる場合の最終露出制御量の推移を例示した図である。
図14】最終寄与率の他の設定処理を示すフローチャートである。
図15】車両制御システムの概略的な構成の一例を示すブロック図である。
図16】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
図17】内視鏡手術システムの概略的な構成の一例を示す図である。
図18図17に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.撮像装置の構成
2.撮像装置の動作
2−1.第1の動作例
2−2.第2の動作例
2−3.他の動作例
3.応用例
3−1.応用例1
3−2.応用例2
【0018】
<1.撮像装置の構成>
図1は、本技術を用いた撮像装置の構成を例示している。撮像装置10は、撮像光学系ブロック21、イメージセンサ部22、信号処理部23、現像処理部24、画像記録部25を有している。また、撮像装置10は、領域抽出部31、全体領域測光部32w、被写体領域測光部32m、背景領域測光部32b、領域別露出制御量算出部33、露出制御量算出部34、ユーザインタフェース部51、制御部55を有している。さらに、撮像装置10は、発光制御量算出部41とフラッシュユニット61等を有していてもよい。
【0019】
撮像光学系ブロック21は、フォーカスレンズやズームレンズ等のレンズ群で構成されており、所望の被写体サイズとされた光学像をイメージセンサ部22の撮像面に結像させる。また、撮像光学系ブロック21は、光学像の光量を調整する絞り機構を設けた構成であってもよい。
【0020】
イメージセンサ部22は、CMOS(Complementary Metal Oxide Semiconductor)メージセンサまたはCCD(Charge Coupled Device)イメージセンサ等と、イメージセンサを駆動する駆動部で構成されている。イメージセンサ部22は、光電変換を行い光学像に応じた撮像信号を生成して信号処理部23へ出力する。
【0021】
信号処理部23は、イメージセンサ部22で生成された撮像信号に対してアナログ/デジタル変換やノイズ除去,欠陥補正等の信号処理を行い、信号処理後の画像信号を現像処理部24と領域抽出部31および全体領域測光部32wへ出力する。なお、信号処理後の画像信号をRAW画像データともいう。
【0022】
現像処理部24は、信号処理部23から供給された画像データに対して現像処理を行う。現像処理では、ガンマ補正、ホワイトバランス調整、色空間変換、光学歪補正等の一部または全ての処理を含む。また、現像処理部24は、イメージセンサ部22のイメージセンサでカラーモザイクフィルタが用いられている場合、デモザイク処理を行い色成分ごとの画像データを生成する。現像処理部24は、現像処理後の画像データを画像記録部25へ出力する。
【0023】
画像記録部25には、記録媒体が固定状態または着脱可能に設けられている。画像記録部25は、現像処理部24から出力された画像データを所定フォーマットのデータに変換して記録媒体に記録する。また、画像記録部25は、所定フォーマットのデータに関する付属情報を所定フォーマットのデータに関連付けて記録する。
【0024】
領域抽出部31は、信号処理部23から供給された画像データと予め設定された抽出条件に基づき、撮像画から被写体領域と背景領域を抽出する。被写体領域は、例えば被写体認識によって撮像画から検出した人物などの注目被写体(主被写体)を示す画像領域である。また、背景領域は、例えば所定距離よりも離れている空や雲などを示す画像領域である。なお、背景領域は、後述するように、撮像画から被写体領域を除いた画像領域としてもよい。領域抽出部31は、被写体領域の画像データを被写体領域測光部32mへ出力して、背景領域の画像データを背景領域測光部32bへ出力する。
【0025】
図2は、信号処理部23から供給された画像データが示す撮像画を例示しており、撮像画には、被写体OBa,OBbと被写体OBc,OBd、地面OBe、空OBfが含まれている。なお、以下の説明では、被写体OBa,OBbを注目被写体として、被写体OBa,OBbの画像領域を被写体領域とする。
【0026】
図3は、被写体領域と背景領域を例示した図である。領域抽出部31は、被写体領域と背景領域を個々に抽出する。なお、図3および後述する図4では、抽出されていない領域を斜線で示している。領域抽出部31は、図3の(a)に示すように、被写体OBa,OBbの画像領域を被写体領域として抽出して、例えば空の白飛びを抑制するために空OBfの画像領域を背景領域として抽出する。この場合、被写体OBc,OBdおよび地面OBeの画像領域は、被写体領域と背景領域のいずれにも該当しない領域として処理される。
【0027】
また、領域抽出部31は、被写体領域と背景領域のいずれか一方の領域を抽出して、抽出されていない領域を他方の領域としてもよい。領域抽出部31は、図3の(b)に示すように、被写体OBaと被写体OBbの画像領域を被写体領域として抽出して、他の画像領域を背景領域とする。
【0028】
なお、領域の抽出は、例えば画像データを用いて算出した局所特徴量と被写体モデルの学習結果を比較して、注目被写体の学習結果に類似する局所特徴量が算出された領域を被写体領域として抽出する。また、領域の抽出は、局所特徴量を用いた手法に限らず、被写体までの距離等に基づき撮像装置との距離が近い、またはある一定距離内にある前景を被写体とし、それ以外を背景とするように被写体領域と背景領域の抽出を行ってもよい。なお、距離情報は、撮像装置10に測距センサを設けて測距センサから取得してもよく、イメージセンサ部22のイメージセンサとして像面位相差画素を設けたイメージセンサを用いて、像面位相差画素の画素信号に基づいて距離情報を取得してもよい。
【0029】
全体領域測光部32wは、信号処理部23から供給された画像データに基づき画面全体の測光処理を行う。全体領域測光部32wは、測光処理によって算出した測光値を領域別露出制御量算出部33へ出力する。
【0030】
被写体領域測光部32mは、領域抽出部31から供給された被写体領域の画像データに基づき被写体領域の測光処理を行う。被写体領域測光部32mは、測光処理によって算出した測光値を領域別露出制御量算出部33へ出力する。
【0031】
背景領域測光部32bは、領域抽出部31から供給された背景領域の画像データに基づき背景領域の測光処理を行う。背景領域測光部32bは、測光処理によって算出した測光値を領域別露出制御量算出部33へ出力する。
【0032】
領域別露出制御量算出部33は、全体領域露出制御量算出部33wと被写体領域露出制御量算出部33mと背景領域露出制御量算出部33bを有しており、領域ごとに露出制御量を算出する。なお、露出制御量とは例えばEV(exposure value)値である。また、露出制御量は現在のEV値からの増減量を示す相対値でもよい。全体領域露出制御量算出部33wは、全体領域測光部32wから供給された測光値に基づいて全体領域露出制御量を算出する。また、被写体領域露出制御量算出部33mは、被写体領域測光部32mから供給された測光値に基づいて被写体領域露出制御量を算出する。さらに、背景領域露出制御量算出部33bは、背景領域測光部32bから供給された測光値に基づいて背景領域露出制御量を算出する。領域別露出制御量算出部33は、全体領域露出制御量算出部33wと被写体領域露出制御量算出部33mと背景領域露出制御量算出部33bで算出した領域露出制御量を露出制御量算出部34へ出力する。
【0033】
露出制御量算出部34は、露出調整に用いる露出制御量(最終露出制御量ともいう)を算出する。露出制御量算出部34は、最終露出制御量を算出する際の被写体領域と背景領域の寄与率(以下「最終寄与率」という)を設定して、設定した最終寄与率に応じて被写体領域露出制御量と背景領域露出制御量を混合して最終露出制御量を算出する。露出制御量算出部34は、被写体領域露出制御量と背景領域露出制御量の比較結果とフラッシュユニット61のフラッシュ発光動作に基づき最終寄与率を設定する。例えば被写体領域の寄与率が100%の時には背景領域の寄与率を0%として、被写体領域露出制御量を最終露出制御量とする。
【0034】
また、露出制御量算出部34は、被写体領域または背景領域のいずれか一方の領域について領域露出制御量が算出されていない場合、算出されていない他方の領域の領域露出制御量を補完する。
【0035】
図4は、領域露出制御量の補完処理を説明するための図であり、全体領域は被写体領域と背景領域で構成されている。すなわち、背景領域は被写体領域を反転させた領域とする。この場合、全体領域露出制御量CVwと被写体領域露出制御量CVmとの露出制御量差(CVw−CVm)と、全体領域露出制御量CVwと背景領域露出制御量CVbとの露出制御量差(CVw−CVb)は、式(1)に示す関係となる。
(CVw−CVm)=−(CVw−CVb) ・・・(1)
【0036】
したがって、背景領域露出制御量CVbが算出されていない場合、式(2)に基づき背景領域露出制御量CVbを算出して、被写体領域露出制御量CVmが算出されていない場合、式(3)に基づき被写体領域露出制御量CVmを算出する。
CVb=2CVw−CVm ・・・(2)
CVm=2CVw−CVb ・・・(3)
【0037】
発光制御量算出部41は、撮像装置10に設けた測光センサ(図示せず)または露出制御量算出部34から供給された露出制御量に基づき、フラッシュユニット61でフラッシュ発光を行う必要があるか判別して、フラッシュ発光判別結果を露出制御量算出部34へ出力する。また、発光制御量算出部41は、フラッシュ発光を行う必要があると判別した場合、フラッシュユニット61の発光量を設定するための発光制御量を最終露出制御量に基づき算出して、発光制御量を制御部55へ出力する。
【0038】
ユーザインタフェース部51は、操作スイッチや操作ボタン,タッチパネル等を用いて構成されており、ユーザ操作(シャッター操作や各種設定操作等)に応じた操作信号を制御部55へ出力する。
【0039】
制御部55は、CPU(Central Processing Unit)やROM(Read Only Memory),RAM(Random Access Memory)等を有している。ROM(Read Only Memory)は、CPU(Central Processing Unit)により実行される各種プログラムを記憶する。RAM(Random Access Memory)は、各種パラメータ等の情報を記憶する。CPUは、ROMに記憶されている各種プログラムを実行して、ユーザインタフェース部51からの操作信号に基づき、ユーザ操作に応じた動作が撮像装置10で行われるように各部を制御する。
【0040】
また、制御部55は、露出制御を行う露出制御部55aとフラッシュ発光の制御を行う発光制御部55bを有している。露出制御部55aは、露出制御量算出部34で算出された最終露出制御量に基づきシャッタースピードや絞り,ISO値を設定して、設定に応じた露出制御信号を撮像光学系ブロック21やイメージセンサ部22へ出力する。また、露出制御部55aは、この時の各制御値(シャッタースピードや絞り,ISO値)を領域別露出制御量算出部33へ出力して、次回の制御量の算出に用いるようにする。発光制御部55bは、発光制御量算出部41から供給された発光制御値に基づき発光制御信号を生成してフラッシュユニット61へ出力する。
【0041】
フラッシュユニット61は、発光制御部55bから供給された発光制御信号に基づいた発光量でシャッター動作のタイミングに合わせてフラッシュ発光を行う。
【0042】
<2.撮像装置の動作>
<2−1.第1の動作例>
次に、撮像装置10の動作について説明する。図5は、撮像装置における最終露出制御量の算出動作を例示したフローチャートであり、被写体領域と背景領域を個々に抽出する場合を示している。
【0043】
ステップST1で撮像装置は画面全体の測光処理を行う。撮像装置10の全体領域測光部32wは、信号処理部23から供給された画像データに基づき画面全体の測光値を算出してステップST2に進む。
【0044】
ステップST2で撮像装置は全体領域露出制御量CVwを算出する。撮像装置10の全体領域露出制御量算出部33wは、ステップST1で算出した測光値に基づき適正露出とするための全体領域露出制御量CVwを算出してステップST3に進む。
【0045】
ステップST3で撮像装置は被写体領域を抽出する。撮像装置10の領域抽出部31は、信号処理部23から供給された画像データを用いて被写体領域の抽出を行いステップST4に進む。
【0046】
ステップST4で撮像装置は抽出が成功したか判別する。撮像装置10は、被写体領域の抽出が成功した場合にステップST5に進み、成功していない場合はステップST7に進む。
【0047】
ステップST5で撮像装置は被写体領域の測光処理を行う。撮像装置10の被写体領域測光部32mは、領域抽出部31から供給された被写体領域の画像データに基づき測光値を算出してステップST6に進む。
【0048】
ステップST6で撮像装置は被写体領域露出制御量CVmを算出する。撮像装置10の被写体領域露出制御量算出部33mは、ステップST5で算出した測光値に基づき適正露出とするための被写体領域露出制御量CVmを算出してステップST7に進む。
【0049】
ステップST7で撮像装置は背景領域を抽出する。撮像装置10の領域抽出部31は、信号処理部23から供給された画像データを用いて背景領域の抽出を行いステップST8に進む。
【0050】
ステップST8で撮像装置は抽出が成功したか判別する。撮像装置10は、背景領域の抽出が成功した場合にステップST9に進み、成功していない場合はステップST11に進む。
【0051】
ステップST9で撮像装置は背景領域の測光処理を行う。撮像装置10の背景領域測光部32bは、領域抽出部31から供給された背景領域の画像データに基づき測光値を算出してステップST10に進む。
【0052】
ステップST10で撮像装置は背景領域露出制御量CVbを算出する。撮像装置10の背景領域露出制御量算出部33bは、ステップST9で算出した測光値に基づき適正露出とするための背景領域露出制御量CVbを算出してステップST11に進む。
【0053】
ステップST11で撮像装置は各領域を抽出したか判別する。撮像装置10は、被写体領域と背景領域を抽出した場合にステップST14に進み、他の場合にステップST12に進む。
【0054】
ステップST12で撮像装置は一方の領域のみを抽出したか判別する。撮像装置10は、被写体領域と背景領域のいずれか一方のみを抽出した場合にステップST13に進み、被写体領域と背景領域の両方を抽出していない場合にステップST16に進む。
【0055】
ステップST13で撮像装置は抽出されていない領域の領域露出制御量を算出する。撮像装置10の露出制御量算出部34は、全体領域の全体領域露出制御量と抽出されている領域の領域露出制御量に基づき、抽出されていない領域の領域露出制御量を算出してステップST14に進む。
【0056】
ステップST14で撮像装置は最終寄与率の設定処理を行う。最終寄与率は、露出調整に用いる最終露出制御量を算出するための寄与率であり、最終寄与率の混合比で被写体領域露出制御量CVmと背景領域露出制御量CVbを混合して最終露出制御量CVfを算出できるようにする。最終寄与率の設定処理では、フラッシュ発光と被写体領域露出制御量CVmと背景領域露出制御量CVbに基づき、最終寄与率の設定処理で重視する領域を判別する。
【0057】
図6は、最終寄与率の設定時に重視する領域を示している。露出制御量算出部34は、フラッシュユニット61でフラッシュ発光が行われない場合、被写体領域露出制御量CVmと背景領域露出制御量CVbにかかわらず被写体領域を重視して最終寄与率を設定する。また、露出制御量算出部34は、フラッシュ発光が行われる場合、被写体領域露出制御量CVmと背景領域露出制御量CVbとの比較結果に基づき、領域露出制御量が小さい領域を重視して最終寄与率を設定する。すなわち、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合は背景領域を重視して最終寄与率の設定を行い、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも小さい場合は被写体領域を重視して最終寄与率の設定を行う。露出制御量算出部34は、重視する領域の領域露出制御量の寄与率が高くされている最終寄与率の混合比で被写体領域露出制御量CVmと背景領域露出制御量CVbを混合して最終露出制御量CVfを算出する。
【0058】
図7は最終寄与率の設定処理を示すフローチャートである。ステップST21で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部34は、発光制御量算出部41から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップST22に進み、フラッシュ発光が行われないと判別した場合にステップST24に進む。
【0059】
ステップST22で露出制御量算出部は被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きいか判別する。露出制御量算出部34は、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合にステップST23に進み、大きくない場合にステップST24に進む。
【0060】
ステップST23で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部34は、背景領域を重視して仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」を設定してステップST25に進む。
【0061】
ステップST24で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部34は、被写体領域を重視して仮の寄与率「Rmtmp:Rbtmp(<Rmtmp)」を設定してステップST25に進む。
【0062】
ステップST25で露出制御量算出部は最終寄与率を設定する。露出制御量算出部34は、ステップST23またはステップST24で設定された仮の寄与率「Rmtmp:Rbtmp」を最終寄与率「Rmf:Rbf」として、最終寄与率の設定処理を終了する。
【0063】
図5に戻り、ステップST14で最終寄与率の設定処理を行ったのち、ステップST15で撮像装置は最終露出制御量CVfを算出する。露出制御量算出部34は、ステップST6で算出した被写体領域露出制御量CVmとステップST10で算出した背景領域露出制御量CVbを、ステップST14で設定された最終寄与率「Rmf:Rbf」の混合比で混合して、露出調整に用いる最終露出制御量CVfを算出して、最終露出制御量の算出動作を終了する。なお、被写体領域露出制御量CVmと背景領域露出制御量CVbが等しい場合、最終寄与率「Rmf:Rbf」にかかわらず最終露出制御量CVfは、被写体領域露出制御量CVmと背景領域露出制御量CVbに等しくなる。
【0064】
ステップST12からステップST16に進むと、露出制御量算出部は全体領域露出制御量CVwを最終露出制御量CVfとする。撮像装置10の露出制御量算出部34は、被写体領域と背景領域が抽出されていないことから、全体領域露出制御量CVwを最終露出制御量CVfとして、最終露出制御量の算出動作を終了する。
【0065】
なお、最終露出制御量の算出動作は、図5に示す順序で行う場合に限られない。例えばステップST1,2の処理群と、ステップST3乃至ステップST6の処理群、ステップST7乃至ステップST10の処理群は、いずれの処理群を先に行ってもよい。
【0066】
図8は、フラッシュ発光が行われない場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を100%とする。また、被写体領域露出制御量CVmと背景領域露出制御量CVbは一例であり、露出制御量には上限CVupと下限CVloが設定されている。
【0067】
フラッシュユニット61でフラッシュ発光が行われない場合、上述のように重視する領域は被写体領域に設定される。また、重視する領域の寄与率が100%であることから、最終露出制御量CVfは、被写体領域露出制御量CVmと等しくなる。さらに、露出制御量には上限CVupと下限CVloが設定されていることから、最終露出制御量CVfは上限CVupと下限CVloで制限される。したがって、最終露出制御量CVfは、被写体領域露出制御量CVmと等しく実線Laで示すように推移する。なお、重視する領域の寄与率が100%よりも低い場合、上限CVupと下限CVloの範囲内における実線Laの傾きは寄与率が小さくなるに伴い緩やかとなる。
【0068】
図9は、フラッシュ発光が行われる場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を100%とする。また、被写体領域露出制御量CVmと背景領域露出制御量CVbは一例であり、露出制御量には上限CVupと下限CVloが設定されている。
【0069】
フラッシュユニット61でフラッシュ発光が行われるとき、上述のように被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合、重視する領域は背景領域に設定されて、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも小さい場合、重視する領域は被写体領域に設定される。また、重視する領域の寄与率が100%であることから、最終露出制御量CVfは、被写体領域が重視される場合に被写体領域露出制御量CVmと等しくなり、背景領域が重視される場合に背景領域露出制御量CVbと等しくなる。また、露出制御量には上限CVupと下限CVloが設定されていることから、最終露出制御量CVfは、上限CVupと下限CVloで制限される。したがって、最終露出制御量CVfは、実線Lbで示すように推移する。なお、重視する領域の寄与率が100%よりも低い場合、上限CVupと下限CVloの範囲内における実線Lbの傾きは、被写体領域を重視する場合に寄与率が小さくなるに伴い緩やかとなり、背景領域を重視する場合に寄与率が小さくなるに伴い急峻となる。
【0070】
このように、本技術によれば、フラッシュユニット61のフラッシュ発光動作と、被写体領域の露出制御量と背景領域の露出制御量に基づき、最終露出制御量が決定される。このため、フラッシュ発光が行われる場合およびフラッシュ発光が行われない場合のいずれでも、自然で調和の取れた明るさの撮影画像を得られる露出制御を自動的に行うことができる。また、被写体と背景領域のいずれか一方または両方が抽出できなかった場合でも安定した露出制御を行うことができる。
【0071】
<2−2.第2の動作例>
次に、撮像装置10の第2の動作例について説明する。被写体領域と背景領域の輝度差が大きい場合、一方の領域の寄与率が高いと他方の領域が明るくまたは暗くなりすぎてしまう場合がある。そこで、第2の動作例では、被写体領域と背景領域の輝度差が大きく一方の領域の寄与率が高い場合でも、他方の領域が明るくまたは暗くなりすぎてしまうことがないように露出制御を行う。
【0072】
一方の領域の寄与率が高くても他方の領域が明るくまたは暗くなりすぎてしまうことがないように露出制御を行う場合、被写体領域を露出オーバー状態として背景領域との輝度差を減少させる必要性は少ないと考えられる。したがって、第2の動作例では、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きく被写体領域が露出オーバー状態に調整されることがない場合に、寄与率の調整を行う。
【0073】
図10は、露出制御量と寄与率の関係を例示しており、被写体領域露出制御量CVmは背景領域露出制御量CVbよりも大きい。ここで、重視する領域が背景領域に設定された場合、露出制御量算出部34は、背景領域を重視した仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」を設定する。また、仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」の露出制御量CVtmpと寄与率の低い被写体領域露出制御量CVmとの露出制御量差CVdifが閾値Cthを超える場合、露出制御量算出部34は、露出制御量CVtmpと被写体領域露出制御量CVmとの露出制御量差CVdifが閾値CVthを超えないように仮の寄与率を調整する。例えば、露出制御量算出部34は、露出制御量差CVdifが閾値CVthと等しくなるように仮の寄与率を調整して、調整後の寄与率を最終寄与率「Rmf:Rbf(>Rmf)」とする。また、露出制御量算出部34は、露出制御量差CVdifが閾値CVthを超えない場合、仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」を最終寄与率「Rmf:Rbf(>Rmf)」とする。
【0074】
図11は、最終寄与率の第2の設定処理を示すフローチャートであり、露出制御量差CVdifが閾値CVthを超えないように最終寄与率を設定する場合を示している。なお、図11におけるステップST31乃至ステップST34の処理は、図7におけるステップST21乃至ステップST24の処理に対応している。
【0075】
ステップST31で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部34は、発光制御量算出部41から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップST32に進み、フラッシュ発光が行われないと判別した場合にステップST34に進む。
【0076】
ステップST32で露出制御量算出部は被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きいか判別する。露出制御量算出部34は、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合にステップST33に進み、大きくない場合にステップST34に進む。
【0077】
ステップST33で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部34は、背景領域を重視した仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」を設定してステップST35に進む。
【0078】
ステップST34で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部34は、被写体領域を重視した仮の寄与率「Rmtmp:Rbtmp(<Rmtmp)」を設定してステップST35に進む。
【0079】
ステップST35で露出制御量算出部は仮の寄与率に応じた露出制御量CVtmpを算出する。露出制御量算出部34は、被写体領域露出制御量CVmと背景領域露出制御量CVbを、ステップST33またはステップST34で設定された仮の寄与率「Rmtmp:Rbtmp」の混合比で混合して、露出制御量CVtmpを算出してステップST36に進む。
【0080】
ステップST36で露出制御量算出部は露出制御量差CVdifを算出する。露出制御量算出部34は、ステップST35で算出した露出制御量CVtmpと寄与率の低い露出制御量との露出制御量差CVdifを算出してステップST37に進む。
【0081】
ステップST37で露出制御量算出部は露出制御量差CVdifと閾値CVthを比較する。露出制御量算出部34は、ステップST36で算出した露出制御量差CVdifと予め設定されている閾値CVthを比較する。露出制御量算出部34は、露出制御量差CVdifが閾値CVthよりも大きい場合はステップST38に進み、露出制御量差CVdifが閾値CVthよりも大きくない場合はステップST39に進む。
【0082】
ステップST38で露出制御量算出部は寄与率の調整を行う。露出制御量算出部34は、露出制御量差CVdifが閾値CVth以内、例えば露出制御量差CVdifが閾値CVthと等しくなるように仮の寄与率の調整を行い、調整後の寄与率を最終寄与率「Rmf:Rbf」として最終寄与率の設定処理を終了する。
【0083】
ステップST39で露出制御量算出部は仮の寄与率を最終寄与率に設定する。露出制御量算出部34は、仮の寄与率「Rmtmp:Rbtmp」を最終寄与率「Rmf:Rbf」として最終寄与率の設定処理を終了する。
【0084】
その後、第1の動作例と同様に、被写体領域露出制御量CVmと背景領域露出制御量CVbを最終寄与率「Rmf:Rbf」の混合比で混合して、露出調整に用いる最終露出制御量CVfを算出して、最終露出制御量CVfに基づき露出制御を行う。
【0085】
図12は、フラッシュ発光が行われない場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を100%とする。また、被写体領域露出制御量CVmと背景領域露出制御量CVbは一例であり、露出制御量には上限CVupと下限CVloが設定されている。
【0086】
フラッシュユニット61でフラッシュ発光が行われない場合、上述のように重視する領域は被写体領域に設定される。また、重視する領域の寄与率が100%であることから、最終露出制御量CVfは、被写体領域露出制御量CVmと等しくなる。さらに、露出制御量には上限CVupと下限CVloが設定されていることから、最終露出制御量CVfは上限CVupと下限CVloで制限される。また、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きく、仮の寄与率に基づいて算出した露出制御量CVtmpと寄与率の低い背景領域露出制御量CVbとの露出制御量差CVdifが閾値Cthを超える場合、露出制御量差CVdifが閾値CVth以内、例えば露出制御量差CVdifが閾値CVthと等しくなるように仮の寄与率の調整が行われる。したがって、最終露出制御量CVfは、実線Laで示すように推移する。なお、重視する領域の寄与率が100%よりも低い場合、上限CVupと下限CVloの範囲内において、露出制御量差CVdifが閾値Cthを超えるまでの実線Laの傾きは、寄与率が小さくなるに伴い緩やかとなる。
【0087】
図13は、フラッシュ発光が行われる場合の最終露出制御量の推移を例示している。なお、説明を容易とするため、重視する領域の寄与率を100%とする。また、被写体領域露出制御量CVmと背景領域露出制御量CVbは一例であり、露出制御量には上限CVupと下限CVloが設定されている。
【0088】
フラッシュユニット61でフラッシュ発光が行われるとき、上述のように被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合、重視する領域は背景領域に設定されて、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも小さい場合、重視する領域は被写体領域に設定される。また、重視する領域の寄与率が100%であることから、最終露出制御量CVfは、被写体領域が重視される場合に被写体領域露出制御量CVmと等しくなり、背景領域が重視される場合に背景領域露出制御量CVbと等しくなる。また、露出制御量には上限CVupと下限CVloが設定されていることから、最終露出制御量CVfは、上限CVupと下限CVloで制限される。さらに、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きく、仮の寄与率に基づいて算出した露出制御量CVtmpと寄与率の低い被写体領域露出制御量CVmとの露出制御量差CVdifが閾値Cthを超える場合、露出制御量差CVdifが閾値CVth以内、例えば露出制御量差CVdifが閾値CVthと等しくなるように仮の寄与率の調整が行われる。したがって、最終露出制御量CVfは、実線Lbで示すように推移する。なお、重視する領域の寄与率が100%よりも低い場合、上限CVupと下限CVloの範囲内において、露出制御量差CVdifが閾値Cthを超えるまでの実線Lbの傾きは、被写体領域を重視する場合に寄与率が小さくなるに伴い緩やかとなり、背景領域を重視する場合に寄与率が小さくなるに伴い急峻となる。
【0089】
このように、第2の動作例では、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きく、重視する領域が背景領域に設定される場合に、露出制御量差CVdifが閾値Cthを超えないように調整された最終寄与率を用いて露出制御が行われる。すなわち、最終寄与率は、設定した最終寄与率に基づいて算出される最終露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように調整される。したがって、例えば被写体領域よりも背景領域が暗いシーン(夜景や暗い建物の前での撮影など)において、背景領域に露出を合わせるように露出調整を行った場合、被写体領域が露出オーバー状態となってしまうことを防止できるようになる。
【0090】
なお、上述の最終露出制御量の算出動作において、最終寄与率は、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きく、重視する領域が背景領域に設定される場合に、露出制御量差CVdifが閾値Cthを超えないように調整される場合に限られない。最終寄与率は、露出制御量差CVdifと閾値Cthとの比較結果に基づき調整してもよい。例えば露出制御量差CVdifの絶対値が閾値Cthよりも大きい場合、露出制御量差CVdifの絶対値が閾値Cthを超えないように寄与率の調整を行う。この場合、被写体領域の輝度を高めて背景領域との輝度差を減少させる動作も行われるようになる。
【0091】
このような第2の動作例によれば、第1の動作例と同様な作用効果を得ることができる。さらに、第2の動作例では、最終露出制御量と寄与率の低い領域露出制御量との差は閾値を超えないように調整される。したがって、第2の動作例によれば、逆光時などのような被写体と背景の輝度差が大きいシーンであっても、被写体と背景のいずれも明るくまたは暗くなりすぎることのない撮像画を取得することが可能となる。
【0092】
<2−3.他の動作例>
次に、撮像装置10の他の動作例について説明する。他の動作例では、被写体領域の露出制御量と背景領域の露出制御量の比較結果とフラッシュ発光動作だけでなく、撮像関連情報を用いて最終寄与率を決定する場合について説明する。
【0093】
撮像関連情報は、撮像画の取得や取得した撮像画に関連した情報であり、撮像環境情報、撮像設定情報、画像状態情報、ユーザ設定情報の少なくともいずれかの情報を含む。撮像環境情報は、外光の照度や被写体までの距離を含む。撮像設定情報は、シャッター速度,ISO感度,絞り値,距離,被写体までのフラッシュ発光量,フラッシュ到達距離等のいずれかを含む。また、画像状態情報は、被写体領域と背景領域の面積比,撮像画像における被写体領域の位置,背景領域の画像のボケ量等のいずれかを含む。さらに、ユーザ設定情報は、撮像モード、被写体領域と背景領域のいずれが重視する領域として指定されているか示す情報等を含む。
【0094】
露出制御量算出部34は、最終露出制御量を算出する際の被写体領域と背景領域の寄与率を、被写体領域と背景領域との露出制御量の比較結果、フラッシュ発光動作および撮像関連情報に基づき決定する。露出制御量算出部34は、決定した寄与率に応じて被写体領域露出制御量と背景領域露出制御量を混合して最終露出制御量を算出する。例えば、露出制御量算出部34は、最終寄与率において被写体領域の寄与率が80%で背景領域の寄与率が20%である場合、被写体領域露出制御量と背景領域露出制御量を「8:2」の割合で混合して最終露出制御量とする。
【0095】
また、露出制御量算出部34は、被写体領域または背景領域のいずれか一方の領域について領域露出制御量が算出されていない場合、上述したように、算出されていない他方の領域の領域露出制御量を補完する。
【0096】
図14は、最終寄与率の他の設定処理を示すフローチャートであり、露出制御量の比較結果とフラッシュ発光動作および撮像関連情報に基づき最終寄与率を設定する場合を示している。なお、図14におけるステップST41乃至ステップST48の処理は、図11におけるステップST31乃至ステップST38の処理に対応している。
【0097】
ステップST41で露出制御量算出部はフラッシュ発光が行われるか判別する。露出制御量算出部34は、発光制御量算出部41から供給されたフラッシュ発光判別結果に基づき、フラッシュ発光が行われると判別した場合にステップST42に進み、フラッシュ発光が行われないと判別した場合にステップST44に進む。
【0098】
ステップST42で露出制御量算出部は被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きいか判別する。露出制御量算出部34は、被写体領域露出制御量CVmが背景領域露出制御量CVbよりも大きい場合にステップST43に進み、大きくない場合にステップST44に進む。
【0099】
ステップST43で露出制御量算出部は背景領域重視の寄与率設定を行う。露出制御量算出部34は、背景領域を重視した仮の寄与率「Rmtmp:Rbtmp(>Rmtmp)」を設定してステップST45に進む。
【0100】
ステップST44で露出制御量算出部は被写体領域重視の寄与率設定を行う。露出制御量算出部34は、被写体領域を重視した仮の寄与率「Rmtmp:Rbtmp(<Rmtmp)」を設定してステップST45に進む。
【0101】
ステップST45で露出制御量算出部は仮の寄与率に応じた露出制御量CVtmpを算出する。露出制御量算出部34は、被写体領域露出制御量CVmと背景領域露出制御量CVbを、ステップST43またはステップST44で設定された仮の寄与率「Rmtmp:Rbtmp」の混合比で混合して、露出制御量CVtmpを算出してステップST46に進む。
【0102】
ステップST46で露出制御量算出部は露出制御量差CVdifを算出する。露出制御量算出部34は、ステップST45で算出した露出制御量CVtmpと寄与率の低い領域露出制御量との露出制御量差CVdifを算出してステップST47に進む。
【0103】
ステップST47で露出制御量算出部は露出制御量差CVdifと閾値CVthを比較する。露出制御量算出部34は、ステップST46で算出した露出制御量差CVdifと予め設定されている閾値CVthを比較する。露出制御量算出部34は、露出制御量差CVdifが閾値CVthよりも大きい場合はステップST48に進み、露出制御量差CVdifが閾値CVthよりも大きくない場合はステップST49に進む。
【0104】
ステップST48で露出制御量算出部は寄与率の調整を行う。露出制御量算出部34は、露出制御量差CVdifが閾値CVth以内、例えば露出制御量差CVdifが閾値CVthと等しくなるように仮の寄与率の調整を行いステップST49に進む。
【0105】
ステップST49で、露出制御量算出部は撮像関連情報に基づき寄与率を調整する。露出制御量算出部34は、ステップST43またはステップST44で設定された仮の寄与率、または露出制御量差CVdifが閾値CVthを超えないようにステップST48で調整された仮の寄与率を撮像関連情報に基づき調整する。露出制御量算出部34は、調整後の寄与率を最終寄与率として設定する。
【0106】
露出制御量算出部34は、撮像関連情報が撮像環境情報例えば外光照度(例えばLV(Light Value)値)を示す場合、照度が大きいときには、背景が暗くなりすぎないように寄与率を調整する。
【0107】
露出制御量算出部34は、撮像関連情報が撮像環境情報例えば被写体までの距離と撮像設定情報例えばフラッシュ到達距離を示す場合、フラッシュ光が被写体に届かないと判断したとき被写体領域の寄与率を上げる調整を行う。
【0108】
露出制御量算出部34は、撮像関連情報が画像状態情報例えば撮像画における被写体領域の面積比である場合、面積比が大きくなるに伴い被写体領域の寄与率を上げる調整を行う。撮像画に基づく情報が例えば撮像画における被写体領域の位置である場合、注目する被写体等が中央付近であるとき被写体領域の寄与率を上げる調整を行う。さらに、撮像画に基づく情報として背景領域のボケ量の度合いに応じて寄与率の調整を行い、背景のボケ量が大きくなるに伴い被写体領域の寄与率を上げる調整を行う。
【0109】
露出制御量算出部34は、撮像関連情報のユーザ設定情報によって、複数の撮像モード例えば人物の撮像に適した撮像モードや風景の撮像に適した撮像モードあるいは夜景の撮像に適した撮像モード等からユーザが選択した撮像モードが示されている場合、選択した撮像モードに応じて寄与率の調整を行う。
【0110】
さらに、露出制御量算出部34は、ユーザ設定情報を撮像関連情報における他の情報よりも優先させて寄与率の調整を行うようにしてもよい。例えば、ユーザ設定によって被写体領域と背景領域のいずれかが重視する領域として指定されている場合、撮像関連情報における他の情報にかかわらず、指定されている領域の領域露出制御量の寄与率を、指定されていない領域の領域露出制御量の寄与率よりも高くする。重視する領域の指定は、例えばメニュー等によって重視する領域をユーザが選択してもよく、重視する領域をユーザが撮像画上で指定してもよい。
【0111】
なお、撮像関連情報に基づく寄与率の調整は、図14に示すステップ順序で行う場合に限られない。露出制御量算出部34は、例えばステップST49の処理をステップST45の直前に行い、撮像関連情報に基づいて調整された仮の寄与率を用いて、露出制御量CVtmpを算出してもよい。また、露出制御量算出部34は、例えばステップST43で背景領域重視の寄与率設定を行う場合、およびステップST44で被写体領域重視の寄与率設定を行う場合、予め設定された寄与率を撮像関連情報に基づき調整して、調整後の寄与率を仮の寄与率「Rmtmp:Rbtmp(<Rmtmp)」,「Rmtmp:Rbtmp(>Rmtmp)」として、図7または図11と同様な処理によって最終寄与率を設定してもよい。
【0112】
このような他の動作例によれば、第1の動作例および第2の動作例と同様な作用効果を得ることができる。さらに、他の動作例では、撮像状況に応じて詳細な露出制御を行うことができるようになる。また、例えば撮像部が別体として設けられて、無線または有線の伝送路を介してカメラコントロールユニットと接続される場合、カメラコントロールユニットによって上述の露出制御を行うようにしてもよい。
【0113】
<3.応用例>
<3−1.応用例1>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0114】
図15は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図15に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
【0115】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図15では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
【0116】
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
【0117】
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【0118】
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0119】
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【0120】
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【0121】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【0122】
ここで、図16は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0123】
なお、図16には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
【0124】
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【0125】
図15に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【0126】
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
【0127】
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【0128】
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
【0129】
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【0130】
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(登録商標)(Global System of Mobile communications)、WiMAX(登録商標)、LTE(登録商標)(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
【0131】
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
【0132】
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
【0133】
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
【0134】
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
【0135】
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【0136】
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【0137】
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【0138】
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図15の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【0139】
なお、図15に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
【0140】
本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット7400または車内情報検出ユニット7500に好適に適用され得る。例えば撮像画中の人、車、障害物、標識又は路面上の文字等を被写体領域、または背景領域として設定し露出制御量を設定することで運転者にとってまたは画像認識処理に好適な撮像画とすることが可能となる。これにより車両制御システム7000の使い勝手を向上させることができる。
【0141】
<3−2.応用例2>
次に、応用例2では、本開示に係る技術を内視鏡手術システムに適用した場合について説明する。
【0142】
図17は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図17では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
【0143】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a〜5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a〜5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【0144】
内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
【0145】
(支持アーム装置)
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
【0146】
(内視鏡)
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
【0147】
鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0148】
カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【0149】
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【0150】
(カートに搭載される各種の装置)
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【0151】
表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
【0152】
光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
【0153】
アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
【0154】
入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
【0155】
入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
【0156】
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【0157】
処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0158】
以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
【0159】
(支持アーム装置)
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図17では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a〜5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a〜5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
【0160】
関節部5033a〜5033cにはアクチュエータが設けられており、関節部5033a〜5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a〜5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
【0161】
例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
【0162】
また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a〜5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
【0163】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【0164】
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a〜5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
【0165】
(光源装置)
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0166】
また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0167】
また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
【0168】
(カメラヘッド及びCCU)
図18を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図18は、図17に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
【0169】
図18を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
【0170】
まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【0171】
撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
【0172】
撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【0173】
また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
【0174】
また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
【0175】
駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画の倍率及び焦点が適宜調整され得る。
【0176】
通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
【0177】
また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
【0178】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
【0179】
カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
【0180】
なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【0181】
次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
【0182】
また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【0183】
画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
【0184】
画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
【0185】
制御部5063は、内視鏡5001による術部の撮像、及びその撮像画の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【0186】
また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【0187】
カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0188】
ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
【0189】
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【0190】
本開示に係る技術は、以上説明した構成のうち、画像処理部5061に好適に適用され得る。例えば撮像画中の術具5017の領域を被写体領域、または背景領域として設定し露出制御量を設定することで患者5071の体組織を術者5067又は助手等にとって観察しやすくすることが可能となる。また眼底検査など体組織を撮像した際に明暗がはっきり分かれるような画像においても術具5017や観察したい体組織を被写体領域、または背景領域として設定し露出制御量を設定することで術者5067又は助手等にとって観察しやすくすることが可能となる。これにより内視鏡システム5000の使い勝手を向上させることができる。
【0191】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0192】
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0193】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0194】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【0195】
また、本技術の制御装置は以下のような構成も取ることができる。
(1) 被写体領域の測光値に基づいて算出された被写体領域露出制御量と、背景領域の測光値に基づいて算出された背景領域露出制御量に基づいて、露出調整に用いる露出制御量を算出する露出制御量算出部を備える制御装置。
(2) 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づいて前記露出制御量を算出する(1)に記載の制御装置。
(3) 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の寄与率を設定して、前記寄与率に基づいて前記露出制御量を算出する(2)に記載の制御装置。
(4) 前記露出制御量算出部は、前記被写体領域露出制御量と前記背景領域露出制御量の比較結果に基づき前記寄与率を設定する(3)に記載の制御装置。
(5) 前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合、前記背景領域露出制御量の寄与率を前記被写体領域露出制御量よりも高くする(4)に記載の制御装置。
(6) 前記露出制御量算出部は、フラッシュ発光が行われない場合、または前記被写体領域露出制御量が前記背景領域露出制御量よりも大きくない場合、前記被写体領域露出制御量の寄与率を前記背景領域露出制御量よりも高くする(4)または(5)に記載の制御装置。
(7) 前記露出制御量算出部は、前記設定した寄与率に基づいて算出される露出制御量と、寄与率が低い領域の露出制御量との差が予め設定された閾値を超えないように、前記寄与率を調整する(3)乃至(6)のいずれかに記載の制御装置。
(8) 前記露出制御量算出部は、前記被写体領域露出制御量が前記背景領域露出制御量よりも大きい場合に前記寄与率の調整を行う(7)に記載の制御装置。
(9) 前記露出制御量算出部は、撮像画の取得に関する撮像関連情報に基づいて前記寄与率を調整する(3)乃至(8)のいずれかに記載の制御装置。
(10) 前記撮像関連情報は、撮像環境情報、撮像設定情報、前記撮像画の画像状態情報、またはユーザ設定情報のいずれかを含む(9)に記載の制御装置。
(11) 前記撮像環境情報は、外光の照度または被写体までの距離を含む(10)に記載の制御装置。
(12) 前記撮像設定情報は、シャッター速度、ISO感度、絞り値、フラッシュ発光量、フラッシュ到達距離のいずれかを含む(10)または(11)に記載の制御装置。
(13) 前記画像状態情報は、前記被写体領域と前記背景領域の面積比、前記撮像画における前記被写体領域の位置、前記背景領域の画像のボケ量のいずれかを含む(10)乃至(12)のいずれかに記載の制御装置。
(14) 前記露出制御量算出部は、前記ユーザ設定情報を前記撮像関連情報における他の情報よりも優先させて前記寄与率の調整を行う(10)乃至(13)のいずれか記載の制御装置。
(15) 撮像画から前記被写体領域の画像と前記背景領域の画像を抽出する領域抽出部と、
前記被写体領域の画像に基づいた前記被写体領域露出制御量の算出と、前記背景領域の画像に基づいた前記背景領域露出制御量の算出を行う領域別露出制御量算出部とをさらに備える(1)乃至(14)のいずれかに記載の制御装置。
(16) 前記領域抽出部は、前記被写体領域と前記背景領域における一方の領域の画像が抽出できない場合、前記撮像画から抽出できた他方の領域の画像を除いた画像を前記一方の領域の画像とする(15)に記載の制御装置。
(17) 前記領域抽出部で前記被写体領域と前記背景領域の画像を抽出できない場合、前記領域別露出制御量算出部は前記撮像画に基づいて全体領域露出制御量を算出して、前記露出制御量算出部は前記領域別露出制御量算出部で算出された前記全体領域露出制御量を前記露出制御量とする(15)に記載の制御装置。
【産業上の利用可能性】
【0196】
この技術の制御装置と制御方法およびプログラムでは、撮像画における被写体領域の画像に基づいて算出した被写体領域露出制御量と背景領域の画像に基づいて算出した背景領域露出制御量とに基づいて、露出制御量が算出される。このため、算出された露出制御量に応じた露出調整を行うことで、安定した露出を得られるようになる。したがって、車両制御システムや内視鏡手術システムのように、自然で調和の取れた明るさの撮影画像が必要とされるシステムに適している。
【符号の説明】
【0197】
10・・・撮像装置
21・・・撮像光学系ブロック
22・・・イメージセンサ部
23・・・信号処理部
24・・・現像処理部
25・・・画像記録部
31・・・領域抽出部
32b・・・背景領域測光部
32m・・・被写体領域測光部
32w・・・全体領域測光部
33・・・領域別露出制御量算出部
33b・・・背景領域露出制御量算出部
33m・・・被写体領域露出制御量算出部
33w・・・全体領域露出制御量算出部
34・・・露出制御量算出部
41・・・発光制御量算出部
51・・・ユーザインタフェース部
55・・・制御部
55a・・・露出制御部
55b・・・発光制御部
61・・・フラッシュユニット
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
【国際調査報告】