特表-20045598IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニーセミコンダクタソリューションズ株式会社の特許一覧
<>
  • 再表WO2020045598-電子機器及び固体撮像装置 図000003
  • 再表WO2020045598-電子機器及び固体撮像装置 図000004
  • 再表WO2020045598-電子機器及び固体撮像装置 図000005
  • 再表WO2020045598-電子機器及び固体撮像装置 図000006
  • 再表WO2020045598-電子機器及び固体撮像装置 図000007
  • 再表WO2020045598-電子機器及び固体撮像装置 図000008
  • 再表WO2020045598-電子機器及び固体撮像装置 図000009
  • 再表WO2020045598-電子機器及び固体撮像装置 図000010
  • 再表WO2020045598-電子機器及び固体撮像装置 図000011
  • 再表WO2020045598-電子機器及び固体撮像装置 図000012
  • 再表WO2020045598-電子機器及び固体撮像装置 図000013
  • 再表WO2020045598-電子機器及び固体撮像装置 図000014
  • 再表WO2020045598-電子機器及び固体撮像装置 図000015
  • 再表WO2020045598-電子機器及び固体撮像装置 図000016
  • 再表WO2020045598-電子機器及び固体撮像装置 図000017
  • 再表WO2020045598-電子機器及び固体撮像装置 図000018
  • 再表WO2020045598-電子機器及び固体撮像装置 図000019
  • 再表WO2020045598-電子機器及び固体撮像装置 図000020
  • 再表WO2020045598-電子機器及び固体撮像装置 図000021
  • 再表WO2020045598-電子機器及び固体撮像装置 図000022
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2020年3月5日
【発行日】2021年9月24日
(54)【発明の名称】電子機器及び固体撮像装置
(51)【国際特許分類】
   H04N 5/232 20060101AFI20210827BHJP
   G06T 7/00 20170101ALI20210827BHJP
   G03B 15/00 20210101ALI20210827BHJP
   G03B 7/091 20210101ALN20210827BHJP
   G03B 17/38 20210101ALN20210827BHJP
   G02B 7/28 20210101ALN20210827BHJP
【FI】
   H04N5/232
   H04N5/232 190
   G06T7/00 350C
   G03B15/00 Q
   G03B7/091
   G03B17/38 B
   G02B7/28 N
【審査請求】未請求
【予備審査請求】未請求
【全頁数】42
【出願番号】特願2020-539604(P2020-539604)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2019年8月29日
(31)【優先権主張番号】特願2018-163700(P2018-163700)
(32)【優先日】2018年8月31日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2019-152201(P2019-152201)
(32)【優先日】2019年8月22日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】浴 良仁
(72)【発明者】
【氏名】青木 卓
(72)【発明者】
【氏名】佐藤 竜太
【テーマコード(参考)】
2H002
2H020
2H151
5C122
5L096
【Fターム(参考)】
2H002DB25
2H002GA16
2H002GA66
2H020FB00
2H151DA15
5C122DA03
5C122DA04
5C122DA09
5C122EA07
5C122EA52
5C122EA68
5C122FC06
5C122FC11
5C122FD01
5C122FF01
5C122FH02
5C122FH04
5C122FH14
5C122FH16
5C122FK24
5C122FL05
5C122GA01
5C122GA24
5C122GC75
5C122HA01
5C122HA13
5C122HA29
5C122HA48
5C122HA86
5C122HA88
5C122HB01
5C122HB05
5L096DA03
5L096FA67
5L096HA11
(57)【要約】
機能実現に伴う処理時間や消費電力の増大を抑制する。実施形態に係る電子機器は、画像データを生成する撮像部(11)と、前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部(14)と、前記処理の結果に基づいて、所定の機能を実行する機能実行部(12)と、変位を検出する検出部(32)とを備え、前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する。
【特許請求の範囲】
【請求項1】
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
電子機器。
【請求項2】
前記機能実行部は、前記電子機器の画面ロックを設定/解除する機能を備え、
前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
請求項1に記載の電子機器。
【請求項3】
前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
請求項1に記載の電子機器。
【請求項4】
前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してCNN(Convolution Neural Network)を利用した処理を実行する請求項1に記載の電子機器。
【請求項5】
前記処理部は、前記最初に入力された単位領域のデータに対する前記CNNを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してRNN(Recurrent Neural Network)を利用した処理を実行する請求項4に記載の電子機器。
【請求項6】
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
前記処理部には、前記ライン単位で前記データが入力される
請求項4に記載の電子機器。
【請求項7】
前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである請求項4に記載の電子機器。
【請求項8】
前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである請求項4に記載の電子機器。
【請求項9】
前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
請求項1に記載の電子機器。
【請求項10】
前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも1つである請求項1に記載の電子機器。
【請求項11】
前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
前記物体検出は、画像データに含まれる物体を検出する処理であり、
前記物体認識は、画像データに含まれる物体を認識する処理であり、
前記動き検出は、画像データに含まれる動物体を検出する処理であり、
前記ペット検出は、画像データに含まれるペットを検出する処理であり、
前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
請求項10に記載の電子機器。
【請求項12】
前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも1つである請求項1に記載の電子機器。
【請求項13】
前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
請求項1に記載の電子機器。
【請求項14】
前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
請求項2に記載の電子機器。
【請求項15】
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む1フレーム分の画像データと前記画像データの撮像時刻とを出力する
請求項1に記載の電子機器。
【請求項16】
前記撮像部の画角を変更する制御機構をさらに備え、
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
請求項1に記載の電子機器。
【請求項17】
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
請求項1に記載の電子機器。
【請求項18】
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第1の回避対象物認識を実行し、
前記機能実行部は、前記処理部による第1の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第2の回避対象物認識を実行し、前記第2の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
請求項1に記載の電子機器。
【請求項19】
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
前記処理の結果を出力する出力部と、
を備える固体撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、電子機器及び固体撮像装置に関する。
【背景技術】
【0002】
近年、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機等に搭載される小型カメラ等の撮像装置の高性能化に伴い、露出を自動で調整するオート露光(AE)機能や、焦点を自動で調整するオートフォーカス(AF)機能や、シャッタ動作を自動で行なうオートシャッタ機能や、被写体やシーンに応じてカラーマトリクスを自動で調整するオート色補正機能等を搭載する撮像装置が開発されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018−061290号公報
【特許文献2】特開2017−183775号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来では、オート露光やオートフォーカスやオートシャッタやオート色補正機能等の付加的な機能を実行するために、1〜数フレーム分の画像データに対する画像処理が必要であった。そのため、機能実現のための処理時間や消費電力が増大してしまうという課題が存在した。
【0005】
そこで本開示では、機能実現に伴う処理時間や消費電力の増大を抑制することが可能な電子機器及び固体撮像装置を提案する。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本開示に係る一形態の電子機器は、画像データを生成する撮像部と、前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、前記処理の結果に基づいて、所定の機能を実行する機能実行部と、変位を検出する検出部とを備え、前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する。
【図面の簡単な説明】
【0007】
図1】第1の実施形態に係る電子機器としての撮像装置の概略構成例を示すブロック図である。
図2】第1の実施形態に係るDSPを処理部として機能させた際のイメージセンサの動作例を示すフローチャートである。
図3】1フレーム分の画像データの一例を示す図である。
図4】第1の実施形態に係るDSPが実行する演算処理の流れを説明するための図である。
図5】第1の実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。
図6】第2の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図7】第3の実施形態に係る電子機器の概略構成例を示すブロック図である。
図8】第3の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図9】第4の実施形態に係る電子機器の概略構成例を示すブロック図である。
図10】第4の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図11】第5の実施形態に係る電子機器の概略構成例を示すブロック図である。
図12】第5の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図13】第6の実施形態に係る電子機器の概略構成例を示すブロック図である。
図14】第6の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図15】第7の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図16】第8の実施形態に係る電子機器の概略動作例を示すフローチャートである。
図17】車両制御システムの概略的な構成の一例を示すブロック図である。
図18】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
図19】内視鏡手術システムの概略的な構成の一例を示す図である。
図20】カメラヘッド及びCCUの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【0008】
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0009】
また、以下に示す項目順序に従って本開示を説明する。
1. 第1の実施形態
1.1 電子機器の概略構成例
1.2 処理部の動作
1.2.1 演算動作の具体例
1.3 演算結果を利用した付加的な機能の実行
1.4 作用・効果
2. 第2の実施形態
2.1 動作例
2.2 作用・効果
3. 第3の実施形態
3.1 電子機器の概略構成例
3.2 動作例
3.3 作用・効果
4. 第4の実施形態
4.1 電子機器の概略構成例
4.2 動作例
4.3 作用・効果
5. 第5の実施形態
5.1 電子機器の概略構成例
5.2 動作例
5.3 作用・効果
6. 第6の実施形態
6.1 電子機器の概略構成例
6.2 動作例
6.3 作用・効果
7. 第7の実施形態
7.1 動作例
7.2 作用・効果
8. 第8の実施形態
8.1 動作例
8.2 作用・効果
9.移動体への応用例
10.内視鏡手術システムへの応用例
【0010】
1. 第1の実施形態
まず、第1の実施形態について、図面を参照して詳細に説明する。
1.1 電子機器の概略構成例
図1は、第1の実施形態に係る電子機器の概略構成例を示すブロック図である。図1に示すように、電子機器1は、固体撮像装置であるイメージセンサ10と、アプリケーションプロセッサ20とを備える。イメージセンサ10は、撮像部11と、コントロール部12と、信号処理部13と、DSP(Digital Signal Processor)14と、メモリ15と、セレクタ(出力部ともいう)16とを備えている。
【0011】
コントロール部12は、例えば、ユーザの操作や設定された動作モードに従い、イメージセンサ10内の各部を制御する。
【0012】
撮像部11は、例えば、ズームレンズ、フォーカスレンズ、絞り等を備える光学系104と、フォトダイオードなどの受光素子(光電変換部ともいう)を含む単位画素が2次元マトリクス状に配列した構成を備える画素アレイ部101とを備える。外部から入射した光は、光学系104を介することで、画素アレイ部101における受光素子が配列した受光面に結像される。画素アレイ部101の各単位画素は、その受光素子に入射した光を電変換することで、入射光の光量に応じた電荷を読出可能に蓄積する。
【0013】
信号処理部13は、撮像部11の各単位画素から読み出された画素信号に対して、種々の信号処理を実行する。例えば、信号処理部13は、画素アレイ部101の各単位画素から読み出されたアナログの画素信号をデジタル値の画像データに変換する。また、信号処理部13は、例えば、画像データがカラー画像である場合、この画像データをYUVの画像データやRGBの画像データなどにフォーマット変換する。さらに、信号処理部13は、例えば、画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部13は、画像データに対し、DSP14がその画像データを処理するのに必要となる種々の信号処理(前処理ともいう)を実行する。
【0014】
DSP14は、例えば、メモリ15に格納されているプログラムを読み出して実行することで、ディープニューラルネットワーク(DNN)を利用した機械学習によって作成された学習済みモデルを用いて各種処理を実行する処理部として機能する。例えば、DSP14は、メモリ15に記憶されている学習済みモデルに基づいた演算処理を実行することで、メモリ15に記憶されている辞書係数と画像データとを掛け合わせる処理を実行する。このような演算処理により得られた結果(演算結果)は、メモリ15及び/又はセレクタ16へ出力される。なお、演算結果には、学習済みモデルを用いた演算処理を実行することで得られた画像データや、演算結果に基づいて加工された画像データや、画像データから得られた各種情報(画像における一部の領域を示す領域情報等。以下、メタデータという)等が含まれ得る。また、DSP14には、メモリ15へのアクセスを制御するメモリコントローラが組み込まれていてもよい。
【0015】
演算処理には、例えば、ニューラルネットワーク計算モデルの一例である学習済みの学習モデルを利用したものが存在する。例えば、DSP14は、学習済みの学習モデルを用いて、各種処理であるDSP処理を実行することもできる。例えば、DSP14は、メモリ15から画像データを読み出して学習済みの学習モデルに入力し、学習済みモデルの出力結果として顔の輪郭や顔画像の領域などである顔位置を取得する。そして、DSP14は、画像データのうち、抽出された顔位置に対して、マスキング、モザイク、アバター化などの処理を実行して、加工画像データを生成する。その後、DSP14は、生成した加工された画像データ(加工画像データ)をメモリ15に格納する。
【0016】
また、学習済みの学習モデルには、学習データを用いて、人物の顔位置の検出などを学習したDNNやサポートベクタマシンなどが含まれる。学習済みの学習モデルは、判別対象のデータである画像データが入力されると、判別結果すなわち顔位置を特定するアドレスなどの領域情報を出力する。なお、DSP14は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで学習モデルを更新したり、複数の学習モデルを用意しておき演算処理の内容に応じて使用する学習モデルを変更したり、外部の装置から学習済みの学習モデルを取得または更新したりして、上記演算処理を実行することができる。
【0017】
なお、DSP14が処理対象とする画像データは、画素アレイ部101から通常に読み出された画像データであってもよいし、この通常に読み出された画像データの画素を間引くことでデータサイズが縮小された画像データであってもよい。若しくは、画素アレイ部101に対して画素を間引いた読み出しを実行することで通常よりも小さいデータサイズで読み出された画像データであってもよい。なお、ここでの通常の読み出しとは、画素を間引かずに読み出すことであってよい。
【0018】
このような学習モデルによる顔位置の抽出や加工処理により、画像データの顔位置がマスキングされた加工画像データ、画像データの顔位置がモザイク処理された加工画像データ、または、画像データの顔位置がキャラクターに置き換えられてアバター化された加工画像データなどを生成することができる。
【0019】
メモリ15は、DSP14で得られた演算結果等を必要に応じて記憶する。また、メモリ15は、DSP14が実行する学習済みの学習モデルのアルゴリズムをプログラム及び辞書係数として記憶する。学習済みの学習モデルのプログラム及び辞書係数は、例えば、外部のクラウドサーバ30等で作成されたものがネットワーク40を介して電子機器1にダウンロードされてメモリ15に格納されてもよいし、電子機器1の出荷前にメモリ15に格納されてもよい。
【0020】
セレクタ16は、例えばコントロール部12からの選択制御信号に従うことで、信号処理部13から出力された画像データと、DSP14から出力された演算結果とを選択的に出力する。なお、DSP14は、演算処理により得られた演算結果を直接、セレクタ16へ出力してもよいし、一旦メモリ15に格納した後、メモリ15から読み出してセレクタ16へ出力してもよい。
【0021】
以上のようにしてセレクタ16から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ20に入力される。アプリケーションプロセッサ20は、例えば、CPU(Central Processing Unit)等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。このアプリケーションプロセッサ20には、GPU(Graphics Processing Unit)やベースバンドプロセッサなどの機能が搭載されていてもよい。アプリケーションプロセッサ20は、入力された画像データや演算結果に対し、必要に応じた種々処理を実行したり、ユーザへの表示を実行したり、所定のネットワーク40を介して外部のクラウドサーバ30へ送信したりする。
【0022】
また、電子機器1には、イメージセンサ10から出力された画像データや機能設定/実行のための各種メニューを表示するためのディスプレイ17が設けられている。このディスプレイ17は、例えば、ビューファインダとしても機能するし、アプリケーションプロセッサ20が実行するオペレーティングシステムやアプリケーションソフトウエアのGUI(Graphical User Interface)画面を表示するディスプレイとしても機能する。なお、ディスプレイ17は、ユーザインタフェースとしても機能するタッチスクリーンであってもよい。
【0023】
なお、所定のネットワーク40には、例えば、インターネットや、有線LAN(Local Area Network)又は無線LANや、移動体通信網や、Bluetooth(登録商標)など、種々のネットワークを適用することができる。また、画像データや演算結果の送信先は、クラウドサーバ30に限定されず、単一で動作するサーバや、各種データを保管するファイルサーバや、携帯電話機等の通信端末など、通信機能を有する種々の情報処理装置(システム)であってよい。
【0024】
1.2 処理部の動作
次に、本実施形態において処理部として機能するDSP14の動作について、以下に図面を参照して詳細に説明する。
【0025】
本実施形態に係るDSP14は、上述したように、メモリ15に格納されている学習済みの学習モデルを読み出して実行することで、DNNを利用した処理部として機能する。図2に、DSP14を処理部として機能させた際のイメージセンサ10の動作例を示す。
【0026】
図2に示すように、本動作では、まず、DSP14がメモリ15から学習済みの学習モデルを読み出して実行する(ステップS121)。これにより、DSP14が処理部として機能する。
【0027】
次に、コントロール部12が撮像部11からのフレーム読出しを開始する(ステップS122)。このフレーム読出しでは、例えば、1フレーム分の画像データが水平ライン単位(行単位ともいう)で順次読み出される。
【0028】
次に、1フレームにおける所定ライン数の画像データが読み出されると(ステップS123のYES)、DSP14は、読み出された所定ライン数分の画像データに対して、CNN(Convolution Neural Network)を利用した演算処理を実行する(ステップS124)。すなわち、DSP14は、所定ライン数の画像データを単位領域として、学習済みの学習モデルを用いた演算処理を実行する。また、CNNを利用した演算処理では、例えば、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き(動物体)検出やペット検出やシーン認識や状態検出や回避対象物認識等が実行される。
【0029】
ここで、顔検出とは、画像データに含まれる人物の顔を検出する処理である。顔認証とは、生体認証の一つであって、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理である。視線検出とは、画像データに含まれる人物の視線の方向を検出する処理である。表情認識とは、画像データに含まれる人物の表情を認識する処理である。顔方向検出とは、画像データに含まれる人物の顔の上下方向を検出する処理である。物体検出とは、画像データに含まれる物体を検出する処理である。物体認識とは、画像データに含まれる物体が何であるかを認識する処理である。動き(動物体)検出とは、画像データに含まれる動物体を検出する処理である。ペット検出とは、画像データに含まれる犬や猫などのペットを検出する処理である。シーン認識とは、撮影しているシーン(海や山等)を認識する処理である。状態検出とは、画像データに含まれる人物等の状態(通常の状態か異常の状態か等)を検出する処理である。回避対象物認識とは、自身が移動する場合のその進行方向前方に存在する回避対象の物体を認識する処理である。
【0030】
CNNを利用した演算処理に成功した場合(ステップS125のYES)、本動作はステップS129へ進む。一方、CNNを利用した演算処理に失敗した場合(ステップS125のNO)、撮像部11から次の所定ライン数の画像データが読み出されるのを待機する(ステップS126のNO)。
【0031】
なお、本説明において、演算処理に成功するとは、例えば、上記において例示したような顔検出や顔認証等において、一定の検出結果や認識結果や認証が得られたことを意味する。一方、演算処理に失敗するとは、例えば、上記において例示したような顔検出や顔認証等において、十分な検出結果や認識結果や認証が得られなかったことを意味する。
【0032】
次に、ステップS126において、次の所定ライン数の画像データ(単位領域)が読み出されると(ステップS126のYES)、DSP14は、読み出された所定ライン数の画像データに対して、RNN(Recurrent Neural Network)を利用した演算処理を実行する(ステップS127)。RNNを利用した演算処理では、例えば、同一フレームの画像データに対してこれまでに実行したCNN又はRNNを利用した演算処理の結果も利用される。
【0033】
RNNを利用した演算処理に成功した場合(ステップS128のYES)、本動作はステップS129へ進む。
【0034】
ステップS129では、ステップS124又はS127で成功した演算結果が、例えば、DSP14からセレクタ16を介してアプリケーションプロセッサ20へ出力されるか、又は、メモリ15へ格納される。
【0035】
また、ステップS127において、RNNを利用した演算処理に失敗した場合(ステップS128のNO)、1フレーム分の画像データの読出しが完了したか否かが判定され(ステップS130)、完了していない場合(ステップS130のNO)、ステップS126へリターンして、次の所定ライン数の画像データに対する処理が実行される。
【0036】
一方、1フレーム分の画像データの読出しが完了している場合(ステップS130のYES)、例えば、コントロール部12は、本動作を終了するか否かを判定し(ステップS131)、終了しない場合(ステップS131のNO)、ステップS122へリターンし、次のフレームに対して同様の動作を実行する。また、終了する場合(ステップS131のYES)、本動作が終了する。
【0037】
なお、次のフレームへ移行するか否か(ステップS131)は、例えば、アプリケーションプロセッサ20等の外部から終了の指示が入力されたか否かに基づいて判断されてもよいし、予め定めておいた所定フレーム数の画像データに対する一連の処理が完了したか否かに基づいて判断されてもよい。
【0038】
また、顔検出や顔認証や視線検出や表情認識や顔方向検出や物体検出や物体認識や動き(動物体)検出やシーン認識や状態検出等の演算処理を連続して行なう場合、直前の演算処理に失敗している場合には、次の演算処理がスキップされてもよい。例えば、顔検出の次に顔認証を実行する場合に、顔検出に失敗している場合には、次の顔認証がスキップされてもよい。
【0039】
1.2.1 演算動作の具体例
つづいて、図2を用いて説明した処理部の動作を、具体例を用いて説明する。なお、以下では、DNNを利用して顔検出を実行する場合を例示する。
【0040】
図3は、1フレーム分の画像データの一例を示す図である。図4は、本実施形態に係るDSPが実行する演算処理の流れを説明するための図である。
【0041】
図3に示すような画像データに対して演算処理により顔検出を実行する場合、図4(a)に示すように、DSP14には、まず、所定ライン数分の画像データが入力される(図2のステップS123に相当)。DSP14は、入力された所定ライン数分の画像データに対してCNNを利用した演算処理を実行することで、顔検出を実行する(図2のステップS124に相当)。ただし、図4(a)の段階では、未だ顔全体の画像データが入力されていないため、DSP14は、顔検出に失敗する(図2のステップS125のNOに相当)。
【0042】
つづいて、図4(b)に示すように、DSP14には、次の所定ライン数分の画像データが入力される(図2のステップS126に相当)。DSP14は、図4(a)で入力された所定ライン数分の画像データに対して実行したCNNを利用した演算処理の結果を用いつつ、新たに入力された所定ライン数分の画像データに対してRNNを利用した演算処理を実行することで、顔検出を実行する(図2のステップS127に相当)。
【0043】
図4(b)の段階では、図4(a)の段階で入力された所定ライン数分のが総データと合せて、顔全体の画像データが入力されている。したがって、図4(b)の段階において、DSP14は、顔検出に成功する(図2のステップS128のYESに相当)。すると、本動作では、次以降の画像データ(図4(c)〜(f)の画像データ)が読み出されることなく、顔検出の結果が出力される(図2のステップS129に相当)。
【0044】
このように、所定ライン数ずつの画像データに対してDNNを利用した演算処理を実行することで、顔検出に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
【0045】
なお、所定ライン数は、学習済みの学習モデルのアルゴリズムが要求するフィルタの大きさによって決定されるライン数であり、その最小数は1ラインである。
【0046】
また、撮像部11から読み出される画像データは、列方向及び/又は行方向に間引かれた画像データであってもよい。その場合、例えば、列方向に1行置きに画像データを読み出す場合には、2(N−1)(Nは1以上の整数)ライン目の画像データが読み出される。
【0047】
また、学習済みの学習モデルのアルゴリズムが要求するフィルタがライン単位でなく、例えば、1×1画素や5×5画素などの画素単位の矩形領域である場合には、所定ライン数の画像データに代えて、そのフィルタの形状やサイズに応じた矩形領域の画像データを、DSP14が演算処理を実行する単位領域の画像データとして、DSP14に入力されてもよい。
【0048】
さらに、上述では、DNNの例としてCNNとRNNとを例示したが、これらに限定されず、例えば、GAN(Generative Adversarial Network)等、他の学習モデルを利用することも可能である。
【0049】
1.3 演算結果を利用した付加的な機能の実行
次に、DSP14が実行した演算処理の結果を利用して付加的な機能を実行する際の動作について、図面を参照して詳細に説明する。なお、以下では、演算結果を利用して実行する付加的な機能として、オート露光(AE)機能、オートフォーカス(AF)機能、オートシャッタ(AS)機能、及び、オート色補正機能を例示するが、これらの機能に限定されず、種々の機能を適用することが可能である。
【0050】
図5は、本実施形態に係る演算処理の結果を利用して付加的な機能を実行する際の動作の一例を示すフローチャートである。図5に示すように、本動作では、例えば、ユーザによる電源投入により電子機器1が起動すると、まず、イメージセンサ10が起動される(ステップS101)。これにより、電子機器1のビューファインダとして機能するディスプレイ17への、イメージセンサ10により得られた画像の表示が開始される。
【0051】
次に、図2を用いて説明した動作を実行することで、演算処理による検出処理や認識処理等が実行される(ステップS102)。例えば、オート露光機能を実行する場合には、DSP14が実行する演算処理により、撮像部11に映り込んだ人や物等(以下、被写体という)の明度が検出される。また、オートフォーカス機能を実行する場合には、DSP14が実行する演算処理により、被写体までの距離が検出される。さらに、オートシャッタ機能を実行する場合には、DSP14が実行する演算処理により、被写体の表情や姿勢や動き等が検出される。さらにまた、オート色補正機能を実行する場合には、DSP14が実行する演算処理により、シーンや被写体が検出される。なお、シーンには、海や山などの風景に加え、晴れや曇りなどの天気等も含まれ得る。
【0052】
次に、DSP14による演算に成功したか否か、すなわち、演算処理によって一定の検出結果や認識結果等が得られたか否かが判定される(ステップS103)。演算に成功していた場合(ステップS103のYES)、例えば、ユーザによって有効と設定された機能が実行される(ステップS104)。
【0053】
例えば、オート露光機能が有効と設定されていた場合であって、ユーザが電子機器1のシャッタボタンを押下している場合には、DSP14が実行した演算処理により得られた被写体の明度に応じて、コントロール部12(機能実行部の一形態)が、絞りやシャッタスピードを自動的に制御する。
【0054】
また、オートフォーカス機能が有効と設定されていた場合には、DSP14が実行した演算処理により得られた被写体までの距離に応じて、コントロール部12(機能実行部の一形態)が、光学系104の焦点距離を自動的に制御する。
【0055】
さらに、オートシャッタ機能が有効と設定されていた場合には、DSP14が実行した演算処理により得られた被写体の表情や姿勢や動き等に応じて、コントロール部12(機能実行部の一形態)が、シャッタ動作を自動的に実行する。
【0056】
さらにまた、オート色補正機能が有効と設定されていた場合には、DSP14が実行した演算処理により検出されたシーンや被写体に応じて、アプリケーションプロセッサ20(機能実行部の一形態)が、カラーマトリクスを自動的に変更する。なお、カラーマトリクスは、画像全体に対して変更されるだけでなく、被写体が映り込んでいる領域ごとに変更されてもよい。例えば、人物が映り込んでいる領域に対しては、人物用のカラーマトリクスが使用され、リンゴやミカンなどの物体が映り込んできる領域には、その物体に応じたカラーマトリクスが使用されてもよい。
【0057】
その後、ステップS105において、本動作を終了するか否かが判定され、終了する場合(ステップS105のYES)、イメージセンサ10を停止し(ステップS106)、本動作を終了する。一方、終了しない場合(ステップS105のNO)、ステップS102へリターンし、以降の動作を繰返し実行する。
【0058】
1.4 作用・効果
以上のように、本実施形態によれば、所定ライン数ずつの画像データに対して演算処理を実行することで、演算処理に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となる。それにより、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
【0059】
また、所定ライン数ずつの画像データに対して実行した演算処理の結果に基づいて付加的な機能を実行する構成とすることで、短時間で検出や認識や認証等の処理を完了することが可能となるため、処理時間の短縮及び消費電力の低減を実現することが可能となる。
【0060】
さらに、短時間でシーンや被写体を検出してオート露光やオートフォーカスやオート色補正を実行することが可能となるため、シーンや被写体に応じてより綺麗な静止画像や動画像を取得することも可能となる。
【0061】
さらにまた、オートシャッタを実行する際の反応速度を向上することも可能となるため、より好適なタイミングで自動的にシャッタを切ることも可能となる。
【0062】
2. 第2の実施形態
次に、第2の実施形態について、図面を参照して詳細に説明する。上述した第1の実施形態では、演算結果の利用形態として、オート露光(AE)機能、オートフォーカス(AF)機能、オートシャッタ(AS)機能、オート色補正機能等の付加的な機能を実行する場合を例示した。これに対し、第2の実施形態では、所定のアプリアプリケーションソフトウエアに対して評価等を自動で入力する場合を例示する。
【0063】
ユーチューブ(登録商標)やツイッター(登録商標)やフェイスブック(登録商標)やインスタグラム(登録商標)などのソーシャルネットワークサービス(Social Networking Sservice;SNS)や、インターネットフォーラムや、ニュースサイトや、ブログなどには、ユーザが投稿した動画や写真や文章などのコンテンツに対して、他のユーザが評価や好感度等を入力するための機能(ソーシャルボタン)が組み込まれている場合が存在する。そこで本実施形態では、これらのコンテンツを閲覧・再生しているユーザの表情等を演算処理により認識し、その結果に基づいて、評価や好感度等を自動で入力する場合について、例を挙げて説明する。
【0064】
本実施形態に係る電子機器の概略構成例は、第1の実施形態において図1を用いて説明した電子機器1と同様であってよい。ただし、本実施形態に係る電子機器は、スマートフォンやノート型パーソナルコンピュータなど、カメラ機能とコンテンツ閲覧・再生機能とを備えた通信端末である。
【0065】
2.1 動作例
図6は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。なお、本説明では、明確化のため、ユーチューブ(登録商標)などで提供される動画像のコンテンツを再生する場合について説明する。
【0066】
図6に示すように、本動作では、まず、アプリケーションプロセッサ20が、ユーザが入力した操作に従い、コンテンツ再生用の所定のアプリケーションソフトウエアを起動する(ステップS201のYES)。
【0067】
次に、アプリケーションプロセッサ20は、ユーザが入力した操作に従い、指定されたコンテンツの再生を開始する(ステップS202)。すると、このコンテンツ再生に連動する形で、イメージセンサ10が起動される(ステップS203)。
【0068】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、コンテンツを視聴しているユーザに関して、顔検出(ステップS204)と、視線検出(ステップS205)と、表情認識(ステップS206)との演算処理を順次実行し、それにより得られた表情認識の結果に基づいて、ユーザが笑顔や泣き顔や怒り顔などの特定の表情をしているか否かを判定する(ステップS207)。
【0069】
コンテンツを視聴しているユーザが特定の表情をしていない場合(ステップS207のNO)、本動作は、そのままステップS210へ進む。一方、ユーザが特定の表情をしている場合(ステップS207のYES)、イメージセンサ10は、ステップS206において認識された表情に関するメタデータをアプリケーションプロセッサ20へ出力する(ステップS208)。これに対し、アプリケーションプロセッサ20(機能実行部の一形態)は、実行中のアプリケーションソフトウエアにおけるソーシャルボタンを利用して、表情に応じた評価をアプリケーションソフトウエアに入力する(ステップS209)。その後、本動作は、ステップS210へ進む。
【0070】
ステップS210では、アプリケーションプロセッサ20が、同一コンテンツの再生が停止又は終了されたか否かを判定し、停止も終了もされていない場合(ステップS210のNO)、本動作がステップS204へリターンして、以降の動作を継続する。一方、コンテンツの再生が停止又は終了されていた場合(ステップS210のYES)、アプリケーションプロセッサ20は、イメージセンサ10を停止する(ステップS211)。つづいて、アプリケーションプロセッサ20は、アプリケーションソフトウエアが終了されたか否かを判定し(ステップS212)、終了された場合(ステップS212のYES)、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合(ステップS212のNO)、本動作がステップS202へリターンし、次のコンテンツの再生に対して以降の動作が実行される。
【0071】
2.2 作用・効果
以上のように、本実施形態によれば、表情認識に成功した時点以降の画像データに対する読出しや演算処理の実行を省略することが可能となるため、コンテンツ閲覧又は再生時の消費電力の増加を抑制しつつ、自動的にコンテンツに対する評価や好感度等を入力することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0072】
3. 第3の実施形態
次に、第3の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、姿勢に応じてディスプレイ17の表示方向を回転させる機能を備えた電子機器において、特定のアプリケーションソフトウエアを実行中に、演算結果を利用してディスプレイ17の表示方向を制御する場合を例示する。
【0073】
3.1 電子機器の概略構成例
図7は、第3の実施形態に係る電子機器の概略構成例を示すブロック図である。図7に示すように、電子機器3は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、電子機器3の姿勢の変化(以下、変位という)を検出するための慣性計測装置(Inertial Measurement Unit:IMU)32をさらに備えている。また、電子機器3におけるイメージセンサ10には、IMU32による検出結果に基づいて電子機器3の姿勢を検出するCPU(Central Processing Unit)31がさらに組み込まれている。
【0074】
IMU32は、例えば、3軸のジャイロと3方向の加速度計とを用いて構成され、3次元の角速度と加速度を検出結果として出力する。
【0075】
CPU31は、IMU32から出力された検出結果に基づいて、電子機器3が例えば重力方向に対してどのような姿勢であるかを検出する。
【0076】
アプリケーションプロセッサ20は、例えば、CPU31で検出された電子機器3の姿勢に応じて、ディスプレイ17の表示方向を制御する。例えば、演算処理の結果に基づいてディスプレイ17の表示方向を制御しない場合、アプリケーションプロセッサ20は、電子機器3における長手方向が水平方向よりも垂直方向に近い状態では、ディスプレイ17の表示方向を縦方向とし、長手方向が垂直方向よりも水平方向に近い状態では、ディスプレイ17の表示方向を横方向とする。
【0077】
一方で、演算処理の結果に基づいてディスプレイ17の表示方向を制御する場合には、アプリケーションプロセッサ20は、DSP14による演算処理の結果として得られたユーザの顔の上下方向と、ディスプレイ17の表示方向とが一致するように、ディスプレイ17の表示方向を制御する。例えば、電子機器3における長手方向が水平方向よりも垂直方向に近い状態にも関わらず、ユーザの顔の上下方向が垂直方向よりも水平方向に近い状態であれば、アプリケーションプロセッサ20は、ディスプレイ17の表示方向をユーザの顔の上下方向と同じ横方向とする。一方、電子機器3における長手方向が垂直方向よりも水平方向に近い状態にも関わらず、ユーザの顔の上下方向が水平方向よりも垂直方向に近い状態であれば、アプリケーションプロセッサ20は、ディスプレイ17の表示方向をユーザの顔の上下方向と同じ縦方向とする。
【0078】
3.2 動作例
図8は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図8に示すように、本動作では、まず、アプリケーションプロセッサ20が、ユーザが入力した操作に従い、所定のアプリアプリケーションソフトウエアを起動すると(ステップS301のYES)、CPU31がIMU32で検出された情報に基づいて、電子機器3の姿勢の変化(変位)を検出する(ステップS302)。変位が検出されない場合(ステップS302のNO)、本動作はステップS309へ進む。一方、変位が検出された場合(ステップS302のYES)、イメージセンサ10が起動される(ステップS303)。
【0079】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、電子機器3を使用しているユーザに関して、顔検出(ステップS304)と、顔方向検出(ステップS305)との演算処理を順次実行し、それにより認識された顔方向に基づいて、撮像部11又はディスプレイ17に対するユーザの顔の上下方向に関するメタデータをアプリケーションプロセッサ20へ出力する(ステップS306)。これに対し、アプリケーションプロセッサ20(機能実行部の一形態)は、ディスプレイ17の表示方向を、ユーザの顔の上下方向と一致する方向にロックする(ステップS307)。そして、イメージセンサ10が停止される(ステップS308)。
【0080】
その後、アプリケーションプロセッサ20は、アプリケーションソフトウエアが終了されたか否かを判定し(ステップS309)、終了された場合(ステップS309のYES)、本動作が終了する。一方、アプリケーションソフトウエアが終了されていない場合(ステップS309のNO)、本動作がステップS302へリターンし、以降の動作を実行する。
【0081】
3.3 作用・効果
以上のように、本実施形態によれば、特定のアプリケーションソフトウエアを実行している際に、処理時間や消費電力が低減された演算処理の結果に基づいて、ディスプレイ17の表示方向をユーザの顔の上下方向に応じて制御することが可能となる。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0082】
なお、IMU32により得られた検出結果は、例えば、オートシャッタ機能にも活用することができる。具体例としては、例えば、電子機器が静止したことがIMU32及びCPU31により検出された場合には、自動的にシャッタ動作を実行するようにも構成することが可能である。
【0083】
また、電子機器として、例えば、ToF(Time Of Flight)センサのような、撮像時に光源の動作も伴う電子機器を適用した場合には、IMU32により得られた検出結果に基づき、イメージセンサ10で撮像を実行するタイミングに合せて光源を駆動することが可能となるため、光源の駆動時間を減らしてより省電力化を実現することが可能である。
【0084】
4. 第4の実施形態
次に、第4の実施形態について、図面を参照して詳細に説明する。本実施形態では、スマートフォンなど、セキュリティ等の理由からディスプレイ17に表示された画面をロックする機能を搭載した電子機器において、顔認証により画面ロックを解除する際に、演算結果を利用する場合を例示する。
【0085】
4.1 電子機器の概略構成例
図9は、第4の実施形態に係る電子機器の概略構成例を示すブロック図である。図9に示すように、電子機器4は、第3の実施形態において図7を用いて説明した電子機器3と同様の構成に加え、不揮発性メモリ43をさらに備えている。
【0086】
不揮発性メモリ43は、例えば、フラッシュメモリなどで構成され、顔認証や虹彩認証などに使用する認証情報を不揮発に記憶する。なお、図9では、不揮発性メモリ43がイメージセンサ10のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ10のチップ内に不揮発性メモリ43が設けられてもよい。
【0087】
4.2 動作例
図10は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図10に示すように、本動作では、まず、アプリケーションプロセッサ20によって、電子機器4が画面ロックの状態であるか否かが判定される(ステップS401)。なお、電子機器4の画面ロックは、例えば、アプリケーションプロセッサ20により実行される。電子機器4が画面ロックの状態である場合(ステップS401のYES)、CPU31がIMU32で検出された情報に基づいて、電子機器1の姿勢の変化(変位)を検出する(ステップS402)。そして、電子機器4の変位が検出されると(ステップS402のYES)、イメージセンサ10が起動される(ステップS403)。
【0088】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、電子機器3を使用しているユーザに関して、顔検出(ステップS404)と、視線検出(ステップS405)と、顔認証(ステップS406)との演算処理を順次実行する。なお、ステップS406の顔認証では、例えば、イメージセンサ10から所定ライン数ごとに入力された画像データから特定された顔の情報と、不揮発性メモリ43に予め格納されている所有者の顔の生体情報とに基づいて、現在電子機器4を操作しているユーザが当該電子機器4の所有者であるか否かが判定される。
【0089】
ステップS406の顔認証に失敗した場合、例えば、現在電子機器4を操作しているユーザが当該電子機器4の所有者でないと判定された場合(ステップS407のNO)、電子機器4の画面ロックが維持されたまま、本動作がステップS402へリターンする。
【0090】
一方、ステップS406の顔認証に成功した場合、例えば、現在電子機器4を操作しているユーザが当該電子機器4の所有者であると判定された場合(ステップS407のYES)、顔認証に成功したことが、イメージセンサ10からアプリケーションプロセッサ20へ通知される(ステップS408)。
【0091】
顔認証に成功したことが通知されたアプリケーションプロセッサ20(機能実行部の一形態)は、画面ロックを解除する(ステップS409)。その後、イメージセンサ10が停止され(ステップS410)、本動作が終了する。
【0092】
4.3 作用・効果
以上のように、本実施形態によれば、IMU32で電子機器4の変位を検出した際に、処理時間や消費電力が低減された演算処理の結果に基づいて、画面ロックが解除される。また、画面ロック中、常時、イメージセンサ10を起動しておく必要がなくなるため、待機中の消費電力をより低減することも可能となる。
【0093】
なお、図10に示す動作において、ステップS406における顔認証の代わりに、虹彩認証が実行されてもよい。その場合、不揮発性メモリ43には、所有者の虹彩に関する生体情報が予め格納される。その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0094】
5. 第5の実施形態
次に、第5の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、防犯システムに適用した場合について、例を挙げて説明する。
【0095】
5.1 電子機器の概略構成例
図11は、第5の実施形態に係る電子機器の概略構成例を示すブロック図である。図11に示すように、電子機器5は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、不揮発性メモリ43をさらに備えている。
【0096】
不揮発性メモリ43は、例えば、第4の実施形態において例示した不揮発性メモリ43であってよい。ただし、不揮発性メモリ43には、例えば、家族や社員等、予め登録された人物に対して生体認証を実行するための生体情報が格納されている。なお、図11では、不揮発性メモリ43がイメージセンサ10のチップ外に設けられた場合を例示しているが、これに限定されず、イメージセンサ10のチップ内に不揮発性メモリ43が設けられてもよい。
【0097】
5.2 動作例
図12は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図12に示すように、本動作では、例えば、ユーザによる電源投入により電子機器1が起動すると、まず、イメージセンサ10が起動される(ステップS501)。
【0098】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、動き(動物体)検出(ステップS502)と、人検出(ステップS503)と、顔検出(ステップS504)と、顔認証(ステップS505)との演算処理を順次実行する。
【0099】
ステップS505の顔認証に失敗した場合、例えば、イメージセンサ10で取得された画像データに映り込んだ人物が不揮発性メモリ43に登録された登録者でないと判定された場合(ステップS506のNO)、イメージセンサ10からアプリケーションプロセッサ20へ撮像画像が出力される(ステップS507)。これに対し、アプリケーションプロセッサ20(機能実行部の一形態)は、イメージセンサ10から出力された撮像画像と、この撮像画像の撮像時刻とを、例えば、不揮発性メモリ43に保存する(ステップS508)。なお、アプリケーションプロセッサ20は、不揮発性メモリ43への保存に代えて、若しくは、不揮発性メモリ43への保存とともに、撮像画像と撮像時刻とをネットワーク40を介して外部のクラウドサーバ30へ送信してもよい。
【0100】
その後、例えば、アプリケーションプロセッサ20により本動作を終了するか否かが判断され(ステップS509)、終了する場合(ステップS509のYES)、イメージセンサ10を停止した後(ステップS510)、本動作が終了する。一方、終了しない場合(ステップS509のNO)、本動作がステップS502へリターンする。
【0101】
5.3 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、撮像された人物が不審者であるか否かを判断することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0102】
6. 第6の実施形態
次に、第6の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、家庭内等の特定の領域内のペットを見守る監視カメラに適用した場合について、例を挙げて説明する。
【0103】
6.1 電子機器の概略構成例
図13は、第6の実施形態に係る電子機器の概略構成例を示すブロック図である。図13に示すように、電子機器6は、第1の実施形態において図1を用いて説明した電子機器1と同様の構成に加え、動き回るペットを追跡するために、その画角を変更する制御機構21が搭載されている。
【0104】
6.2 動作例
図14は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図14に示すように、本動作では、例えば、ユーザによる電源投入により電子機器6が起動すると、まず、イメージセンサ10が起動される(ステップS601)。
【0105】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、動き(動物体)検出(ステップS602)と、ペット検出(ステップS603)との演算処理を順次実行し、それにより検出されたペットが画角の例えば略中心に位置するように制御機構21(機能実行部の一形態)を駆動することで、電子機器1のロール角、ピッチ角及び/又はヨー角を制御する(ステップS604)。
【0106】
その後、例えば、アプリケーションプロセッサ20により本動作を終了するか否かが判断され(ステップS605)、終了する場合(ステップS605のYES)、イメージセンサ10を停止した後(ステップS606)、本動作が終了する。一方、終了しない場合(ステップS605のNO)、本動作がステップS602へリターンする。
【0107】
6.3 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内のペットを見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0108】
7. 第7の実施形態
次に、第7の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、家庭内等の特定の領域内の子供や老人や要介護者等の人(以下、対象者という)を見守る監視カメラに適用した場合について、例を挙げて説明する。
【0109】
本実施形態に係る電子機器の概略構成例は、第1の実施形態において図1を用いて説明した電子機器1又は第6の実施形態において図13を用いて説明した電子機器6と同様であってよい。
【0110】
7.1 動作例
図15は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図15に示すように、本動作では、例えば、ユーザによる電源投入により電子機器1が起動すると、まず、イメージセンサ10が起動される(ステップS701)。
【0111】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、人検出(ステップS702)と、状態検出(ステップS703)との演算処理を順次実行する。
【0112】
ステップS703の状態検出にて対象者の状態異常が検出されなかった場合(ステップS704のNO)、本動作がステップS707へ進む。一方、状態異常が検出された場合(ステップS704のYES)、イメージセンサ10からアプリケーションプロセッサ20へ状態異常を示すメタデータが出力される(ステップS705)。なお、状態異常とは、例えば、人が助けを呼ぶしぐさをしていたり、長時間泣き続けていたり、不自然な姿勢で一定時間以上動かなかったり、本来横になる場所でない場所(例えば、キッチンなど)で横になっていたりなど、通常と異なる状態であることであってよい。
【0113】
このようにして状態異常が通知されたアプリケーションプロセッサ20(機能実行部の一形態)は、例えば、予め登録された連絡先へ状態異常を検出したことを通知し(ステップS706)、ステップS707へ進む。なお、予め登録された連絡先とは、対象者の親族や契約しているサービス会社等の電子メールアドレスや電話番号等であってよいし、ネットワーク40を介して接続されたクラウドサーバ30であってもよい。
【0114】
その後、ステップS707において、例えば、アプリケーションプロセッサ20により本動作を終了するか否かが判断され、終了する場合(ステップS707のYES)、イメージセンサ10を停止した後(ステップS708)、本動作が終了する。一方、終了しない場合(ステップS707のNO)、本動作がステップS702へリターンする。
【0115】
7.2 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて、家庭内等の特定の領域内の子供や老人や要介護者等の対象者を見守ることが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0116】
8. 第8の実施形態
次に、第8の実施形態について、図面を参照して詳細に説明する。本実施形態では、例えば、第1の実施形態に係る電子機器1を、例えば、自動車等の乗り物に搭載される自動運転システムや自律ロボットやドローンなどの自律移動体等に搭載される自律システムに組み込んだ場合について、例を挙げて説明する。
【0117】
本実施形態に係る電子機器の概略構成例は、第1の実施形態において図1を用いて説明した電子機器1と同様であってよい。ただし、本実施形態において、ネットワーク40は、例えば、車内ネットワークであり、クラウドサーバ30は、自動運転システムを構成する情報処理装置である。
【0118】
8.1 動作例
図16は、本実施形態に係る電子機器の概略動作例を示すフローチャートである。図16に示すように、本動作では、例えば、運転者による自動車のエンジン始動に連動して、イメージセンサ10が起動される(ステップS801)。
【0119】
起動したイメージセンサ10は、第1の実施形態において図2を用いて説明した演算処理に従い、一定距離内に存在する物体の検出(ステップS802)と、検出された物体が回避対象物であるか否かの認識(ステップS803)との演算処理を順次実行する。
【0120】
ステップS803の認識にて物体が回避対象物ではないと認識された場合(ステップS804のNO)、本動作はステップS802へリターンする。一方、回避対象物であると認識された場合(ステップS804のYES)、イメージセンサ10からアプリケーションプロセッサ20へ、画像データと、この画像データに映り込んでいる物体が回避対象物であることを示すメタデータとが出力される(ステップS805)。
【0121】
画像データとメタデータとが入力されたアプリケーションプロセッサ20は、例えば、入力された画像データを解析することで、回避対象物であると通知された物体が実際に回避対象物であるか否かを再度認識する(ステップS806)。回避対象物であると通知された物体が回避対象物ではないと認識された場合(ステップS807のNO)、本動作はそのままステップS809へ進む。一方、回避対象物であると再度認識された場合(ステップS807のYES)、アプリケーションプロセッサ20(機能実行部の一形態)は、自動運転システムを構成する情報処理装置へ、回避対象物を回避する回避動作を指示し(ステップS808)、ステップS809へ進む。
【0122】
ステップS809では、例えば、アプリケーションプロセッサ20により本動作を終了するか否かが判断され、終了する場合(ステップS809のYES)、イメージセンサ10を停止した後(ステップS810)、本動作が終了する。一方、終了しない場合(ステップS809のNO)、本動作がステップS802へリターンする。
【0123】
8.2 作用・効果
以上のように、本実施形態によれば、処理時間や消費電力が低減された演算処理の結果に基づいて回避対象物を認識することが可能となるため、自動運転システムにおける迅速な回避対象物の認識と消費電力の低減とを実現することが可能となる。なお、その他の構成、動作及び効果については、上述した実施形態と同様であってよいため、ここでは詳細な説明を省略する。
【0124】
なお、上述した第1〜第8の実施形態では、DSP14を処理部として動作させる場合について例示したが、これに限定されるものではない。すなわち、同様な検出、認識又は認証の結果を得られる処理であれば、学習モデルに基づいた処理に限定されず、種々の処理をDSP14に実行させることが可能である。
【0125】
9.移動体への応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0126】
図17は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0127】
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図17に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
【0128】
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0129】
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0130】
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0131】
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0132】
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0133】
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【0134】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0135】
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0136】
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図17の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0137】
図18は、撮像部12031の設置位置の例を示す図である。
【0138】
図18では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
【0139】
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0140】
なお、図18には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
【0141】
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0142】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0143】
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0144】
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
【0145】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031等に適用され得る。撮像部12031等に本開示に係る技術を適用することにより、通信ネットワーク12001を介して送受信されるデータ量を削減できるとともに、車外情報検出ユニット12030や統合制御ユニット12050等において処理すべきデータ量を削減することが可能となる。それにより、認識処理や検出処理等の結果をより迅速に取得することが可能となるため、車両1200の制御や運転者への情報提供等をより的確且つ迅速に行うことが可能となる。
【0146】
10.内視鏡手術システムへの応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0147】
図19は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0148】
図19では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
【0149】
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0150】
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0151】
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
【0152】
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0153】
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
【0154】
光源装置11203は、例えばLED(light Emitting Diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
【0155】
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
【0156】
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0157】
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0158】
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0159】
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
【0160】
図20は、図19に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
【0161】
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
【0162】
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0163】
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
【0164】
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
【0165】
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
【0166】
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
【0167】
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0168】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
【0169】
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
【0170】
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
【0171】
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0172】
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
【0173】
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
【0174】
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
【0175】
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0176】
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
【0177】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、カメラヘッド11102の撮像部11402等に適用され得る。撮像部11402に本開示に係る技術を適用することにより、CCU11201等において処理すべきデータ量を削減することが可能となる。それにより、画像処理結果をより迅速に取得することが可能となるため、フレームレートや露出値、倍率、焦点等の撮像条件の設定又は更新やユーザへの情報提供等をより的確且つ迅速に行うことが可能となる。
【0178】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【0179】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0180】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0181】
さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
【0182】
なお、本技術は以下のような構成も取ることができる。
(1)
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルに基づく処理を実行する処理部と、
前記処理の結果に基づいて、所定の機能を実行する機能実行部と、
変位を検出する検出部と、
を備え、
前記処理部は、前記検出部が変位を検出した場合、前記処理を実行する
電子機器。
(2)
前記機能実行部は、前記電子機器の画面ロックを設定/解除する機能を備え、
前記処理部は、前記電子機器の画面ロックが設定された状態で前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に成功した場合、前記電子機器の画面ロックを解除する
前記(1)に記載の電子機器。
(3)
前記機能実行部は、前記電子機器の画面の表示方向を回転させる機能を備え、
前記処理部は、前記検出部が前記電子機器の変位を検出した場合、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔方向検出を実行し、
前記機能実行部は、前記処理部により検出された顔の上下方向に応じて、前記電子機器の画面の表示方向を制御する
前記(1)又は(2)に記載の電子機器。
(4)
前記処理部は、同一フレームの前記画像データに基づくデータにおける最初に入力された単位領域のデータに対してCNN(Convolution Neural Network)を利用した処理を実行する前記(1)〜(3)の何れか1項に記載の電子機器。
(5)
前記処理部は、前記最初に入力された単位領域のデータに対する前記CNNを利用した処理に失敗した場合、前記同一フレームの画像データに基づくデータにおける次に入力された単位領域のデータに対してRNN(Recurrent Neural Network)を利用した処理を実行する前記(4)に記載の電子機器。
(6)
前記撮像部からライン単位で画像データを読み出すコントロール部をさらに備え、
前記単位領域のデータは、前記画像データに基づくデータにおける前記ライン単位のデータであり、
前記処理部には、前記ライン単位で前記データが入力される
前記(4)又は(5)に記載の電子機器。
(7)
前記単位領域のデータは、前記画像データに基づくデータにおける所定ライン数分のデータである前記(4)又は(5)に記載の電子機器。
(8)
前記単位領域のデータは、前記画像データに基づくデータにおける矩形領域のデータである前記(4)又は(5)に記載の電子機器。
(9)
前記ニューラルネットワーク計算モデルのプログラムを記録するメモリをさらに備え、
前記処理部は、前記メモリから前記プログラムを読み出して実行することで、前記処理を実行する
前記(1)〜(8)の何れか1項に記載の電子機器。
(10)
前記処理は、顔検出、顔認証、視線検出、表情認識、顔方向検出、物体検出、物体認識、動き検出、ペット検出、シーン認識、状態検出及び回避対象物認識のうちの少なくとも1つである前記(1)〜(9)の何れか1項に記載の電子機器。
(11)
前記顔検出は、画像データに含まれる人物の顔を検出する処理であり、
前記顔認証は、画像データに含まれる人物の顔が予め登録された人物の顔と一致するか否かを認証する処理であり、
前記視線検出は、画像データに含まれる人物の視線の方向を検出する処理であり、
前記表情認識は、画像データに含まれる人物の表情を認識する処理であり、
前記顔方向検出は、画像データに含まれる人物の顔の上下方向を検出する処理であり、
前記物体検出は、画像データに含まれる物体を検出する処理であり、
前記物体認識は、画像データに含まれる物体を認識する処理であり、
前記動き検出は、画像データに含まれる動物体を検出する処理であり、
前記ペット検出は、画像データに含まれるペットを検出する処理であり、
前記シーン認識は、前記画像データを取得した際のシーンを認識する処理であり、
前記状態検出は、画像データに含まれる人物又は物体の状態を検出する処理であり、
前記回避対象物認識は、画像データに含まれる回避対象の物体を認識する処理である
前記(10)に記載の電子機器。
(12)
前記所定の機能は、オート露光機能、オートフォーカス機能、オートシャッタ機能、及び、オート色補正機能のうちの少なくとも1つである前記(1)〜(11)の何れか1項に記載の電子機器。
(13)
前記機能実行部は、ユーザの評価を入力するためのソーシャルボタンが対応付けられたコンテンツを再生するアプリケーションソフトウエアを実行する機能を備え、
前記処理部は、前記アプリケーションソフトウエアがコンテンツを再生中に、前記撮像部から読み出された画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた表情認識を実行し、
前記機能実行部は、前記処理部により認識された表情に応じて、前記ソーシャルボタンを利用して前記コンテンツに対する評価を入力する
前記(1)〜(11)の何れか1項に記載の電子機器。
(14)
前記顔認証に使用する生体情報を記憶する不揮発性メモリをさらに備え、
前記処理部は、前記不揮発性メモリから読み出した前記生体情報を用いて前記顔認証を実行する
前記(2)、(10)又は(11)に記載の電子機器。
(15)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた顔認証を実行し、
前記機能実行部は、前記処理部による顔認証に失敗した場合、前記画像データを含む1フレーム分の画像データと前記画像データの撮像時刻とを出力する
前記(1)〜(14)の何れか1項に記載の電子機器。
(16)
前記撮像部の画角を変更する制御機構をさらに備え、
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いたペット検出を実行し、
前記機能実行部は、前記処理部によるペット検出の結果に基づいて、前記制御機構を制御する
前記(1)〜(15)の何れか1項に記載の電子機器。
(17)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた状態検出を実行し、
前記機能実行部は、前記処理部による状態検出により対象者の異常状態が検出された場合、予め登録された連絡先へ前記異常状態を通知する
前記(1)〜(16)の何れか1項に記載の電子機器。
(18)
前記処理部は、前記撮像部から読み出された前記画像データに基づくデータに対して前記ニューラルネットワーク計算モデルを用いた第1の回避対象物認識を実行し、
前記機能実行部は、前記処理部による第1の回避対象物認識により進行方向前方に存在する回避対象物が認識された場合、前記撮像部から読み出された画像データに基づくデータに対して第2の回避対象物認識を実行し、前記第2の回避対象物認識により前記進行方向前方に存在する前記回避対象物が再認識された場合、前記回避対象物の回避動作を外部へ指示する
前記(1)〜(17)の何れか1項に記載の電子機器。
(19)
画像データを生成する撮像部と、
前記撮像部から読み出された画像データに基づくデータに対してニューラルネットワーク計算モデルを用いた処理を実行する処理部と、
前記処理の結果を出力する出力部と、
を備える固体撮像装置。
【符号の説明】
【0183】
1、3、4、5、6 電子機器
10 イメージセンサ
11 撮像部
101 画素アレイ部
104 光学系
12 コントロール部
13 信号処理部
14 DSP
15 メモリ
16 セレクタ
17 ディスプレイ
20 アプリケーションプロセッサ
21 制御機構
30 クラウドサーバ
31 CPU
32 IMU
40 ネットワーク
43 不揮発性メモリ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
【国際調査報告】