(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024173847
(43)【公開日】2024-12-13
(54)【発明の名称】ニューラルネットワーク装置、制御方法、プログラム
(51)【国際特許分類】
G06N 3/067 20060101AFI20241206BHJP
【FI】
G06N3/067
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021174086
(22)【出願日】2021-10-25
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】高塚 進
(72)【発明者】
【氏名】遠藤 健太
(72)【発明者】
【氏名】ライト クリストファー
(72)【発明者】
【氏名】エリオット-バウマン ベルナデッテ
(72)【発明者】
【氏名】ウォーカー ニコラス
(57)【要約】
【課題】低消費電力で所定の制御を実行開始する。
【解決手段】ニューラルネットワーク装置は、光ニューラルネットワークを介して光を受光する受光部と、受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして所定の制御を行う制御部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
光ニューラルネットワークを介して光を受光する受光部と、
前記受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして所定の制御を行う制御部と、
を備えたニューラルネットワーク装置。
【請求項2】
前記制御部は、
前記受光部で受光した光に応じた信号に基づいて前記対象物を検出したことをトリガとして、撮像素子での撮像を開始する
請求項1に記載のニューラルネットワーク装置。
【請求項3】
前記制御部は、前記受光部で受光した光に応じた信号に基づいて、所定の対象物が検出された範囲を関心領域に設定する
請求項2に記載のニューラルネットワーク装置。
【請求項4】
前記制御部は、
前記関心領域を撮像範囲として前記撮像素子に撮像させる
請求項3に記載のニューラルネットワーク装置。
【請求項5】
前記光ニューラルネットワークは複数設けられており、
いずれかの前記光ニューラルネットワークを介して前記受光部で受光したに応じた信号に基づいて所定の対象物を検出し、他の前記光ニューラルネットワークを介して前記受光部で受光したに応じた信号に基づいて前記関心領域を検出する
請求項3に記載のニューラルネットワーク装置。
【請求項6】
前記光ニューラルネットワークは、光回折ディープニューラルネットワークである
請求項1に記載のニューラルネットワーク装置。
【請求項7】
前記光ニューラルネットワークは、光学的特性を変更可能な光畳み込みニューラルネットワークである
請求項1に記載のニューラルネットワーク装置。
【請求項8】
所定の波長域の光を照射可能な照射部を備える
請求項1に記載のニューラルネットワーク装置。
【請求項9】
前記照射部は、複数の波長域の光を照射可能であり、
前記光ニューラルネットワークは、前記照射部が照射可能な複数の波長域ごとに最適化されている
請求項8に記載のニューラルネットワーク装置。
【請求項10】
前記光ニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
前記照射部は、検出対象の対象物が主に反射する波長域の光を照射し、
前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光ニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて対象物を検出する
請求項9に記載のニューラルネットワーク装置。
【請求項11】
光を分光して前記光ニューラルネットワークに導く分光部を備える
請求項1に記載のニューラルネットワーク装置。
【請求項12】
前記撮像素子と、前記光ニューラルネットワークとが積層されている
請求項2に記載のニューラルネットワーク装置。
【請求項13】
前記撮像素子は、可視光を受光し、
前記光ニューラルネットワークは、前記撮像素子を通過した赤外光が入射される
請求項12に記載のニューラルネットワーク装置。
【請求項14】
光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う
制御方法。
【請求項15】
光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う
処理をニューラルネットワーク装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術はニューラルネットワーク装置、制御方法、プログラムに関し、特に、光ニューラルネットワークを用いた技術に関する。
【背景技術】
【0002】
従来、入力層と出力層との間に複数の中間層を含むニューラルネットワークを構築し、このニューラルネットワークを用いてパラメータを学習していくことで、入力情報に対してスコアを出力するニューラルネットワーク装置が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記したニューラルネットワーク装置では、ニューラルネットワークによる処理の負荷が増大する傾向にあり、それに伴って消費電力も増大する。したがって、ニューラルネットワークによる処理の結果に基づいて所定の制御を行おうとした場合、消費電力が増大するおそれがあった。
【0005】
そこで本技術は、低消費電力で所定の制御を実行開始することを目的とする。
【課題を解決するための手段】
【0006】
本技術に係るニューラルネットワーク装置は、光ニューラルネットワークを介して光を受光する受光部と、前記受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして所定の制御を行う制御部とを備える。
これにより、ニューラルネットワーク装置は、所定の制御を行う前においては、省エネルギーで動作する光ニューラルネットワークを動作させ、制御対象の装置を停止させておくことが可能となる。
【図面の簡単な説明】
【0007】
【
図1】第一の実施形態としてのニューラルネットワーク装置の構成を説明する図である。
【
図2】ODDNN内の光の回路を説明する図である。
【
図3】ODDNNから出射される光を説明する図である。
【
図4】撮像処理の手順を示すフローチャートである。
【
図5】第二の実施形態としてのニューラルネットワーク装置の構成を説明する図である。
【
図6】第三の実施形態としてのニューラルネットワーク装置の構成を説明する図である。
【
図7】分光部、ODDNN、受光部の拡大図である。
【
図9】第三の実施形態としてのニューラルネットワーク装置の構成を説明する図である。
【
図11】撮像処理の手順を示すフローチャートである。
【
図14】変形例のニューラルネットワーク装置の構成を説明する図である。
【発明を実施するための形態】
【0008】
以下、実施の形態を次の順序で説明する。
<1.第一の実施形態>
<2.第二の実施形態>
<3.第三の実施形態>
<4.第四の実施形態>
<5.ニューラルネットワーク装置の構成例>
<6.実施形態のまとめ>
<7.本技術>
【0009】
<1.第一の実施形態>
図1は第一の実施形態としてのニューラルネットワーク装置1の構成を説明する図である。ニューラルネットワーク装置1は、光ニューラルネットワーク(以下、ONN:Optical Neural Networksと表記する)を介して受信した信号に基づいて対象物を検出したことをトリガとして制御を行う装置である。
【0010】
ここで、ONNは、光回路によりニューラルネットワークを構成するものであり、例えば、光回折ディープニューラルネットワーク(以下、ODDNN:Optical Diffractive Deep Neural Networksと表記する)や、光畳み込みニューラルネットワーク(OCNN:Optical Convolutional Neural Networks)等がある。第一の実施形態においては、ONNとしてODDNNを適用した場合について説明する。
【0011】
図1に示すように、ニューラルネットワーク装置1は、ハーフミラー11、ODDNN12、受光部13、撮像素子14、制御部15を備える。
【0012】
ニューラルネットワーク装置1では、外部からの光がハーフミラー11に入射される。ハーフミラー11は、入射された光(ここでは、物体OBで反射した光)を一定の割合で透過及び反射させるものであり、例えば、透過した光をODDNN12に導き、反射した光を撮像素子14に導く。
【0013】
ODDNN12は、半透明の薄い平面ガラス層の内部に、サブ波長サイズの気泡やグラフェン等の異相が多数配置されたものである。なお、
図1ではODDNN12が1枚の平面ガラス層で構成されている場合を図示しているが、ODDNN12は、複数枚の平面ガラス層が所定間隔で離隔して配置されることで構成されるようにしてもよい。
【0014】
図2は、ODDNN12内の光の回路を説明する図である。
図3は、ODDNN12から出射される光を説明する図である。
図2では、図中左側の入射面から光が入射され、図中右側の出射面から光が出射される例である。
【0015】
図2に示すように、ODDNN12では、光が入射面から入射されると、内部に混在する異相によって、入射された光が反射、回折及び吸収を繰り替えした後、出射面から出射される。このとき、ODDNN12では、入射される光に応じて、出射面で一定の光が集中する領域が生じる。
【0016】
例えば、
図3に示すように、物体OBとして数字の「A」の光が入射されると、ODDNN12の出射面において、図中黒丸で囲んだ領域に最も光が集中する。
【0017】
このように、ODDNN12では、入射される光、すなわち、物体OBで反射して入射される光(単に、物体OBの光とも表記する)ごとに、出射面側において光が集中する領域が異なる。換言すれば、ODDNN12では、入射される物体OBの光ごとに、出射面から出射される光の強度分布が異なる。
【0018】
そこで、ODDNN12では、予め、1又は複数の物体OBについての光を入射させ、出射面においてどのような光の強度分布となるかを学習しておく。これにより、ニューラルネットワーク装置1では、未知の物体OBの光が入射されたときにODDNN12の出射面から出射される光の強度分布と、学習結果とに基づいて、学習した物体OBを対象物として検出することが可能となる。
【0019】
このように、ODDNN12は、ニューラルネットワークとして機能することになるが、このとき、電源、電子回路及びセンサ等を必要としないことから、省エネルギーでかつ低負荷でニューラルネットワークを構築することが可能となる。
【0020】
また、ODDNN12は、入射された光が反射、回折及び吸収を繰り替えした後に出射されることになるため、光速レベルで動作することが可能となる。
【0021】
受光部13は、ODDNN12の出射面に対向して配置される。受光部13は、ODDNN12の出射面から出射される光を所定の範囲ごとに検出可能なように、複数の受光素子(例えばダイオード)が2次元的に配列されたものである。そして、受光部13は、各受光素子で受光した光の強度に応じた信号を制御部15に出力する。
【0022】
但し、受光部13は、ODDNN12の出射面から出射される光に基づいて対象物を検出することができる分解能を持っていればよく、撮像素子14の画素数に比べて大幅に少ない受光素子によって構成されている。したがって、受光部13は、撮像素子14に比べて少ないエネルギーで動作することが可能となる。
【0023】
撮像素子14は、例えば、CCD(Charge Coupled Device)型やCMOS(Complementary Metal-Oxide-Semiconductor)型のイメージセンサであり、光電変換素子を有する画素が二次元に複数配列されている。撮像素子14は、ハーフミラー11を通した所定の撮像範囲をフレームレートに応じて一定の間隔で撮像して画像データを生成する。なお、撮像素子14によって撮像される画像は、静止画像及び動画像のどちらでもよく、また、インターバル撮像等であってもよい。
【0024】
制御部15は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、及び、RAM(Random Access Memory)を有するマイクロコンピュータを備えて構成され、ニューラルネットワーク装置1の全体制御を行う。制御部15は、第一の実施形態においてセンサ制御部21及び撮像制御部22として機能する。
【0025】
センサ制御部21は、受光部13から入力された信号、すなわち、ODDNN12の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、所定の対象物を検出する。撮像制御部22は、所定の対象物を検出したことをトリガとして撮像素子14に撮像を開始させる。
【0026】
また、センサ制御部21は、受光部13から入力される信号に基づいて対象物が検出された範囲をROI(Region Of Interest:関心領域)として検出、設定する。そして、撮像制御部22は、撮像素子14に対して、ROIのみを対象とした撮像動作を行わせる。
【0027】
ここで、ODDNN12では、上記したように、出射面での光の強度分布に基づいて対象物を検出可能である。また、ODDNN12では、出射面での光の強度分布に基づいて対象物の大まかな位置を検出可能となっている。そこで、ニューラルネットワーク装置1では、ODDNN12について、異なる位置での対象物についての光をそれぞれ入射させ、出射面においてどのような光の強度分布となるかが予め学習されている。なお、学習結果は、制御部15のROM又はRAMに記憶されている。そして、センサ制御部21は、受光部13から入力される信号と、学習結果とに基づいて、対象物のROIを検出する。
【0028】
その後、撮像制御部22は、撮像素子14によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のROIを算出する。そして、撮像制御部22は、次のフレーム以降においても、前フレームで算出されたROIの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてROIの算出を行う。なお、ROIを設定する画像解析は、既知となっている解析手法を用いることができるため、その説明は省略する。
【0029】
このような手法とすることで、所定の対象物が検出されたことをトリガとして撮像素子14による撮像が開始されることになるため、所定の対象物が検出されるまでの間には撮像素子14よりも消費電力が低い受光部13のみを動作させればよく、省エネルギー化を図ることが可能となる。
【0030】
図4は、撮像処理の手順を示すフローチャートである。
図4に示すように、ステップS1において、撮像制御部22は、撮像素子14を停止させ、センサ制御部21は、受光部13の動作を開始させる。続くステップS2で、センサ制御部21は、受光部13から入力される信号に基づいて、対象物が検出する対象物検出処理を実行する。ここでは、受光部13から入力された信号、すなわち、ODDNN12の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、対象物が検出されたかを判定する。
【0031】
そして、ステップS3でセンサ制御部21は、ステップS2で所定の対象物が検出されたかを判定する。所定の対象物が検出されない場合(ステップS3でNo)、センサ制御部21は、ステップS2、S3の処理を繰り返す。
【0032】
一方、所定の対象物が検出された場合(ステップS3でYes)、ステップS4で撮像制御部22は、受光部13から入力された信号に基づいて所定の対象物が検出された範囲をROIとして設定する。
【0033】
その後、ステップS5で撮像制御部22は、ステップS4で設定されたROIのみを対象とした撮像を撮像素子14に開始させる。
【0034】
<2.第二の実施形態>
図5は、第二の実施形態としてのニューラルネットワーク装置100の構成を説明する図である。なお、第二の実施形態においては、第一の実施形態と異なる構成について詳しく説明し、同一の構成に同一の符号を付してその説明は省略する。
【0035】
図5に示すように、ニューラルネットワーク装置100は、ハーフミラー11、ODDNN12、受光部13、撮像素子14及び制御部15に加え、ハーフミラー101、ODDNN102及び受光部103を備える。
【0036】
ニューラルネットワーク装置100では、ODDNN12及び受光部13の間に、ハーフミラー101及びODDNN102が配置されている。
【0037】
ODDNN12から出射された光は、ハーフミラー101に入射される。ハーフミラー101は、入射された光を一定の割合で透過及び反射させるものであり、例えば、透過した光をODDNN102に導き、反射した光を受光部103に導く。
【0038】
ODDNN102は、ODDNN12と同様に、半透明な薄い平面ガラス層の内部に、サブ波長サイズの気泡やグラフェン等の異相が多数配置されたものである。また、ODDNN102は、1又は複数設けられており、
図5の例では4個のODDNN102が設けられている。
ODDNN102は、ODDNN12の出力面から出射される光が入射されることになるので、対象物の光の強度分布を学習する際には、ODDNN12の出力面から出射される光がODDNN102に入射されている状態で学習がなされることになる。
【0039】
ODDNN12及びODDNN102は、互いに検出可能な対象物が異なるように構成されている。また、複数のODDNN102が設けられる場合、複数のODDNN102は、互いに検出可能な対象物が異なるように構成されていてもよいし、複数のODDNN102で1つの対象部を検出可能に構成されていてもよい。
【0040】
例えば、ODDNN12は、ODDNN102よりも大まかな対象物を検出可能なように構成されている。具体的には、ODDNN12は、自動車、トラック、自動二輪車、自転車を含む乗り物を検出可能に構成されている。一方、ODDNN102は、自動車、トラック、自動二輪車、自転車のような詳細な対象物を検出可能に構成されている。
【0041】
受光部103は、ODDNN12の出射面から出射される光を所定の範囲ごとに検出可能なように、複数の受光素子(例えばダイオード)が2次元的に配列されたものである。そして、受光部103は、各受光素子で受光した光の強度に応じた信号を制御部15に出力する。
【0042】
制御部15は、例えばCPU、ROM及びRAMを有するマイクロコンピュータを備えて構成され、ニューラルネットワーク装置100の全体制御を行う。制御部15は、第二の実施形態においてセンサ制御部21及び撮像制御部22として機能する。
【0043】
センサ制御部21は、受光部13から入力された信号、すなわち、ODDNN102の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、所定の対象物を検出する。したがって、ここでは、詳細な対象物(例えば、自動車)が検出されたかが判定されることになる。撮像制御部22は、所定の対象物を検出したことをトリガとして撮像素子14に撮像を開始させる。
【0044】
また、センサ制御部21は、受光部103から入力される信号に基づいて大まかな対象物(例えば、乗り物)が検出された範囲をROIとして検出、設定する。そして、撮像制御部22は、撮像素子14に対して、ROIのみを対象とした撮像動作を行わせる。
【0045】
その後、撮像制御部22は、撮像素子14によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のROIを算出する。そして、撮像制御部22は、次のフレーム以降においても、前フレームで算出されたROIの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてROIの算出を行う。
【0046】
このような手法とすることで、ニューラルネットワーク装置100では、トリガの対象となる対象物と、ROIの対象となる対象物とを異ならせることができるため、必ずしもトリガの対象となる対象物でない範囲に焦点を当てた撮像を行うことも可能となる。
また、ニューラルネットワーク装置100では、トリガの対象となる対象物(自動車)以外の対象物(他の乗り物)に焦点を当てた撮像することも可能となる。
さらに、ニューラルネットワーク装置100では、所定の対象物が検出されたことをトリガとして撮像素子14による撮像が開始されることになるため、所定の対象物が検出されるまでの間には撮像素子14よりも消費電力が低い受光部13、103のみを動作させればよく、省エネルギー化を図ることが可能となる。
【0047】
なお、第二の実施形態における撮像処理は、第一の実施形態と同じ流れであるため、その説明を省略する。
【0048】
<3.第三の実施形態>
図6は、第三の実施形態としてのニューラルネットワーク装置200の構成を説明する図である。なお、第三の実施形態においては、第一の実施形態と異なる構成について詳しく説明し、同一の構成に同一の符号を付してその説明は省略する。
【0049】
図6に示すように、ニューラルネットワーク装置200は、ハーフミラー11、ODDNN12、受光部13、撮像素子14及び制御部15に加え、分光部201を備える。
【0050】
ニューラルネットワーク装置200では、外部からの光がハーフミラー11に入射される。ハーフミラー11は、透過した光を分光部201に導き、反射した光を撮像素子14に導く。
【0051】
分光部201は、入射された光を分光する装置であり、第三の実施形態においてはプリズムである。分光部201は、入射された光を、波長ごとの屈折率の差を利用して分光する。分光された光は、ODDNN12に入射する。
【0052】
図7は、分光部201、ODDNN12、受光部13の拡大図である。ここで、異なる波長域の光が1個のODDNN12に入射された場合、ODDNN12内で異なる波長域の光によるクロストークが生じて対象物の検出精度が低下してしまうおそれがある。
【0053】
そこで、第三の実施形態においては、ODDNN12が複数(
図7では6個)設けられている。具体的には、複数のODDNN12a~12fは、異なる波長域の光(例えば、第1~第6の波長域の光)がそれぞれ入射されることになる。
【0054】
このとき、複数のODDNN12a~12fは、入射される波長域の光に最適化されたものが選択されている。ここで、「最適化」とは、他の波長域の光に基づく場合よりも、入射される波長域の光に基づく対象物の検出精度が高くなるように、平面ガラス層内の異相の配置、平面ガラス層の枚数、平面ガラス層間の間隔が調整されていることを言う。
【0055】
例えば、第1の波長域の光に対して最適化されたODDNN12aは、第1の波長域の光が入射されるように配置されている。同様に、第2~第6の波長域の光に対して最適化されたODDNN12b~12fは、第2~第6の波長域の光が入射されるように配置されている。これにより、ODDNN12a~12fは、異なる波長域の光が入射されることによるクロストークの影響を低減し、対象物の検出精度をさらに向上させることが可能となる。
【0056】
そして、ニューラルネットワーク装置200では、ODDNN12a~12fについて、対応する波長域の光を主に反射する対象物についての光をそれぞれ入射させ、出射面においてどのような光の強度分布領域となるかが予め学習されている。なお、学習結果は、制御部15のROM又はRAMに記憶されている。
【0057】
受光部13は、ODDNN12と同数設けられており、ODDNN12の出射面に対向して配置される。すなわち、受光部13aは、ODDNN12aの出射面に対向して配置されている。同様に、受光部13b~13fは、ODDNN12b~ODDNN12fの出射面にそれぞれ対向して配置されている。ODDNN12a~12fから出射された光は、それぞれに対応する受光部13a~13fに導かれる。
【0058】
制御部15は、第三の実施形態において、センサ制御部21及び撮像制御部22として機能する。
【0059】
センサ制御部21は、受光部13から入力された信号、すなわち、ODDNN12の出射面の光の強度分布に基づいて、予め学習した学習結果を用いて、所定の対象物を検出する。
【0060】
図8は、対象物検出の具体例を説明する図である。
図8に示すように、対象物として、人、木、自動車、家、犬、自転車が設定されているとする。このような場合、例えば、人及び犬は主に第1の波長域の光を反射する。木は主に第2の波長域の光を反射する。自動車及び自転車は主に第3の波長域の光を反射する。家は主に第4の波長域の光を反射する。
【0061】
したがって、例えば自動車を対象物とする場合には、センサ制御部21は、第1の波長域の光に最適化されたODDNN12aに対応する受光部13aから入力される信号に基づいて自動車を検出する。
【0062】
また、例えば対象物を人が乗った自転車とする場合には、センサ制御部21は、第3の波長域の光に最適化されたODDNN12cに対応する受光部13cから入力される信号に基づいて自転車を検出する。また、センサ制御部21は、第1の波長域の光に最適化されたODDNN12aに対応する受光部13aから入力される信号に基づいて人を検出する。そして、センサ制御部21は、検出した自転車と人との位置関係によって、人が乗った自転車であると判定する。
【0063】
このように、ニューラルネットワーク装置200では、互いに異なる波長域に最適化されたODDNN12の出射面から出射される光の強度分布に基づいて、対象物を検出することができる。このとき、ニューラルネットワーク装置200では、ODDNN12には最適化された波長域の光が入射するようになされているため、他の波長域との光とのクロストークを低減して対象物の検出精度を向上させることができる。
【0064】
撮像制御部22は、所定の対象物(例えば、自動車)が検出されたことをトリガとして撮像素子14に撮像を開始させる。
【0065】
また、センサ制御部21は、対象物が主に反射する光に最適化されたODDNN12に対応する受光部13から入力される信号に基づいて対象物が検出された範囲をROIとして検出、設定する。そして、撮像制御部22は、撮像素子14に対して、ROIのみを対象とした撮像動作を行わせる。
【0066】
その後、撮像制御部22は、撮像素子14によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のROIを算出する。そして、撮像制御部22は、次のフレーム以降においても、前フレームで算出されたROIの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてROIの算出を行う。
【0067】
なお、第三の実施形態における撮像処理は、第一の実施形態と同じ流れであるため、その説明を省略する。なお、ステップS2、ステップS4では、対象物が主に反射する波長域の光に最適化されたODDNN12aに対応する受光部13aから入力される信号に基づいて対象物又はROIを検出する。
【0068】
<4.第四の実施形態>
図9は、第四の実施形態としてのニューラルネットワーク装置300の構成を説明する図である。なお、第四の実施形態においては、第一及び第三の実施形態と異なる構成について詳しく説明し、同一の構成に同一の符号を付してその説明は省略する。
【0069】
図9に示すように、ニューラルネットワーク装置300は、ハーフミラー11、ODDNN12、受光部13、撮像素子14及び制御部15に加え、照射部301を備える。第四の実施形態においては、ODDNN12は、第三の実施形態と同様に、入射される波長域の光に最適化された複数のODDNN12a~12fが設けられる。また、受光部13は、各ODDNN12a~ODDNN12fの出射面から出射される光を受光する複数の受光部13a~13fが設けられる。
【0070】
照射部301は、制御部15の制御に基づいて駆動され、所定の波長域の光を照射可能である。また、照射部301は、波長域(又は波長)が異なる光を切り替えて照射可能である。また、照射部301は、可視光のように複数の波長域の光を同時に照射可能である。
【0071】
照射部301から照射された光が物体OBで反射すると、反射した光はハーフミラー11に入射される。ハーフミラー11は、透過した光をODDNN12に導き、反射した光を撮像素子14に導く。
【0072】
制御部15は、第四の実施形態において、センサ制御部21、撮像制御部22及び照射制御部23として機能する。
【0073】
照射制御部23は、所定の波長域の光を照射部301から照射させる。センサ制御部21は、照射させた光の波長域に最適化されたODDNN12に対応する受光部13から入力される信号に基づいて対象物を検出する。
【0074】
図10は、対象物検出の具体例を説明する図である。なお、
図10に示す例では、
図8と同一の対象物が設定されている。
図10に示すように、例えば自動車を対象物とする場合には、照射制御部23は、照射部301から第3の波長域の光を照射させ、センサ制御部21は、第3の波長域の光に最適化されたODDNN12cに対応する受光部13cから検出された信号に基づいて自動車を検出する。このとき、第3の波長域以外の光に最適化されたODDNN12に対応する受光部13を停止させるようにしてもよい。
【0075】
対象物を人が乗った自転車とする場合には、照射制御部23は、照射部301から第3の波長域の光を照射させ、センサ制御部21は、第3の波長域の光に最適化されたODDNN12cに対応する受光部13cから入力される信号に基づいて自転車を検出する。また、照射制御部23は、照射部301から第1の波長域の光を照射させるように切り替え、センサ制御部21は、第1の波長域の光に最適化されたODDNN12aに対応する受光部13aから入力される信号に基づいて人を検出する。このとき、センサ制御部21は、検出した自転車と人との位置関係によって、人が乗った自転車であると判定する。
【0076】
撮像制御部22は、所定の対象物が検出されたことをトリガとして撮像素子14に撮像を開始させる。
【0077】
また、センサ制御部21は、受光部13から入力される信号に基づいて所定の対象物が検出された範囲をROIとして検出、設定する。そして、撮像制御部22は、撮像素子14に対して、ROIのみを対象とした撮像動作を行わせる。
【0078】
その後、撮像制御部22は、撮像素子14によって対象物を撮像した場合には、その対象物について所定の画像解析を行い、対象物のROIを算出する。そして、撮像制御部22は、次のフレーム以降においても、前フレームで算出されたROIの撮像画像について画像解析を行って対象物の認識処理を行い、認識された対象物についてROIの算出を行う。
【0079】
図11は、撮像処理の手順を示すフローチャートである。
図11に示すように、ステップS11において、撮像制御部22は、撮像素子14を停止させ、センサ制御部21は、受光部13の動作を開始させる。
【0080】
続く、ステップS12で照射制御部23は、検出対象となる対象物が主に反射する波長域の光を照射部301から照射させる。そして、ステップS13で、センサ制御部21は、照射部301から照射される光に最適化されたODDNN12に対応する受光部13から入力される信号に基づいて、対象物が検出する対象物検出処理を実行する。
【0081】
そして、ステップS14でセンサ制御部21は、ステップS12で対象物が検出されたかを判定する。所定の対象物が検出されない場合(ステップS14でNo)、センサ制御部21は、ステップS13、S14の処理を繰り返す。
【0082】
一方、所定の対象物が検出された場合(ステップS14でYes)、ステップS15でセンサ制御部21は、受光部13から入力された信号に基づいて所定の対象物が検出された範囲をROIとして設定する。
【0083】
その後、ステップS16で撮像制御部22は、ステップS14で設定されたROIのみを対象とした撮像を撮像素子14に開始させる。
【0084】
<5.ニューラルネットワーク装置の他の構成例>
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
【0085】
上記した実施形態では、受光部13で受光した光に応じた信号に基づいて対象物を検出したことをトリガとして撮像素子14による撮像を開始させるようにした。しかしながら、ニューラルネットワーク装置は、受光部13で受光した光に応じた信号に基づいて対象物を検出したことをトリガとして、撮像以外の所定の制御を行うようにしてもよい。
【0086】
上記した実施形態では、受光部13で受光した光に応じた信号に基づいてROIを設定するようにしたが、ROIを設定することなく撮像素子14によって撮像を行わせるようにしてもよい。
【0087】
上記した第三の実施形態では、最適化された波長域の光をODDNN12に導く導光部として、光を分光する分光部201を備えるようにした。また、上記した第四の実施形態では、最適化された波長域の光をODDNN12に導く導光部として、所定の波長域の光を照射可能な照射部301を備えるようにした。しかしながら、導光部は、最適化された波長域の光をODDNN12に導けるのであれば、分光部201及び照射部301以外であってもよい。
【0088】
上記した第三の実施形態では、分光部201としてプリズムを適用するようにした。しかしながら、分光部201は、光を分光することできればプリズムに限らない。例えば、
図12に示すように、分光部201は、光を分光する回折格子(グレーティング)であってもよい。
【0089】
上記した第三及び第四の実施形態では、異なる波長域に最適化されたODDNN12が複数設けられるようにした。しかしながら、いずれかの波長域に最適化されたODDNN12が1個のみ設けられるようにしてもよい。この場合、受光部13も1個のみ設けられるようにすればよい。
【0090】
上記した実施形態においては、受光部13と、撮像素子14とが別体として設けられるようにした。しかしながら、受光部13と、撮像素子14とが積層されるようにしてもよい。例えば、
図13に示すように、撮像受光部400は、デュアルバンドパスフィルター401及び撮像検出素子402を備える。デュアルバンドパスフィルター401は、例えば可視光及び赤外光を通過させ、他の波長域の光をカットするフィルターである。
撮像検出素子402は、デュアルバンドパスフィルター401を通過した光が入射される。撮像検出素子402は、撮像素子部410及びODDNN部420が積層されることによりパッケージ化(一体化)されている。
撮像素子部410は、例えばベイヤ配列されたカラーフィルタ411及び各カラーフィルタ411に対応する撮像素子(ダイオード)412を備える。これにより、撮像素子部410は、デュアルバンドパスフィルター401を通過した可視光及び赤外光のうち、可視光に基づいてフルカラーの画像を撮像可能となっている。また、撮像素子部410は、デュアルバンドパスフィルター401を通過した可視光及び赤外光のうち、可視光を透過する。
ODDNN部420は、ODDNN421及び受光部422を備える。ODDNN421は、赤外光に最適化されており、撮像素子部410を通過して入射される赤外光に基づいて対象物を検出可能に構成されている。受光部422は、ODDNN421の出射面に対向して配置されており、ODDNN421の出射面から出射された光の強度に応じた信号を制御部15に出力する。
このような構成により、ニューラルネットワーク装置の小型化が可能となる。
【0091】
また、ODDNN12の出射面から出射された光を用いてANN(Artificial Neural Network)を実行するようにしてもよい。ANNとしては、既知のDNN(DNN:Deep Neural Network)、CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)、SNN(Spiking Neural Networks)等である。
例えば、
図14に示すように、ニューラルネットワーク装置500は、第四の実施形態と同様に、ハーフミラー11、ODDNN12、受光部13、撮像素子14、制御部15及び照射部301を備える。
【0092】
制御部15は、センサ制御部21、撮像制御部22、照射制御部23及びANN部24として機能する。ANN部24は、受光部13から入力される信号、すなわち、ODDNN12の出射面から出射される光の強度分布に基づいてANNを実行する。
【0093】
このような構成でなるニューラルネットワーク装置500では、まず、上記した実施形態と同様に、ODDNN12を用いた対象物の検出処理が実行される。例えば、ODDNN12を用いた対象物の検出処理では、大まかな対象物の検出が行われる。具体的には、センサ制御部21は、乗用車、トラック、自動二輪車、自転車を含む乗り物を検出する。
【0094】
そして、ANN部24は、ODDNN12の出射面から出射される光の強度分布に基づいてANNを実行することで、詳細な対象物の検出を行う。ANN部24は、例えば、乗用車、トラック、自動二輪車、自転車等を区別する検出を行う。
これにより、ニューラルネットワーク装置500は、ANNによる処理負荷及び電力消費を低減し、対象物の検出を高速でかつ低消費で実行することができる。
【0095】
上記した実施形態においては、ONNとしてODDNN12を用いた場合について説明した。しかしながら、ONNとしてOCNNを用いるようにしてもよい。OCNNを用いる場合、OCNNの組成(光学的特性)を変更可能に構成するようにしてもよい。
例えば、
図15に示すように、OCNN600は、2層の光ニューラルネットワーク層601と、2層のLCD(Liquid Crystal Display)層602が交互に配置されている。そして、OCNN600では、LCD層602の各画素の光の透過率を制御部15が制御することにより、組成を変更可能となっている。
また、
図16に示すように、OCNN700は、複数のメタレンズ光CNNニューロン701が配列されており、各メタレンズ光CNNニューロン701の外周には、MEMS(Micro Electro Mechanical Systems)アクチュエータ702が設けられている。そして、OCNN700では、MEMSアクチュエータ702を制御部15が制御することにより、メタレンズ光CNNニューロン701の組成を変更可能となっている。
このように、組成を変更することができるOCNN600、700を用いることにより、複数のODDNN12を設けなくても、異なる波長域に最適な組成を設定することが可能となり、装置の小型化を図ることができる。
【0096】
<6.実施形態のまとめ>
上記のように実施形態のニューラルネットワーク装置(1、100、200、300)においては、光ニューラルネットワーク(ODDNN12)を介して光を受光する受光部13と、受光部13で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして所定の制御を行う制御部15とを備える。
これにより、ニューラルネットワーク装置は、所定の制御を行う前においては、省エネルギーで動作する光ニューラルネットワークを動作させ、制御対象の装置を停止させておくことが可能となる。
したがって、ニューラルネットワーク装置は、低消費電力で所定の制御を実行開始することができる。
【0097】
また、制御部15は、受光部13で受光した光に応じた信号に基づいて対象物を検出したことをトリガとして、撮像素子14での撮像を開始するものである。
これにより、ニューラルネットワーク装置は、所定の対象物が検出されるまでは撮像素子14を動作させなくて済むため、低消費電力化を図ることができる。
【0098】
また、制御部15は、受光部13で受光した光に応じた信号に基づいて、所定の対象物が検出された範囲を関心領域に設定する。
これにより、ニューラルネットワーク装置では、対象物が存在する範囲を撮像することが可能となる。
【0099】
また、制御部15は、関心領域を撮像範囲として撮像素子に撮像させる。
これにより、ニューラルネットワーク装置では、対象物が存在する範囲を撮像することが可能となる。
【0100】
また、光ニューラルネットワーク(ODDNN12、102)は複数設けられており、いずれかの光ニューラルネットワーク(ODDNN102)を介して受光部13で受光したに応じた信号に基づいて所定の対象物を検出し、他の光ニューラルネットワーク(ODDNN12)を介して受光部で受光したに応じた信号に基づいて関心領域を検出する。
これにより、ニューラルネットワーク装置では、トリガとなる対象物以外の対象物も撮像することができる。
【0101】
また、光ニューラルネットワークは、光回折ディープニューラルネットワーク(ODDNN12)である。
これにより、ニューラルネットワーク装置では、光ニューラルネットワークで電力を消費することがないため、低消費電力化を図ることができる。
【0102】
また、光ニューラルネットワークは、光学的特性を変更可能な光畳み込みニューラルネットワーク(OCNN600、700)である。
これにより、ニューラルネットワーク装置では、複数のODDNN12を設けなくても、異なる波長域に最適な組成を設定することが可能となり、装置の小型化を図ることができる。
【0103】
また、ニューラルネットワーク装置は、所定の波長域の光を照射可能な照射部301を備える。
これにより、ニューラルネットワーク装置は、ODDNN12に導く光の波長域の精度を向上することができ、対象物の検出精度を向上することができる。
【0104】
また、照射部301は、複数の波長域の光を照射可能であり、光ニューラルネットワークは、照射部301が照射可能な複数の波長域ごとに最適化されている。
これにより、ニューラルネットワーク装置は、異なる波長域を主に反射する対象物があった場合であっても、それぞれの波長域に応じたODDNN12を用いて、精度よく対象物を検出することができる。
【0105】
また、光ニューラルネットワーク(ODDNN12)は、対象物が主に反射する波長域の光に最適化されており、照射部301は、検出対象の対象物が主に反射する波長域の光を照射し、制御部15は、対象物が主に反射する波長域の光に最適化された光ニューラルネットワークから出射された光を受光した受光部13から入力される信号に基づいて対象物を検出する。
【0106】
また、ニューラルネットワーク装置は、光を分光して前記光ニューラルネットワークに導く分光部201を備える。
これにより、ニューラルネットワーク装置は、簡易な構成でかつ電力を消費することなく、最適化された波長域の光をODDNN12に導くことができる。
【0107】
また、撮像素子(撮像素子部410)と、光ニューラルネットワーク(ODDNN部420)とが積層されているものである。
これにより、省スペース化、及び、小型化を図ることができる。
【0108】
また、撮像素子(撮像素子部410)は、可視光を受光し、光回折ディープニューラルネットワーク(ODDNN部420)は、撮像素子を通過した赤外光が入射されるものである。
これにより、異なる波長域で画像の撮像、及び、対象物の検出を行うことができ、省スペース化、及び、小型化を図ることができる。
【0109】
上記した本技術に係る検出方法においては、光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う。
上記した本技術に係るプログラムにおいては、光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う処理をニューラルネットワーク装置に実行させる。
【0110】
このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0111】
またこのようなプログラムによれば、実施の形態のニューラルネットワーク装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、本技術のニューラルネットワーク装置として機能させることができる。
【0112】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0113】
<7.本技術>
本技術は以下のような構成も採ることができる。
(1)
光ニューラルネットワークを介して光を受光する受光部と、
前記受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして所定の制御を行う制御部と、
を備えたニューラルネットワーク装置。
(2)
前記制御部は、
前記受光部で受光した光に応じた信号に基づいて対象物を検出したことをトリガとして、撮像素子での撮像を開始する
(1)に記載のニューラルネットワーク装置。
(3)
前記制御部は、前記受光部で受光した光に応じた信号に基づいて、所定の対象物が検出された範囲を関心領域に設定する
(2)に記載のニューラルネットワーク装置。
(4)
前記制御部は、
前記関心領域を撮像範囲として前記撮像素子に撮像させる
(3)に記載のニューラルネットワーク装置。
(5)
前記光ニューラルネットワークは複数設けられており、
いずれかの前記光ニューラルネットワークを介して前記受光部で受光したに応じた信号に基づいて所定の対象物を検出し、他の前記光ニューラルネットワークを介して前記受光部で受光したに応じた信号に基づいて前記関心領域を検出する
(3)又は(4)に記載のニューラルネットワーク装置。
(6)
前記光ニューラルネットワークは、光回折ディープニューラルネットワークである
(1)から(5)のいずれかに記載のニューラルネットワーク装置。
(7)
前記光ニューラルネットワークは、光学的特性を変更可能な光畳み込みニューラルネットワークである
(1)から(5)のいずれかに記載のニューラルネットワーク装置。
(8)
所定の波長域の光を照射可能な照射部を備える
(1)から(7)のいずれかに記載のニューラルネットワーク装置。
(9)
前記照射部は、複数の波長域の光を照射可能であり、
前記光ニューラルネットワークは、前記照射部が照射可能な複数の波長域ごとに最適化されている
(8)に記載のニューラルネットワーク装置。
(10)
前記光ニューラルネットワークは、前記対象物が主に反射する波長域の光に最適化されており、
前記照射部は、検出対象の対象物が主に反射する波長域の光を照射し、
前記制御部は、前記対象物が主に反射する波長域の光に最適化された前記光ニューラルネットワークから出射された光を受光した前記受光部から入力される信号に基づいて対象物を検出する
(9)に記載のニューラルネットワーク装置。
(11)
光を分光して前記光ニューラルネットワークに導く分光部を備える
(1)から(7)のいずれかに記載のニューラルネットワーク装置。
(12)
前記撮像素子と、前記光ニューラルネットワークとが積層されている
(2)から(11)のいずれかに記載のニューラルネットワーク装置。
(13)
前記撮像素子は、可視光を受光し、
前記光ニューラルネットワークは、前記撮像素子を通過した赤外光が入射される
(12)に記載のニューラルネットワーク装置。
(14)
光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う
制御方法。
(15)
光ニューラルネットワークを介して受光部で受光した光に応じた信号に基づいて所定の対象物を検出したことをトリガとして制御を行う
処理をニューラルネットワーク装置に実行させるプログラム。
【符号の説明】
【0114】
1、100、200、300 ニューラルネットワーク装置
12 ODDNN
13 受光部
14 撮像素子
15 制御部
201 分光部
301 照射部