(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024030682
(43)【公開日】2024-03-07
(54)【発明の名称】磁気光学演算素子および磁気光学回折ニューラルネットワークシステム
(51)【国際特許分類】
G02F 3/00 20060101AFI20240229BHJP
G02F 1/09 20060101ALI20240229BHJP
G06G 7/60 20060101ALI20240229BHJP
G06E 3/00 20060101ALI20240229BHJP
【FI】
G02F3/00
G02F1/09 505
G06G7/60
G06E3/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022133726
(22)【出願日】2022-08-25
(71)【出願人】
【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
(71)【出願人】
【識別番号】592032636
【氏名又は名称】学校法人トヨタ学園
(71)【出願人】
【識別番号】522338676
【氏名又は名称】野中 尋史
(74)【上記2名の代理人】
【識別番号】304021288
【氏名又は名称】国立大学法人長岡技術科学大学
(72)【発明者】
【氏名】石橋 隆幸
(72)【発明者】
【氏名】藤田 拓実
(72)【発明者】
【氏名】坂口 穂貴
(72)【発明者】
【氏名】野中 尋史
(72)【発明者】
【氏名】粟野 博之
(72)【発明者】
【氏名】鷲見 聡
【テーマコード(参考)】
2K102
【Fターム(参考)】
2K102AA27
2K102BA31
2K102BB01
2K102BB04
2K102BB05
2K102BC09
2K102BD01
2K102CA20
2K102DC07
2K102DD08
2K102EB10
2K102EB11
2K102EB22
2K102EB30
(57)【要約】
【課題】可視光領域で利用できカメラ等の光学デバイスに実装可能なサイズの磁気光学演算素子および磁気光学演算素子を備える磁気光学回折ニューラルネットワークシステムを提供する。
【解決手段】光入力信号が入力する磁性層を備え、該磁性層から光出力信号が出力される磁気光学演算素子であって、光入力信号が直線偏光、円偏光もしくは楕円偏光のいずれかであり、磁性層は磁気光学効果により光出力信号の偏光状態を変える磁気光学材料を含み、磁性層が、例えば画像のような入力された光入力信号が何であるかを推定可能な磁気光学回折ニューラルネットワークを形成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
光入力信号が入力する磁性層を備え、
前記磁性層から光出力信号が出力される磁気光学演算素子であって、
前記光入力信号が直線偏光、円偏光もしくは楕円偏光のいずれかであり、
前記磁性層は磁気光学効果により前記光出力信号の偏光状態を変える磁気光学材料を含み、
前記磁性層が前記光入力信号を推定可能な磁気光学回折ニューラルネットワークを形成する
ことを特徴とする磁気光学演算素子。
【請求項2】
前記磁性層を複数備え、
前記磁性層は磁区の磁化方向を変更可能である磁区構造を有し、
前記磁気光学材料は磁界とファラデー回転角の関係にヒステリシス特性を有する材料である
ことを特徴とする請求項1に記載の磁気光学演算素子。
【請求項3】
前記磁区構造は教師データに基づく機械学習により生成された学習モデルにより決定される構造を有し、
前記複数の磁性層はそれぞれ異なる前記磁区構造を有する
ことを特徴とする請求項2に記載の磁気光学演算素子。
【請求項4】
前記複数の磁性層はそれぞれがギャップを有して平行に配置され、
前記ギャップが1mm以下である
ことを特徴とする請求項2または3に記載の磁気光学演算素子。
【請求項5】
前記偏光状態が偏光面の回転角もしくは楕円率であり、
前記回転角もしくは前記楕円率の変化がπ/1000ラジアン以上となる前記磁気光学材料を含む
ことを特徴とする請求項1に記載の磁気光学演算素子。
【請求項6】
前記磁気光学材料はビスマス置換磁性ガーネットまたは希土類と遷移金属からなる合金を含む
ことを特徴とする請求項1に記載の磁気光学演算素子。
【請求項7】
前記磁気光学材料は(R,Bi)3(Fe,NM)5O12で表される磁性ガーネット(式中、Rは希土類元素、NMは非磁性金属元素表す。)を含む
ことを特徴とする請求項6に記載の磁気光学演算素子。
【請求項8】
磁気光学演算素子を備える磁気光学回折ニューラルネットワークシステムであって、
偏光制御素子と、
磁気光学演算素子と、
前記磁気光学演算素子から出力される光出力信号を検出するイメージセンサーを備え、
前記偏光制御素子は光入力信号を直線偏光、円偏光もしくは楕円偏光のいずれかに偏光し、
前記磁気光学演算素子は前記光入力信号が入力する磁性層を備え、
前記磁性層は磁気光学効果により前記光出力信号の偏光状態を変える磁気光学材料を含み、
前記磁性層が前記光入力信号を推定可能な磁気光学回折ニューラルネットワークを形成し、
前記磁性層を複数備え、
前記磁性層は磁区の磁化方向を変更可能である磁区構造を有し、
前記磁気光学材料は磁界とファラデー回転角の関係にヒステリシス特性を有する材料を含み、
前記磁区構造は教師データに基づく機械学習により生成された学習モデルにより決定される構造を有し、
前記複数の磁性層はそれぞれ異なる前記磁区構造を有し、
前記複数の磁性層はそれぞれがギャップを有して平行に配置され、
前記ギャップが1mm以下であり、
前記偏光状態が偏光面の回転角もしくは楕円率であり、
前記回転角もしくは前記楕円率の変化がπ/1000ラジアン以上となる前記磁気光学材料を含む
ことを特徴とする磁気光学回折ニューラルネットワークシステム。
【請求項9】
前記教師データの入力因子は直線偏光、円偏光もしくは楕円偏光のいずれかの偏光による光入力信号を含み、前記教師データの出力因子は前記磁気光学演算素子から出力される偏光面の回転角または楕円率を含み前記磁区構造を決定する磁気光学回折ニューラルネットワーク学習部を備える
ことを特徴とする請求項8に記載の磁気光学回折ニューラルネットワークシステム。
【請求項10】
前記磁性層の磁区の磁化方向を電気的に、またはレーザー光により、変更可能な磁性調整部を備える
ことを特徴とする請求項8に記載の磁気光学回折ニューラルネットワークシステム。
【請求項11】
前記イメージセンサーは前記光出力信号の光強度または前記偏光状態を検出する
ことを特徴とする請求項8に記載の磁気光学回折ニューラルネットワークシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、磁気光学効果を利用した磁気光学演算素子および磁気光学回折ニューラルネットワークシステムに関する。
【背景技術】
【0002】
(ニューラルネットワーク)
AI技術は、顔認証などのセキュリティ技術、医療における画像診断、言語認識、気象予測など、様々な分野においてその有用性が示され実用化が進んでいる。近年では、ビックデータが利用できるようになったことで、その重要度はますます高まっている。特にアルファ碁の活躍で世の中に認知されるようになったディープラーニング技術は、自動運転においても鍵を握る技術である。これらの技術は、コンピュータ上で再現されたものであり、近年、飛躍的に性能が向上したGPU技術などにより大きく進展してきた。
【0003】
ニューラルネットワークは、ニューロンの工学的モデルの導入により、コンピュータ上で再現された。各ニューロンでは、多数の入力信号を結合加重として線形結合した値に対して、非線形活性化関数によってニューロンの発火状態が決定される。このモデルを応用した階層型ニューラルネットワークは、磁性層からなる隠れ層からなり、第1層目の磁性層に与えられた入力信号は、重みが乗じられ互いに結合された後、ある閾値を超えた信号のみが次の層に送られる。そして、最終的にイメージセンサーで測定され出力される。この階層型ニューラルネットワークは、コンピュータを使って行われているAI技術における最も一般的なモデルである。このモデルは、隠れ層を多層化することでディープラーニングが実行可能であり、推論やパターン認識の機能を有する。
【0004】
(光ニューラルネットワーク)
しかしながら、現在のコンピュータ上に構築されたAI技術は、データ量の増大やモデルの複雑さに伴う計算コストとそれに伴って消費電力が爆発的に増大するとういう問題がすでに顕在化している。これらの問題の解決のため、様々な形態の光を計算に利用する光ニューラルネットワークが提案されている。光ニューラルネットワークは、並列計算、低消費電力、高速演算、電磁誘導ノイズが生じないなどの多くのメリットがあるため、1980年代から盛んに研究が行われた。しかし、当時の光ニューラルネットワークは、光学定盤の上に構築された大がかりなもので、小型化が大きな課題であり、実装も困難であった。さらに、多層構造化が必要なディープラーニングの実現も大きな課題となっていた。
【0005】
(ディフラクティブディープニューラルネットワーク)
その後、回折現象を利用したディフラクティブディープニューラルネットワーク(D2NN)が提案された(特許文献1)。D2NNは、階層型ニューラルネットワークの一つの形態であり、光を用いて計算を行う。隠れ層の各ニューロンに用いる物質の屈折率や消衰係数を利用して光の位相を変化させる。2次元的に分布したニューロンのそれぞれを透過した光は、回折光として重ね合わされる。そして、重ね合わされた光は、次の隠れ層に入力される。その後、1層目と同様に二次元に配列したニューロンによって位相の変調を受け、最終的に出力光として検出される。隠れ層の位相パターンは、あらかじめ学習計算を行うことによって決定される。
【0006】
D2NNの優れた点は、光が透過するだけで計算が完了するため、計算自体に消費電力は発生しないということである。このような優れたD2NNを利用したデバイスの開発が期待されている。
【0007】
特にD2NNのシステム化にあたり、可視光領域で利用できるニューロンのサイズが1μm以下でカメラ等の光学デバイスに実装が可能なサイズのD2NNの開発が期待されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願公開第2021/0142170号
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明は、このような事情に鑑みてなされたものであり、光の変調に磁気光学効果を利用することによって、カメラ等の光学デバイスに実装可能なサイズの磁気光学演算素子、該磁気光学演算素子を備える磁気光学回折ニューラルネットワークシステムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明者らは、上記課題について鋭意検討の末、D2NNに磁気光学材料を用いることによって、1μm以下の磁区パターンを形成することができ、さらに、カメラ等の光学デバイスに実装が可能なサイズで光の位相を変調させることができるとの発想に至り、以下の構成を具備することで上述の課題を解決することを見いだし、本発明の完成に至った。尚、磁区パターンは磁区構造と呼ぶこともある。
【0011】
すなわち本発明は、例えば、以下の構成・特徴を備えるものである。
【0012】
(態様1)
光入力信号が入力する磁性層を備え、該磁性層から光出力信号が出力される磁気光学演算素子であって、該光入力信号が直線偏光、円偏光もしくは楕円偏光のいずれかであり、該磁性層は磁気光学効果により該光出力信号の偏光状態を変える磁気光学材料を含み、該磁性層が該光入力信号を推定可能な磁気光学回折ニューラルネットワークを形成することを特徴とする磁気光学演算素子。
(態様2)
該磁性層を複数備え、該磁性層は磁区の磁化方向を変更可能である磁区構造を有し、該磁気光学材料は磁界とファラデー回転角の関係にヒステリシス特性を有する材料であることを特徴とする態様1に記載の磁気光学演算素子。
(態様3)
該磁区構造は教師データに基づく機械学習により生成された学習モデルにより決定される構造を有し、該複数の磁性層はそれぞれ異なる該磁区構造を有することを特徴とする態様2に記載の磁気光学演算素子。
(態様4)
該複数の磁性層はそれぞれがギャップを有して平行に配置され、該ギャップが1mm以下であることを特徴とする態様2または3に記載の磁気光学演算素子。
(態様5)
該偏光状態が偏光面の回転角もしくは楕円率であり、該回転角もしくは該楕円率の変化がπ/1000ラジアン以上となる該磁気光学材料を含むことを特徴とする態様1に記載の磁気光学演算素子。
(態様6)
該磁気光学材料はビスマス置換磁性ガーネットまたは希土類と遷移金属からなる合金を含むことを特徴とする態様1に記載の磁気光学演算素子。
(態様7)
該磁気光学材料は(R,Bi)3(Fe,NM)5O12で表される磁性ガーネット(式中、Rは希土類元素、NMは非磁性金属元素を表す。)を含むことを特徴とする態様6に記載の磁気光学演算素子。
(態様8)
磁気光学演算素子を備える磁気光学回折ニューラルネットワークシステムであって、偏光制御素子と、磁気光学演算素子と該磁気光学演算素子から出力される光出力信号を検出するイメージセンサーを備え、該偏光制御素子は光入力信号を直線偏光、円偏光もしくは楕円偏光のいずれかに偏光し、該磁気光学演算素子は該光入力信号が入力する磁性層を備え、該磁性層は磁気光学効果により該光出力信号の偏光状態を変える磁気光学材料を含み、該磁性層が該光入力信号を推定可能な磁気光学回折ニューラルネットワークを形成し、該磁性層を複数備え、該磁性層は磁区の磁化方向を変更可能である磁区構造を有し、該磁気光学材料は磁界とファラデー回転角の関係にヒステリシス特性を有する材料を含み、該磁区構造は教師データに基づく機械学習により生成された学習モデルにより決定される構造を有し、該複数の磁性層はそれぞれ異なる該磁区構造を有し、該複数の磁性層はそれぞれがギャップを有して平行に配置され、該ギャップが1mm以下であり、該偏光状態が偏光面の回転角もしくは楕円率であり、該回転角もしくは該楕円率の変化がπ/1000ラジアン以上となる該磁気光学材料を含むことを特徴とする磁気光学回折ニューラルネットワークシステム。
(態様9)
該教師データの入力因子は直線偏光、円偏光もしくは楕円偏光のいずれかの偏光による光入力信号を含み、該教師データの出力因子は該磁気光学演算素子から出力される偏光面の回転角または楕円率を含み該磁区構造を決定する磁気光学回折ニューラルネットワーク学習部を備えることを特徴とする態様8に記載の磁気光学回折ニューラルネットワークシステム。
(態様10)
該磁性層の磁区の磁化方向を電気的に、またはレーザー光により、変更可能な磁性調整部を備えることを特徴とする態様8に記載の磁気光学回折ニューラルネットワークシステム。
(態様11)
該イメージセンサーは該光出力信号の光強度または該偏光状態を検出することを特徴とする態様8に記載の磁気光学回折ニューラルネットワークシステム。
【発明の効果】
【0013】
以上、本発明によれば、カメラ等の光学デバイスに実装可能なサイズの磁気光学演算素子、該磁気光学演算素子を備える磁気光学回折ニューラルネットワークシステムを提供することができる。
【図面の簡単な説明】
【0014】
【
図3】磁性層に形成する位相変調のための磁区パターンの一例
【
図5】光強度を光出力信号として検出する磁気光学回折ニューラルネットワークシステムの概略図
【
図6】イメージセンサーの前に偏光子を挿入して光強度を光出力信号として検出する磁気光学回折ニューラルネットワークシステムの概略図
【
図7】偏光イメージセンサーにより偏光面の回転角を光出力信号として検出する磁気光学回折ニューラルネットワークシステムの概略図
【
図8】イメージングデバイスに磁気光学演算素子を組み込んだ磁気光学回折ニューラルネットワークシステムの概略図
【
図9】磁性層にレーザーを用いて位相変調のための磁区を書き込む一例
【
図10】磁性細線構造に電気的に位相変調のための磁区を書き込む一例
【
図11】手書き数字の”7”が光入力信号の場合、空間を伝搬する距離dに対して測定した光強度像
【
図12】手書き数字の”7”が光入力信号の場合、空間を伝搬する距離dに対してシミュレーションで計算した光強度像
【
図13】磁性層に磁区構造として書き込んだ手書き数字の”7”を透過した光の偏光状態を距離dに対して測定した偏光画像
【
図14】磁性層に磁区構造として書き込んだ手書き数字の”7”を透過した光の偏光状態を距離dに対してシミュレーションで計算した偏光画像
【
図15】光強度を光出力信号として学習させた場合の手書き数字に対する認識精度の学習回数依存性
【
図16】イメージセンサーの前に偏光子を挿入して測定した光強度を光出力信号として学習させた場合の手書き数字に対する認識精度の学習回数依存性
【
図17】偏光イメージセンサーを用いて測定した偏光面の角度を光出力信号として学習させた場合の手書き数字に対する認識精度の学習回数依存性
【
図18】手書き数字”2”と”7”を対象に、光強度を光出力信号として学習した場合の光入力信号、5つの隠れ層での信号の分布、数字を分類するための分類器、光出力信号のヒストグラム
【
図19】手書き数字”2”と”7”を対象に、偏光の回転角を光出力信号として学習した場合の光入力信号、5つの隠れ層での信号の分布、数字を分類するための分類器、光出力信号のヒストグラム
【発明を実施するための形態】
【0015】
以下、本発明を図面に示す実施の形態に基づき説明するが、本発明は、多くの異なる形態による実施が可能であり、下記の具体的な実施形態に何等限定されるものではない。
【0016】
(光入力信号)
光入力信号は偏光であって、光入力信号としての偏光は、直線偏光、円偏光もしくは楕円偏光のいずれかであることが好ましい。
【0017】
光入力信号は、2次元もしくは1次元の光信号であることが好ましい。光入力信号は、レンズによって、磁気光学演算素子の第1層目の磁性層上に結像される。ここで、2次元光入力信号とは、
図1に示すように磁性層の面に略平行に入力される光入力信号のことを意味する。また、1次元光入力信号とは、
図2に示す平面の構造を有する磁気光学演算素子において、該磁気光学演算素子を構成する磁性層の長手方向と同方向に連続で且つ磁性層に対し略垂直に磁気光学回折ニューラルネットワークに入力される光入力信号のことを意味する。
【0018】
(磁性層、磁気光学材料)
磁性層は磁気光学効果により光出力信号の偏光状態を変える磁気光学材料を含み、その磁気光学材料としては磁界とファラデー回転角の関係にヒステリシス特性を有する材料であることが好ましい。そのような特性を有する材料としては、ビスマス置換磁性ガーネットまたは希土類と遷移金属からなる合金を含む磁気光学材料を用いることができる。具体的には、コバルトフェライト、MnBiまたはGdFe、GdFeCo、TbFeCoなど希土類と遷移金属からなる合金は磁気光学効果の大きな材料であることが好ましい。より好ましい磁性層の材料としては、(R,Bi)3(Fe,NM)5O12で表される磁性ガーネットであって、Rは希土類元素、NMはGaまたはAlなどの非磁性金属元素を用いることができる。例えば、ビスマス・ガリウム置換ネオジム鉄ガーネット、ビスマス・アルミニウム置換ネオジム鉄ガーネット、ビスマス・ガリウム置換イットリウム鉄ガーネット、またはビスマス・ガリウム置換ルチウム鉄ガーネットであり、最も好ましくはビスマス・ガリウム置換ネオジム鉄ガーネットである。
【0019】
磁性層に含まれる磁気光学材料の特性として、光出力信号の偏光面の回転角もしくは楕円率の変化がπ/1000ラジアン以上となる磁気光学材料が好ましく、より好ましくは回転角の変化もしくは楕円率の変化がπ/100ラジアン以上であり、さらに好ましくは回転角の変化もしくは楕円率の変化がπ/10ラジアン以上である。
【0020】
(磁気光学効果)
磁気光学効果(MO効果)は、光の偏光の回転角と楕円率として測定される。これは、右円偏光と左円偏光の媒質の屈折率と消衰係数の違いとして説明される。
【0021】
直線偏光の電場ベクトルElpは右円偏光の電場ベクトルErcpと左円偏光の電場ベクトルElcpの和によって表現され、ErcpとElcpはそれぞれ、次のように与えられる。
【0022】
【0023】
【0024】
【数3】
ここで、κは波数ベクトル、rは位置ベクトル、ωは角周波数、dは材料の厚さ、tは時間、cは光速、E
0は最大の電場強度、iは虚数である。
【0025】
NrcpとNlcpは、右円偏光と左円偏光の磁性媒体の複素屈折率であり、右円偏光の屈折率nrcpおよび消光係数κrcpと左円偏光の屈折率nlcpおよび消光係数κlcpを用いて、次式で定義される。
【0026】
【0027】
【0028】
ファラデー回転角θFとファラデー楕円率ηFは次のように定義される。
【0029】
【0030】
【数7】
ここで、Δn=n
rcp-n
lcpであり、Δκ=κ
rcp-κ
lcpである。
【0031】
円偏光の自由空間伝搬を計算するために、Rayleigh-Sommerfeld方程式から直接導かれる式を用いた角スペクトル法を用いた。尚、Rayleigh-Sommerfeld方程式の詳細はJ.W.Goodman,IntroductiontoFourierOptics(W.H.Freeman,2017)に開示されるとおりである。また、角スペクトル法はK.Matsushima and T.Shimobaba,Opt.Express17[22],19662(2009)に開示される計算方法である。
【0032】
数値計算では、レイリー-ゾンマーフェルド回折式の畳み込み演算が離散フーリエ変換(DFT)を用いて行われる。光波をフーリエ変換し、周波数応答関数と掛け合わせる。それを逆フーリエ変換することで、伝搬された光波が得られる。フーリエ変換の際、帯域制限を行っている。例えば、波長633nmの場合、ニューロンがある磁性体の面積が(100μm×100μm)、伝搬距離1mmのとき、高周波数帯域の約90%をカットして計算した。
【0033】
D2NNアーキテクチャでは、光の回折理論により完全結合条件が決定される。ある層lの全ニューロンと次の層l+1の全ニューロンが一次回折光によって完全に結合する条件は、以下のように与えられる。
【0034】
【0035】
【数9】
ここで、βは回折角、λは波長、dnはニューロンの直径、Δz
l,l+1は、l層とl+1層の間の距離、N
vは垂直方向のニューロン数、N
h水平方向のニューロン数である。
【0036】
(磁気光学演算素子、磁気光学回折ニューラルネットワーク)
磁気光学演算素子は、光入力信号が入力する磁性層を備え、複数の磁性層を備えることが好ましい(
図1、
図2)。複数の磁性層を備えることで磁気光学回折ニューラルネットワーク(MO-D
2NN)として機能させることが容易となる。すなわちMO-D
2NNは、磁性層による位相変調と光の回折に磁気光学効果を利用することによって、磁性層から出力される光出力信号を変化させニューラルネットワークの計算を行う。このようにして、磁気光学演算素子は、例えば画像のような入力された光入力信号が何であるかを推定可能な磁気光学回折ニューラルネットワークを形成する。
【0037】
磁気光学演算素子を構成する一層目の磁性層上に結像された光入力信号は、一層目の磁性層に形成された磁区パターンを透過する際、磁気光学効果によって位相の変調を受ける。位相の変調によって、光強度の分布に加えて偏光状態(偏光の回転角および楕円率)の分布が重畳した信号光となる。(
図1)
【0038】
ここで磁区パターンとは、磁性層の面上に任意の間隔で区切られた区画内で磁化の方向が一方向に揃っている磁区によって構成されるパターンである。各区画の磁区は、ニューロンに対応し、そのパターンは機械学習によって決定される。
【0039】
磁気記録された磁区構造を有する磁性層は磁気光学回折ニューラルネットワークにおける隠れ層として機能する。複数の磁性層が隠れ層として機能すると磁気光学回折ニューラルネットワークが形成されやすい。複数の磁性層はそれぞれ異なる磁区構造を有することが好ましい。各磁性層に入力する光の位相は磁気光学効果によって変調され、回折される。
【0040】
(磁性層のギャップ)
複数の磁性層を有する場合にはそれぞれがギャップを有して平行に配置され、ギャップが1mm以下であることが好ましい。ギャップは複数の磁性層同士が接触せずにある距離を有していればよいが、回折された光を次の層に効率よく伝搬させるためには、0.5mm以上であることがさらに好ましい。各ギャップの長さは同一でもよく、異なってもよい。このギャップにより、ニューロン間を伝搬する光を有効に利用できる完全結合型のニューラルネットワークが実現する。
【0041】
ギャップは空間であってもよく、透明材料でギャップを形成してもよい。透明材料としては具体的には、ガラス、Gd3Ga5O12単結晶基板等が使用できる。透明材料として用いる材料の屈折率は低いことが望ましい。
【0042】
(磁気光学回折ニューラルネットワークの機械学習)
磁気光学回折ニューラルネットワークは、あらかじめ機械学習のアルゴリズムの1つであるディープラーニングによりに学習モデルを生成し取得しておくことで、光入力信号が入力される磁性層すなわち光入力層に形成された2次元光入力信号による画像を推定可能となる。
【0043】
ディープラーニングは教師あり学習でも教師なし学習でもよいが、教師あり学習が好ましい。教師あり学習を行う場合、教師データの入力因子として直線偏光、円偏光もしくは楕円偏光のいずれかに偏光された光入力信号を含み、教師データの出力因子として磁性層から出力される偏光の偏光面の回転角または楕円率を含むことが好ましい。
【0044】
教師データの一例としては、円偏光の光入力信号を機械学習の入力因子とし、磁性層を透過した偏光の回転角または楕円率を出力因子として機械学習に用いることができる。このようにして
図3はディープラーニングにより取得した学習モデルの一例であり、磁区によって位相変調のパターンが形成されている。
【0045】
このような学習済み磁気光学回折ニューラルネットワークは光入力層に形成された画像を推定可能となる。すなわち、教師データに基づく機械学習により生成された学習モデルにより決定される磁区構造を有する磁性層が磁気光学回折ニューラルネットワークを形成することができる。
【0046】
磁気光学回折ニューラルネットワークのディープラーニングには、TensorFlow(登録商標)やPyTorchなど汎用的な公知のフレームワークを利用して学習することができる。
【0047】
(磁区構造)
磁区構造は機械学習により生成された学習モデルである連続的な磁化方向を2値化処理または多値化処理して決定する構造を有することが好ましい。
図3は、
図1に示した2次元光入力信号を扱う磁気光学回折ニューラルネットワークの磁性層について、機械学習により得られた学習モデルを1μm角の磁区で分割した後、多値化処理により磁区構造を取得する一例を示す模式図である。磁区の大きさを光入力信号の解像度と同程度まで小さくすることで機械学習により生成された連続的な磁区構造をそのまま利用することが可能となる。
【0048】
2値化もしくは多値化処理は、機械学習によって得られた各磁性層における光の位相変化のパターンに対して、閾値を決めることにより2値化もしくは多値化する。2値化した場合には、各磁区における磁化方向が面に垂直な上向き及び下向きとなるため、光磁気記録技術や磁界記録、スピン注入磁化反転技術、エネルギーアシスト磁気記録などによる磁区形成が容易になる。
【0049】
多値化する場合は、前述の位相変化パターンを多段階の閾値により位相変化量を分割することによって、複数の磁化状態を決定する。この場合は、光磁気記録技術や磁界記録、スピン注入磁化反転技術、エネルギーアシスト磁気記録などによる磁区形成を応用することで、磁区形成が可能である。
【0050】
このようにして決定した学習モデルを磁性層上に形成するために、磁性層は磁区の磁化方向を変更可能な磁区構造を有することが好ましい。磁区構造の変更手段については後述する。
【0051】
(磁性層のヒステリシス特性)
磁性層は磁界とファラデー回転角の関係にヒステリシス特性を有することが好ましい。
図4は磁性層のヒステリシス特性の一例である。磁性層がヒステリシス特性を有していると、レーザー照射または磁界印加もしくは、レーザー照射と磁界印加を同時に行うことにより、磁化の方向を変化させることが可能である。
【0052】
(磁気光学回折ニューラルネットワークシステム1)
図5は磁気光学演算素子を利用した磁気光学回折ニューラルネットワークシステムの概略図である。磁気光学回折ニューラルネットワークシステムは、偏光制御素子1と、磁気光学演算素子と、イメージセンサーを備え、さらに、偏光制御素子1と磁気光学演算素子との間にレンズを備え、磁気光学演算素子とイメージセンサーの間に対物レンズを備え、対物レンズとイメージセンサーの間に結像レンズを備える。
【0053】
磁気光学回折ニューラルネットワークシステムは、さらに、磁気光学演算素子における磁区構造を形成するため磁区の磁化方向を変更可能な磁性調整部(図示せず)を備えてもよい。磁性調整部は磁性層の磁化方向を電気的にまたはレーザー光により変更可能とする機能を有していることが好ましい。磁性調整部は光磁気記録技術や磁界記録、スピン注入磁化反転技術、エネルギーアシスト磁気記録などの技術に用いられる装置により構成できる。
【0054】
磁気光学回折ニューラルネットワークシステムは、さらに、磁区構造を決定する磁気光学回折ニューラルネットワーク学習部(図示せず)を備えることが好ましい。磁気光学回折ニューラルネットワーク学習部における機械学習では、前述の通り教師データの入力因子は直線偏光、円偏光もしくは楕円偏光のいずれかの偏光による光入力信号を含み、教師データの出力因子は磁気光学演算素子から出力される偏光面の回転角または楕円率を含み磁区構造を決定する。
【0055】
(磁気光学回折ニューラルネットワークシステム2)
図6は上記磁気光学回折ニューラルネットワークシステム1の結像レンズとイメージセンサーの間に偏光制御素子2を備えたものである。
【0056】
(磁気光学回折ニューラルネットワークシステム3)
図7は上記磁気光学回折ニューラルネットワークシステム1のイメージセンサーとして偏光イメージセンサーを備えたものである。
【0057】
(磁気光学回折ニューラルネットワークシステム4)
図8は偏光制御素子、レンズ、MO-D
2NN(磁気光学演算素子)、偏光イメージセンサーを筐体により一体とした装置の一例の概略図である。このように磁気光学回折ニューラルネットワークシステムを一体構成とすることもできる。磁性調整部と磁気光学回折ニューラルネットワーク学習部を磁気光学回折ニューラルネットワークシステムに備える場合には、筐体内に一体で組み込むこともできるし、筐体とは別体としたシステム構成でカメラ等の光学デバイスに実装してもよい。
【0058】
(偏光制御素子)
偏光制御素子には偏光子、または、4分の1波長板、もしくは、偏光子と4分の1波長板を組み合わせ、もしくは、偏光補償子を用いることができる。偏光制御素子の主な機能は、信号光の偏光状態を直線偏光もしくは円偏光もしくは楕円偏光にすることである。レンズの前または後ろ側に設置された偏光子または偏光子と波長板によって光入力信号の偏光状態が決定される。
【0059】
(イメージセンサー)
イメージセンサーは磁気光学演算素子からの光出力信号を検出することができるものであればどのようなものでもよいが、特に、イメージセンサーは光出力信号の光強度または偏光状態を検出できることが好ましい。具体的なイメージセンサーとしては偏光イメージセンサー、もしくは、CCDまたはCMOSのイメージセンサーを使用できる。一例としてイメージセンサーに偏光カメラを用いると、光出力信号として、光量または偏光の回転角あるいは偏光の楕円率を計測することができる。
【0060】
このように磁気光学演算素子によって出力される2次元もしくは1次元の光出力信号は、イメージセンサーによって検出される。そしてイメージセンサーに偏光イメージセンサーを用いることで、光出力信号は、光強度もしくは偏光面の回転角として検出される。磁気光学演算素子と偏光イメージセンサーの間に1/4波長板を設置した場合には、光出力信号として楕円率を検出することが可能となる。(
図7)
【0061】
(レンズ)
偏光制御素子と磁気光学演算素子の間のレンズは、光入力信号としての画像をMO-D2NN上に結像させるためのレンズである。対物レンズ及び結像レンズは、磁気光学演算素子からの光出力信号を拡大して、イメージセンサー上に結像させるものである。
【0062】
(磁性調整部)
磁性調整部は、磁気光学演算素子における磁性層の磁化方向を変更する機能を有する。具体的には、磁区パターンは、レーザー照射により書き込むことができるし、電気的に書き込むこともできる。これらの磁区パターンは、公知の磁気記録技術やMO記録技術によって書き換えることができる。また、スピントルクトランスファースイッチングやスピン軌道トルクスイッチングなどの技術も利用できる。そして、MO-D2NNの各磁性層には、機械学習によって決定された磁区パターンが形成される。
【0063】
図9は磁場印加下におけるレーザー照射による光磁気書き込みの概要図であり、
図10は電気的な方法で磁区パターンが書き込まれる時の概要図である。
【0064】
磁場印加下におけるレーザー照射による光磁気書き込みは、顕微鏡下において、レーザーを対物レンズで集光することによって、1μm以下の磁区を形成することが可能である。このとき、印加する磁界の大きさまたはレーザー光の強度を調節することによって磁区の大きさ及び磁化の大きさを調節することができる。
【0065】
電気的な方法で磁区パターンを書き込む場合は、磁性層内に磁区書込用電極を備えるとともに、磁性材料として1μm程度またはそれ以下の幅の細線上のデバイス(磁性細線)を用いる。この場合は、電気的に磁区を発生させ、さらに、電流を流すことによって磁区を移動させることができる。
【0066】
(磁気光学回折ニューラルネットワーク学習部)
磁気光学回折ニューラルネットワーク学習部は、前述の機械学習を実行できる情報処理装置(コンピューター等)であればよい。
【0067】
磁気光学回折ニューラルネットワーク学習部で取得した学習モデルの情報は、磁性調整部に送ることができればよく、磁気光学回折ニューラルネットワーク学習部と磁性調整部は物理的に一体で構成してもよいし、それぞれ別体として構成してもよい。別体で構成する場合には、学習モデルの情報は有線でもbluetooth(登録商標)等の無線でも送ることができ、磁気光学回折ニューラルネットワーク学習部を、インターネットを介した配置としてもよい。
【0068】
(磁気光学回折ニューラルネットワークシステムの動作)
光入力層に形成された光入力信号は、各磁性層に形成した磁区パターンを順次透過したあと、光出力信号として偏光イメージセンサーによって計測される。偏光イメージセンサーでは、0°、45°、90°、135°の偏光方向の4種類の偏光画像として計測される。計測された4つの画像から、光強度分布像と偏光の回転角像が得られる。
【0069】
ここで、磁気光学回折ニューラルネットワークの機械学習方法および磁気光学回折ニューラルネットワークシステムについて以下具体的に説明する。
【実施例0070】
(磁気光学効果を含む光学シミュレーションと実験の比較)
まず、機械学習をする上で基本となる磁気光学効果を含む光伝搬シミュレーションと実験結果の比較について述べる。
【0071】
シミュレーションは、フォトマスクパターンを透過した光の伝搬および磁性層に生成した磁区パターンの磁気光学効果により変調を受けた光の伝搬について行った。
【0072】
(光伝搬の計測のための実験系)
光源には波長532nmのグリーンレーザー(GSHG-2050F,高知トヨナカ技研社製)を使用した。光入力層としてのフォトマスク、磁気光学演算素子の前に偏光制御素子として偏光板を置き、20倍の対物レンズ(MPlanFL N,オリンパス社製)、結像レンズ(U-TLU,オリンパス社製)、偏光カメラ(VCXU-50MP,Baumer社製)を備えた磁気光学回折ニューラルネットワークシステム用いて光量または偏光の回転角を測定した.
【0073】
光入力信号を生成するために、フォトマスクパターンには、MNISTデータセットの手書き数字を用い、ガラス基板上のCr薄膜に100×100μm2の大きさでフォトマスクパターンを形成した。このパターンにレーザー光を照射することで、光入力信号が生成される。
【0074】
ガラス基板上に成膜したCr薄膜に形成した手書き数字の”7”のパターンにレーザー光を透過させた時、フォトマスクの面から0~1mmまでの距離に焦点を合わせて光強度を測定した光学像を
図11に示す。光はフォトマスクを通過すると回折によって広がりながら伝搬していく様子がわかる。
【0075】
上記の光学シミュレーションにより得られた計算結果を
図12に示す。
図11で示した実験データとよく一致していることがわかる。
【0076】
(磁性層)
磁性層には、Gd3Ga5O12(001)基板上にあらかじめ垂直磁気異方性が形成されたビスマス・ガリウム置換ネオジム鉄ガーネット、Nd0.5Bi2.5Fe4GaO12(Bi2.5Ga:NIG)薄膜を用いた。Bi2.5Ga:NIG薄膜の厚さは200nmであった。磁気光学特性はヒステリシスを有し、波長408nmにおけるθFは2.5°であった。
【0077】
(磁区の形成)
波長405nmの紫色レーザー(Neoark社製)と電磁石を用いたMO記録技術により、手書き文字の磁気パターンをBi2.5Ga:NIG薄膜上に記録した。レーザー出力4.0mW、記録時間10μs、スキャン速度0.25mm/s、外部磁場200Oeで、50倍の観察レンズ(M Plan Apo 50X, Mitsutoyo社製)を用いて集光レーザースポットで直径1μmの磁区を磁気飽和Bi2.5Ga:NIG薄膜にそれぞれ記録した。
【0078】
(磁区パターンの形成)
さらに、Bi
2.5Ga:NIG薄膜をX-Yステージで操作することにより、手書き数字の”7”の磁区パターンを形成した。(
図13)
【0079】
(偏光の回転角θの測定法)
偏光の回転角θの2次元分布は、偏光カメラを用いて測定できる。偏光カメラによって1ショットで測定される偏光角が0°、45°、90°、135°の光強度I0°、I45°、I90°、I135°から、ストークスパラメータのs1とs2をもとめ、次式によって回転角θを求めることができる。測定したすべてのピクセルに対して回転角を求めると、各ピクセルの値が回転角である2次元データが得られる。
【0080】
【0081】
図13は、磁性層表面からの距離dが0~1mmの場所に焦点を合わせて測定した偏光の回転角像である。距離dが大きくなるにつれて、7の形状がぼやけていく様子がわかる。
【0082】
図14は、上記磁気光学効果を含むシミュレーションにより計算した偏光面の回転角像である。
図13の実験結果をよく再現していることがわかる。
【0083】
図11から
図14の結果は、機械学習に用いた上記のシミュレーションが正確であることを示すものである。
【0084】
(磁気光学回折ニューラルネットワークの機械学習)
波長633nmの可視光に対する動作を検証するために、1ニューロンサイズ1μmで100×100ニューロンからなる磁性層(隠れ層)を5層持つ磁気光学演算素子によりMO-D2NNモデルを構成した。各隠れ層の間隔は、波長633nm、屈折率n=1.5のガラスを考慮し、完全結合条件を満たすように0.7mmとした。本実施例では、6万個のトレーニングデータと1万個のテストデータに分けられた手書き10桁のMNIST(Modified National Institute of Standards and Technology)データセットを使用した。また、光の強度、イメージセンサーの前に偏光制御素子として偏光板を挿入して測定した場合の光の強度、偏光の回転角θの3種類を出力因子として機械学習を行った。
【0085】
各ニューロンで得られるθは、-θF≦θ≦θFという条件の下で学習された。ここで、θFは磁化の方向が光の進行方向と平行または反平行の時のファラデー回転角である。機械学習では、以下のパラメータを用いた。(i)学習率:0.001、(ii)バッチサイズ:64、(iii)オプティマイザー:TensorFlowのデフォルトパラメータを用いたAdam、(iv)損失関数:softmax crossentropyを用いた。
【0086】
図15、
図16、
図17は、MNISTの手書き数字を用いた1万件のテストデータに対する結果である。
【0087】
図15は、偏光制御素子を入れずに光強度を光出力信号として測定した場合に手書き数字の認識を行った場合の正解率を学習回数(Epoc number)に対してプロットしたグラフである。ここで、θ
F=π、π/2、π/3、π/5、π/10、π/100ラジアンの場合を示した。
【0088】
図15では、MNISTの手書き数字1万個のテストデータに対する正解率は学習回数が20を超えると集束しているが、90%以の正解率を得るにはθ
F≧π/5ラジアンが必要である。
【0089】
図16は、
図15と同様の測定を偏光制御素子として偏光板を入れて光強度を光出力信号として測定した場合の結果を示している。この場合、各θ
Fの場合についてそれぞれ挿入した偏光板の角度も学習させた。
【0090】
図16では、偏光制御素子として偏光板をイメージセンサーの前に置くことによって、
図15に比べて精度が向上することが確認された。
【0091】
図17は、偏光の回転角θを光出力信号とし、θ
F=π/40、π/200、π/500、π/1000 ラジアンの場合について、正解率をプロットした結果である。θ
F=π/100 ラジアンの場合では、
図15および
図16のすべての場合結果に比べて正解率が高く、正解率は80%を超えた。
【0092】
ガラス基板上のBi2.5Ga:NIG薄膜は、波長530nmでπ/20ラジアン以上のファラデー回転角θFを有するため、偏光の回転角θを光出力信号とした磁気光学回折ニューラルネットワークに利用可能である。
【0093】
手書き数字”2”と”7”を対象に、光強度と回転角について学習した結果を、光入力信号、5つの隠れ層での信号の分布、数字を分類するための分類器、光出力信号のヒストグラムとして、それぞれ
図18と
図19に示す。
図18では、隠れ層の磁性層のθ
Fをπ/10ラジアンとした結果、92.0%の精度が得られた。一方、
図19では、θ
Fをπ/100ラジアンと、
図18の10分の1であっても精度が82.3%に達している。このように、第1隠れ層に同じ光強度分布を入力したにもかかわらず、光強度と回転偏光角の分布パターンが互いに大きく異なることが明確に観察された。
本発明によれば、光で動作し、計算に消費電力を伴わない、小型のニューラルネットワークデバイスが実現する。このデバイスを例えばカメラに搭載することにより、入力データをネットワーク上もしくはカメラ内部の演算デバイスを用いずに、入力された画像に対する演算が行われ、その計算結果は画像としてCCDなどのイメージングデバイスにより計測される。つまり、本発明は、入力画像に対するニューラルネットワーク計算をリアルタムで実現するものであり、特に放送技術への応用が期待される。
カメラと同様に撮影した画像に対して、演算そのものに消費電力を伴わずに高速にニューラルネットワークの計算を実行できるため、産業上の利用範囲は広い。例えば、手書き文字の認識、パターン認識、顔認証データ処理、フィルタリング処理、演算、製造現場での品質検査などさまざまな使い方ができる。さらには、エッジコンピューティングデバイスとしての利用が想定される。