(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024056380
(43)【公開日】2024-04-23
(54)【発明の名称】分析方法、及び分析システム
(51)【国際特許分類】
G01B 11/24 20060101AFI20240416BHJP
G02B 5/02 20060101ALI20240416BHJP
【FI】
G01B11/24 K
G02B5/02 D
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022163205
(22)【出願日】2022-10-11
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和3年11月9日に、International Symposium on Physics and Applications of Laser Dynamics 2021予稿集のウェブサイト (https://suitc-my.sharepoint.com/:f:/g/personal/kkanno_mail_saitama-u_ac_jp/EsF8HFA2DnRLjeXWeOMmkG0BPJg3Xp8tjhRmFWIU9aCd7Q?e=Csq2rj)にて予稿論文が掲載 令和3年11月17日に、International Symposium on Physics and Applications of Laser Dynamics 2021のウェブサイト (https://web.archive.org/web/20220418001144/https://ispald.web2.ncku.edu.tw/)にて講演発表が配信 令和4年1月14日に、電子情報通信学会非線形問題(NLP)研究会予稿集のウェブサイト (https://ken.ieice.org/ken/paper/20220121LChJ/)にて予稿論文が掲載 令和4年1月21日に、2022年1月電子情報通信学会非線形問題(NLP)研究会にて講演発表が配信 令和4年1月26日に、2022年第69回応用物理学会春季学術講演会の講演概要のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022s/subject/22p-E102-8/tables?cryptoId=)にて講演概要が掲載 令和4年2月25日に、2022年第69回応用物理学会春季学術講演会予稿集のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022s/subject/22p-E102-8/advanced)にて予稿論文が掲載 令和4年3月22日に、2022年第69回応用物理学会春季学術講演会にて発表 令和4年6月8日に、Optics Expressのウェブサイト (https://opg.optica.org/oe/fulltext.cfm?uri=oe-30-13-22911&id=476801)にて論文が掲載
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り 令和4年6月11日に、arXivのウェブサイト (https://arxiv.org/abs/2206.05433v1)にて論文が掲載 令和4年7月6日に、2022年第83回応用物理学会秋季学術講演会の講演概要のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022a/subject/22a-B101-8/classlist)にて講演概要が掲載 令和4年8月26日に、2022年第83回応用物理学会秋季学術講演会予稿集のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022a/participant_login?eventCode=jsap2022a)にて予稿論文が掲載 令和4年9月22日に、2022年第83回応用物理学会秋季学術講演会にて発表 令和4年7月6日に、2022年第83回応用物理学会秋季学術講演会の講演概要のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022a/subject/23a-M206-1/classlist)にて講演概要が掲載 令和4年8月26日に、2022年第83回応用物理学会秋季学術講演会予稿集のウェブサイト (https://confit.atlas.jp/guide/event/jsap2022a/participant_login?eventCode=jsap2022a)にて予稿論文が掲載 令和4年9月23日に、2022年第83回応用物理学会秋季学術講演会にて発表
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業「光波動コンピューティングの展開」委託研究、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504160781
【氏名又は名称】国立大学法人金沢大学
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】砂田 哲
(72)【発明者】
【氏名】新山 友暁
(72)【発明者】
【氏名】花輪 仁成
【テーマコード(参考)】
2F065
2H042
【Fターム(参考)】
2F065DD06
2F065FF56
2F065GG23
2F065JJ05
2F065JJ11
2F065JJ26
2F065LL02
2F065LL04
2F065LL18
2H042BA01
2H042BA16
(57)【要約】
【課題】対象物の分析の高速化を図ること。
【解決手段】分析方法では、光源11が発する光を位相変調し、変調した光を散乱体17に通過させることでスペックルパターンSP1に変換し、スペックルパターンSP1を対象物T1に出力する。また、分析方法では、対象物T1からの反射光を処理することで反射光に基づく時間領域信号を取得し、取得した時間領域信号に基づいて、対象物T1を分析する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
光源が発する光を位相変調し、
変調した前記光を散乱体に通過させることでスペックルパターンに変換し、前記スペックルパターンを対象物に出力し、
前記対象物からの反射光を処理することで前記反射光に基づく時間領域信号を取得し、
取得した前記時間領域信号に基づいて、前記対象物を分析する、
分析方法。
【請求項2】
前記対象物からの前記反射光をレンズで集光し、集光した前記反射光を単一画素の光検出器で検出することにより、前記時間領域信号を取得する、
請求項1に記載の分析方法。
【請求項3】
前記光源は、互いに異なる波長の光を発する複数の光源であって、
前記光検出器は、複数であって、
前記複数の光源がそれぞれ発する複数の光を合波器により合波した光を位相変調し、
集光した前記反射光を分波器により互いに異なる波長の複数の反射光に分波し、
前記複数の反射光をそれぞれ前記複数の光検出器で検出することにより、複数の時間領域信号を取得し、
取得した前記複数の時間領域信号に基づいて、前記対象物を分析する、
請求項2に記載の分析方法。
【請求項4】
光位相変調器を用いて、前記光源が発する光に、擬似乱数に基づいて生成される電気信号を印加することで、前記光を位相変調する、
請求項1~3のいずれか1項に記載の分析方法。
【請求項5】
前記時間領域信号を入力として、前記対象物の分析結果が出力されるように機械学習された学習済みモデルを用いることで、前記対象物を分析する、
請求項1~3のいずれか1項に記載の分析方法。
【請求項6】
前記散乱体は、マルチモード光ファイバである、
請求項1~3のいずれか1項に記載の分析方法。
【請求項7】
光源と、
前記光源が発する光を位相変調する位相変調部と、
変調した前記光が通過することで、前記光をスペックルパターンに変換し、前記スペックルパターンを対象物に出力する散乱体と、
前記対象物からの反射光を処理することで前記反射光に基づく時間領域信号を取得する取得部と、
前記取得部が取得した前記時間領域信号に基づいて、前記対象物を分析する分析部と、を備える、
分析システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、分析方法、及び分析システムに関し、特にランダムなマスクパターンを用いて対象物を分析する技術に関する。
【背景技術】
【0002】
特許文献1には、シングルピクセルイメージング技術を用いた画像取得装置が開示されている。この画像取得装置は、光を所定の空間パターンで変調する空間光変調器を有している。特許文献1には、空間光変調器として、例えば複数のマイクロミラーを備えたディジタルミラーデバイス、又は液晶パネルを用いることが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、対象物の分析の高速化を図ることのできる分析方法、及び分析システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
本発明の一態様に係る分析方法は、光源が発する光を位相変調し、変調した前記光を散乱体に通過させることでスペックルパターンに変換し、前記スペックルパターンを対象物に出力し、前記対象物からの反射光を処理することで前記反射光に基づく時間領域信号を取得し、取得した前記時間領域信号に基づいて、前記対象物を分析する。
【0006】
本発明の一態様に係る分析システムは、光源と、位相変調部と、散乱体と、取得部と、分析部と、を備える。前記位相変調部は、前記光源が発する光を位相変調する。前記散乱体は、変調した前記光が通過することで、前記光をスペックルパターンに変換し、前記スペックルパターンを対象物に出力する。前記取得部は、前記対象物からの反射光を処理することで前記反射光に基づく時間領域信号を取得する。前記分析部は、前記取得部が取得した前記時間領域信号に基づいて、前記対象物を分析する。
【発明の効果】
【0007】
本発明の分析方法等によれば、対象物の分析の高速化を図ることができる、という利点がある。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施の形態に係る分析システムの構成を示す概要図である。
【
図2】
図2は、スペックルパターンの測定結果の説明図である。
【
図3】
図3は、実施の形態に係る分析部の説明図である。
【
図4】
図4は、実施の形態に係る分析システムで得られた時間領域信号と対象物との相関を示す図である。
【
図5】
図5は、対象物の切り替え時における実施の形態に係る分析システムの挙動の説明図である。
【
図6】
図6は、実施の形態に係る分析システムの動作例を示すフローチャートである。
【
図7】
図7は、実施の形態に係る分析システムによる対象物の分析結果の一例を示す図である。
【
図8】
図8は、実施の形態の変形例に係る分析システムの構成を示す概要図である。
【
図9】
図9は、実施の形態の変形例に係る分析システムの性能の説明図である。
【発明を実施するための形態】
【0009】
[1.本発明の基礎となった知見]
まず、発明者の着眼点が、下記に説明される。
【0010】
一般的に、画像認識技術においては、数百万個にも及ぶ光検出画素を有するイメージセンサで対象物を撮像することで対象物の画像情報を取得し、取得した画像情報に基づいて対象物の認識等が行われる。このため、画像認識のレートは、原理的にイメージセンサのフレームレートに律速されてしまう。
【0011】
そこで、近年では、例えばゴーストイメージング等の単一画素を利用したシングルピクセルイメージング技術を用いることが研究されている。シングルピクセルイメージング技術においては、ランダムマスキング技術を用いて、対象物の空間情報を分散的に時系列データに変換し、この時系列データに基づいて対象物の再構成又は認識等の対象物の分析を行う。この対象物の空間情報の時系列データへの変換では、通常、空間光変調器(Spatial Light Modulator)又はディジタルミラーデバイス(Digital Mirror Device)が用いられてきた。しかしながら、これらの機器を用いた場合、ランダムなマスクパターンを生成するレート、つまりは対象物の分析のレートが高々102~104Hzに制限されてしまう、という問題がある。
【0012】
以上を鑑み、発明者は本発明を創作するに至った。
【0013】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。
【0014】
また、以下の実施の形態における構成要素のうち、本開示の一形態に係る実現形態を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。本開示の実現形態は、現行の独立請求項に限定されるものではなく、他の独立請求項によっても表現され得る。
【0015】
[2.構成]
以下、実施の形態に係る分析システム100(分析方法)について、図面を用いて説明する。実施の形態に係る分析システム100(分析方法)は、
図1に示すように、対象物T1にランダムなスペックル(speckle)パターンを照射することで、対象物T1の空間情報を分散的に時系列データに変換し、この時系列データに基づいて対象物の分析を行うシステム(方法)である。
図1は、実施の形態に係る分析システム100の構成を示す概要図である。実施の形態では、対象物T1は、ディジタルマイクロミラーデバイスに表示される、28×28ピクセルの手書きの数字画像である。
【0016】
ここで、スペックルは、例えばレーザ光等のコヒーレント光を粗面(散乱体)に照射した際に観察される、ランダムな明暗の斑点模様である。実施の形態では、ランダムなスペックルパターンSP1を生成し、生成したスペックルパターンSP1をシングルピクセルイメージング技術におけるマスクパターンとして利用する。
【0017】
図1に示すように、分析システム100は、光源11と、光アイソレータ12と、光位相変調器13と、任意波形発生器(Arbitrary Waveform Generator)14と、増幅器15と、コネクタ16と、散乱体17と、を備えている。また、分析システム100は、3つのレンズ(第1レンズL1、第2レンズL2、及び第3レンズL3)と、光検出器18と、増幅器19と、オシロスコープ20と、分析部21と、を備えている。
【0018】
光源11は、例えばレーザ光等のコヒーレント光を出力する。実施の形態では、光源11は、狭線幅波長可変レーザである。光源11が出力する光は、光アイソレータ12を介して位相変調器13に入力される。
【0019】
光位相変調器13は、光源11から出力される光(ここでは、レーザ光)を位相変調する。実施の形態では、光位相変調器13は、ニオブ酸リチウム位相変調器である。光位相変調器13は、任意波形発生器14で発生し、増幅器15により増幅された擬似的にランダムな電気信号Sig1により、入力光を位相変調する。光位相変調器13が出力する光は、FC/PCコネクタから構成されるコネクタ16を介して散乱体17に入力される。
【0020】
このように、実施の形態では、光位相変調器13、任意波形発生器14、及び増幅器15により、光源11が発する光を位相変調する位相変調部1を構成している。具体的には、実施の形態では、位相変調部1は、光位相変調器13を用いて、光源11が発する光に、擬似乱数に基づいて(任意波形発生器14で)生成される電気信号Sig1を印加することで、当該光を位相変調している。
【0021】
散乱体17は、変調した光が通過することで、光をスペックルパターンSP1に変換し、スペックルパターンSP1を対象物T1に出力する。実施の形態では、散乱体17は、ステップ・インデックス型のマルチモード光ファイバにより構成されている。
【0022】
ここで、マルチモード光ファイバには、一般的に互いに位相速度が異なる複数のガイドモードが存在する。そして、マルチモード光ファイバに単色のコヒーレント光を入射すると、複数のガイドモード間の干渉により、マルチモード光ファイバの出力側の端面において光の強度分布が擬似的にランダムなスペックルパターンSP1を生成することが可能である。そして、各ガイドモードの位相速度は、マルチモード光ファイバに入力される光の周波数(波長)に依存するため、マルチモード光ファイバが生成するスペックルパターンSP1は、入力される光の周波数(波長)に高い感度を有する。また、当該感度は、マルチモード光ファイバの長さが長くなる程、高くなる。
【0023】
したがって、実施の形態では、位相変調部1により、散乱体17(マルチモード光ファイバ)に入力される光の位相を擬似的にランダムに変調することで、当該光の周波数(波長)を擬似的にランダムに、かつ、高速に変化させることができるので、散乱体17にて擬似的にランダムなスペックルパターンSP1を比較的高速で生成することが可能である。実施の形態では、散乱体17として長さが100mのマルチモード光ファイバを用い、かつ、位相変調部1により散乱体17に入力する光をGHzレートで位相変調している。これにより、実施の形態では、およそ12.5ギガサンプル/秒(GS/S)のレートで擬似的にランダムなスペックルパターンSP1を生成している。
【0024】
以下、実施の形態における分析システム100によるスペックルパターンSP1の生成能力の評価について、
図2を用いて説明する。
図2は、スペックルパターンSP1の測定結果の説明図である。
図2の(a)は、マルチモード光ファイバに入力される光の波長が1550nmである場合、つまり位相変調していない光をマルチモード光ファイバに入力した場合に、マルチモード光ファイバの出力側の端面で測定されるスペックルパターンSP1の一例である。ここでは、マルチモード光ファイバの出力側の端面を、およそ倍率が20倍の近赤外顕微鏡対物レンズを装着したInGaAs(インジウムガリウムヒ素)イメージセンサを用いた近赤外線カメラで撮像した。カメラの露光時間は、10msに設定した。
【0025】
図2の(b)は、位相変調部1により位相変調された光をマルチモード光ファイバに入力した場合に、マルチモード光ファイバの出力側の端面で測定されるスペックルパターンSP1の一例である。具体的には、
図2の(b)は、上記の近赤外線カメラの露光時間中に撮像された多数のスペックルパターンSP1を時間平均したパターンの一例を示している。
【0026】
ここで、比較的フレームレートが低いカメラでは、動的なスペックルパターンSP1を直接撮影することができないことを考慮して、スペックルコントラストCを用いて生成されたスペックルパターンSP1を評価した。スペックルコントラストCは、測定された強度パターンの平均値を、測定された強度パターンの標準偏差で除した値で表される。例えば、スペックルコントラストCが「1」である場合、測定されたスペックルパターンSP1に単一のスペックルパターンSP1のみが含まれていることを示す。一方、測定されたスペックルパターンSP1に複数のスペックルパターンSP1が含まれる場合、カメラの露光時間中に撮像された複数のスペックルパターンSP1が時間平均されることにより、スペックルコントラストCが減少する。
【0027】
図2の(c)は、マルチモード光ファイバの長さの関数としてスペックルコントラストCを示したグラフである。
図2の(c)において、縦軸はスペックルコントラストC、横軸はマルチモード光ファイバの長さを表している。また、
図2の(c)において、実線は、光位相変調に用いた擬似的にランダムな電気信号Sig1の帯域幅を変化させるためのローパスフィルタを適用しなかった場合の結果を示している。また、
図2の(c)において、破線は、カットオフ周波数が10GHzである上記ローパスフィルタを適用した場合の結果を示し、点線は、カットオフ周波数が1GHzである上記ローパスフィルタを適用した場合の結果を示し、一点鎖線は、カットオフ周波数が0.5GHzである上記ローパスフィルタを適用した場合の結果を示している。
【0028】
図2の(c)に示すように、マルチモード光ファイバの長さが長くなるにつれて、スペックルコントラストCが減少している。つまり、マルチモード光ファイバの長さが長くなるにつれて、単位時間(ここでは、カメラの露光時間)において生成されるスペックルパターンSP1の数が多くなっている。したがって、
図2の(c)に示す結果は、単位時間においてマルチモード光ファイバが生成するスペックルパターンSP1の数は、マルチモード光ファイバの長さに依存することを示唆している。
【0029】
また、
図2の(c)に示すように、上記のローパスフィルタのカットオフ周波数が高くなるにつれて、スペックルコントラストCが減少している。つまり、光位相変調における変調帯域幅が広くなるにつれて、単位時間(ここでは、カメラの露光時間)において生成されるスペックルパターンSP1の数が多くなっている。したがって、
図2の(c)に示す結果は、単位時間においてマルチモード光ファイバが生成するスペックルパターンSP1の数は、光位相変調における変調速度に依存することを示唆している。
【0030】
図1に戻り、第1レンズL1、第2レンズL2、及び第3レンズL3は、いずれも凸レンズにより構成されている。第1レンズL1は、散乱体17と対象物T1との間に配置されている。また、散乱体17の端面は、およそ第1レンズL1の焦点の位置に配置されている。したがって、散乱体17の端面から出力される光は、第1レンズL1を通過することで、光軸に平行な光として対象物T1に照射される。第2レンズL2は、対象物T1と第3レンズL3との間に配置されている。第3レンズL3は、第2レンズL2と光検出器18との間に配置されている。また、光検出器18は、およそ第3レンズL3の焦点の位置に配置されている。したがって、対象物T1で反射して第2レンズL2を通過する光は、第3レンズL3を通過することで、光検出器18に集光する。
【0031】
光検出器18は、単一画素の光検出器であって、高速なフォトダイオードモジュールにより構成されている。光検出器18は、対象物T1から第2レンズL2及び第3レンズL3を介して出力される反射光を電気信号に変換して出力する。光検出器18が出力する電気信号は、増幅器19により増幅され、オシロスコープ20に入力される。オシロスコープ20は、ディジタルオシロスコープであって、増幅器19から出力される電気信号をサンプリングして記録する。
【0032】
ここで、増幅器19により増幅された電気信号は、対象物T1からの反射光の光強度と相関を有する時系列データを含む。以下、この電気信号を時間領域信号Sig2(
図3参照)と言う。ここで、反射光の光強度は、対象物T1に照射されるスペックルパターンSP1により変化する。したがって、時間領域信号Sig2は、多数のスペックルパターンSP1により変化した反射光の光強度と相関を有する時系列データを含むことになり、対象物T1の特徴情報を圧縮符号化した情報が含まれている。
【0033】
このように、実施の形態では、第2レンズL2、第3レンズL3、光検出器18、増幅器19、及びオシロスコープ20により、対象物T1からの反射光を処理することで反射光に基づく時間領域信号Sig2を取得する取得部2を構成している。具体的には、実施の形態では、取得部2は、対象物T1からの反射光をレンズ(第2レンズL2及び第3レンズL3)で集光し、集光した反射光を単一画素の光検出器18で検出することにより、時間領域信号Sig2を取得している。
【0034】
分析部21は、情報処理装置であって、プロセッサ及びメモリを有している。プロセッサが、メモリに格納されたプログラムを実行することにより、情報処理装置が分析部21として機能する。実施の形態では、情報処理装置は、例えばデスクトップ型又はラップトップ型のパーソナルコンピュータである。また、情報処理装置は、パーソナルコンピュータの他に、例えばスマートフォン又はタブレット端末等の汎用的な情報処理装置であってもよい。
【0035】
分析部21は、取得部2が取得した時間領域信号Sig2に基づいて、対象物T1を分析する。ここで、対象物T1を分析するとは、例えば対象物T1が画像である場合、対象物T1の再構成すること、又は認識することを含み得る。また、対象物T1を分析するとは、例えば対象物T1を分類することを含み得る。実施の形態では、分析部21は、対象物T1である手書きの数字画像が示す数字を認識することをもって、対象物T1を分析する。
【0036】
実施の形態では、分析部21は、
図3に示すように、時間領域信号Sig2を入力として、対象物T1の分析結果が出力されるように機械学習された学習済みモデル(ニューラルネットワークNW1)を用いることで、対象物T1を分析する。
図3は、実施の形態に係る分析部21の説明図である。
【0037】
ここで、
図4に示すように、時間領域信号Sig2は、対象物T1である手書きの数字画像に強く依存している。
図4は、実施の形態に係る分析システム100で得られた時間領域信号Sig2と対象物T1(ここでは、手書きの数字画像)との相関を示す図である。
図4において、縦軸は対象物T1からの反射光の光強度を示す任意単位、横軸は時間を表している。また、
図4の(a)~(h)の左上に示す画像は、いずれも画像データセットであるMNIST(Modified National Institute of Standards and Technology)に含まれる手書きの数字画像である。
図4の(a)及び(b)は、それぞれ「0」を表す手書きの数字画像を対象物T1とした場合の時間領域信号Sig2を示す。
図4の(c)及び(d)は、それぞれ「1」を表す手書きの数字画像を対象物T1とした場合の時間領域信号Sig2を示す。
図4の(e)及び(f)は、それぞれ「2」を表す手書きの数字画像を対象物T1とした場合の時間領域信号Sig2を示す。
図4の(g)及び(h)は、それぞれ「3」を表す手書きの数字画像を対象物T1とした場合の時間領域信号Sig2を示す。
【0038】
図4に示すように、対象物T1からの反射光に基づいて生成される時間領域信号Sig2の波形は、対象物T1ごとに異なる波形となっており、対象物T1と強く依存している。つまり、時間領域信号Sig2には、対象物T1の特徴情報が含まれている。したがって、分析部21は、時間領域信号Sig2に基づいて、対象物T1を分析することが可能である。
【0039】
図3に戻り、実施の形態では、分析部21で採用されるニューラルネットワークNW1は、中間層として100ノードから構成される単一の全結合層を有しており、かつ、活性化関数がReLU(Rectified Linear Unit)関数である。ニューラルネットワークNW1の入力層の各ノードには、サンプリング時間(例えば、0.02ns)ごとの時間領域信号Sig2の信号値が入力される。また、ニューラルネットワークNW1の出力層の複数(ここでは、4つ)のノードは、それぞれ対象物T1である手書きの数字画像が示す数字(「0」、「1」、「2」、及び「3」)に対応している。
【0040】
実施の形態では、ニューラルネットワークNW1は、教師あり学習により機械学習されている。具体的には、画像データセットであるMNISTから「0」~「3」の手書きの数字画像を計10000枚選択し、これらの手書きの数字画像を用いてニューラルネットワークNW1の教師あり学習を行った。選択した計10000枚の手書きの数字画像のうち、9000枚が学習用画像であり、1000枚がテスト用画像である。学習過程においては、損失関数として交差エントロピーを採用し、最適化アルゴリズムとしてADAM(Adaptive Moment Estimation)を採用した。
【0041】
分析部21は、上述のように機械学習された学習済みモデル(ニューラルネットワークNW1)を用いて、対象物T1を分析する。具体的には、分析部21では、取得した時間領域信号Sig2のサンプリング時間ごとの信号値が、ニューラルネットワークNW1の入力層の各ノードに入力される。これにより、入力した時間領域信号Sig2に対応する対象物T1の認識結果(ここでは、「0」~「3」のうちのいずれかの数字)がニューラルネットワークNW1から出力される。
【0042】
ところで、実施の形態に係る分析システム100は、静止している対象物T1の分析だけではなく、動的に変化する対象物T1の分析も可能である。以下、この点について
図5を用いて説明する。
図5は、対象物T1の切り替え時における実施の形態に係る分析システム100の挙動の説明図である。ここでは、ディジタルマイクロミラーデバイスに表示される手書きの数字画像を「5」の数字画像から「0」の数字画像へと切り替えた際の挙動について説明する。
【0043】
図5の(a)は、「5」の数字画像から「0」の数字画像へと切り替える際に取得される時間領域信号Sig2の波形を示している。
図5の(a)に示すように、「5」の数字画像から「0」の数字画像への切り替え、つまり対象物T1の切り替えは、マイクロ秒オーダーで行われている。
【0044】
図5の(b)は、
図5の(a)に示す時間領域信号Sig2のうち、対象物T1が「5」の数字画像である時の時間領域信号Sig2の波形を切り出した拡大図である。言い換えれば、
図5の(b)は、対象物T1の切り替え前における時間領域信号Sig2の波形を示す。
図5の(c)は、
図5の(a)に示す時間領域信号Sig2のうち、対象物T1が「0」の数字画像である時の時間領域信号Sig2の波形を切り出した拡大図である。言い換えれば、
図5の(c)は、対象物T1の切り替え後における時間領域信号Sig2の波形を示す。
図5の(a)~(c)の各々において、縦軸は対象物T1からの反射光の光強度を示す任意単位、横軸は時間を表している。
【0045】
図5の(d)は、
図5の(a)に示す時間領域信号Sig2と、比較対象の時間領域信号Sig2との相関値の経時的変化を示す。比較対象の時間領域信号Sig2は、対象物T1が「0」の数字画像である時の時間領域信号Sig2と、対象物T1が「5」の数字画像である時の時間領域信号Sig2と、を含む。
図5の(d)において、実線は、対象物T1が「5」の数字画像である時の時間領域信号Sig2と、
図5の(a)に示す時間領域信号Sig2との相関値(以下、「5」についての相関値と言う。)を示す。また、
図5の(d)において、点線は、対象物T1が「0」の数字画像である時の時間領域信号Sig2と、
図5の(a)に示す時間領域信号Sig2との相関値(以下、「0」についての相関値と言う)を示す。
図5の(d)において、縦軸は相関値、横軸は時間を表している。相関値が大きければ大きい程、
図5の(a)に示す時間領域信号Sig2と、比較対象の時間領域信号Sig2との相関が強いことを示す。
【0046】
図5の(d)に示すように、対象物T1の切り替え前においては、「5」についての相関値が高く、「0」についての相関値が低くなっている。つまり、対象物T1の切り替え前においては、時間領域信号Sig2は、対象物T1としての「5」の数字画像の特徴情報を含んでいる。その後、対象物T1を切り替えると、「5」についての相関値は過渡的に減少し、「0」についての相関値は過渡的に増大する。そして、対象物T1の切り替え後においては、「0」についての相関値が高く、「5」についての相関値が低くなっている。つまり、対象物T1の切り替え後においては、時間領域信号Sig2は、対象物T1としての「0」の数字画像の特徴情報を含んでいる。
【0047】
このように、実施の形態に係る分析システム100では、例えばマイクロ秒オーダーで対象物T1が動的に変化する場合においても、対象物T1の変化に追従して対象物T1の特徴情報を含む時間領域信号Sig2を取得することが可能であり、動的に変化する対象物T1を分析することが可能である。
【0048】
[3.動作]
以下、実施の形態に係る分析システム100の動作(分析方法)の一例について、
図6を用いて説明する。
図6は、実施の形態に係る分析システム100の動作例を示すフローチャートである。まず、位相変調部1は、光源11が発する光を位相変調する(S1)。具体的には、位相変調部1は、光位相変調器13を用いて、光源11が発する光に、擬似乱数に基づいて任意波形発生器14で生成される電気信号Sig1を印加することで、当該光を位相変調する。
【0049】
次に、位相変調部1は、位相変調した光を散乱体17に出力する。これにより、散乱体17は、位相変調した光をスペックルパターンSP1に変換する(S2)。具体的には、散乱体17であるマルチモード光ファイバに位相変調した光が入力されると、互いに位相速度が異なる複数のガイドモード間の干渉により、マルチモード光ファイバの出力側の端面において、光の強度分布が擬似的にランダムなスペックルパターンSP1が生成される。そして、散乱体17は、スペックルパターンSP1を対象物T1に出力する(S3)。具体的には、散乱体17から出力されるスペックルパターンSP1を含む光が、第1レンズL1を通過することにより、光軸に平行な光として対象物T1に照射される。
【0050】
次に、取得部2は、対象物T1からの反射光から時間領域信号Sig2を取得する(S4)。具体的には、取得部2は、対象物T1からの反射光を第2レンズL2及び第3レンズL3で集光し、集光した反射光を単一画素の光検出器18で検出することにより、時間領域信号Sig2を取得する。
【0051】
そして、分析部21は、取得部2が取得した時間領域信号Sig2に基づいて、対象物T1を分析する(S5)。具体的には、分析部21は、時間領域信号Sig2を入力として、対象物T1の分析結果が出力されるように機械学習された学習済みモデル(ニューラルネットワークNW1)を用いることで、対象物T1を分析する。
【0052】
[4.利点]
以下、実施の形態に係る分析システム100(分析方法)の利点について説明する。まず、実施の形態に係る分析システム100(分析方法)による対象物T1の分析の精度について、
図7を用いて説明する。
図7は、実施の形態に係る分析システム100による対象物T1の分析結果の一例を示す図である。
図7は、テスト用画像のセットに対する実施の形態に係る分析システム100の分析結果(認識結果)を、正規化混同行列で示している。例えば、テスト用画像が示す真の値が「0」である場合に、実施の形態に係る分析システム100は、およそ96%の確率でテスト用画像が示す数字が「0」であると認識している。
【0053】
図7に示すように、実施の形態に係る分析システム100(分析方法)では、平均しておよそ92.6%の確率でテスト用画像が示す数字を正しく認識している。このように、実施の形態に係る分析システム100(分析方法)では、比較的高い精度をもって対象物T1を分析することが可能である。
【0054】
そして、実施の形態に係る分析システム100(分析方法)では、空間光変調器又はディジタルミラーデバイス等の機器を用いてランダムなマスクパターンを生成する従来の手法と比較して、ランダムなマスクパターンを生成するレートを速くすることができる。具体的には、従来の手法であれば、ランダムなマスクパターンを生成するレートは、高々102~104サンプル/秒である。これに対して、実施の形態に係る分析システム100(分析方法)では、擬似的にランダムなスペックルパターンSP1(つまり、ランダムなマスクパターン)を生成するレートは、およそ1010サンプル/秒以上と非常に高速である。
【0055】
上述のように、実施の形態に係る分析システム100(分析方法)では、上記従来の手法と比較して、ランダムなマスクパターンを生成するレートを速くすることができる。このため、実施の形態に係る分析システム100(分析方法)では、対象物T1を分析する際に必要な時間領域信号Sig2を取得する速度を速くすることができる。したがって、実施の形態に係る分析システム100(分析方法)では、対象物T1の分析の高速化を図ることができる、という利点がある。
【0056】
[5.変形例]
以上、本発明の分析方法、及び分析システムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
【0057】
図8は、実施の形態の変形例に係る分析システム100Aの構成を示す概要図である。本変形例に係る分析システム100Aは、波長分割多重方式を採用している点で、実施の形態に係る分析システム100と相違する。なお、
図8では、対象物T1、第2レンズL2、複数の増幅器19、オシロスコープ20、及び分析部21の図示を省略している。また、以下では、実施の形態に係る分析システム100と共通する構成については、説明を適宜省略する。
【0058】
本変形例に係る分析システム100Aは、複数の光源11(光源111、112、113、…、11L)と、複数の光アイソレータ12(光アイソレータ121、122、123、…、12L)と、複数の光検出器18(光検出器181、182、183、…18L)と、を備えている(「L」は自然数)。また、本変形例に係る分析システム100Aは、合波器(Multiplexer)22と、分波器(Demultiplexer)23と、を備えている。
【0059】
複数の光源11は、それぞれ互いに異なる波長のコヒーレント光を出力する。具体的には、光源111、112、113、…11Lは、それぞれ波長λ1、λ2、λ3、…、λLのコヒーレント光を出力する。光源111、112、113、…、11Lが出力する光は、それぞれ光アイソレータ121、122、123、…12Lを介して合波器22に入力される。
【0060】
合波器22は、複数の光源11がそれぞれ発する複数の光を合波する。つまり、合波器22は、光源111、112、113、…、11Lがそれぞれ出力する複数の光を合波する。合波器22は、合波した光を光位相変調器13に出力する。
【0061】
分波器23は、対象物T1から第2レンズL2及び第3レンズL3を介して出力される反射光、言い換えれば集光した反射光を互いに異なる波長の複数の反射光に分波する。つまり、分波器23は、対象物T1からの反射光を、それぞれ波長λ1、λ2、λ3、…、λLである複数の反射光に分波する。
【0062】
複数の光検出器18は、それぞれ分波器23から出力される複数の反射光を電気信号に変換して出力する。つまり、光検出器181、182、183、…、18Lは、それぞれ波長λ1、λ2、λ3、…、λLの反射光を電気信号に変換して出力する。複数の光検出器18が出力する電気信号は、それぞれ複数の増幅器19により増幅され、オシロスコープ20を介して複数の時間領域信号Sig2として分析部21に入力される。分析部21は、取得した複数の時間領域信号Sig2に基づいて、対象物T1を分析する。
【0063】
図9は、実施の形態の変形例に係る分析システム100Aの性能の説明図である。
図9の(a)は、時間領域信号Sig2の取得時間の関数として対象物T1の分析精度(ここでは、手書きの数字画像の認識精度)を示したグラフである。
図9の(b)は、
図9の(a)のグラフを一部拡大したグラフである。
図9の(a)及び(b)の各々において、縦軸は対象物T1の分析精度、横軸は取得時間を表している。また、
図9の(a)及び(b)の各々において、「L」は分割した波長の数を表している。つまり、「L=1」は、波長を分割していない場合、言い換えれば実施の形態に係る分析システム100の性能を表している、と言える。
【0064】
図9に示すように、対象物T1の分析精度は、分割した波長の数に依らず、取得時間が長くなるにつれて増大する。そして、取得時間が比較的短い場合においては、対象物T1の分析精度は、分割した波長の数が多くなるにつれて増大している。言い換えれば、対象物T1の分析精度が所定の値に達するまでに要する取得時間は、分割した波長の数が多くなるにつれて短くなっている。
【0065】
上述のように、本変形例に係る分析システム100A(分析方法)では、波長分割多重方式を採用することにより、単位時間あたりに取得可能な時間領域信号Sig2、言い換えれば単位時間あたりに取得可能な入力データが、分割した波長の数に応じて増大する。したがって、本変形例に係る分析システム100A(分析方法)では、実施の形態に係る分析システム100(分析方法)と比較して、単位時間あたりでの対象物T1の分析の精度が向上しやすい、という利点がある。また、本変形例に係る分析システム100A(分析方法)では、実施の形態に係る分析システム100(分析方法)と比較して、対象物T1の分析の精度が同じである場合に、対象物T1の分析に要する時間を短縮しやすい、という利点もある。
【0066】
なお、本変形例に係る分析システム100Aでは、複数の光源11、複数の光アイソレータ12、複数の光検出器18、及び複数の増幅器19がそれぞれ4つ以上であるが、これに限られない。例えば、複数の光源11、複数の光アイソレータ12、複数の光検出器18、及び複数の増幅器19は、それぞれ2つであってもよいし、3つであってもよい。
【0067】
<その他の変形例>
以下、その他の変形例について列挙する。以下に列挙する変形例は、上記変形例に係る分析システム100A(分析方法)においても適用可能である。
【0068】
実施の形態では、対象物T1は手書きの数字画像であるが、これに限られない。例えば、対象物T1は、手書きの数字以外の画像であってもよい。また、対象物T1は、画像に限らず、例えば生物等の固体であってもよいし、ガス等の気体、又は液体等であってもよい。例えば、対象物T1が流体である場合、実施の形態に係る分析システム100(分析方法)は、フローサイトメトリーによるセルソーティング等のリアルタイムかつ高速な制御を要するアプリケーションに利用することが可能である。
【0069】
また、実施の形態に係る分析システム100(分析方法)は、例えば対象物T1の分析結果と、正常時における対象物T1の分析結果との比較により、対象物T1の異常を検知するアプリケーションにも利用することが可能である。
【0070】
実施の形態では、位相変調部1は、光位相変調器13、任意波形発生器14、及び増幅器15により構成されているが、これに限られない。位相変調部1は、少なくとも光位相変調器13を備えていればよく、光源11が発する光を位相変調することができる態様であればよい。
【0071】
実施の形態では、散乱体17は、マルチモード光ファイバで構成されているが、これに限られない。散乱体17は、例えばマルチモード光ファイバとフォトニックチップとの組み合わせ、又は無秩序なフォトニックチップ(a disordered photonic chip)等で構成されていてもよく、光を通過させることでスペックルパターンSP1に変換して出力することができる態様であればよい。
【0072】
実施の形態では、取得部2は、第2レンズL2、第3レンズL3、光検出器18、増幅器19、及びオシロスコープ20により構成されているが、これに限られない。取得部2は、少なくとも光検出器18を備えていればよく、対象物T1からの反射光を処理することで反射光に基づく時間領域信号Sig2を取得することができる態様であればよい。
【0073】
実施の形態では、分析部21におけるニューラルネットワークNW1は、中間層として単一の全結合層を有し、かつ、活性化関数がReLU関数であるが、これに限られない。ニューラルネットワークNW1は、畳み込みニューラルネットワーク(Convolution Neural Network)等であってもよい。また、分析部21は、時間領域信号Sig2を入力として対象物T1の分析結果が出力されるように機械学習された学習済みモデルを用いていればよく、ニューラルネットワークNW1以外のモデルを用いてもよい。
【0074】
実施の形態では、時間領域信号Sig2は、対象物T1からの反射光の光強度と相関を有する時系列データを含む電気信号であるが、これに限られない。例えば、時間領域信号Sig2は、電気信号ではなく、光信号であってもよい。この場合、光検出器18は、対象物T1からの反射光を光信号として受信する態様であればよく、反射光を電気信号に変換しなくてよい。また、この場合、光検出器18、並びに光検出器18の後段にある増幅器19、オシロスコープ20、及び分析部21は、光信号を処理する光集積回路に置き換えれてもよい。
【0075】
(まとめ)
以上述べたように、本発明の第1の態様に係る分析方法では、光源11が発する光を位相変調し(S1)、変調した光を散乱体17に通過させることでスペックルパターンSP1に変換し(S2)、スペックルパターンSP1を対象物T1に出力する(S3)。また、分析方法では、対象物T1からの反射光を処理することで反射光に基づく時間領域信号Sig2を取得し(S4)、取得した時間領域信号Sig2に基づいて、対象物T1を分析する(S5)。
【0076】
このような分析方法によれば、空間光変調器又はディジタルミラーデバイス等の機器を用いてランダムなマスクパターンを生成する場合と比較して、ランダムなマスクパターンを生成するレートを速くすることができる。したがって、このような分析方法によれば、対象物T1の分析の高速化を図ることができる、という利点がある。
【0077】
また、本発明の第2の態様に係る分析方法では、第1の態様において、対象物T1からの反射光をレンズ(第2レンズL2及び第3レンズL3)で集光し、集光した反射光を単一画素の光検出器18で検出することにより、時間領域信号Sig2を取得する。
【0078】
このような分析方法によれば、シングルピクセルイメージング技術により対象物T1を分析するので、イメージセンサにより対象物T1を撮像して分析する場合と比較して、対象物T1の分析レートがイメージセンサのフレームレートに律速されることがなく、対象物T1の分析の高速化を図りやすい、という利点がある。
【0079】
また、本発明の第3の態様に係る分析方法では、第2の態様において、光源11は、互いに異なる波長の光を発する複数の光源11であって、光検出器18は、複数である。また、分析方法では、複数の光源11がそれぞれ発する複数の光を合波器22により合波した光を位相変調する。また、分析方法では、集光した反射光を分波器23により互いに異なる波長の複数の反射光に分波する。また、分析方法では、複数の反射光をそれぞれ複数の光検出器18で検出することにより、複数の時間領域信号Sig2を取得し、取得した複数の時間領域信号Sig2に基づいて、対象物T1を分析する。
【0080】
このような分析方法によれば、単位時間あたりに取得可能な時間領域信号Sig2が増えるので、単位時間あたりでの対象物T1の分析の精度が向上しやすい、という利点がある。
【0081】
また、本発明の第4の態様に係る分析方法では、第1~第3のいずれか1つの態様において、光位相変調器13を用いて、光源11が発する光に、擬似乱数に基づいて生成される電気信号Sig1を印加することで、光を位相変調する。
【0082】
このような分析方法によれば、散乱体17に入力される光の周波数を擬似的にランダムに、かつ、高速に変化させることができるので、散乱体17にて擬似的にランダムなスペックルパターンSP1を比較的高速で生成することができる、という利点がある。
【0083】
また、本発明の第5の態様に係る分析方法では、第1~第4のいずれか1つの態様において、時間領域信号Sig2を入力として、対象物T1の分析結果が出力されるように機械学習された学習済みモデル(ニューラルネットワークNW1)を用いることで、対象物T1を分析する。
【0084】
このような分析方法によれば、対象物T1に応じて適切な学習済みモデルを用いることで、対象物T1を分析する精度が向上しやすい、という利点がある。
【0085】
また、本発明の第6の態様に係る分析方法では、第1~第5のいずれか1つの態様において、散乱体17は、マルチモード光ファイバである。
【0086】
このような分析方法によれば、比較的簡易な手法により、スペックルパターンSP1を生成しやすい、という利点がある。
【0087】
また、本発明の第7の態様に係る分析システム100,100Aは、光源11と、位相変調部1と、散乱体17と、取得部2と、分析部21と、を備えている。位相変調部1は、光源11が発する光を位相変調する。散乱体17は、変調した光が通過することで、光をスペックルパターンSP1に変換し、スペックルパターンSP1を対象物T1に出力する。取得部2は、対象物T1からの反射光を処理することで反射光に基づく時間領域信号Sig2を取得する。分析部21は、取得部2が取得した時間領域信号Sig2に基づいて、対象物T1を分析する。
【0088】
このような分析システム100,100Aによれば、空間光変調器又はディジタルミラーデバイス等の機器を用いてランダムなマスクパターンを生成する場合と比較して、シングルピクセルイメージング技術において用いられるランダムなマスクパターンを生成するレートを速くすることができる。したがって、このような分析システム100,100Aによれば、対象物T1の分析の高速化を図ることができる、という利点がある。
【産業上の利用可能性】
【0089】
本発明は、例えば手書き数字画像を認識する等、対象物T1を分析する方法等として利用することができる。
【符号の説明】
【0090】
100,100A 分析システム
1 位相変調部
2 取得部
11、111、112、113、…、11L 光源
12、121、122、123、…、12L 光アイソレータ
13 光位相変調器
14 任意波形発生器
15 増幅器
16 コネクタ
17 散乱体
18、181、182、183、…、18L 光検出器
19 増幅器
20 オシロスコープ
21 分析部
22 合波器
23 分波器
L1 第1レンズ
L2 第2レンズ
L3 第3レンズ
NW1 ニューラルネットワーク
Sig1 電気信号
Sig2 時間領域信号
SP1 スペックルパターン
T1 対象物