(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024047560
(43)【公開日】2024-04-05
(54)【発明の名称】非干渉、非反復式複素振幅読取方法および装置
(51)【国際特許分類】
G01J 9/00 20060101AFI20240329BHJP
G06T 7/00 20170101ALI20240329BHJP
G06V 10/82 20220101ALI20240329BHJP
G06V 10/776 20220101ALI20240329BHJP
G06N 3/02 20060101ALI20240329BHJP
G06N 20/00 20190101ALI20240329BHJP
G01N 21/41 20060101ALI20240329BHJP
【FI】
G01J9/00
G06T7/00 350C
G06V10/82
G06V10/776
G06N3/02
G06N20/00
G01N21/41 Z
【審査請求】有
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023148137
(22)【出願日】2023-09-13
(31)【優先権主張番号】202211174975.7
(32)【優先日】2022-09-26
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】523350235
【氏名又は名称】福建▲盤▼盛信息光学有限公司
【氏名又は名称原語表記】Fujian Pansion iOptics Co., Ltd
【住所又は居所原語表記】RoomA-501,5th Floor,Building 10,Innovation Park,No.3 Keji East Road,High-tech Zone,Fuzhou,Fujian,China
(71)【出願人】
【識別番号】523350246
【氏名又は名称】福建師範大學
【氏名又は名称原語表記】Fujian Normal University
【住所又は居所原語表記】Room802,8th Floor,Building 18,Fujian Normal University,No.1 Keji Road,High-tech Zone,Fuzhou,Fujian,China
(74)【代理人】
【識別番号】100185694
【弁理士】
【氏名又は名称】山下 隆志
(72)【発明者】
【氏名】▲ハオ▼建穎
(72)【発明者】
【氏名】譚小地
(72)【発明者】
【氏名】林梟
(72)【発明者】
【氏名】任宇紅
【テーマコード(参考)】
2G059
5L096
【Fターム(参考)】
2G059AA02
2G059AA05
2G059BB12
2G059EE02
2G059JJ05
2G059KK01
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】本発明の非干渉、非反復式複素振幅読取方法および装置は、強度画像に基づいて単一の回折画像から複素振幅情報、つまり振幅と位相を検出することができる。
【解決手段】
本発明の非干渉、非反復式複素振幅読取方法は、振幅情報と位相情報を含む光ビームを回折させることによって、強度分布の回折パターンを取得し、回折パターンと振幅情報と位相情報との関係に基づいて回折強度-複素振幅モデルを構築し、トレーニングし、新たな回折パターンに対する振幅情報と位相情報を回折強度-複素振幅モデルを適用して直接取得する。本発明の方法は、単一の回折画像から複素振幅情報、つまり振幅と位相を検出することができ、位相読取結果の安定性と精度を向上させ、計算速度を増加させ、光学系を単純化することができ、ホログラフィックストレージ、生物医学画像処理、顕微鏡イメージングなどの応用に適している。
【選択図】
図11
【特許請求の範囲】
【請求項1】
振幅情報と位相情報を含む光ビームを回折させることによって、強度分布の回折パターンを取得するステップS01と、
前記回折パターンと振幅情報及び位相情報の関連性に基づいて回折強度-複素振幅モデルを構築し、トレーニングした上で、新たな回折パターンに対する振幅情報と位相情報を前記回折強度-複素振幅モデルに適用することによって直接取得するステップS02と、を含む、非干渉、非反復式複素振幅読取方法。
【請求項2】
前記ステップS02において、回折強度-複素振幅モデルのための複数のニューラルネットワークモデルパラメータが、複数の入力と複数の出力との間の対応関係をトレーニングすることにより確立される請求項1に記載の非干渉、非反復式複素振幅読取方法。
【請求項3】
前記ステップS01において、
実験画像生成: n個の振幅画像と位相画像を生成し、それらは異なるパターンを持ち、nは1以上の正の整数であるステップS11、
実験画像キャプチャ: 振幅画像と位相画像を含んだ複素振幅画像データセットを用いて光ビームの振幅と位相を変調し、振幅と位相の変調に対応する回折強度画像をキャプチャするステップS12、
を含み、かつ前記ステップS02において、
データセット準備: 回折強度画像と複素振幅画像データセットを組み合わせてデータセットを形成し、データセットを相互に排他的なニューラルネットワークトレーニングデータセットと検証データセットに分割し、それぞれニューラルネットワークモデルのトレーニングと検証に使用するステップS21、
モデル構築: ニューラルネットワークモデルと一致する回折強度-複素振幅モデルを確立するステップS22、
を含む請求項1に記載の非干渉、非反復式複素振幅読取方法。
【請求項4】
前記ステップS22の後に
モデル最適化: ニューラルネットワークモデルの損失関数を設定し、ニューラルネットワークトレーニングデータセットを用いてニューラルネットワークモデルのパラメータをトレーニングし、損失関数が収束するまでトレーニングを行うステップS221を含んだ請求項3に記載の非干渉、非反復式複素振幅読取方法。
【請求項5】
前記ステップS221の後に
モデル検証: 検証データセットを用いてニューラルネットワークモデルの汎化性能を検証し、汎化ニューラルネットワークモデルを得るステップS222を含む請求項4に記載の非干渉、非反復式複素振幅読取方法。
【請求項6】
前記ステップS22の後に振幅情報と位相情報を得るためのモデル適用ステップS23を含み、
前記モデル適用ステップS23は、新たな回折強度画像をトレーニング済みおよび検証済みのニューラルネットワークモデルに入力し、振幅画像と位相画像を出力する請求項3に記載の非干渉、非反復式複素振幅読取方法。
【請求項7】
前記ステップS11において、振幅画像と位相画像は、ランダムエンコーディング振幅画像と位相画像、又は自然視覚画像である請求項3に記載の非干渉、非反復式複素振幅読取方法。
【請求項8】
前記ステップS22で、ニューラルネットワークモデルは、物理光学回折モデルと組み合わせた無監督ニューラルネットワークモデル構造又はデータ駆動型エンドツーエンドニューラルネットワークモデル構造を採用するか、若しくはニューラルネットワークモデルは、強度-振幅ニューラルネットワークモデルと強度-位相ニューラルネットワークモデルを含み、それぞれ複素振幅画像の振幅画像と位相画像の再構成に使用されるか、または回折強度画像の単一入力、二重出力振幅画像および位相画像の強度-振幅-位相ニューラルネットワークモデルとして設定される請求項3に記載の非干渉、非反復式複素振幅読取方法。
【請求項9】
入射光ビームの伝播方向に沿って順次配置されたレーザー、ビームコリメーションコンポーネント、第1の1/2波長板、アパーチャ、第1のイメージングコンポーネント、第1の偏光板、および透過反射型第1ビームスプリッタを含む光学系と、
前記第1ビームスプリッタの透過光ビーム伝播方向に配置される振幅空間光変調器と、
前記第1ビームスプリッタの反射光ビーム伝播方向に順次配置される第2偏光板、第2イメージングコンポーネント、第2の1/2波長板、および透過反射型第2ビームスプリッタと、
前記第2ビームスプリッタの透過光ビーム伝播方向に配置される位相空間光変調器と、
前記第2ビームスプリッタの反射光ビーム伝播方向に順次配置される第3イメージングコンポーネントおよび光電検出器と、
1つ以上のプロセッサおよびメモリ装置を含んだ電子装置と、
を含み、該メモリ装置は1つ以上のコンピュータプログラムを格納し、該1つ以上のプロセッサが光電検出器によってキャプチャされた回折パターンを受け取り、該1つ以上のコンピュータプログラムを実行すると、請求項1から8のいずれか一項に記載の非干渉、非反復式複素振幅読取方法の複数のステップが実装される非干渉、非反復式複素振幅読取装置。
【請求項10】
前記ビームコリメーションコンポーネントは、入射光ビームの伝播方向に沿って順次配置されたピンホールフィルタとコリメーションレンズを含む請求項9に記載の非干渉、非反復式複素振幅読取装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像技術の分野に関連し、特に非干渉、非反復式複素振幅読取方法および装置に関するものである。
【背景技術】
【0002】
光の位相と振幅は、光の二つの基本的な特性です。情報記憶、生物医学研究、計算イメージングなどの分野では、光の振幅情報と位相情報を同時に取得することがしばしば必要となります。
【0003】
現在の検出器は光の強度のみを検出することができ、位相情報の取得は干渉または非干渉反復法による間接的な計算を必要とします。
【0004】
干渉法では、位相情報を干渉パターンに変換するために参照ビームを導入する必要があり、その後これらのパターンを使用して位相を計算します。この方法は複雑な光学系を必要とし、位相読取結果が不安定で、比較的精度が低いという結果をもたらします。
【0005】
一方、非干渉法は参照ビームの導入を必要とせず、比較的単純ですが、比較的正確な位相情報を得るためには多くの反復または多くの撮影操作がしばしば必要です。したがって、非干渉反復法の欠点は計算速度が遅いことです。
【0006】
情報記憶と読取のためのリアルタイム画像処理、計算イメージングなどの特定の専門分野では、情報読取において速度と精度の両方が求められます。ここでは、単純な光学系内での振幅情報と位相情報の正確かつ迅速な読取が必要となります。現在の技術の前述の干渉法と非干渉法は、これらの要求を満たすことができないことは明らかです。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、単一枚の回折パターンに基づいて強度画像から複素振幅情報を取り出す非干渉、非反復式複素振幅読取方法および装置を提案します。この目的は、位相情報を取得するための既存の技術、つまり複雑な光学系、不安定な位相読取結果、低精度、干渉法および非干渉法における遅い計算速度の欠点を克服することです。本発明は、位相読取結果の安定性と精度を向上させ、計算速度を増加させ、光学系を単純化し、ホログラフィックストレージ、生物医学画像処理、顕微鏡イメージングなどの分野に適用可能です。
【課題を解決するための手段】
【0008】
上記の目的を達成するために、本発明は非干渉、非反復式複素振幅読取方法を提供し、以下のステップを含みます:
ステップS01:振幅情報と位相情報を含んだ光ビームを回折させて、強度分布の回折パターンを得る。
ステップS02:回折パターンと振幅情報及び位相情報の関連性に基づいて回折強度-複素振幅モデルを構築した上で解析し、新たな回折パターンに対する振幅情報と位相情報をこの回折強度-複素振幅モデルに適用して直接得る。
【0009】
好ましくは、ステップS02では、複数の入力と出力の関係を解析することにより、回折強度-複素振幅モデルのためのニューラルネットワークモデルが確立されます。
【0010】
好ましくは、ステップS01には以下のステップが含まれます:
ステップS11:実験画像生成:n個の振幅画像と位相画像を生成し、それらは異なるパターンを持ち、nは1以上の正の整数である。
ステップS12:実験画像キャプチャ:振幅画像と位相画像を含んだ複素振幅画像データセットを用い、光ビームに振幅と位相を変調し、対応する回折強度画像をキャプチャする。
ステップS02では、以下のステップが含まれます:
ステップS21:データセット準備:回折強度画像と複素振幅画像データセットを組み合わせてデータセットを形成し、データセットを相互に排他的なニューラルネットワークトレーニングデータセットと検証データセットに分割し、それぞれニューラルネットワークモデルのトレーニングと検証に使用する。
ステップS22:モデル構築:ニューラルネットワークモデルと一致する回折強度-複素振幅モデルを確立する。
【0011】
好ましくは、ステップS22の後に以下のステップが含まれます:
ステップS221:モデル最適化:ニューラルネットワークモデルの損失関数を設定し、ニューラルネットワークトレーニングデータセットを用いてニューラルネットワークモデルのパラメータをトレーニングし、損失関数が収束するまでトレーニングを行う。
【0012】
好ましくは、ステップS221の後に以下のステップが含まれます:
ステップS222:モデル検証:検証データセットを用いてニューラルネットワークモデルの汎化性能を検証し、汎化ニューラルネットワークモデルを得る。
【0013】
好ましくは、ステップS02で、ステップS22の後に振幅情報と位相情報を得るために以下のステップが含まれます:
ステップS23:モデル適用:新たな回折強度画像をトレーニング済みおよび検証済みのニューラルネットワークモデルに入力し、振幅画像と位相画像を出力する。
【0014】
好ましくは、ステップS11で、振幅画像と位相画像はランダムエンコーディング振幅画像と位相画像である、または振幅画像と位相画像は自然視覚画像である。
【0015】
好ましくは、ステップS22で、ニューラルネットワークモデルは物理光学回折モデルと組み合わせた無監督ニューラルネットワークモデル構造を採用する、またはニューラルネットワークモデルはデータ駆動型エンドツーエンドニューラルネットワークモデル構造を採用する、またはニューラルネットワークモデルは強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2を含み、それぞれ複素振幅画像の振幅画像と位相画像の再構成に使用される、またはニューラルネットワークモデルは回折強度画像の単一入力、振幅画像および位相画像が二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12として設定される。
【0016】
次に、本発明は、本発明の第一の観点で記載された任意の非干渉、非反復式複素振幅読取方法を実装するための非干渉、非反復式複素振幅読取装置を提供します。読取装置は光学系と電子装置を含みます。光学系は、入射光ビームの伝播方向に沿って順次配置されたレーザ、ビームコリメーションコンポーネント、第1の1/2波長板、アパーチャ、第1のイメージングコンポーネント、第1の偏光板、および透過反射型第1ビームスプリッタを含みます。第1ビームスプリッタの透過光ビーム伝播方向には振幅空間光変調器が配置され、第1ビームスプリッタの反射光ビーム伝播方向には順次第2偏光板、第2イメージングコンポーネント、第2の1/2波長板、および透過反射型第2ビームスプリッタが配置されます。第2ビームスプリッタの透過光ビーム伝播方向には位相空間光変調器が配置され、第2ビームスプリッタの反射光ビーム伝播方向には順次第3イメージングコンポーネントおよび光電検出器が配置されます。電子装置は1つ以上のプロセッサおよびメモリを含み、該メモリは1つ以上のコンピュータプログラムを格納し、該1つ以上のプロセッサが光電検出器によってキャプチャされた回折パターンを受け取り、該1つ以上のコンピュータプログラムを実行すると、本発明の第一の観点で記載された非干渉、非反復式複素振幅読取方法のステップが実装されます。
【0017】
好ましくは、ビームコリメーションコンポーネントは、入射光ビームの伝播方向に沿って順次配置されたピンホールフィルタとコリメーションレンズを含む。
【0018】
本発明は、本発明によって提供される非干渉、非反復式複素振幅実験によって実装できる非干渉、非反復式複素振幅読取方法を提供します。
【発明の効果】
【0019】
本発明の非干渉、非反復式複素振幅読取方法および装置は、少なくとも以下の有益な効果を達成することができます:
1.本発明の非干渉、非反復式複素振幅読取方法は、強度画像に基づいて単一の回折画像から複素振幅情報、つまり振幅と位相を検出することができます。これは、位相情報を取得するための既存の技術、つまり干渉法における複雑な光学系、不安定な位相読取結果、低精度、非干渉反復法における遅い計算速度の欠点を克服します。非干渉法として、位相読取に干渉参照ビームを必要とせず、モデルを通じて振幅と位相を直接再構成し、反復は必要ありません。単一の回折画像をキャプチャするだけで、複素振幅情報の読取操作を単純化します。この方法は、振幅と位相の同時読取、多レベル振幅と多レベル位相のリアルタイム読取を可能にし、位相読取結果の安定性と精度を向上させます。また、反復計算なしで直接複素振幅を読取ることができ、計算速度を向上させ、光学系を単純化し、ホログラフィックストレージ、生物医学画像、顕微鏡画像などの応用に適しています。
2.本発明の非干渉、非反復式複素振幅読取方法は、既存のニューラルネットワークモデルを採用することも、異なるニューラルネットワークモデル構造を構築することもできます。トレーニングと検証の後、回折情報を含んだ強度画像を入力として使用し、対応する振幅と位相情報を正確かつ直接に予測します。これにより、複素振幅情報、つまり振幅と位相の読取精度と効率が向上し、光学応用の現代的でインテリジェントなニーズを満たすことができます。
3.本発明の非干渉、非反復式複素振幅読取装置は、非干渉読取システムであり、光ビームが空中で予定距離を伝播するだけで、読取中に参照ビーム、追加のレンズ、または他の光学系を必要としません。装置は合理的にコンパクトな構造を持ち、振幅と位相の読取速度が速く、読取結果が正確で安定しており、信頼性が高いです。
【図面の簡単な説明】
【0020】
【
図1】本発明の一実施形態における非干渉、非反復式複素振幅読取方法のフローチャートであり、単一の回折強度画像を通じて複素振幅の迅速な読取りを実装します。
【
図2】本発明の別の実施形態における非干渉、非反復式複素振幅読取方法のフローチャートであり、単一の回折強度画像を通じて複素振幅の迅速な読取りを実装します。
【
図3】本発明の一実施形態における非干渉、非反復複素振幅読取方法の複素振幅読取原理の模式図です。
【
図4】本発明の一実施形態における非干渉、非反復式複素振幅読取方法の模式図であり、位相画像と振幅画像は共に4レベルのランダムエンコード画像であり、光学システムの出力は回折強度画像です。
【
図5】本発明の一実施形態における非干渉、非反復式複素振幅読取方法のU-netニューラルネットワークモデルの模式図です。
【
図6】本発明の一実施形態における非干渉、非反復式複素振幅読取方法の振幅ニューラルネットワークモデルおよび位相ニューラルネットワークモデルのトレーニングおよび検証プロセスの模式図です。
【
図7】本発明の一実施形態における非干渉、非反復式複素振幅読取方法の振幅画像および位相画像の直接読取プロセスの模式図です。
【
図8】本発明の一実施形態における非干渉、非反復式複素振幅読取方法の単一入力、二重出力ニューラルネットワークモデルの模式図です。
【
図9】本発明の別の実施形態における非干渉、非反復式複素振幅読取方法の振幅ニューラルネットワークモデルおよび位相ニューラルネットワークモデルのトレーニングおよび検証プロセスの模式図です。
【
図10】本発明の別の実施形態における非干渉、非反復式複素振幅読取方法の振幅画像および位相画像の直接読取プロセスの模式図です。
【
図11】本発明の一実施形態における非干渉、非反復式複素振幅読取装置の光学系統構造の模式図です。
【発明を実施するための形態】
【0021】
本発明の実施形態1について説明します。
図1を参照してください。本実施形態は、単一の回折強度画像を使用して複雑な振幅の振幅情報と位相情報を迅速に読み取る方法を提供します。この方法は以下のステップを含みます:
ステップS01:振幅情報と位相情報を含んだ光ビームに回折を行い、強度分布の回折パターンを得ることで強度画像を得ます。
ステップS02:回折パターンと振幅情報及び位相情報の関連性に基づいて回折強度-複素振幅モデルを構築した上で、そのモデルをトレーニングします。新しい回折パターンに対しては、モデルを適用して振幅情報と位相情報を直接得ます。
【0022】
本実施形態の非干渉、非反復式複素振幅読取方法は、光の回折パターンと振幅情報と位相情報との間の以下の関係に基づいています:光場は振幅情報と位相情報の両方を含みます。例えば、物体表面に振幅情報と位相情報をロードすると、特定の光場分布またはパターンが生成され、この時点でz=0となります(ここで、zは光場の伝播方向です)。光が所定の距離を前方に伝播すると、例えばz=2mmの位置で、物体表面の振幅と位相によって決定される強度画像である光場の回折パターンが生成されます。この回折パターンの分布は、空気中の光場の回折挙動によって決定され、客観的には一意の分布です。この回折分布を計算するとき、角スペクトル伝播モデル、点拡がり関数モデルなど、多くの近似回折式を提案してモデルを構築することができます。これらのモデルは、そのような回折パターンの分布を近似することができます。ニューラルネットワークを用いて回折強度-複素振幅モデルを構築することで、回折パターンと振幅情報と位相情報との間の逆関係を表現します。特定のデータトレーニングを通じて、強度-複素振幅関係を正確に記述することができるニューラルネットワークモデルが得られます。新しい回折強度画像については、それらをニューラルネットワークモデルに直接入力して対応する振幅情報と位相情報を得ることができます。
【0023】
本実施形態では、角スペクトル伝播モデルなどは光の前方伝播過程を記述し、一方、ニューラルネットワークモデルは逆伝播過程、つまり逆過程を記述します。
【0024】
本実施形態では、具体的にはステップS01では、振幅情報と位相情報を含んだ光ビームが所定の距離dを伝播した後、光電検出器19に入射します。光の回折効果により、光電検出器19が受け取る強度画像は、光強度が変動する回折パターンです。
【0025】
図2を参照してください。本実施形態では、具体的にはステップS02では、回折強度-複素振幅モデルはニューラルネットワークモデルとして構築されます。
ニューラルネットワークモデルをトレーニングすることにより、単一のキャプチャされた回折強度画像Iから複雑な振幅情報、つまり振幅情報と位相情報を回復することが可能になります。キャプチャされた回折強度画像は非干渉画像です。
【0026】
図2を参照してください。本実施形態では、ステップS01において、以下のステップをさらに含んだことができます:
ステップS11:実験画像生成:異なるパターンを持つn個の振幅画像と位相画像を生成します。ここで、n≧1であり、nは正の整数です。一般に、nの値が大きいほど、利用可能なデータが多く、それらの間の差が大きい画像の数が多くなり、読取結果が良好になります。
ステップS12:実験画像キャプチャ:振幅画像と位相画像を含んだ複素振幅画像データセットを使用して光ビームの振幅と位相を変調し、対応する回折強度画像Iをキャプチャします。
ステップS02には、以下のステップが含まれます:
ステップS21:データセット準備:回折強度画像と複素振幅画像データセットを組み合わせてデータセットDICを形成します。データセットを予定比率に従って相互に排他的なニューラルネットワークトレーニングデータセットと検証データセットに分割し、それぞれニューラルネットワークモデルCNNのトレーニングと検証に使用します。
ステップS22:モデル構築:ニューラルネットワークモデルCNNと一致する回折強度-複素振幅モデルを確立します。つまり、回折強度-複素振幅関係を記述するためのニューラルネットワークモデルCNNを確立します。
【0027】
図2を参照してください。本実施形態では、ステップS01において、以下のステップをさらに含んだことができます:
ステップS11:実験画像生成:異なるパターンを持つn個の振幅画像と位相画像を生成します。ここで、n≧1であり、nは正の整数です。一般に、nの値が大きいほど、利用可能なデータが多く、それらの間の差が大きい画像の数が多くなり、読取結果が良好になります。
ステップS12:実験画像キャプチャ:振幅画像と位相画像を含んだ複素振幅画像データセットを用し、光ビームの振幅と位相を変調し、対応する回折強度画像Iをキャプチャします。
ステップS02には、以下のステップが含まれます:
ステップS21:データセット準備:回折強度画像と複素振幅画像データセットを組み合わせてデータセットDICを形成します。データセットを予定比率に従って相互に排他的なニューラルネットワークトレーニングデータセットと検証データセットに分割し、それぞれニューラルネットワークモデルCNNのトレーニングと検証に使用します。
ステップS22:モデル構築:ニューラルネットワークモデルCNNと一致する回折強度-複素振幅モデルを確立します。つまり、回折強度-複素振幅関係を記述するためのニューラルネットワークモデルCNNを確立します。
【0028】
本実施形態では、ステップS11において、振幅画像と位相画像はランダムにエンコードされた振幅画像(a)と位相画像(b)であることができます。
【0029】
ランダムにエンコードされた振幅画像(a)と位相画像(b)は、例えば、データストレージに使用される16レベル内の多レベルランダムエンコード振幅画像(a)と位相画像(b)であることができます。
【0030】
または、ステップS11において、振幅画像と位相画像は自然な視覚画像であることができます。
【0031】
自然な視覚画像は、複雑な振幅画像の再構成に使用されます。
【0032】
図3を参照してください。この実施形態のステップS12では、振幅画像と位相画像を含んだ複雑な振幅画像データセットが空間光変調器にロードされ、レーザービームの振幅と位相を変調し、対応する振幅と位相の変調下で光電検出器19を使用して回折強度画像Iをキャプチャします。
【0033】
レーザービームは単一波長のレーザービームであることができます。
【0034】
具体的には、振幅画像と位相画像を別々にアップロードし、レーザービームの振幅と位相を変調するために、2つの空間光変調器を使用することができます。
【0035】
この時点で、既存の技術を使用して複雑な振幅変調レーザービームを直接検出すると、振幅情報のみが検出でき、位相情報は直接検出できません。
【0036】
しかし、この実施形態では、振幅情報と位相情報を含んだレーザービームは、所定の距離dを自由空間で伝播した後、例えば光電検出器19などの画像キャプチャ装置に入射します。光の回折効果により、光電検出器19は光強度が変動する回折強度画像Iを受け取ります。この画像の回折パターンは、レーザービームの振幅画像情報と位相画像情報に関連しています。その後、回折画像と振幅画像情報および位相画像情報との関係を利用して、回折強度-複素振幅ニューラルネットワークモデルを確立し、トレーニングします。新しい回折画像については、トレーニングされたニューラルネットワークモデルにそれらを入力することで、隠れた振幅情報と位相情報を直接得ることができます。
【0037】
図4を参照してください。振幅画像(a)と位相画像(b)は複合振幅分布を形成し、光学軸に沿って伝播するか、または予定距離で空気中で回折し、回折強度画像(c)を生成します。
【0038】
ステップS22の後に以下のステップをさらに含んだことができます:
ステップS221:モデル最適化:ニューラルネットワークモデルCNNの損失関数を設定し、ニューラルネットワークトレーニングデータセットを使用してニューラルネットワークモデルCNNのパラメータをトレーニングし、損失関数が収束するまでトレーニングを行います。
ステップS221でトレーニングされたパラメータは、内部のニューラルネットワークモデルCNNのものであることに注意してください。
【0039】
ステップS221の後に以下のステップをさらに含んだことができます:
ステップS222:モデル検証:検証データセットを使用してニューラルネットワークモデルCNNの汎化性能を検証し、汎化ニューラルネットワークモデルCNNを得ます。
【0040】
ここで、汎化とは、ニューラルネットワークが未知の回折強度-複素振幅関係に適用できる能力を指します。
【0041】
ステップS02において、ステップS22の後に振幅情報と位相情報を得るために以下のステップをさらに含んだことができます:
ステップS23:モデル適用:新たな回折強度画像をトレーニング済みおよび検証済みのニューラルネットワークモデルCNNに入力し、振幅画像と位相画像を出力します。
【0042】
回折強度画像は、任意の新しい画像であることができます。
上記の実施形態によれば、単一の回折強度画像をトレーニング済みの深層ニューラルネットワークモデルCNNに入力し、対応する振幅情報と位相情報を直接得ることができ、複雑な振幅画像の振幅情報と位相情報の直接読取りを実現できます。
【0043】
図5に示されているU-netニューラルネットワークモデルでは、各層の下にある数字(例:384*384、192*192など)は、ニューラルネットワーク層の画像のピクセル次元を表しています。
【0044】
各層の上にある数字(例:64、128など)は、畳み込み後の出力画像チャンネルの数を表しています(これは前のステップの畳み込みカーネルの数に対応します)。
【0045】
3*3の畳み込みReLUとは:畳み込みカーネルのサイズが3*3で、入力を畳み込んだ後、ReLU活性化関数に出力することを意味します。
【0046】
1*1の畳み込みSigmoidとは:畳み込みカーネルのサイズが1*1で、入力を畳み込んだ後、Sigmoid活性化関数に出力することを意味します。
【0047】
SigmoidとReLUは、ニューラルネットワークの活性化関数のタイプであり、その機能はニューラルネットワークの非線形因子を増加させ、線形モデルの表現能力不足の欠点を解消することです。活性化関数は最終的に次のニューロンに伝達する内容を決定します。
【0048】
最大プーリング2*2とは:2*2の入力に対して、各出力要素はそれらの中の最大要素値です。2*2の最大プーリング後、特徴マップの高さと幅は半分になり、チャンネル数は変わりません。
【0049】
アップサンプリング2*2とは:特徴マップを拡大し、特徴マップの高さと幅を倍にし、チャンネル数は変わらないことを意味します。
【0050】
または、ステップS22で、ニューラルネットワークモデルCNNを、
図8に示されているような回折強度画像の単一入力、振幅画像、位相画像の二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12として設定することができます。
【0051】
この時点で、回折強度画像、振幅画像、位相画像の単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12のモデル最適化プロセスは
図9に示されています。つまり、
図9は単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12のトレーニングと検証プロセスを示しています。
【0052】
この時点で、U-netニューラルネットワークモデルのモデル適用プロセスは
図7に示されています。つまり、
図7はU-netニューラルネットワークモデルの振幅画像と位相画像の直接読取りプロセスを示しています。
【0053】
あるいは、ニューラルネットワークモデルCNNは、物理光学回折モデルと組み合わせた無監督ニューラルネットワークモデル構造を採用することができます。
【0054】
あるいは、ステップS22で、ニューラルネットワークモデルCNNは、データ駆動型エンドツーエンドニューラルネットワークモデル構造を採用することができます。
【0055】
U-netニューラルネットワークモデルはデータ駆動型エンドツーエンドニューラルネットワークモデル構造の一種であるため、ニューラルネットワークモデルCNNは他のデータ駆動型エンドツーエンドニューラルネットワークモデル構造を採用することができます。
【0056】
あるいは、ステップS22で、ニューラルネットワークモデルCNNは、複素振幅画像の振幅画像と位相画像をそれぞれ回復するための強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2を含む。
【0057】
あるいは、強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2のネットワーク構造は同じでも異なっても構いません。
【0058】
あるいは、ステップS221で、強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2のハイパーパラメータは同じに設定することも、異なるに設定することもできます。
【0059】
単一入力、二重出力のニューラルネットワークモデルである
図8に示されているモデルでは、各層の下にある数字(例えば、384*384、192*192など)は、ニューラルネットワーク層の画像のピクセル次元を表しています。
【0060】
各層の上にある数字(例えば、64、128など)は、畳み込み後の出力画像チャンネルの数を表しています(これは前のステップの畳み込みカーネルの数に対応します)。
【0061】
3*3の畳み込みReLUとは、畳み込みカーネルのサイズが3*3で、入力を畳み込んだ後、ReLU活性化関数に出力することを意味します。
【0062】
1*1の畳み込みSigmoidとは、畳み込みカーネルのサイズが1*1で、入力を畳み込んだ後、Sigmoid活性化関数に出力することを意味します。
【0063】
SigmoidとReLUは、ニューラルネットワークの活性化関数のタイプであり、その機能はニューラルネットワークの非線形因子を増加させ、線形モデルの表現能力不足の欠点を解消することです。活性化関数は最終的に次のニューロンに伝達する内容を決定します。
【0064】
最大プーリング2*2とは、2*2の入力に対して、各出力要素はそれらの中の最大要素値です。2*2の最大プーリング後、特徴マップの高さと幅は半分になり、チャンネル数は変わりません。
【0065】
アップサンプリング2*2とは、特徴マップを拡大し、特徴マップの高さと幅を倍にし、チャンネル数は変わらないことを意味します。
【0066】
または、ステップS22で、ニューラルネットワークモデルCNNを、
図8に示されているような回折強度画像の単一入力、振幅画像、位相画像の二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12として設定することができます。
【0067】
この時点で、回折強度画像、振幅画像、位相画像の単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12のモデル最適化プロセスは
図9に示されています。つまり、
図9は単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12のトレーニングと検証プロセスを示しています。
【0068】
この時点で、単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12のモデル適用プロセスが
図10に示されています。つまり、
図10は単一入力、二重出力の強度-振幅-位相ニューラルネットワークモデルCNN_12の振幅画像と位相画像の直接読取りプロセスを示しています。
【0069】
本発明の実施形態2について説明します。
図4に示すように、位相画像と振幅画像はともに4レベルのグレースケールランダムエンコーディング画像であり、光学システムの出力は回折強度画像です。
【0070】
図4では、384*384は画像のピクセルサイズを表しています。
【0071】
[0, 0.1, 0.4, 0.7, 1]は正規化後の振幅の大きさを表しており、0は振幅が0、つまり光がないことを表しています。0.1、0.4、0.7、1は4レベルのグレースケール振幅エンコーディングサイズを表しています。
【0072】
[π/6,2π/3,π,3π/2]は4レベルのグレースケール位相エンコーディング値を表しています。10*10はピクセル/データポイントを表しており、各データポイントは10*10ピクセルで表されます。
【0073】
図4に示すような非干渉、非反復式複素振幅読取方法は、位相画像と振幅画像がともに4レベルのグレースケールランダムエンコーディング画像であり、システムは単一の回折強度画像を出力します。ニューラルネットワークモデルCNN1とCNN2を用いて、強度-振幅ニューラルネットワークモデルと強度-位相ニューラルネットワークモデルをそれぞれ確立します。強度-振幅データセットと強度-位相データセットを用いて、2つのニューラルネットワークモデルを別々にトレーニングします。新しい回折強度画像については、トレーニングされた強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2に入力して、対応する振幅情報と位相情報を得ることで、複素振幅の読取を実現します。具体的な手順は以下の通りです:
ステップS11、実験画像生成:
図4に示すように、4レベルのグレースケールランダムエンコーディング振幅画像(a)と位相画像(b)を10,000個生成します。
ステップS12、実験画像キャプチャ:10,000個の振幅画像(a)と位相画像(b)を空間光変調器にロードしてレーザービームの振幅と位相を変調し、光電検出器19を用いて対応する10,000個の回折強度画像(c)をキャプチャします。各回折強度画像(c)とその対応する振幅画像(a)は強度-振幅画像ペアを構成し、各回折強度画像(c)とその対応する位相画像(b)は強度-位相画像ペアを構成します。
【0074】
ステップS21、データセットの準備:10,000個の回折強度画像(c)と対応する10,000個の振幅画像(a)を振幅トレーニングデータセットDIAとして使用します。ランダムに9,000個の強度-振幅画像を振幅トレーニングデータセットTIAとし、残りの1,000個の強度-振幅画像を振幅検証データセットVIAとします。TIAを使用して振幅ニューラルネットワークモデルCNN1をトレーニングし、VIAを使用して振幅ニューラルネットワークモデルCNN1の汎化能力を検証します。10,000個の回折強度画像(c)と対応する10,000個の位相画像(b)を位相トレーニングデータセットDIPとします。ランダムに9,000個の強度-位相画像を位相トレーニングデータセットTIPとし、残りの1,000個の強度-位相画像を位相検証データセットVIPとします。TIPを使用して位相ニューラルネットワークモデルCNN2をトレーニングし、VIPを使用して位相ニューラルネットワークモデルCNN2の汎化能力を検証します。
【0075】
ステップS22、モデル構築:
図5に示されているU-netニューラルネットワークモデルをネットワークモデルとして選択します。強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2のハイパーパラメータは同じです。
【0076】
ステップS221、モデル最適化:表1に従って強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2のハイパーパラメータを設定します。
【0077】
表1:ニューラルネットワークモデルCNN1とCNN2のハイパーパラメータ設定
【表1】
【0078】
強度-振幅ニューラルネットワークモデルCNN1と強度-位相ニューラルネットワークモデルCNN2の損失関数として平均二乗誤差(MSE)を選択します:
ここで、Wは入力画像の幅、Hは入力画像の高さを表します。Jはトレーニングバッチサイズであり、これは深層学習トレーニングにおけるバッチサイズ(batchsize)を指します。トレーニングバッチサイズは、一回のトレーニングセッションでのサンプル数を決定します。例えば、トレーニングデータの総数が上記のように9,000のトレーニング画像である場合、トレーニングバッチサイズは4とすることができ、これは各トレーニングセッションで9,000のトレーニング画像から4つのサンプルを取ることを意味します。トレーニングバッチのサンプルはランダムに選択することができます。例えば、各トレーニングセッションで9,000のトレーニング画像からランダムに4つのサンプルを選択します。
【0079】
振幅トレーニングデータセットTIAと位相トレーニングデータセットTIPをそれぞれ使用して振幅ニューラルネットワークモデルCNN1と位相ニューラルネットワークモデルCNN2をトレーニングし、損失関数MSEが収束するまでトレーニングします。振幅検証データセットVIAと位相検証データセットVIPをそれぞれ使用して振幅ニューラルネットワークモデルCNN1と位相ニューラルネットワークモデルCNN2の汎化能力を検証します。振幅ニューラルネットワークモデルCNN1と位相ニューラルネットワークモデルCNN2の条件とハイパーパラメータ設定の下で、振幅ニューラルネットワークモデルCNN1と位相ニューラルネットワークモデルCNN2のトレーニングプロセスは
図6に示されています。
【0080】
本発明の実施形態3について説明します。
非干渉、非反復式複素振幅読取方法であり、位相画像と振幅画像は共に4レベルのグレースケールランダム符号化画像であり、システムの出力は単一の回折強度画像です。ニューラルネットワークモデルCNNを用いて強度-振幅-位相ニューラルネットワークモデルを確立します。強度-振幅-位相データセットを用いて単一入力、二重出力ニューラルネットワークモデルをトレーニングします。新しい回折強度画像については、トレーニングされた強度-振幅-位相ニューラルネットワークモデルCNNに入力して対応する振幅情報と位相情報を得ることで、複素振幅の読取りを実現します。具体的な手順は以下の通りです:
ステップS11、実験画像生成:
図4に示すように、4レベルのグレースケールランダムエンコーディング振幅画像(a)と位相画像(b)を10,000個生成します。
ステップS12、実験画像キャプチャ:10,000個の振幅画像(a)と位相画像(b)を空間光変調器にロードしてレーザービームの振幅と位相を変調し、光電検出器19を用いて対応する10,000個の回折強度画像(c)をキャプチャします。各回折強度画像(c)とその対応する振幅画像(a)は強度-振幅画像ペアを構成し、各回折強度画像(c)とその対応する位相画像(b)は強度-位相画像ペアを構成します。
ステップS21、データセットの準備:10,000個の回折強度画像(c)と対応する10,000個の振幅画像(a)と10,000個の位相画像(b)を組み合わせて10,000個の強度-振幅-位相画像を形成し、ランダムに9,000個の強度-振幅-位相画像を振幅と位相のトレーニングデータTICとし、残りの1,000個の強度-振幅-位相画像を振幅と位相の検証データセットとします。TICを使用して単一入力、二重出力のニューラルネットワークモデルCNNをトレーニングし、VICを使用して単一入力、二重出力のニューラルネットワークモデルCNNの汎化能力を検証します。
ステップS22、モデル構築:
図8に示されている単一入力の回折強度画像と二重出力の振幅画像と位相画像を持つ強度-振幅-位相ニューラルネットワークモデルCNN_12を単一入力、二重出力のニューラルネットワークモデルCNNとして選択します。
ステップS221、モデル最適化:表2に従って単一入力、二重出力のニューラルネットワークモデルCNNのハイパーパラメータを設定します。
【0081】
表2:ニューラルネットワークモデルCNNのハイパーパラメータ設定
【表2】
【0082】
単一入力、二重出力のニューラルネットワークモデルCNNの損失関数として、平均二乗誤差(MSE)を選択します:
ここで、Wは入力画像の幅、Hは入力画像の高さ、Jはトレーニングバッチサイズを表す。
強度-振幅-位相トレーニングデータセットを使用して単一入力、二重出力のニューラルネットワークモデルCNNをトレーニングし、損失関数MSEが収束するまでトレーニングを行います。強度-振幅-位相検証データセットを使用して単一入力、二重出力のニューラルネットワークモデルCNNの汎化性能を検証します。このモデルとハイパーパラメータ設定の下で、モデルトレーニングプロセスは
図9に示されています。この場合、損失関数は振幅と位相の組み合わせであり、真の値は純粋な位相でも純粋な振幅でもなく、振幅+λ×位相です。
【0083】
ステップS23、モデル適用:トレーニングされた振幅ニューラルネットワークモデルCNNに任意の新しい回折強度画像Iを入力し、振幅画像と位相画像を直接出力し、直接複素振幅の読取りを実現します。複素振幅の読取りプロセスは
図10に示されています。
【0084】
本発明の実施形態4について説明します。
図11を参照してください。この実施形態は、実施形態1から3のいずれかで開示された非干渉、非反復式複素振幅読取方法を実装するための非干渉、非反復式複素振幅読取装置を提供します。
【0085】
非干渉、非反復式複素振幅読取装置は、光学系と電子装置を含みます。光学系は、入射光ビームの伝播方向に沿って順次配置されたレーザー1、ビームコリメーションコンポーネント、第1の1/2波長板4、アパーチャ5、第1のイメージングコンポーネント、第1の偏光板8、および透過反射型第1ビームスプリッタ9を含みます。第1ビームスプリッタ9の透過光ビーム伝播方向には振幅空間光変調器10が配置され、第1ビームスプリッタ9の反射光ビーム伝播方向には順次第2偏光板11、第2イメージングコンポーネント、第2の1/2波長板14、および透過反射型第2ビームスプリッタ15が配置されます。第2ビームスプリッタ15の透過光ビーム伝播方向には位相空間光変調器16が配置され、第2ビームスプリッタ15の反射光ビーム伝播方向には順次第3イメージングコンポーネントおよび光電検出器19が配置されます。電子装置は1つ以上のプロセッサおよびメモリを含み、該メモリは1つ以上のコンピュータプログラムを格納し、該1つ以上のプロセッサが光電検出器19によってキャプチャされた回折パターンを受け取り、該1つ以上のコンピュータプログラムを実行すると、実施形態1から3のいずれかで記載された非干渉、非反復式複素振幅読取方法のステップが実装されます。
【0086】
上記の非干渉、非反復式複素振幅読取装置において、電子装置はコンピュータであることができます。コンピュータは複雑な振幅の振幅画像と位相画像を生成し、それらを光学系にアップロードして実験的な回折強度画像を取得し、非干渉複素振幅読取方法のステップS01を完成します。その後、コンピュータは非干渉、非反復式複素振幅読取方法のステップS02を完成します。
【0087】
実際の応用において、ニューラルネットワークモデルのトレーニングと検証を完成した後のニューラルネットワークモデルの適用段階では、依然として光学系を使用して回折強度画像をキャプチャし、それをニューラルネットワークモデルに入力して複雑な振幅を再構成します。つまり、コンピュータと光学系の両方が必要です。
【0088】
具体的には、ビームコリメーションコンポーネントは、入射光ビームの伝播方向に沿って順次配置されたピンホールフィルタ2とコリメーションレンズ3を含みます。アパーチャ5は、光ビームの直径を制御するために使用されます。第1のイメージングコンポーネントは、光ビームの伝播方向に沿って順次配置された第1のリレーレンズ6と第2のリレーレンズ7を含みます。第1のリレーレンズ6と第2のリレーレンズ7は4fシステムを形成します。第1の偏光板8は、水平偏光板です。第1のビームスプリッタ9は、偏光ビームスプリッタおよび非偏光立方体ビームスプリッタです。第2の偏光板11は、垂直偏光板です。第2のイメージングコンポーネントは、光ビームの伝播方向に沿って順次配置された第3のリレーレンズ12と第4のリレーレンズ13を含みます。第3のリレーレンズ12と第4のリレーレンズ13は4fシステムを形成します。第2のビームスプリッタ15は、非偏光立方体ビームスプリッタです。第3のイメージングコンポーネントは、光ビームの伝播方向に沿って順次配置された第5のリレーレンズ17と第6のリレーレンズ18を含みます。第5のリレーレンズ17と第6のリレーレンズ18は4fシステムを形成します。
【0089】
上記の非干渉、非反復式複素振幅読取装置において、具体的な作業プロセスは次のとおりです:
レーザー1はレーザーを発生させ、例えば波長532nmの緑色レーザーです。ピンホールフィルタ2とコリメーションレンズ3を通過した後、レーザーは良好な品質の平行光ビームに変換されます。第1の1/2波長板4とアパーチャ5を通過した後、平行光ビームの断面は円形からアパーチャ5のアパーチャ穴形状に変わります。第1のリレーレンズ6と第2のリレーレンズ7は、アパーチャ5を空間光変調器10が位置する平面に像化する4fシステムを形成します。レーザービームは第1の偏光板8と第1のビームスプリッタ9を通過し、空間光変調器10に入射した後、その反射光は再び第1のビームスプリッタ9を通過し、元の光路に垂直な方向に反射されます。空間光変調器10は振幅型空間光変調器であることができ、または偏光方向が垂直な第1の偏光板8と第2の偏光板11と組み合わせてレーザービームの振幅変調を実現する位相型空間光変調器であることができます。つまり、空間光変調器10の役割は、特定の振幅画像をアップロードして、レーザービームが空間光変調器10に入射し、反射して第2の偏光板11を通過するときに、正確な振幅情報を持つようにすることです。振幅情報を持つレーザービームは次に、第3のリレーレンズ12と第4のリレーレンズ13を通過します。これらもまた4fシステムを形成し、振幅空間光変調器10を第2の空間光変調器16が位置する平面に像化します。第3のリレーレンズ12と第4のリレーレンズ13からなる4fシステムを通過した後、レーザービームは続けて第2の1/2波長板14と第2のビームスプリッタ15を通過し、第2のビームスプリッタ15に入射します。第2の1/2波長板14の機能は、レーザービームの偏光状態を調整して、位相型空間光変調器16の偏光状態要件を満たすことです。位相空間光変調器16の役割は、特定の位相画像Pをアップロードしてレーザービームの位相変調を実現することです。位相型空間光変調器16から反射された振幅と位相情報を持つレーザービームは、第2のビームスプリッタ15を通過した後、元の光路に垂直な方向に反射され、次に第5のリレーレンズ17と第6のリレーレンズ18を通じて光電検出器19に入射します。第5のリレーレンズ17と第6のリレーレンズ18は4fシステムを形成し、第2のビームスプリッタ15が位置する平面を第6のリレーレンズ18の背焦点面に精確に像化します。レーザービームの伝播方向に沿って、光電検出器19は第6のリレーレンズ18の背焦点面の後方の平面に位置しています。したがって、第6のリレーレンズ18の背焦点面の光ビームは正確な振幅と位相情報を持っています。レーザービームは所定の距離を続けて伝播し、回折光が光電検出器19に入り、光強度の変化を伴う回折パターン、すなわち回折強度画像Iを受け取ります。これは
図4および
図5の回折強度画像(c)としても示されています。
【0090】
本実施形態の非干渉、非反復式複素振幅読取方法および装置は、非干渉レンズレス複素振幅回折再構成光学システムを構築し、コンピュータなどの電子装置を使用して振幅画像と位相画像を生成し、振幅画像と位相画像を光学システムにアップロードして回折強度画像を取得し、ニューラルネットワークデータセットを確立し、ニューラルネットワークモデル構造を構築し、対応するパラメータを設定し、データセットを使用してニューラルネットワークモデルの汎化をトレーニングおよび検証し、任意の回折画像をニューラルネットワークモデルに入力して振幅画像と位相画像を直接出力することにより、振幅と位相の読取りの速度と精度をさらに向上させ、装置を簡素化することができます。
【0091】
特定の実施形態について開示し、説明した本発明は、その原理が専門家に明らかとなる数多くの他の実施形態に適用可能です。したがって、本発明は、添付の請求の範囲により限定されるべきものであります。
【符号の説明】
【0092】
1 レーザー
2 ピンホールフィルタ
3 コリメーションレンズ
4 第1の1/2波長板
5 アパーチャ
6 第1のリレーレンズ
7 第2のリレーレンズ
8 第1の偏光板
9 第1のビームスプリッタ
10 は振幅空間光変調器
11 第2の偏光板
12 第3のリレーレンズ
13 第4のリレーレンズ
14 第2の1/2波長板
15 第2のビームスプリッタ
16 位相空間光変調器
17 第5のリレーレンズ
18 第6のリレーレンズ
19 光電検出器