(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】超解像計測装置および超解像計測装置の作動方法
(51)【国際特許分類】
G01N 21/17 20060101AFI20221219BHJP
G02B 21/36 20060101ALI20221219BHJP
H04N 5/232 20060101ALI20221219BHJP
H04N 5/225 20060101ALI20221219BHJP
【FI】
G01N21/17 A
G02B21/36
H04N5/232 290
H04N5/225 400
(21)【出願番号】P 2021543950
(86)(22)【出願日】2020-05-01
(86)【国際出願番号】 JP2020018465
(87)【国際公開番号】W WO2021044670
(87)【国際公開日】2021-03-11
【審査請求日】2021-12-06
(31)【優先権主張番号】P 2019160696
(32)【優先日】2019-09-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(73)【特許権者】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】岡本 淳
(72)【発明者】
【氏名】川島 聡
(72)【発明者】
【氏名】大▲崎▼ 龍介
(72)【発明者】
【氏名】林 直毅
【審査官】伊藤 裕美
(56)【参考文献】
【文献】特開2015-36799(JP,A)
【文献】特開2006-17488(JP,A)
【文献】国際公開第2006/137326(WO,A1)
【文献】国際公開第2015/068834(WO,A1)
【文献】米国特許出願公開第2019/0049896(US,A1)
【文献】岡本 淳 ほか,空間光変調器を用いた光波制御と光情報処理,電子情報通信学会2019年総合大会講演論文集 エレクトロニクス1,2019年03月19日,C-3-20,131
【文献】後藤 優太 ほか,高密度ホログラフィックメモリに向けた仮想位相共役技術を用いたデジタル画像多重分離の基礎実験,映像情報メディア学会技術報告,(一社)映像情報メディア学会 The Institute of Ima,2018年,Vol.42 No.4,147-152
【文献】後藤 優太 ほか,仮想位相共役技術を用いた光断層イメージングの特性解析,映像情報メディア学会技術報告,日本,2015年,Vol.39 No.7,9-14
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/17 - G01N 21/61
G02B 21/36
H04N 5/225 - H04N 5/247
G06T 3/40
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
被計測物体の入力光波を拡散させる拡散部材、および拡散された前記入力光波を部分的に透過させる部分透過マスクを含む実光学系と、
前記部分透過マスクを透過した前記入力光波の強度と位相を計測して光複素振幅画像を出力するセンサと、
前記センサの解像度を超える解像度の成分である超解像成分を含む前記被計測物体の入力光波を、前記光複素振幅画像から再生する計算処理であって、前記拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する仮想光学系と、
を備える超解像計測装置。
【請求項2】
前記仮想光学系は、前記光複素振幅画像から第1中間画像を生成し、
前記被計測物体の基準画像から第2中間画像を生成し、
前記第1中間画像から前記第2中間画像を減算した画像に基づいて、前記出力画像を生成する請求項1に記載の超解像計測装置。
【請求項3】
前記実光学系は、
前記拡散部材を経て前記センサに至る、前記光複素振幅画像を得るための光複素振幅画像取得光路と、
前記拡散部材を通さずに前記センサに至る、前記基準画像を得るための基準画像取得光路とを有する請求項2に記載の超解像計測装置。
【請求項4】
前記光複素振幅画像取得光路の前記拡散部材よりも前記被計測物体側から、前記基準画像取得光路が分岐している請求項3に記載の超解像計測装置。
【請求項5】
前記光複素振幅画像取得光路の前記拡散部材よりも前記センサ側で、前記基準画像取得光路が合流している請求項4に記載の超解像計測装置。
【請求項6】
前記基準画像取得光路においては、前記入力光波が前記部分透過マスクの透過部に収まるサイズに集光される請求項5に記載の超解像計測装置。
【請求項7】
前記光複素振幅画像取得光路と前記基準画像取得光路とは兼用されており、
前記拡散部材および前記部分透過マスクは、前記光複素振幅画像取得光路内に進入した進入位置と、前記光複素振幅画像取得光路から退避した退避位置とに移動され、
前記光複素振幅画像取得光路は、前記拡散部材および前記部分透過マスクが前記退避位置にある場合に、前記基準画像取得光路として機能する請求項3に記載の超解像計測装置。
【請求項8】
前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板である請求項1から請求項7のいずれか1項に記載の超解像計測装置。
【請求項9】
前記拡散部材は、前記入力光波の拡散特性を変更可能な空間光変調器であり、
前記センサは、前記空間光変調器により拡散特性が変更された複数種の前記入力光波の強度と位相を計測して、前記入力光波の拡散特性が異なる複数の前記光複素振幅画像を出力し、
前記仮想光学系は、複数の前記光複素振幅画像の各々から中間画像を生成し、複数の前記中間画像を加算平均した画像を、前記出力画像とする請求項1に記載の超解像計測装置。
【請求項10】
前記実光学系は、前記拡散部材よりも前記被計測物体側、および前記拡散部材よりも前記センサ側に配された、一対のフーリエ変換レンズを含む請求項1に記載の超解像計測装置。
【請求項11】
前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板であって、前記被計測物体側に配された前記フーリエ変換レンズによる低空間周波数成分をカットする遮光部が、中央部分に設けられたランダム拡散板である請求項10に記載の超解像計測装置。
【請求項12】
前記拡散部材は、前記入力光波をランダムに拡散させるランダム拡散板であって、前記被計測物体側に配された前記フーリエ変換レンズによる低空間周波数成分を透過する開口が、中央部分に設けられたランダム拡散板であり、
前記実光学系には、前記開口を透過した前記低空間周波数成分を、前記部分透過マスクの透過部に集光する集光レンズが配されている請求項10に記載の超解像計測装置。
【請求項13】
被計測物体の入力光波を拡散させる拡散部材、および拡散された前記入力光波を部分的に透過させる部分透過マスクを含む実光学系を用い、
センサによって、前記部分透過マスクを透過した前記入力光波の強度と位相を計測して光複素振幅画像を出力させ、
仮想光学系において、前記センサの解像度を超える解像度の成分である超解像成分を含む前記被計測物体の入力光波を、前記光複素振幅画像から再生する計算処理であって、前記拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する、
超解像計測装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、超解像計測装置および超解像計測装置の作動方法に関する。
【背景技術】
【0002】
CCD(Charge-Coupled Device)イメージセンサ等のセンサで被計測物体を計測し、センサの解像度を超える解像度(以下、超解像)の出力画像を得る技術(以下、超解像技術)が知られている。
【0003】
井手下 昴史、外2名、"デジタルホログラフィによる超分解能計測アルゴリズムの開発"、2009年度精密工学会秋季大会学術講演会講演論文集、インターネット〈URL:https://www.jstage.jst.go.jp/article/pscjspe/2009A/0/2009A_0_687/_article/-char/ja/〉には、光複素振幅計測技術の1つである位相シフトデジタルホログラフィを用いた超解像技術が記載されている。井手下、外2名著の"デジタルホログラフィによる超分解能計測アルゴリズムの開発"では、水平方向の分解能を向上させるために、ピクセルサイズよりも小さいピッチでセンサを水平方向に数箇所移動させ、センサ固定では取得できない、センサの解像度を超える解像度の成分(以下、超解像成分)を取得している。そして、センサを移動させた各箇所で計測したホログラムを合成することで、超解像の出力画像を得ている。なお、光複素振幅とは、光波の振動を複素数で表したものである。
【0004】
また、濱田 匡夫、"適応フィルタ型超解像"、Panasonic Technical Journal Vol.56 No.4 Jan.2011、インターネット〈URL:https://www.panasonic.com/jp/corporate/technology-design/ptj/pdf/v5604/p0208.pdf〉には、被計測物体をセンサで計測して得られた画像に拡大フィルタ処理を施すことで、超解像成分を推定する超解像技術が記載されている。すなわち、濱田著の"適応フィルタ型超解像"では、超解像成分を含まない画像から、拡大フィルタ処理により超解像成分を推定している。
【発明の概要】
【発明が解決しようとする課題】
【0005】
井手下、外2名著の"デジタルホログラフィによる超分解能計測アルゴリズムの開発"に記載の技術では、センサを水平方向に移動させる必要がある。また、濱田著の"適応フィルタ型超解像"に記載の技術では、超解像成分はあくまでも拡大フィルタ処理による推定であって、実際の超解像成分を正確に反映したものであるという保証はない。そこで、本発明者らは、被計測物体の入力光波を拡散させてセンサに入射させ、拡散された入力光波の光複素振幅をセンサで計測することで、実際に超解像成分をセンサで計測し、これにより得られた画像に基づいて超解像の出力画像を生成することを検討している。
【0006】
すなわち、井手下、外2名著の"デジタルホログラフィによる超分解能計測アルゴリズムの開発"では、ピクセルサイズよりも小さいピッチでセンサを水平方向に移動させることで、超解像成分を取得している。また、濱田著の"適応フィルタ型超解像"では、拡大フィルタ処理により超解像成分を推定している。対して、本発明者らが検討している超解像技術では、被計測物体の入力光波を拡散させることで、超解像成分を取得する。したがって、この本発明者らが検討している超解像技術によれば、センサを移動させることなく、また、拡大フィルタ処理による推定に依拠せず、超解像の出力画像を得ることが可能となる。
【0007】
しかしながら、本発明者らが検討している、被計測物体の入力光波を拡散させる超解像技術では、超解像の出力画像に画質劣化が生じる場合があった。本発明者らは、この画質劣化の一因が、拡散された入力光波に含まれる情報量が多いことであることを突き止めた。
【0008】
本開示の技術は、超解像の出力画像に生じる画質劣化を低減することが可能な超解像計測装置および超解像計測装置の作動方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本開示の超解像計測装置は、被計測物体の入力光波を拡散させる拡散部材、および拡散された入力光波を部分的に透過させる部分透過マスクを含む実光学系と、部分透過マスクを透過した入力光波の強度と位相を計測して光複素振幅画像を出力するセンサと、センサの解像度を超える解像度の成分である超解像成分を含む被計測物体の入力光波を、光複素振幅画像から再生する計算処理であって、拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する仮想光学系と、を備える。
【0010】
仮想光学系は、光複素振幅画像から第1中間画像を生成し、被計測物体の基準画像から第2中間画像を生成し、第1中間画像から第2中間画像を減算した画像に基づいて、出力画像を生成することが好ましい。
【0011】
実光学系は、拡散部材を経てセンサに至る、光複素振幅画像を得るための光複素振幅画像取得光路と、拡散部材を通さずにセンサに至る、基準画像を得るための基準画像取得光路とを有することが好ましい。
【0012】
光複素振幅画像取得光路の拡散部材よりも被計測物体側から、基準画像取得光路が分岐していることが好ましい。この場合、光複素振幅画像取得光路の拡散部材よりもセンサ側で、基準画像取得光路が合流していることが好ましい。さらに、基準画像取得光路においては、入力光波が部分透過マスクの透過部に収まるサイズに集光されることが好ましい。
【0013】
光複素振幅画像取得光路と基準画像取得光路とは兼用されており、拡散部材および部分透過マスクは、光複素振幅画像取得光路内に進入した進入位置と、光複素振幅画像取得光路から退避した退避位置とに移動され、光複素振幅画像取得光路は、拡散部材および部分透過マスクが退避位置にある場合に、基準画像取得光路として機能することが好ましい。
【0014】
拡散部材は、入力光波をランダムに拡散させるランダム拡散板であることが好ましい。
【0015】
拡散部材は、入力光波の拡散特性を変更可能な空間光変調器であり、センサは、空間光変調器により拡散特性が変更された複数種の入力光波の強度と位相を計測して、入力光波の拡散特性が異なる複数の光複素振幅画像を出力し、仮想光学系は、複数の光複素振幅画像の各々から中間画像を生成し、複数の中間画像を加算平均した画像を、出力画像とすることが好ましい。
【0016】
実光学系は、拡散部材よりも被計測物体側、および拡散部材よりもセンサ側に配された、一対のフーリエ変換レンズを含むことが好ましい。
【0017】
拡散部材は、入力光波をランダムに拡散させるランダム拡散板であって、被計測物体側に配されたフーリエ変換レンズによる低空間周波数成分をカットする遮光部が、中央部分に設けられたランダム拡散板であることが好ましい。
【0018】
拡散部材は、入力光波をランダムに拡散させるランダム拡散板であって、被計測物体側に配されたフーリエ変換レンズによる低空間周波数成分を透過する開口が、中央部分に設けられたランダム拡散板であり、実光学系には、開口を透過した低空間周波数成分を、部分透過マスクの透過部に集光する集光レンズが配されていることが好ましい。
【0019】
本開示の超解像計測装置の作動方法は、被計測物体の入力光波を拡散させる拡散部材、および拡散された入力光波を部分的に透過させる部分透過マスクを含む実光学系を用い、センサによって、部分透過マスクを透過した入力光波の強度と位相を計測して光複素振幅画像を出力させ、仮想光学系において、センサの解像度を超える解像度の成分である超解像成分を含む被計測物体の入力光波を、光複素振幅画像から再生する計算処理であって、拡散部材の透過関数の位相共役関数を含む計算処理をコンピュータ上で施して、出力画像を生成する。
【発明の効果】
【0020】
本開示の技術によれば、超解像の出力画像に生じる画質劣化を低減することが可能な超解像計測装置および超解像計測装置の作動方法を提供することができる。
【図面の簡単な説明】
【0021】
【
図2】実光学系において光複素振幅画像取得光路を用いている状態を示す図である。
【
図3】実光学系において基準画像取得光路を用いている状態を示す図である。
【
図4】ランダム拡散板の作用を概念的に示す図であり、
図4Aはランダム拡散板がない場合、
図4Bはランダム拡散板がある場合をそれぞれ示す。
【
図6】光複素振幅画像取得光路を用いて光複素振幅画像を得る様子を示す図である。
【
図7】基準画像取得光路を用いて基準画像を得る様子を示す図である。
【
図8】処理装置を構成するコンピュータのブロック図である。
【
図9】主に処理装置のCPUの処理部を示すブロック図である。
【
図11】第1中間画像生成部の処理を示す図である。
【
図12】第1中間画像生成部の処理と等価な第1仮想光学系を示す図である。
【
図13】第2中間画像生成部の処理を示す図である。
【
図14】第2中間画像生成部の処理を示す図である。
【
図15】第2中間画像生成部の処理と等価な第2仮想光学系を示す図である。
【
図17】超解像計測装置の処理手順を示すフローチャートである。
【
図18】第1中間画像、第2中間画像、および出力画像の関係を概念的に示す図である。
【
図19】実施例1~3における各種パラメータを示す表である。
【
図20】実施例1の入力画像を示す図であり、
図20Aは入力画像の強度画像、
図20Bは入力画像の位相画像をそれぞれ示す。
【
図21】実施例1の光複素振幅画像を示す図であり、
図21Aは光複素振幅画像の強度画像、
図21Bは光複素振幅画像の位相画像をそれぞれ示す。
【
図22】実施例1の第1中間画像を示す図であり、
図22Aは第1中間画像の強度画像、
図22Bは第1中間画像の位相画像をそれぞれ示す。
【
図23】実施例1の基準画像を示す図であり、
図23Aは基準画像の強度画像、
図23Bは基準画像の位相画像をそれぞれ示す。
【
図24】実施例1の第2中間画像を示す図であり、
図24Aは第2中間画像の強度画像、
図24Bは第2中間画像の位相画像をそれぞれ示す。
【
図25】実施例1の減算画像を示す図であり、
図25Aは減算画像の強度画像、
図25Bは減算画像の位相画像をそれぞれ示す。
【
図26】実施例1の出力画像を示す図であり、
図26Aは出力画像の強度画像、
図26Bは出力画像の位相画像をそれぞれ示す。
【
図27】実施例1の入力画像の他の例を示す図であり、
図27Aは入力画像の強度画像、
図27Bは入力画像の位相画像をそれぞれ示す。
【
図29】
図27の入力画像を計測して得られた光複素振幅画像を示す図であり、
図29Aは光複素振幅画像の強度画像、
図29Bは光複素振幅画像の位相画像をそれぞれ示す。
【
図35】第2実施形態の処理をまとめて示す図である。
【
図36】実施例2の出力画像の位相画像を示す図である。
【
図38】第3実施形態のランダム拡散板を示す図である。
【
図39】実施例3の入力画像を示す図であり、
図39Aは入力画像の強度画像、
図39Bは入力画像の位相画像をそれぞれ示す。
【
図40】
図39で示した入力画像の高空間周波数成分を示す図であり、
図40Aは高空間周波数成分の強度画像、
図40Bは高空間周波数成分の位相画像をそれぞれ示す。
【
図41】実施例3の出力画像を示す図であり、
図41Aは出力画像の強度画像、
図41Bは出力画像の位相画像をそれぞれ示す。
【
図43】第4実施形態のランダム拡散板を示す図である。
【発明を実施するための形態】
【0022】
[第1実施形態]
図1において、超解像計測装置10は、ステージ11、実光学系12、センサ13、および処理装置14を備える。ステージ11には被計測物体15がセットされる。実光学系12は、ステージ11にセットされた被計測物体15の入力光波を取り込み、センサ13へと導く。センサ13は、実光学系12によって導かれた入力光波の強度と位相を計測して、光複素振幅画像54(
図6参照)を出力する。センサ13は、光複素振幅画像54を処理装置14に送信する。処理装置14は、例えばデスクトップ型のパーソナルコンピュータである。処理装置14は、センサ13からの光複素振幅画像54に基づいて、出力画像76(
図9参照)を生成する。
【0023】
図2および
図3において、実光学系12は、光複素振幅画像取得光路20と基準画像取得光路21とを有する。光複素振幅画像取得光路20は光複素振幅画像54を得るための光路である。基準画像取得光路21は、被計測物体15の基準画像61(
図7参照)を得るための光路である。光複素振幅画像取得光路20には、本開示の技術に係る「拡散部材」の一例であるランダム拡散板22が配置されている。対して基準画像取得光路21には、ランダム拡散板22は配されていない。すなわち、光複素振幅画像取得光路20は、ランダム拡散板22を経てセンサ13に至る光路である。対して基準画像取得光路21は、ランダム拡散板22を通さずにセンサ13に至る光路である。
【0024】
ランダム拡散板22は、表面にランダムな凹凸が形成された凹凸面23を有する。ランダム拡散板22は、凹凸面23をセンサ13側に向けて配置されている。ランダム拡散板22は、被計測物体15の入力光波を拡散させる。
【0025】
光複素振幅画像取得光路20には、ランダム拡散板22に加えて、ビームスプリッタ25、フーリエ変換レンズ26、フーリエ変換レンズ27、ビームスプリッタ28、および部分透過マスク29が配置されている。
【0026】
ビームスプリッタ25は、被計測物体15の入力光波を、フーリエ変換レンズ26に向けて透過させる。また、ビームスプリッタ25は、被計測物体15の入力光波を、基準画像取得光路21のミラー30に向けて90°反射させる。このビームスプリッタ25によって、光複素振幅画像取得光路20のランダム拡散板22よりも被計測物体15側から、基準画像取得光路21が分岐することとなる。
【0027】
フーリエ変換レンズ26、27は、ランダム拡散板22を挟む位置に配置されている。より詳しくは、フーリエ変換レンズ26は、ランダム拡散板22よりも被計測物体15側に配されている。フーリエ変換レンズ27は、ランダム拡散板22よりもセンサ13側に配されている。フーリエ変換レンズ26、27は、「レンズの前側焦点面に透過物体を置き、その背後から均一な強度(振幅)分布をもつ平面波で照明したとき、レンズの後側焦点面上に得られる回折像の強度分布が物体の強度分布のフーリエ変換で表される、という性質を有するレンズ」と定義される。
【0028】
ビームスプリッタ28は、ランダム拡散板22によって拡散された被計測物体15の入力光波を、部分透過マスク29に向けて透過させる。また、ビームスプリッタ28は、基準画像取得光路21からの被計測物体15の入力光波を、部分透過マスク29に向けて90°反射させる。このビームスプリッタ28によって、光複素振幅画像取得光路20のランダム拡散板22よりもセンサ13側で、基準画像取得光路21が合流することとなる。
【0029】
基準画像取得光路21には、ミラー30、レンズ31、レンズ32、およびミラー33が配置されている。ミラー30は、ビームスプリッタ25からの被計測物体15の入力光波を、レンズ31に向けて90°反射させる。レンズ31、32は、被計測物体15の入力光波を、部分透過マスク29の透過部35(
図5も参照)に収まるサイズに集光する。ミラー33は、レンズ31、32により集光された被計測物体15の入力光波を、光複素振幅画像取得光路20のビームスプリッタ28に向けて90°反射させる。
【0030】
光複素振幅画像取得光路20のフーリエ変換レンズ27とビームスプリッタ28との間には、シャッタ36が設けられている。同様に、基準画像取得光路21のミラー33と光複素振幅画像取得光路20のビームスプリッタ28との間にも、シャッタ37が設けられている。
【0031】
シャッタ36は、光複素振幅画像取得光路20内に進入した進入位置と、光複素振幅画像取得光路20から退避した退避位置との間で移動自在である。同様に、シャッタ37は、基準画像取得光路21内に進入した進入位置と、基準画像取得光路21から退避した退避位置との間で移動自在である。シャッタ36、37が進入位置にある場合は、被計測物体15の入力光波が遮光される。シャッタ36、37が退避位置にある場合は、被計測物体15の入力光波の入射が許容される。
【0032】
光複素振幅画像取得光路20を用いて光複素振幅画像54を得る場合には、
図2に示すようにシャッタ36が退避位置に移動され、シャッタ37が進入位置に移動される。対して、基準画像取得光路21を用いて基準画像61を得る場合には、
図3に示すようにシャッタ36が進入位置に移動され、シャッタ37が退避位置に移動される。このようにして光複素振幅画像取得光路20と基準画像取得光路21とが使い分けられる。なお、シャッタ36、37を設ける位置は、上記に例示した位置に限らない。ビームスプリッタ25とフーリエ変換レンズ26との間にシャッタ36を設けてもよいし、ビームスプリッタ25とミラー30との間にシャッタ37を設けてもよい。
【0033】
図4に、ランダム拡散板22の作用を概念的に示す。
図4Aはランダム拡散板22がない場合、
図4Bはランダム拡散板22がある場合をそれぞれ示す。
図4Aに示すように、ランダム拡散板22がない場合、被計測物体15の1ピクセル分の領域41からの入力光波(破線矢印で示す)は、センサ13の複数のピクセル40のうちの1つに入射する。つまり、被計測物体15の1ピクセル分の領域41と、センサ13のピクセル40とは、一対一の関係にある。対して
図4Bに示すように、ランダム拡散板22がある場合、被計測物体15の1ピクセル分の領域41からの入力光波は、ランダム拡散板22で拡散されて、センサ13の多数のピクセル40に入射する。つまり、被計測物体15の1ピクセル分の領域41と、センサ13のピクセル40とは、一対多の関係にある。こうして被計測物体15の1ピクセル分の領域41からの入力光波が、センサ13の多数のピクセル40に入射するため、最終的に出力される出力画像76には、センサ13の解像度を超える超解像成分が含まれることとなる。
【0034】
図5において、部分透過マスク29は、中央部分に正方形状の穴である透過部35が形成された正方形状をしている。部分透過マスク29の透過部35以外の部分は、被計測物体15の入力光波を遮光する。このため、光複素振幅画像取得光路20を用いた場合にセンサ13に入射される被計測物体15の入力光波は、ランダム拡散板22によって拡散された被計測物体15の入力光波の1/2以下、より好ましくは1/4以下に制限される。なお、基準画像取得光路21を用いた場合は、前述のように、レンズ31、32により被計測物体15の入力光波が透過部35に収まるサイズに集光される。このため、センサ13に入射される被計測物体15の入力光波は、部分透過マスク29によって制限されない。なお、部分透過マスク29は正方形状に限らない。例えば円形状でもよい。透過部35も同様に、正方形状に限らず、例えば円形状でもよい。
【0035】
センサ13には、例えば、一般的な位相シフトデジタルホログラフィ用のセンサが用いられる。具体的には、センサ13は、CCDイメージセンサ、またはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等である。ただし、入力光波の空間的な光複素振幅の分布を計測可能なものであれば、センサ13の種類は特に限定されない。
【0036】
図6は、光複素振幅画像取得光路20を用いて光複素振幅画像54を得る様子を示す。まず、被計測物体15の入力光波で表される入力画像50の光複素振幅をa_R(x、y)、フーリエ変換レンズ26の複素フーリエ変換関数をF_R{*}とした場合、複素フーリエ変換後の画像51の光複素振幅は、
F_R{a_R(x、y)}=A_R(X、Y)
と表せる。
【0037】
ランダム拡散板22の透過関数をΦ_R(X、Y)とした場合、ランダム拡散板22を透過した画像52の光複素振幅は、
A_R(X、Y)×Φ_R(X、Y)
と表せる。ここで、A_R(X、Y)×Φ_R(X、Y)を取得するためには、必ずしもこのランダム拡散板22を用いる方法に限定されず、空間的に位相をランダムに変調した光を被計測物体15に照射して得られる透過光または散乱光を用いてもよい。
【0038】
フーリエ変換レンズ27の複素フーリエ変換関数を、フーリエ変換レンズ26と同じくF_R{*}とした場合、複素フーリエ変換後の画像53の光複素振幅は、
F_R{A_R(X、Y)×Φ_R(X、Y)}
と表せる。
【0039】
部分透過マスク29の透過関数をRect_R{*}とした場合、部分透過マスク29を透過してセンサ13において計測される光複素振幅画像54の光複素振幅は、
Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}}
と表せる。ここで、Rect_R{*}は、部分透過マスク29の透過部35においては*の値を示し、透過部35以外の周辺の遮光部においては0の値を示す。
【0040】
図7は、基準画像取得光路21を用いて基準画像61を得る様子を示す。基準画像取得光路21には、フーリエ変換レンズ26、27およびランダム拡散板22は配置されていない。また、前述のように、基準画像取得光路21においては、被計測物体15の入力光波が透過部35に収まるサイズとされる。このため、センサ13において計測される基準画像61の光複素振幅は、被計測物体15の入力光波で表される入力画像60の光複素振幅と同じb_R(x、y)で表せる。このとき、被計測物体15がセンサ13の解像度を超える微細な情報を有していたとしても、計測される基準画像61の解像度は、センサ13の有する解像度に制限される。つまり、基準画像61は、センサ13の解像度を超える超解像成分を有さない。
【0041】
図8において、処理装置14を構成するコンピュータは、ストレージデバイス65、メモリ66、CPU(Central Processing Unit)67、通信部68、ディスプレイ69、および入力デバイス70を備えている。これらはバスライン71を介して相互接続されている。
【0042】
ストレージデバイス65は、処理装置14を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス65は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス65には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
【0043】
メモリ66は、CPU67が処理を実行するためのワークメモリである。CPU67は、ストレージデバイス65に記憶されたプログラムをメモリ66へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
【0044】
通信部68は、各種ネットワークを介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ69は各種画面を表示する。処理装置14を構成するコンピュータは、各種画面を通じて、入力デバイス70からの操作指示の入力を受け付ける。入力デバイス70は、キーボード、マウス、タッチパネル等である。
【0045】
図9において、ストレージデバイス65には、作動プログラム75が記憶されている。作動プログラム75は、コンピュータを処理装置14として機能させるためのアプリケーションプログラムである。ストレージデバイス65には、光複素振幅画像54、基準画像61、出力画像76、および伝達関数情報77も記憶されている。
【0046】
作動プログラム75が起動されると、処理装置14を構成するコンピュータのCPU67は、メモリ66等と協働して、画像取得部80、リードライト(以下、RW(Read Write)と略す)制御部81、および生成部82として機能する。
【0047】
画像取得部80は、センサからの光複素振幅画像54および基準画像61を取得する。画像取得部80は、取得した光複素振幅画像54および基準画像61をRW制御部81に出力する。
【0048】
RW制御部81は、ストレージデバイス65への各種データの記憶、およびストレージデバイス65内の各種データの読み出しを制御する。RW制御部81は、画像取得部80からの光複素振幅画像54および基準画像61をストレージデバイス65に記憶する。また、RW制御部81は、光複素振幅画像54および基準画像61をストレージデバイス65から読み出し、生成部82に出力する。
【0049】
RW制御部81は、伝達関数情報77をストレージデバイス65から読み出し、生成部82に出力する。また、RW制御部81は、生成部82からの出力画像76をストレージデバイス65に記憶する。
【0050】
生成部82は、光複素振幅画像54に対して計算処理を施すことで、出力画像76を生成する。計算処理は、センサ13の解像度を超える解像度の成分である超解像成分を含む被計測物体15の入力光波を、光複素振幅画像54から再生する処理であって、処理装置14を構成するコンピュータ上で施される処理である。この計算処理は、後述する、「拡散部材の透過関数の位相共役関数」の一例である仮想ランダム拡散板107の透過関数Φ_V1(X、Y)を含む。こうした計算処理によって、超解像成分を含む入力光波を示す画像として、出力画像76が生成されることになる。したがって、生成部82は、本開示の技術に係る「仮想光学系」の一例である。
【0051】
生成部82は、第1中間画像生成部85、第2中間画像生成部86、および減算部87を有する。第1中間画像生成部85には、光複素振幅画像54が入力される。第1中間画像生成部85は、光複素振幅画像54から第1中間画像88(
図11も参照)を生成する。第1中間画像生成部85は、第1中間画像88を減算部87に出力する。
【0052】
一方、第2中間画像生成部86には、基準画像61が入力される。第2中間画像生成部86は、基準画像61から第2中間画像89(
図14も参照)を生成する。第2中間画像生成部86は、第2中間画像89を減算部87に出力する。
【0053】
減算部87は、第1中間画像88から第2中間画像89を減算する。減算部87は、第1中間画像88から第2中間画像89を減算した画像に基づいて、出力画像76を生成する。
【0054】
図10に示すように、伝達関数情報77には、複数の伝達関数が登録されている。これらの伝達関数は、第1中間画像生成部85において第1中間画像88を生成する場合、および第2中間画像生成部86において第2中間画像89を生成する場合に用いられる。
【0055】
F_V1
-1{*}は、仮想フーリエ変換レンズ106、108(
図12参照)の複素フーリエ逆変換関数である。F_V1
-1{*}は、実光学系12のフーリエ変換レンズ26、27の複素フーリエ変換関数F_R{*}の逆関数である。Φ_V1(X、Y)は、仮想ランダム拡散板107(
図12参照)の透過関数である。Φ_V1(X、Y)は、実光学系12において被計測物体15の入力光波をランダム拡散板22が拡散させる作用とは反対に、拡散された入力光波を拡散前の入力光波に戻す作用をコンピュータ上で仮想的に実現する関数である。このため、Φ_V1(X、Y)は、実光学系12のランダム拡散板22の透過関数Φ_R(X、Y)と位相共役の関係を有する。すなわち、
Φ_R(X、Y)×Φ_V1(X、Y)=1
である。Φ_V1(X、Y)は、本開示の技術に係る「拡散部材の透過関数の位相共役関数」の一例である。
【0056】
F_V2{*}は、仮想フーリエ変換レンズ131、133(
図15参照)の複素フーリエ変換関数である。F_V2{*}は、実光学系12のフーリエ変換レンズ26、27の複素フーリエ変換関数F_R{*}と等価な関数である。Φ_V2(X、Y)は、仮想ランダム拡散板132(
図15参照)の透過関数である。Φ_V2(X、Y)は、実光学系12のランダム拡散板22の透過関数Φ_R(X、Y)と等価な関数である。Rect_V{*}は、仮想部分透過マスク134(
図15参照)の透過関数である。Rect_V{*}は、実光学系12の部分透過マスク29の透過関数Rect_R{*}と等価な関数である。
【0057】
図11に示すように、第1中間画像生成部85は、高速フーリエ逆変換部95、計算部96、および高速フーリエ逆変換部97を有している。
【0058】
高速フーリエ逆変換部95は、仮想フーリエ変換レンズ106の複素フーリエ逆変換関数F_V1-1{*}を用いて、光複素振幅画像54に対して高速フーリエ逆変換を施す。
【0059】
ここで、一般的にF-1{F{G(X、Y)}}=G(X、Y)が成立する。しかし、光複素振幅画像54の光複素振幅Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}}は、部分透過マスク29の透過関数Rect_Rが掛かっているため、上記式は成立しない。ただし、高速フーリエ逆変換後の画像98の光複素振幅は、近似的に、
F_V1-1{Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}}}≒A_SR(X、Y)×Φ_R(X、Y)
と表せる。A_SR(X、Y)は、超解像成分を含んでいる。
【0060】
計算部96は、仮想ランダム拡散板107の透過関数Φ_V1(X、Y)を、高速フーリエ逆変換後の画像98の光複素振幅A_SR(X、Y)×Φ_R(X、Y)に乗算する(A_SR(X、Y)×Φ_R(X、Y)×Φ_V1(X、Y))。前述のように、Φ_V1(X、Y)はΦ_R(X、Y)と位相共役の関係を有し、Φ_R(X、Y)×Φ_V1(X、Y)=1である。このため、計算後の画像99の光複素振幅は、結局A_SR(X、Y)となる。このように、生成部82が実施する計算処理は、「拡散部材の透過関数の位相共役関数」の一例である仮想ランダム拡散板107の透過関数Φ_V1(X、Y)を含む。
【0061】
高速フーリエ逆変換部97は、仮想フーリエ変換レンズ108の複素フーリエ逆変換関数F_V1-1{*}を用いて、計算後の画像99に対して高速フーリエ逆変換を施す。これにより第1中間画像88が生成される。第1中間画像88の光複素振幅は、
F_V1-1{A_SR(X、Y)}=a_SR(x、y)
と表せる。
【0062】
図12は、第1中間画像生成部85の処理と等価な第1仮想光学系105を示す。第1仮想光学系105は、仮想フーリエ変換レンズ106、仮想ランダム拡散板107、および仮想フーリエ変換レンズ108で構成される。仮想フーリエ変換レンズ106の作用は、高速フーリエ逆変換部95の処理と等価である。仮想ランダム拡散板107の作用は、計算部96の処理と等価である。仮想フーリエ変換レンズ108の作用は、高速フーリエ逆変換部97の処理と等価である。
【0063】
図13および
図14に示すように、第2中間画像生成部86は、高速フーリエ変換部110、計算部111、高速フーリエ変換部112、計算部113、高速フーリエ逆変換部114、計算部115、および高速フーリエ逆変換部116を有している。
【0064】
図13に示すように、高速フーリエ変換部110は、仮想フーリエ変換レンズ131の複素フーリエ変換関数F_V2{*}を用いて、基準画像61に対して高速フーリエ変換を施す。高速フーリエ変換後の画像117の光複素振幅は、
F_V2{b_R(x、y)}=B_R(X、Y)
と表せる。なお、基準画像61は、部分透過マスク29の透過部35に収まるように集光された被計測物体15の入力光波を計測したものであるため、高速フーリエ変換部110に入力される前に、光複素振幅画像54と同じサイズに変更されている。
【0065】
計算部111は、仮想ランダム拡散板132の透過関数Φ_V2(X、Y)を、高速フーリエ変換後の画像117の光複素振幅B_R(X、Y)に乗算する。計算後の画像118の光複素振幅は、
B_R(X、Y)×Φ_V2(X、Y)
と表せる。
【0066】
高速フーリエ変換部112は、仮想フーリエ変換レンズ133の複素フーリエ変換関数F_V2{*}を用いて、計算後の画像118に対して高速フーリエ変換を施す。高速フーリエ変換後の画像119の光複素振幅は、
F_V2{B_R(X、Y)×Φ_V2(X、Y)}
と表せる。
【0067】
図14において、計算部113は、仮想部分透過マスク134の透過関数Rect_V{*}を用いて、高速フーリエ変換後の画像119に対して、部分透過マスク29と等価な計算を施す。計算後の画像120の光複素振幅は、
Rect_V{F_V2{B_R(X、Y)×Φ_V2(X、Y)}}
と表せる。
【0068】
高速フーリエ逆変換部114は、第1中間画像生成部85の高速フーリエ逆変換部95と同様に、仮想フーリエ変換レンズ106の複素フーリエ逆変換関数F_V1-1{*}を用いて、計算後の画像120に対して高速フーリエ逆変換を施す。
【0069】
第1中間画像生成部85の場合と同様に、高速フーリエ逆変換後の画像121の光複素振幅は、近似的に、
F_V1-1{Rect_V{F_V2{B_R(X、Y)×Φ_V2(X、Y)}}}≒B_NSR(X、Y)×Φ_V2(X、Y)
と表せる。B_NSR(X、Y)は、超解像成分を含んでいない。
【0070】
計算部115は、仮想ランダム拡散板107の透過関数Φ_V1(X、Y)を、高速フーリエ逆変換後の画像121の光複素振幅B_NSR(X、Y)×Φ_V2(X、Y)に乗算する(B_NSR(X、Y)×Φ_V2(X、Y)×Φ_V1(X、Y))。前述のように、Φ_V1(X、Y)はΦ_R(X、Y)と位相共役の関係を有し、また、Φ_V2(X、Y)はΦ_R(X、Y)と等価である。このため、Φ_V2(X、Y)×Φ_V1(X、Y)=1となり、計算後の画像122の光複素振幅は、結局B_NSR(X、Y)となる。
【0071】
高速フーリエ逆変換部116は、仮想フーリエ変換レンズ108の複素フーリエ逆変換関数F_V1-1{*}を用いて、計算後の画像122に対して高速フーリエ逆変換を施す。これにより第2中間画像89が生成される。第2中間画像89の光複素振幅は、
F_V1-1{B_NSR(X、Y)}=b_NSR(x、y)
と表せる。
【0072】
図15は、第2中間画像生成部86の処理と等価な第2仮想光学系130を示す。第2仮想光学系130は、第1仮想光学系105の仮想フーリエ変換レンズ106、仮想ランダム拡散板107、および仮想フーリエ変換レンズ108に加えて、仮想フーリエ変換レンズ131、仮想ランダム拡散板132、仮想フーリエ変換レンズ133、および仮想部分透過マスク134で構成される。仮想フーリエ変換レンズ131の作用は、高速フーリエ変換部110の処理と等価である。仮想ランダム拡散板132の作用は、計算部111の処理と等価である。仮想フーリエ変換レンズ133の作用は、高速フーリエ変換部112の処理と等価である。仮想部分透過マスク134の作用は、計算部113の処理と等価である。
【0073】
仮想フーリエ変換レンズ131、仮想ランダム拡散板132、仮想フーリエ変換レンズ133、および仮想部分透過マスク134は、実光学系12のフーリエ変換レンズ26、ランダム拡散板22、フーリエ変換レンズ27、および部分透過マスク29と等価である。すなわち、第2中間画像生成部86の高速フーリエ変換部110、計算部111、高速フーリエ変換部112、および計算部113の処理は、実光学系12の光複素振幅画像取得光路20の作用を仮想化した処理に等しい。
【0074】
図16に示すように、減算部87は、第1中間画像88の光複素振幅a_SR(x、y)から、第2中間画像89の光複素振幅b_NSR(x、y)を減算する。より詳しくは、a_SR(x、y)とb_NSR(x、y)の実数部同士および虚数部同士を減算する。これにより、元の入力画像50の光複素振幅a_R(x、y)とb_R(x、y)の実数部同士および虚数部同士を減算したものに近似した出力画像76(O(x、y))を得ることができる。すなわち、
Re{a_R(x、y)-b_R(x、y)}≒Re{a_SR(x、y)-b_NSR(x、y)}
Im{a_R(x、y)-b_R(x、y)}≒Im{a_SR(x、y)-b_NSR(x、y)}
である。なお、Re{*}は実数部、Im{*}は虚数部をそれぞれ表す。
【0075】
より詳しくは、出力画像76(O(x、y))は、
O(x、y)=C×{a_SR(x、y)-b_NSR(x、y)}+b_R(x、y)
により得られる。
【0076】
なお、Cは規格化定数である。規格化定数Cは、ランダム拡散板22で拡散された入力光波の一部を、部分透過マスク29により取り込んでセンサ13で計測している関係上、ランダム拡散板22で拡散させずに基準画像61を得る場合とでは強度が大幅に異なる分を補正するための定数である。規格化定数Cは、中心(x0、y0)に点光源a_R(x0、y0)を置いた場合に、第1中間画像88の光複素振幅a_SR(x0、y0)の強度がどれだけ減少するかを事前に調べることで得られる。すなわち、
C2={a_R(x0、y0)}2/{a_SR(x0、y0)}2
規格化定数Cは、RW制御部81によりストレージデバイス65に記憶される。また、規格化定数Cは、RW制御部81によりストレージデバイス65から読み出され、減算部87に出力される。
【0077】
第1実施形態においては、出力画像76を生成するための計算処理は、第1中間画像生成部85において、
図10で示した、仮想フーリエ変換レンズ106、108の複素フーリエ逆変換関数F_V1
-1{*}、仮想ランダム拡散板107の透過関数Φ_V1(X、Y)を用いて第1中間画像88を生成する処理、第2中間画像生成部86において、
図10で示した全ての伝達関数を用いて第2中間画像89を生成する処理、および減算部87において、第1中間画像88から第2中間画像89を減算した画像に基づいて、出力画像76を生成する処理が対応する。
【0078】
次に、上記構成による作用について、
図17に示すフローチャートを参照して説明する。まず、被計測物体15がステージ11にセットされる(ステップST100)。そして、
図2で示したように、シャッタ36が退避位置、シャッタ37が進入位置とされ、被計測物体15の入力光波が光複素振幅画像取得光路20に導かれる(ステップST110)。
【0079】
被計測物体15の入力光波は、フーリエ変換レンズ26を透過し、フーリエ変換レンズ26により複素フーリエ変換される。複素フーリエ変換後の入力光波は、ランダム拡散板22を透過し、ランダム拡散板22により拡散される。拡散された入力光波は、フーリエ変換レンズ27を透過し、フーリエ変換レンズ27により複素フーリエ変換される。複素フーリエ変換後の入力光波は、部分透過マスク29の透過部35を透過して、センサ13に至る。これによりセンサ13から光複素振幅画像54が出力される(ステップST120)。
【0080】
光複素振幅画像54は、センサ13から画像取得部80に送られ、画像取得部80にて取得される。そして、RW制御部81によりストレージデバイス65に記憶される(ステップST130)。
【0081】
続いて
図3で示したように、シャッタ36が進入位置、シャッタ37が退避位置とされ、被計測物体15の入力光波が基準画像取得光路21に導かれる(ステップST140)。
【0082】
被計測物体15の入力光波は、レンズ31、32を透過し、レンズ31、32により部分透過マスク29の透過部35に収まるサイズに集光される。集光された被計測物体15の入力光波は、部分透過マスク29の透過部35を透過して、センサ13に至る。これによりセンサ13から基準画像61が出力される(ステップST150)。
【0083】
基準画像61は、センサ13から画像取得部80に送られ、画像取得部80にて取得される。そして、RW制御部81によりストレージデバイス65に記憶される(ステップST160)。
【0084】
RW制御部81により、ストレージデバイス65から光複素振幅画像54および基準画像61が読み出され、生成部82に出力される。生成部82においては、
図11および
図12で示したように、第1中間画像生成部85によって第1中間画像88が生成される(ステップST170)。また、
図13~
図15で示したように、第2中間画像生成部86によって第2中間画像89が生成される(ステップST180)。第1中間画像88および第2中間画像89は、減算部87に出力される。
【0085】
図16で示したように、減算部87によって、第1中間画像88から第2中間画像89が減算され、出力画像76が生成される(ステップST190)。より詳しくは、第1中間画像88から第2中間画像89を減算したものに規格化定数Cが乗算され、さらに基準画像61が加算されることで、出力画像76が生成される。出力画像76は、減算部87からRW制御部81に送られ、RW制御部81によりストレージデバイス65に記憶される(ステップST200)。ストレージデバイス65に記憶された出力画像76は、通信部68を介して他の装置に送信されたり、ディスプレイ69に表示されたりする。
【0086】
以上説明したように、超解像計測装置10は、実光学系12と、センサ13と、生成部82とを備える。実光学系12は、被計測物体15の入力光波を拡散させるランダム拡散板22、および拡散された入力光波を部分的に透過させる部分透過マスク29を含む。センサ13は、部分透過マスク29を透過した入力光波の強度と位相を計測して、光複素振幅画像54を出力する。生成部82は、センサ13の解像度を超える解像度の成分である超解像成分を含む被計測物体15の入力光波を、光複素振幅画像54から再生する計算処理であって、ランダム拡散板22の透過関数の位相共役関数Φ_V1(X、Y)を含む計算処理をコンピュータ上で施して、出力画像76を生成する。部分透過マスク29によって、センサ13に入射する被計測物体15の入力光波を制限するので、超解像の出力画像76に生じる画質劣化を低減することが可能となる。
【0087】
部分透過マスク29によれば、ランダム拡散板22によって拡散された被計測物体15の入力光波が制限される。そして、この制限された入力光波を、基準画像61を得る場合と同じ解像度で、センサ13を用いて計測する。このため、より細かな入力光波の波面の変化を取得することができる。換言すれば、入力画像50を等倍で撮影した場合と比較すると、等価的に2倍あるいは4倍高い解像度で撮影していることになる。超解像成分は、より細かな入力光波の波面の変化の中に織り込まれている。したがって、部分透過マスク29によって被計測物体15の入力光波を制限することで、超解像成分を効率的に得ることが可能となる。
【0088】
生成部82は、光複素振幅画像54から第1中間画像88を生成し、基準画像61から第2中間画像89を生成する。そして、第1中間画像88から第2中間画像89を減算した画像に基づいて、出力画像76を生成する。
【0089】
図18に概念的に示すように、第1中間画像88は、超解像成分に加えてノイズ成分を含んでいる。ノイズ成分は、主として、センサ13の大きさおよび解像度が有限であることによる計測エラーに起因する。計測エラーは、入力画像50をランダム拡散板22で拡散しているため、顕著に現れる。ノイズ成分は、上記の計測エラーに加えて、高速フーリエ逆変換部95、計算部96等の処理のエラー、および部分透過マスク29の透過部35を透過した入力光波に加わる歪み等にも起因する。対して第2中間画像89は、超解像成分は含んでいないが、ノイズ成分は含んでいる。このため、第1中間画像88から第2中間画像89を減算することで、第1中間画像88からノイズ成分のみを取り除くことができる。したがって、出力画像76の画質劣化をさらに低減させることができる。
【0090】
実光学系12は、ランダム拡散板22を経てセンサ13に至る光複素振幅画像取得光路20と、ランダム拡散板22を通さずにセンサ13に至る基準画像取得光路21とを有する。したがって、光複素振幅画像54と基準画像61を短時間で簡単に得ることができる。
【0091】
光複素振幅画像取得光路20のランダム拡散板22よりも被計測物体15側から、基準画像取得光路21が分岐している。また、光複素振幅画像取得光路20のランダム拡散板22よりもセンサ13側で、基準画像取得光路21が合流している。したがって、光複素振幅画像取得光路20用と基準画像取得光路21用に2台のセンサ13を用意する必要がなく、1台のセンサ13で賄うことができる。
【0092】
基準画像取得光路21においては、レンズ31、32によって、被計測物体15の入力光波が部分透過マスク29の透過部35に収まるサイズに集光される。したがって、基準画像取得光路21を用いて基準画像61を得る場合に、部分透過マスク29を光路から退避させ、光複素振幅画像取得光路20を用いて光複素振幅画像54を得る場合には、部分透過マスク29を光路に戻す機構を設ける必要がない。実光学系12に掛かる部品コストの増大、および実光学系12の大型化を避けることができる。
【0093】
実光学系12は、入力光波をランダムに拡散させるランダム拡散板22を拡散部材として用いている。したがって、被計測物体15の入力光波を、センサ13のより多数のピクセル40に入射させることができ、出力画像76に含まれる超解像成分をより多くすることができる。
【0094】
[実施例1]
以下では、上記第1実施形態の超解像計測装置10の数値シミュレーションに基づく実施例1を示す。
【0095】
図19は、実施例1における各種パラメータを示す表140である。使用光波長は、センサ13の光源から発せられる光の波長であり、532nmである。入力光波のピクセル数は512×512、ピクセルサイズは20μmである。入力光波に対する計算上のオーバーサンプリングレートは4、ゼロパディングレートは2である。ランダム拡散板22のピクセル数は4096×4096、ピクセルサイズは5μm、位相階調は256である。センサ13のピクセル数は256×256、ピクセルサイズは5μmである。入力光波のピクセル数が512×512、センサのピクセル数が256×256であるので、入力画像50はセンサ13の4倍の解像度を有していることになる。なお、以下の実施例2および実施例3においても、これら各種パラメータは踏襲される。
【0096】
図20に、実施例1で用いた入力画像50(a_R(x、y))の一例を示す。
図20Aは入力画像50の強度画像50AM、
図20Bは入力画像50の位相画像50PHをそれぞれ示す。入力画像50は、強度画像50AMによって示すように、白地の中心部分と左隅部分に微小なマーク145が付された画像である。マーク145は、黒地の点を黒地の正方形状の枠で囲んだものである。なお、
図20Aの符号146は強度スケール、
図20Bの符号147は位相スケールをそれぞれ示す。
【0097】
図21は、
図20で示した入力画像50を、
図2で示したように光複素振幅画像取得光路20を用いてセンサ13で計測して得られた光複素振幅画像54(Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}})である。
図21Aは光複素振幅画像54の強度画像54AM、
図21Bは光複素振幅画像54の位相画像54PHをそれぞれ示す。中央の正方形状の領域は、部分透過マスク29の透過部35を透過した部分を示す。透過部35は、入力画像50の(1/8)×(1/8)のサイズである。
【0098】
図22は、
図21で示した光複素振幅画像54に対して、
図11および
図12で示した処理を施して生成された第1中間画像88(a_SR(x、y))を示す。
図22Aは第1中間画像88の強度画像88AM、
図22Bは第1中間画像88の位相画像88PHをそれぞれ示す。第1中間画像88は、もはや入力画像50の原形をとどめていないが、超解像成分を含んでいる。また、第1中間画像88は、ノイズ成分も含んでいる。
【0099】
図23は、
図3で示したように基準画像取得光路21を用いてセンサ13で計測して得られた基準画像61(b_R(x、y))である。
図23Aは基準画像61の強度画像61AM、
図23Bは基準画像61の位相画像61PHをそれぞれ示す。基準画像61は、センサ13の解像度をそのまま体現した画像であって、入力画像50に含まれる超解像成分が欠落した画像である。このため、基準画像61は、
図20で示した入力画像50と比べて、マーク145の輪郭が不鮮明な画像、あるいはマーク145自体が映っていない画像となる。
【0100】
図24は、
図23で示した基準画像61に対して、
図13~
図15で示した処理を施して生成された第2中間画像89(b_NSR(x、y))である。
図24Aは第2中間画像89の強度画像89AM、
図24Bは第2中間画像89の位相画像89PHをそれぞれ示す。第1中間画像88と同じく、第2中間画像89も、もはや基準画像61の原形をとどめていないが、ノイズ成分を含んでいる。
【0101】
図25は、
図22で示した第1中間画像88から、
図24で示した第2中間画像89を減算した画像(以下、減算画像という)148である。
図25Aは減算画像148の強度画像148AM、
図25Bは減算画像148の位相画像148PHをそれぞれ示す。
【0102】
図26は、
図16で示した処理を施して得られた出力画像76(O(x、y))である。
図26Aは出力画像76の強度画像76AM、
図26Bは出力画像76の位相画像76PHをそれぞれ示す。
図26によれば、マーク145が、強度、位相ともに精度よく再現されていることが分かる。
【0103】
図27に、入力画像50(a_R(x、y))の他の例を示す。
図27Aは入力画像50の強度画像50AM、
図27Bは入力画像50の位相画像50PHをそれぞれ示す。入力画像50は、強度画像50AMによって示すように、黒地の中心部分と左隅部分に微小なマーク150が付された画像である。マーク150は、強度画像50AMによって示すように、正方形状の白地の枠の中央に黒地の横線が引かれたものである。マーク150は、位相画像50PHにおいては、黒地の点を黒地の正方形状の枠で囲んだものとなる。
【0104】
図27に示す入力画像50は、
図20で示した入力画像50と比較して、入力光波中の信号光波(画素値が0でない部分)の占める割合が極端に少ない。こうした入力画像50の場合の基準画像61には、
図28に示す黒のベタ画像が用いられる。こうした黒のベタ画像の基準画像61の光複素振幅b_R(x、y)は0である。
【0105】
図29は、
図27で示した入力画像50を、
図2で示したように光複素振幅画像取得光路20を用いてセンサ13で計測して得られた光複素振幅画像54(Rect_R{F_R{A_R(X、Y)×Φ_R(X、Y)}})である。
図29Aは光複素振幅画像54の強度画像54AM、
図29Bは光複素振幅画像54の位相画像54PHをそれぞれ示す。
図21と同じく、中央の正方形状の領域は、部分透過マスク29の透過部35を透過した部分を示す。
【0106】
この場合の第2中間画像89の光複素振幅b_NSR(x、y)は、基準画像61が
図28で示した黒のベタ画像(b_R(x、y)=0)であるため、0となることは数学的に自明である。したがってこの場合は、
図13~
図15で示した第2中間画像生成部86による処理、および
図16で示した減算部87における処理は行われない。
【0107】
図30は、
図27の入力画像50の場合の出力画像76(O(x、y))である。
図30Aは出力画像76の強度画像76AM、
図30Bは出力画像76の位相画像76PHをそれぞれ示す。
図30によれば、
図26の場合と同じく、入力画像50のマーク150が、強度、位相ともに精度よく再現されていることが分かる。
【0108】
以上示したように、上記第1実施形態の超解像計測装置10を用いれば、超解像の出力画像76に生じる画質劣化を低減することが可能、という効果を奏することを実証することができた。
【0109】
【0110】
図31に示す実光学系160は、実光学系12と同じく、光複素振幅画像取得光路161のランダム拡散板22よりも被計測物体15側から、基準画像取得光路162が分岐している。ただし、光複素振幅画像取得光路161のランダム拡散板22よりもセンサ13側で、基準画像取得光路162が合流していない。そして、センサ13は、光複素振幅画像取得光路161用のセンサ13Aと基準画像取得光路162用のセンサ13Bの2台設けられている。なお、センサ13Aの計測ピクセル数(解像度)と、センサ13Bの計測ピクセル数(解像度)は等しい。
【0111】
光複素振幅画像取得光路161は、ビームスプリッタ28およびシャッタ36が配置されていない以外は、実光学系12の光複素振幅画像取得光路20と同じ構成である。対して基準画像取得光路162は、実光学系12の基準画像取得光路21とは根本的に異なる構成である。より詳しくは、基準画像取得光路162は、ミラー33およびシャッタ37が配置されていない。また、レンズ163、164は、実光学系12の基準画像取得光路21のレンズ31、32のような、被計測物体15の入力光波を、部分透過マスク29の透過部35に収まるサイズに集光する作用を有するレンズではない。
【0112】
実光学系160によれば、実光学系12のように、シャッタ36、37、およびシャッタ36、37を進入位置と退避位置に移動させる機構を設けずに済む。また、特別な作用を有するレンズ31、32を使わずに済む。さらに、光複素振幅画像54と基準画像61を同時に得ることができる。
【0113】
図32に示す実光学系170は、光複素振幅画像取得光路171と基準画像取得光路172とが兼用されている。ランダム拡散板22および部分透過マスク29は、光複素振幅画像取得光路171および基準画像取得光路172内に進入した実線で示す進入位置と、光複素振幅画像取得光路171および基準画像取得光路172から退避した破線で示す退避位置とに移動される。
図32に示す、ランダム拡散板22および部分透過マスク29が進入位置にある場合は、光複素振幅画像取得光路171として機能する。一方、ランダム拡散板22および部分透過マスク29が退避位置にある場合は、基準画像取得光路172として機能する。
【0114】
実光学系170によれば、実光学系12のビームスプリッタ25、28、ミラー30、33といった光学部材は一切必要なくなる。また、実光学系12のように、シャッタ36、37、およびシャッタ36、37を進入位置と退避位置に移動させる機構を設けずに済む。さらに、実光学系12と同じく、1台のセンサ13で賄うことができる。
【0115】
なお、基準画像61を予め用意することが可能な場合は、基準画像取得光路21を用いて基準画像61を得る工程は不要である。基準画像61を予め用意することが可能な場合は、
図28で示した黒のベタ画像を基準画像61とする場合が考えられる。あるいは、鏡面加工した製品の表面の、センサ13の解像度では判別不可能な微細なキズを検出する製品欠陥検査に、超解像計測装置10を用いる場合も考えられる。この場合は、キズがない場合の製品の設計データが存在するため、当該設計データを基準画像61に転用することが可能である。
【0116】
また、基準画像61を生成し得る実物体が被計測物体15としてある場合は、例えば、実光学系12の光複素振幅画像取得光路20を用いて、基準画像61を生成し得る実物体を被計測物体15として計測してもよい。これにより、センサ13において、Rect_R{F_R{B_R(X、Y)×Φ_R(X、Y)}}で表される画像を得ることができる。この画像は、第2中間画像生成部86の計算部113から出力された、Rect_V{F_V2{B_R(X、Y)×Φ_V2(X、Y)}}で表される画像120と等価である。
【0117】
この基準画像61を生成し得る実物体が被計測物体15としてある場合も、基準画像取得光路21を用いて基準画像61を得る工程は不要である。また、この場合は、前述のように、センサ13においてRect_R{F_R{B_R(X、Y)×Φ_R(X、Y)}}で表される画像を得ることができるので、
図13~
図15で示した第2中間画像生成部86の処理のうち、高速フーリエ変換部110、計算部111、高速フーリエ変換部112、および計算部113の処理は不要である。
【0118】
なお、被計測物体15は、
図20等で例示したような実画像でもよいし、ディスプレイに表示された画像でもよい。
【0119】
ランダム拡散板22は、凹凸面23が形成されたものに限らない。微粒子を含む樹脂が表面に塗布されたものでもよい。要は、被計測物体15の入力光波を十分に拡散することができるものであればよい。また、フーリエ変換レンズ26、27は省略してもよい。
【0120】
部分透過マスク29を、光複素振幅画像取得光路20内に進入した進入位置と、光複素振幅画像取得光路20から退避した退避位置とに移動させてもよい。この場合、光複素振幅画像取得光路20を用いて光複素振幅画像54を得る場合は部分透過マスク29を進入位置に移動させ、基準画像取得光路21を用いて基準画像61を得る場合は部分透過マスク29を退避位置に移動させる。こうすれば、レンズ31、32により、被計測物体15の入力光波を部分透過マスク29の透過部35に収まるサイズに集光させる必要はなくなる。
【0121】
以下に示す第2~第4実施形態は、基準画像61自体を不要とする構成である。
【0122】
[第2実施形態]
図33~
図35に示す第2実施形態では、入力光波の拡散特性を変更可能な空間光変調器182を拡散部材として用いる。
【0123】
図33において、第2実施形態の実光学系180は、フーリエ変換レンズ26、ビームスプリッタ181、空間光変調器182、フーリエ変換レンズ27、および部分透過マスク29を有している。ビームスプリッタ181は、フーリエ変換レンズ26を透過した被計測物体15の入力光波を、空間光変調器182に向けて透過させる。また、ビームスプリッタ181は、空間光変調器182に表示される位相パターンよって位相変調された入力光波を、フーリエ変換レンズ27に向けて90°反射させる。
【0124】
空間光変調器182は、SLM(Spatial Light Modulator)とも呼ばれ、例えば、LCD(Liquid Crystal Display)、LCOS(Liquid Crystal ON Silicon)、DMD(Digital Mirror Device)等で構成される。空間光変調器182は、表示する位相パターンを種々変更することができる。
【0125】
図34において、第2実施形態の生成部185は、上記第1実施形態の生成部82と同様に、センサ13の解像度を超える解像度の成分である超解像成分を含む被計測物体15の入力光波を、光複素振幅画像54から再生する計算処理をコンピュータ上で施して、出力画像76を生成する。すなわち、生成部185は、本開示の技術に係る「仮想光学系」の一例である。
【0126】
生成部185は、中間画像生成部186と加算平均部187とを有する。中間画像生成部186は、上記第1実施形態の第1中間画像生成部85における仮想ランダム拡散板107の透過関数Φ_V1(X、Y)の代わりに、空間光変調器182の透過関数の位相共役関数を用いて、光複素振幅画像54から、上記第1実施形態の第1中間画像88に相当する中間画像188(a_SR(x、y))を生成する。中間画像生成部186は、中間画像188を加算平均部187に出力する。加算平均部187は、中間画像188を加算平均する。加算平均部187は、加算平均した画像を出力画像76として出力する。
【0127】
図35に示すように、第2実施形態においては、空間光変調器182において表示する位相パターンを、位相パターン1、2、3、・・・、Nと変更する。センサ13は、空間光変調器182において表示する位相パターンを変更する度に、光複素振幅画像54_1、54_2、54_3、・・・、54_Nを出力する。中間画像生成部186は、空間光変調器182において表示する位相パターンを変更する度に、中間画像188_1、188_2、188_3、・・・、188_Nを生成する。加算平均部187は、符号189に示すように、中間画像188_1、188_2、188_3、・・・、188_Nを加算する。次いで、加算平均部187は、符号190に示すように、加算した画像をNで除算する。この場合の出力画像76の光複素振幅は、
O(x、y)=(1/N)×Σ(a_SR(x、y))
と表せる。
【0128】
第2実施形態においては、生成部185が実施する、出力画像76を生成するための計算処理は、中間画像生成部186において中間画像188を生成する処理、および加算平均部187において中間画像188の加算平均を算出する処理が対応する。なお、生成部185が実施する計算処理は、「拡散部材の透過関数の位相共役関数」の一例である空間光変調器182の透過関数の位相共役関数を含む。
【0129】
このように、第2実施形態では、入力光波の拡散特性を変更可能な空間光変調器182を拡散部材として用いる。センサ13は、空間光変調器182により拡散特性が変更された複数種の入力光波の光複素振幅を計測して、入力光波の拡散特性が異なる複数の光複素振幅画像54_1~54_Nを出力する。生成部185は、複数の光複素振幅画像54_1~54_Nの各々から中間画像188_1~188_Nを生成し、複数の中間画像188_1~188_Nを加算平均した画像を、出力画像76とする。
【0130】
空間光変調器182において表示する位相パターンを変更する度に、被計測物体15の入力光波が入射するセンサ13のピクセル40の数および/または位置を変更することができる。これにより、光複素振幅画像54_1~54_N、ひいては中間画像188_1~188_Nには、内容が微妙に異なる超解像成分が含まれることになる。そして、こうした中間画像188_1~188_Nの加算平均である出力画像76には、1枚のランダム拡散板22を用いた場合の出力画像76と比べて、鮮明な超解像成分が含まれることになる。したがって、基準画像61を用いずとも、出力画像76に生じる画質劣化を十分に低減することができる。
【0131】
[実施例2]
図36は、上記第2実施形態の数値シミュレーションによる出力画像76の位相画像76PHの例(位相パターンの変更数N=200)である。この位相画像76PHからも分かるように、基準画像61を用いずとも、出力画像76に生じる画質劣化を十分に低減することができている。
【0132】
[第3実施形態]
図37および
図38に示す第3実施形態では、遮光部202が中央部分に設けられたランダム拡散板201を拡散部材として用いる。
【0133】
図37において、第3実施形態の実光学系200は、フーリエ変換レンズ26、ランダム拡散板201、フーリエ変換レンズ27、および部分透過マスク29を有している。
図38にも示すように、ランダム拡散板201の中央部分には、遮光部202が設けられている。この遮光部202によって、フーリエ変換レンズ26による低空間周波数成分がカットされ、フーリエ変換レンズ26による高空間周波数成分のみが拡散される。この場合、センサ13から出力される光複素振幅画像54は、被計測物体15の入力光波の低空間周波数成分が欠落したものとなる。なお、符号203は凹凸面である。
【0134】
第3実施形態の生成部は、仮想ランダム拡散板107の透過関数Φ_V1(X、Y)の代わりに、ランダム拡散板201の透過関数の位相共役関数を用いる他は、上記第1実施形態の第1中間画像生成部85と同じである。このため、第3実施形態の生成部の図示は省略する。第3実施形態の生成部は、上記第1実施形態の生成部82および上記第2実施形態の生成部185と同様に、センサ13の解像度を超える解像度の成分である超解像成分を含む被計測物体15の入力光波を、光複素振幅画像54から再生する計算処理をコンピュータ上で施して、出力画像76を生成する。すなわち、第3実施形態の生成部は、本開示の技術に係る「仮想光学系」の一例である。
【0135】
第3実施形態の生成部は、センサ13から出力された光複素振幅画像54に対して、第1中間画像生成部85と略同じ処理を施す。そして、これにより得られた画像を出力画像76として出力する。第3実施形態においては、生成部が実施する、出力画像76を生成するための計算処理は、光複素振幅画像54に対して行う、第1中間画像生成部85と略同じ処理が対応する。なお、第3実施形態の生成部が実施する計算処理は、「拡散部材の透過関数の位相共役関数」の一例であるランダム拡散板201の透過関数の位相共役関数を含む。
【0136】
このように、第3実施形態では、拡散部材として、被計測物体15側に配されたフーリエ変換レンズ26による低空間周波数成分をカットする遮光部202が、中央部分に設けられたランダム拡散板201を用いる。
【0137】
ここで、超解像成分は、低空間周波数成分にはほとんど含まれておらず、高空間周波数成分に大部分が含まれていると考えられる。例えば
図20で示した入力画像50は、マーク145がない白地の部分は、フーリエ変換レンズ26により低空間周波数成分となり、マーク145の部分は、フーリエ変換レンズ26により高空間周波数成分となると考えられる。このため、超解像成分にほとんど寄与しないと考えられる低空間周波数成分を、遮光部202によってカットすれば、センサ13の解像力のほとんどを高空間周波数成分に割くことができる。したがって、基準画像61を用いずとも、出力画像76に生じる画質劣化を十分に低減することができる。
【0138】
[実施例3]
図39は、上記第3実施形態の数値シミュレーションに用いた入力画像50を示す。
図39Aは入力画像50の強度画像50AM、
図39Bは入力画像50の位相画像50PHをそれぞれ示す。入力画像50は、
図20で示した入力画像50と同じく、白地の中心部分と左隅部分にマーク210が付された画像である。
【0139】
図40は、
図39で示した入力画像50の高空間周波数成分205を示す。
図40Aは高空間周波数成分205の強度画像205AM、
図40Bは高空間周波数成分205の位相画像205PHをそれぞれ示す。高空間周波数成分205においても、マーク210を確認することができる。
【0140】
図41は、
図39で示した入力画像50に対する出力画像76である。
図41Aは出力画像76の強度画像76AM、
図41Bは出力画像76の位相画像76PHをそれぞれ示す。この出力画像76によれば、マーク210が精度よく再現されていることが分かる。
【0141】
[第4実施形態]
図42~
図44に示す第4実施形態では、開口223が中央部分に設けられたランダム拡散板221を拡散部材として用いる。
【0142】
図42において、第4実施形態の実光学系220は、フーリエ変換レンズ26、ランダム拡散板221、集光レンズ222、フーリエ変換レンズ27、および部分透過マスク29を有している。
図43にも示すように、ランダム拡散板221の中央部分には、開口223が設けられている。この開口223によって、フーリエ変換レンズ26による低空間周波数成分が、拡散されることなく透過され、フーリエ変換レンズ26による高空間周波数成分のみが拡散される。集光レンズ222は、開口223を透過した低空間周波数成分を、部分透過マスク29の透過部35に集光する。この場合、センサ13から出力される光複素振幅画像54は、被計測物体15の入力光波の、拡散された高空間周波数成分と、拡散されていない低空間周波数成分とを含むものとなる。なお、符号224は凹凸面である。
【0143】
図44において、第4実施形態の生成部230は、上記第1実施形態の生成部82、上記第2実施形態の生成部185、および上記第3実施形態の生成部と同様に、センサ13の解像度を超える解像度の成分である超解像成分を含む被計測物体15の入力光波を、光複素振幅画像54から再生する計算処理をコンピュータ上で施して、出力画像76を生成する。すなわち、生成部230は、本開示の技術に係る「仮想光学系」の一例である。
【0144】
生成部230は、成分分離部231、第1処理部232、第2処理部233、および合成部234を有する。成分分離部231は、センサ13から出力された光複素振幅画像54の高空間周波数成分205と低空間周波数成分235とを分離する。成分分離部231は、高空間周波数成分205を第1処理部232、低空間周波数成分235を第2処理部233にそれぞれ出力する。
【0145】
第1処理部232は、光複素振幅画像54の高空間周波数成分205に対して、第1中間画像生成部85と略同じ処理を施す。そして、これにより得られた処理済み高空間周波数成分205PRを合成部234に出力する。同様に、第2処理部233は、光複素振幅画像54の低空間周波数成分235に対して、第1中間画像生成部85と略同じ処理を施す。そして、これにより得られた処理済み低空間周波数成分235PRを合成部234に出力する。第1処理部232および第2処理部233は、仮想ランダム拡散板107の透過関数Φ_V1(X、Y)の代わりに、ランダム拡散板221の透過関数の位相共役関数を用いる。
【0146】
合成部234は、処理済み高空間周波数成分205PRと処理済み低空間周波数成分235PRを合成し、合成した画像を出力画像76として出力する。
【0147】
第4実施形態においては、生成部230が実施する、出力画像76を生成するための計算処理は、成分分離部231において光複素振幅画像54の高空間周波数成分205と低空間周波数成分235とを分離する処理、第1処理部232において高空間周波数成分205に対して行う、第1中間画像生成部85と略同じ処理、第2処理部233において低空間周波数成分235に対して行う、第1中間画像生成部85と略同じ処理、および合成部234において処理済み高空間周波数成分205PRと処理済み低空間周波数成分235PRを合成する処理が対応する。なお、生成部230が実施する計算処理は、「拡散部材の透過関数の位相共役関数」の一例であるランダム拡散板221の透過関数の位相共役関数を含む。
【0148】
このように、第4実施形態では、被計測物体15側に配されたフーリエ変換レンズ26による低空間周波数成分を透過する開口223が、中央部分に設けられたランダム拡散板221を拡散部材として用いる。そして、開口223を透過した低空間周波数成分を、部分透過マスク29の透過部35に集光する集光レンズ222を、実光学系220に配する。
【0149】
フーリエ変換レンズ26による低空間周波数成分は、超解像成分をほとんど含んでいないとはいえ、被計測物体15の入力光波の一部であることに変わりはない。このため、本第4実施形態では、上記第3実施形態においてカットしていた低空間周波数成分を、開口223および集光レンズ222によってセンサ13に取り込んでいる。ただし、低空間周波数成分を、高空間周波数成分と同じようにランダム拡散板221によって拡散させてしまうと、ただでさえ少ないセンサ13の解像力が、低空間周波数成分で無駄に使われてしまう。そこで、本第4実施形態では、低空間周波数成分を透過させる開口223をランダム拡散板221に形成し、低空間周波数成分を拡散させずにセンサ13に導いている。したがって、基準画像61を用いずとも、出力画像76に生じる画質劣化を十分に低減することができる。
【0150】
上記各実施形態で示した、透過部35が穴で形成された部分透過マスク29は一例であり、これに限定されない。
図45に示す部分透過マスク240のように、周辺を遮光性の材料でコーティングし、中央部分は遮光性の材料でコーティングせずに透過部241とする態様でもよい。
【0151】
また、透過部は必ずしも部分透過マスクの中央部分に形成されていなくてもよい。例えば
図46に示す部分透過マスク250のように、透過部251が中央部分からずれていてもよい。
【0152】
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。
【0153】
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0154】
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
【0155】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。