(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-13
(45)【発行日】2022-12-21
(54)【発明の名称】イメージング装置及び方法
(51)【国際特許分類】
G01N 21/17 20060101AFI20221214BHJP
【ＦＩ】
G01N21/17 610
【請求項の数】
9
(21)【出願番号】P 2019079588
(22)【出願日】2019-04-18
(65)【公開番号】P2019191175
(43)【公開日】2019-10-31
【審査請求日】2021-12-24
(31)【優先権主張番号】62/663423
(32)【優先日】2018-04-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(72)【発明者】
【氏名】佐藤 いまり
(72)【発明者】
【氏名】島野 美保子
(72)【発明者】
【氏名】アート・スブパアサ
(72)【発明者】
【氏名】浅野 祐太
(72)【発明者】
【氏名】西野 恒
【審査官】清水 靖記
(56)【参考文献】
【文献】特開２０１５－０７７４１５（ＪＰ，Ａ）
【文献】特開２０１６－１３０６６９（ＪＰ，Ａ）
【文献】特開２０１０－０６０３３２（ＪＰ，Ａ）
【文献】Yasuhiro MUKAIGAWA，2010 IEEE Computer Society Coference on Computer Vision and Pattern Recognition，2010年08月05日，153-160
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１
Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／６１
Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０
Ａ６１Ｂ １／００ － Ａ６１Ｂ １／３２
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
Ｓｃｏｐｕｓ
(57)【特許請求の範囲】
【請求項1】
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング装置であって、前記物体の物体表面上の観測される所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に照明を照射するための光源と、
前記観測表面点からの光線の放射輝度を検出するイメージセンサと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するイメージングプロセッサと
を備えるイメージング装置。
【請求項2】
前記光源は、前記観測表面点からの半径によって決定される距離の表面点に入射する複数の表面照射点で照明を照射し、前記複数の表面照射点は、円形リング形状と、円形リング形状の一部とのうちの１つを形成し、前記イメージングプロセッサは前記半径を変更するように前記光源を制御し、前記半径を変更する前の、前記複数の表面照射点に対応する複数の第１の放射輝度と、前記半径を変更した後の、前記複数の表面照射点に対応する複数の第２の放射輝度とを受信し、
前記各表面照射点毎に第1の放射輝度と第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な複数の放射輝度として計算する
請求項１に記載のイメージング装置。
【請求項3】
前記イメージングプロセッサはさらに、前記物体表面上の前記観測表面点を走査するように、前記光源から照明を照射しかつ、前記イメージセンサを制御してすべての前記観測表面点で各半径の放射輝度を収集することにより、前記物体における表面下散乱光の過渡的な放射輝度を捉えた複数の画像を生成する請求項１に記載のイメージング装置。
【請求項4】
前記イメージングプロセッサは画像メモリをさらに備え、前記イメージングプロセッサは、前記半径を変更する前の第１の半径によって決定される距離の表面点を走査するように、前記光源から照明を照射しかつ、前記イメージセンサを制御して前記観測される点で前記第１の半径の複数の放射輝度を収集して前記画像メモリに格納し、
前記イメージングプロセッサは、前記半径を変更した後の第２の半径によって決定される距離の表面点を走査するように、前記光源から照明を照射しかつ、前記イメージセンサを制御して前記観測される点で前記第２の半径の複数の放射輝度を収集して前記画像メモリに格納し、
前記複数の第１の放射輝度の平均値と前記複数の第２の放射輝度の平均値との差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、前記物体における表面下散乱光の過渡的な放射輝度を捉えた複数の画像を生成する
請求項３記載のイメージング装置。
【請求項5】
前記イメージングプロセッサは画像メモリをさらに備え、前記イメージングプロセッサは、すべての前記観測表面点を走査するように、前記光源から照明を各照射点で照射しかつ、前記イメージセンサを制御してすべての前記観測表面点で放射輝度を収集して前記画像メモリに格納し、
前記格納されたすべての前記観測表面点での放射輝度から、前記半径を変更する前の第１の半径によって決定される距離における各照射点が照射されたときの、所定の各観測表面点における前記複数の第１の放射輝度を抽出し、
前記格納されたすべての前記観測表面点での放射輝度から、前記半径を変更した後の第２の半径によって決定される距離における各照射点が照射されたときの、前記所定の各観測表面点における前記複数の第２の放射輝度を抽出し、
前記所定の各観測表面点において、前記複数の第１の放射輝度の平均値と前記複数の第２の放射輝度の平均値との差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、前記物体における表面下散乱光の過渡的な放射輝度を捉えた複数の画像を生成する
請求項３に記載のイメージング装置。
【請求項6】
前記照明はインパルス照明である請求項１～５のうちのいずれか１つに記載のイメージング装置。
【請求項7】
前記イメージングプロセッサは画像メモリをさらに備え、前記光源は、前記観測表面点からの半径によって決定される複数の距離で表面照射点上にリング形状照明を照射し、前記イメージングプロセッサは、前記半径を変化させるように前記光源を制御することによって、前記物体の物体表面上の複数の画素を有する画像データを検出して前記画像メモリに格納し、
前記イメージングプロセッサは、前記画像メモリに格納された画像データから、前記半径を変更する前の複数の第１の放射輝度と、前記半径を変更した後の複数の第２の放射輝度とを抽出し、前記複数の第１の放射輝度と前記複数の第２の放射輝度との差を、前記観測表面点における放射輝度として計算し、
前記イメージングプロセッサはさらに、前記観測表面点を走査するように、前記イメージセンサを制御し、すべての前記観測表面点の各半径に対する複数の放射輝度を収集することにより、前記物体における表面下散乱光の過渡的な放射輝度を捉えた複数の画像を生成する
請求項３に記載のイメージング装置。
【請求項8】
前記イメージング装置は、複数の色放射輝度の複数の相違に基づいてマルチカラー層の物体色復元を行うために設けられ、前記イメージングプロセッサは、前記物体における表面散乱光の複数の過渡的な放射輝度を捉えた色画像を取得し、前記色画像の複数の平均色度を計算し、前記色画像の平均色度が所定のしきい値によって異なるように、異なる色を有する複数の色画像を選択して出力する
請求項３～７のうちのいずれか１つに記載のイメージング装置。
【請求項9】
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング方法であって、前記物体の物体表面上の所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に光源の照明を照射するステップと、
前記観測表面点からの光線の放射輝度を検出するステップと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するステップと
を含むイメージング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、過渡的表面下散乱を捕捉することによって物体内面の光輸送を画像化するためのイメージング装置及び方法に関する。
【背景技術】
【0002】
最近、現実世界のシーンの過渡的な光輸送を捉えるための多くのアプローチが提案されている。これらの過渡画像化方法の多くは、ピコ秒からフェムト秒の範囲で光の時間又は超高速カメラを用いて時間的光輸送を直接サンプリングし、反射及び相互反射を含む大規模な光輸送事象の分離を可能にする。しかしながら、これらの方法は、表面下散乱が、時間的尺度がはるかに小さくその結果として外部からの公然とアクセスできない光学的事象を支配する内面での光輸送を捕捉するために、使用することはできない。
【0003】
最近のいくつかの研究は、表面下散乱の光輸送解析に関するものである。非特許文献１には、その最上の界面としての物体表面に高周波照明を照射した当該表面の側断面を直接観測することにより、表面下散乱によるｎ回バウンスのイメージング、すなわち、表面下粒子による増分バウンス光のイメージングを実現する方法が発明されている。ここで、予め決定された分析散乱モデルのパラメータは、観測から再帰的に推定されて、ｎ回バウンスを受けた光の寄与を計算する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０８０３９３号公報
【非特許文献】
【0005】
【文献】Mukaigawa, Y. et al., "Analysis of light transport in scattering media," Proceeding of IEEE Computer Vision and Pattern Recognition, June 2010;
【文献】Tanaka, K. et al., "Recovering Inner Slices of Layered Translucent Objects by Multi-frequency Illumination," Proceeding of IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. 39, No. 4, April 2017, pp. 746-757;
【文献】Narasimhan, S. et al., "Shedding Light on the Weather," Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, June (2003, pp. 665-672;
【文献】Redo-Sanchez, A. et al., "Terahertz time-gated spectral imaging for content extraction through layered structures," Nature Communications, September 2016;
【文献】Narasimhan, S. et al., "Acquiring Scattering Properties of Participating Media by Dilution," Proceeding of ACM Transactions on Graphics, Vol. 25, No. 3, July 2006, pp. 1003-1012;
【文献】Gkioulekas, I. et al., "An evaluation of computational imaging techniques for heterogeneous inverse scattering," Proceeding of European Conference on Computer Vision, Part III, October 2016, pp. 685-701; and
【文献】Jakob, W. "ミツバ: Physically based renderer 0.5.0.,"［インターネット検索］，２０１８年３月２６日検索，URL: http://www.ミツバ-renderer.org/, 2014
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献１の方法は、実際の光の伝播を深く観測するために表面を物理的にスライスすることを必要とし、特定の分析散乱モデルに限定される。その結果、その方法は一般的な表面に適用することができず、未知の材料の均質な表面さえも排除する。
【0007】
非特許文献２では、対象物体の上から見た表面の見え方を深さの異なる数層に復元する方法が提案されている。物体表面は様々なピッチの高周波照明で捉えられ、その直接成分画像はその後、各深度に対応する既知のカーネルでぼけ補正される。この方法では、離散的な深さでテクスチャが目立つ特別なものを除いて、内面の詳細な光輸送を捉えるための使用を妨げる以下のいくつかの前提がある。第一に、外部光源で捕捉された表面下の光輸送は、それらが使用する放射伝達モデル（非特許文献３参照）では表現できず、散乱媒体（すなわち表面）に浸された光源にしか適用できず、入射光の散乱を説明できない。第二に、彼らの方法が仮定しているものとは異なり、表面下散乱の深さに依存した外観は、独特のテクスチャパターンを生じさせず、その成分周波数も高周波照明と絡み合わないほど明瞭ではない。最近になって、非特許文献４では、テラヘルツ時間領域分光法を用いたサブピコ秒イメージングによる同様の離散層抽出が実証されているが、この方法は特別なイメージングハードウェアを必要とするという問題点があった。
【0008】
また、特許文献１には、空間符号化法等で表される縞模様をプロジェクタ等の照射手段により測定対象に照射し、３次元座標を、反射光がイメージング手段によって観測される位置に基づいて三角測量法により計算する三次元形状測定装置が開示されている。このような装置では、三次元座標の測定精度は測定対象物の材質に大きく依存する。また、縞模様を用いるため構成が複雑になるという不都合がある。
【0009】
本発明の目的は以上の問題点を解決し、従来よりも簡単な構成で、不均一な被写体面であっても従来よりも高精度に撮像を行うことができるイメージング装置及び方法を提供することにある。
【課題を解決するための手段】
【0010】
本発明の一態様に係るイメージング装置は、
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング装置であって、
前記物体の物体表面上の観測される所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に照明を照射するための光源と、
前記観測表面点からの光線の放射輝度を検出するイメージセンサと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するイメージングプロセッサと
を備える。
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング装置であって、
前記物体の物体表面上の観測される所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に照明を照射するための光源と、
前記観測表面点からの光線の放射輝度を検出するイメージセンサと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するイメージングプロセッサと
を備える。
【0011】
また、本発明の別の一態様に係るイメージング方法は、
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング方法であって、
前記物体の物体表面上の所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に光源の照明を照射するステップと、
前記観測表面点からの光線の放射輝度を検出するステップと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するステップと
を含む。
観測すべき物体における過渡的な表面下散乱光を捕捉して内面光伝搬を画像化するイメージング方法であって、
前記物体の物体表面上の所定の観測表面点から所定の半径だけ離れた少なくとも１つの表面照射点に光源の照明を照射するステップと、
前記観測表面点からの光線の放射輝度を検出するステップと、
前記半径を変更するように前記光源を制御し、前記半径を変更する前の第１の放射輝度と、前記半径を変更した後の第２の放射輝度とを受信し、前記第１の放射輝度と前記第２の放射輝度との間の差を、前記物体における表面下散乱光の過渡的な放射輝度として計算することにより、当該過渡的な放射輝度を捉えた画像を生成するステップと
を含む。
【発明の効果】
【0012】
本発明に係るイメージング装置及び方法によれば、従来よりも簡単な構成のイメージング装置及び方法を提供することができ、物体表面が不均一であっても従来よりも高精度にイメージングを実行することができる。
【図面の簡単な説明】
【0013】
【図1】本発明に係る一実施形態のイメージング装置により撮影された投光写真（基準）、中心点の可変リング光画像、可変リング光画像及び過渡画像を含む写真である。
【図2A】物体の表面下散乱の等輝度線を示す断面図である。
【図2B】表面下散乱の表面外観が、入射点と観測点との間の表面距離によって自然に制限される様々な経路長を進んだ光線からなることを示す断面図である。
【図2C】表面下の散乱の表面外観を示し、可変リング光を用いて、すなわち、異なる半径の対象となる観測表面点Ｐｏを中心とするリング形状照明で表面を照明することを示す断面図である。
【図2D】可変リング形状照明であって、異なる半径の観測表面点を中心とする円形照明で表面を照明し、それらの差を取ることによって各観測表面点Ｐｏで観測される光の経路長を制限することを示す平面図である。
【図3A】上段がミツバ（非特許文献７参照）によりレンダリングされた画像を、本実施形態の手法の可変リングライトを用いて計算された過渡画像を示す写真であり、下段がミツバによってレンダリングされた各経路長の画像―レンダリング過程の経路長を記録して画像化した画像を示す写真である。
【図3B】上段がミツバ（非特許文献７参照）によりレンダリングされた画像を、本実施形態の手法の可変リングライトを用いて計算された過渡画像を示す写真であり、下段がミツバによってレンダリングされた各経路長の画像―レンダリング過程の経路長を記録して画像化した画像を示す写真である。
【図4A】本発明による一実施形態のイメージング装置１００の概略ブロック図である。
【図4B】二次元形状に配置された複数のＬＥＤによって構成された光源１Ａの正面図である。
【図12】２つの物体の平面図、それらの一部の照明付き写真、及び表面下での光の空間伝搬による過渡画像を含む写真を示す。
【図13】マルチカラー層を有する２つの物体の側面図及び平面図、それらの一部を投光照明した写真、並びに表面下の深さの色の変化による色度を有する過渡画像を含む写真を示す図である。
【図14】５つの物体の平面図、その一部の照明付き写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図15】２つの物体の平面図、それらの投光照明写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図16】２つの物体の平面図、その一部の照明付き写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図17A】４つの物体の平面図、その一部の照明付き写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図17B】４つの物体の平面図、その一部を投光照明した写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図17C】４つの物体の平面図、その一部を投光照明した写真、及び可変リング光イメージングによる過渡画像を含む写真を示す図である。
【図18A】バウンス数ｎに対するパラメータα（ｎ，ｒ）の分布を示すグラフである。
【図18B】バウンス数ｎに対する様々な機能値の分布を示すグラフである。
【図19A】図６のイメージング処理のステップ２Ａにおける処理の補足説明図であって、観測表面点Ｐｏから半径ｒ＋（ｐ－１）Δｒの位置にある複数の表面照射点Ｐｐに対するリング光照射時の観測表面点Ｐｏの放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）を示す平面図である。
【図19B】図６のイメージング処理のステップＳ４Ａにおける処理の補足説明図であって、観測表面点Ｐｏから半径ｒ＋ｐΔｒの位置にある複数の表面照射点Ｐｐに対するリング光照射時の観測表面点Ｐｏの放射輝度Ｌ（ｒ＋ｐΔｒ）を示す平面図である。
【発明を実施するための形態】
【0014】
以下、本発明にかかる実施形態について図面を参照して説明する。なお、同一又は同様の構成要素については同一の符号を付している。
【0015】
１．はじめに．
表面下の散乱は、外部の界面に近い表面内部の光の輸送であり、実世界の表面の外観に大きな影響を与える。入射光が表面下に侵入すると、媒体内の粒子（例えば顔料）を複数回反射する。表面媒体自体による吸収に加えて、これらのバウンスのそれぞれが吸収及び散乱を引き起こし、界面から再出現する光の独特の色及び方向をもたらす。
表面下の散乱は、外部の界面に近い表面内部の光の輸送であり、実世界の表面の外観に大きな影響を与える。入射光が表面下に侵入すると、媒体内の粒子（例えば顔料）を複数回反射する。表面媒体自体による吸収に加えて、これらのバウンスのそれぞれが吸収及び散乱を引き起こし、界面から再出現する光の独特の色及び方向をもたらす。
【0016】
光が長く移動すればするほど、バウンスは増大する。表面下散乱面の外観を一連の画像に復元できる場合、それぞれが限られた範囲の距離（すなわち、経路長）又は確率的に比例して限られた数のバウンスを表面に持ってきた光を捉えるので、その結果は界面下の観測できない内部表面構造について多くを教授できる。
【0017】
図１は、本発明の一実施形態のイメージング装置により撮影された投光写真（基準）、中心点の可変リング光画像、可変リング光画像及び過渡画像を含む写真を示す図である。本実施形態では、図１に示す以下のイメージング法を提案する。イメージング法は、境界内の光路長と比例して限られた数のバウンスを表面内の粒子（すなわち、表面における過渡的な光輸送）一組の光の画像に復元することを可能にする。これらの過渡画像はまとめて表面の内部構造と色を明らかにする。
【0018】
【0019】
イメージング経路長又はバウンス復元光は、主にシーンワイドなグローバル光輸送解析の一部として相互反射のために研究されてきた。表面下散乱は、表面内の光輸送に関するものであるため相互反射とは異なり、はるかに大規模な三次元シーンジオメトリではなく、統計的に分布した粒子によって支配される。前述したように、過去の従来技術の方法はしばしば相互反射に特有の周波数及び幾何学的特性に依存し、過去の従来技術の方法は表面下散乱を復元するために適用することができない。
【0020】
本発明に係る実施形態では、実世界の半透明表面の外観を構成する、表面下散乱復元、経路長（及び比例的にバウンスする）に依存する光の復元のための第１の方法を提案する。非常に高速な光がシーン内で伝搬する様子を、一定時間ごとに直接撮像しようとすると、高い時間分解能を有する特殊なカメラを用いる必要があり、フェムト秒単位で物体表層内などで散乱光が伝搬する様子を撮像することは困難であった。本手法では、光の伝搬を直接的に時間分解するのではなく、その定常状態について、光の伝搬距離を仮想的に制御することにより、その伝搬過程を復元する点が特長である。物体表面下における光の伝搬距離がその光の物体表面における入射点と観測点の間の表面距離（最短経路長）より短くなりえないことに着目している。物体の上から正射照射法で照射されて見られるとき、当該物体表面は、インパルス照明と呼ばれる光を用いて、単一表面点に入射する光の半空間及び最短経路長を画定し、ここで、前記インパルス照明は、入射点から距離ｒ（すなわち、半径ｒ）で観測される。
【0021】
本発明者らは、インパルス照明の距離ｒを変えながら同じ表面点を観測することによって表面下光輸送の光路長がこの距離ｒより短くなりえないことを利用する。任意の表面点でインパルス照明を使用する代わりに、インパルス照明で照らされた表面距離ｒのすべての各表面点の周りの半径ｒのリング光を使用する。本発明者らは可変リング光画像を得ることができ、その各々は異なる半径のリング光で捕捉された各表面点の外観を符号化する。
【0022】
本発明者らは、わずかに異なる半径の２つのリング光画像の差をとることが各表面点で観測される光路長を制限することを示す。言い換えれば、可変リング光画像として捕捉された定常状態の外観から、本発明者らは、様々な程度の表面下散乱を有する表面外観、すなわち、表面下の光輸送の過渡画像を計算する。また、経路長制限過渡画像も表面の近似的及び比例的制限付きｎ回バウンス画像として解釈できることをシミュレーションと解析的近似に基づいて実証的に証明する。
【0023】
本発明者らは、表面点（観測画像領域内の照射画素）の数をＮとすると、Ｎ個のインパルス照明画像を取り込むことによって可変リング光イメージングを実行する。図１に示すように、可変リング光画像と過渡画像を、それらの放射輝度差から合成的に計算する。合成及び実世界の複雑な表面の両方に可変リング光イメージングを適用した場合の広範な実験結果を示す。その結果は、本発明者らが提案した方法が表面下散乱を首尾よく復元することを示し、そして復元した過渡画像がその色変化と一般的不均一表面に対する横方向と深さ方向構成を含む内部表面構造を明らかにする。本発明者らはさらに、過渡画像の違いが異なる深さにおける表面の色を明らかにすることを示す。
【0024】
本発明者らが提案した方法は単純で通常のプロジェクタ（照明照射装置）と撮像カメラだけを必要とする。従来技術に係る方法に対する利点の１つは、物体がモデルフリーであることで、表面下の光輸送について制限的な仮定がないことである。本発明者らの知る限りでは、当該提案した方法は、通常の撮像部品を使用して定常状態の外観の外部観測から内面構造の連続的変動の高密度復元を可能にする最初のものである。可変リング光イメージングは、表面下の散乱を解読し、その結果として表面の内側を視覚的にプロービングするための前例のない手段を提供することによって、過去の過渡イメージング方法、特にシーン全体のグローバル光輸送のバウンス復元方法を補完する。本発明者らが提案した方法は、現実世界のシーンや素材のより豊かな放射分析の理解に新たな道を切り開くものである。
【0025】
２．比較例．
上述したように、非特許文献１の方法では、実際の光の伝播を深く観測するために表面を物理的にスライスする必要があり、特定の分析散乱モデルに限られる。結果として、その方法は、未知の材料の均質なものを含む一般的な表面にも適用することができない。一方、本発明者らが提案した方法は、イメージング設定が観測すべき物体の観測表面に対するいかなる修正も必要とせず、それが当該対象物体に対してモデルフリーであり、任意の表面への適用を可能にすると仮定する。
上述したように、非特許文献１の方法では、実際の光の伝播を深く観測するために表面を物理的にスライスする必要があり、特定の分析散乱モデルに限られる。結果として、その方法は、未知の材料の均質なものを含む一般的な表面にも適用することができない。一方、本発明者らが提案した方法は、イメージング設定が観測すべき物体の観測表面に対するいかなる修正も必要とせず、それが当該対象物体に対してモデルフリーであり、任意の表面への適用を可能にすると仮定する。
【0026】
最近になって、非特許文献４には、テラヘルツ時間領域分光法を用いたサブピコ秒イメージングによる同様の離散層抽出が実証されている。対照的に、本発明者らが提案した方法はモデルフリーであり、表面下光輸送のいかなる周波数特性も想定せず、プロジェクタのイメージングセットアップを用いて、特に表面範囲にわたってかつその色を含むその深さに沿った両方における連続的な外観変化を通常のカメラで復元することを目的とする。当該提案した方法は、本発明者らの知る限りでは最初の知見であって、表面下散乱の過渡光輸送へのアクセスを提供する。結果として得られる境界経路長画像、又は比例近似ｎ回バウンス画像は、広範囲の用途で使用される可能性がある。本発明者らが証明するように、本方法はそれらの色を含む複雑な内部表面下構造を明らかにすることができる。また本方法は、例えば、逆散乱によって表面の材料組成を決定するために潜在的に使用され得る（非特許文献５及び６を参照のこと）。従って、当該提案した方法は、実世界の表面外観の理解に重要な意味を持つと考えています。
【0027】
３．種々のリング光イメージング．
このセクションでは、本発明者らの新しいイメージング手法の研究結果と理論的基盤を説明する。本方法の仮定を明確にした後、最初に当該提案された方法の基礎となる主な観測、すなわち単一のインパルス照明を用いてその入射点から所与の距離で観測される光の表面下散乱の経路長のより少ないバウンスについて議論する。次に、可変リング光を照明として導入し、それらの違いが光路長をどのようにバウンドさせるかについて説明する。従って、本方法によれば、表面内の過渡的な光輸送、つまり表面下散乱の段階的進行を符号化することを特徴としている。
このセクションでは、本発明者らの新しいイメージング手法の研究結果と理論的基盤を説明する。本方法の仮定を明確にした後、最初に当該提案された方法の基礎となる主な観測、すなわち単一のインパルス照明を用いてその入射点から所与の距離で観測される光の表面下散乱の経路長のより少ないバウンスについて議論する。次に、可変リング光を照明として導入し、それらの違いが光路長をどのようにバウンドさせるかについて説明する。従って、本方法によれば、表面内の過渡的な光輸送、つまり表面下散乱の段階的進行を符号化することを特徴としている。
【0028】
３．１．準備．
微視的スケール、すなわち画像画素よりも小さいが波長よりも大きい表面は、媒体と粒子とからなる。入射光線は、外側の界面を透過した後、媒体内を直進し、懸濁粒子にぶつかるたびに、最終的に界面から再び現れるまで散乱する。これらのバウンスのそれぞれは、そのエネルギーの一部が吸収されている間に光線の方向を変える。媒質と粒子の両方による吸収の度合いは波長によって異なり、光線はその移動経路に応じて固有の色を蓄積する。表面点の外観は、表面下でさまざまな回数のバウンスを受けた光線から構成される。
微視的スケール、すなわち画像画素よりも小さいが波長よりも大きい表面は、媒体と粒子とからなる。入射光線は、外側の界面を透過した後、媒体内を直進し、懸濁粒子にぶつかるたびに、最終的に界面から再び現れるまで散乱する。これらのバウンスのそれぞれは、そのエネルギーの一部が吸収されている間に光線の方向を変える。媒質と粒子の両方による吸収の度合いは波長によって異なり、光線はその移動経路に応じて固有の色を蓄積する。表面点の外観は、表面下でさまざまな回数のバウンスを受けた光線から構成される。
【0029】
この表面下散乱により、光は表面内のジグザグ経路を進む。その結果、光線の表面距離、すなわちその入口点と出口点との間の表面上のユークリッド距離は、その光路長、すなわち光線が表面内を移動した実際の幾何学的距離と同じにはならない。光路長は、光路長と媒体の屈折率との積であることに留意されたい。入射光は、境界面の真下を真っ直ぐ進んだ可能性がある。又は、境界面から再び出る前に表面全体を深く伝播した可能性がある。
【0030】
正射影カメラと指向性の光が互いに同一直線上にあり、両方とも対象表面に垂直であるイメージング設定を検討する。以下の理論的考察は、非平行視線及び照明に有効であり、実際には、カメラ及び光源は、各過渡画像に対応する経路長範囲を拡大縮小するだけなので、表面に対して傾けることができる。それにもかかわらず、理論的にも実践的にも単純化するために、ここでは、同一直線上での垂直イメージングのセットアップを想定する。
【0031】
関心のある対象物体の表面は、対象物体の外側界面での相互反射を安全に無視するために平坦であると仮定する。平坦でない表面に対する表面距離は、平坦な表面に対する幾何学的距離に対応する測距距離に対応する。
【0032】
３．２．インパルスの表面下散乱．
画像内の単一の画素に対応する表面点Ｐｐを所定時間照射する指向性光源を考え、これをインパルス照明と呼ぶ。実際には、インパルス照明はプロジェクタ画素と画像画素間の対応と最も細かい解像度を調整することによって達成される。本発明者らが使用するのは通常プロジェクタ画素で、これは後の実際の実験ではおよそ４画素である。
画像内の単一の画素に対応する表面点Ｐｐを所定時間照射する指向性光源を考え、これをインパルス照明と呼ぶ。実際には、インパルス照明はプロジェクタ画素と画像画素間の対応と最も細かい解像度を調整することによって達成される。本発明者らが使用するのは通常プロジェクタ画素で、これは後の実際の実験ではおよそ４画素である。
【0033】
図２Ａは、表面下散乱の等輝度線を示し、図２Ｂは、入射点と観測点との間の表面距離によって自然に制限される様々な経路長を移動した光線からなる表面下散乱の表面外観を示す。図２Ｃは表面下散乱の表面外観を示し、可変リング光を用いて、すなわち、異なる半径の観測表面点Ｐｏを中心とする所定の半径の円形リング形状インパルス照明で表面を照明することを示す。図２Ｄは、可変リング形状の表面照射点Ｐｐと観測表面点Ｐｏを示す平面図である。本実施形態では、対象物体１０の物体表面１０Ｓ上の観測表面点Ｐｏを中心とした異なる半径の可変リング光を用いて、表面照射点Ｐｐを照らし、徐々に増加する対の半径について観測された放射輝度の差を計算することによって、各半径における観測表面点Ｐｏで観測される光の経路長を制限することができる。図２Ａ～図２Ｄにおいて、Ｐｐは、対象物体１０の物体表面１０Ｓ上のインパルス表面照射点を表し、Ｐｏは、物体表面１０Ｓ上の観測表面点を表す。
【0034】
図２Ａは、物体１０内部の表面下散乱放射における輝度分布の等輝度線（等照度線ともいう）を示す。インパルス表面照射点Ｐｐから距離ｒにおける観測表面点Ｐｏの放射輝度は、距離ｒの界面から再び現れる前に物体表面１０Ｓを通って移動した各光線の放射輝度Ｌ（ｒ）の合計Ｅ（ｒ）である。物体表面１０Ｓ上の距離ｒにおける界面個々の光線
を個別に検討することに代えて、光線の長さ
で区別する。
【数1】
【数2】
【0035】
【数3】
【0036】
【数4】
【0037】
ここで、Ｌｐ（ｒ）は、物体表面１０Ｓ上の距離ｒで観測する光線の経路長の集合であり、ｉはｉ番目の光線を表す。
【0038】
ここで、
は光線の入出射点を返す演算子であり、
は光線
が移動した物体表面１０Ｓの距離である。明示的には示されていませんが、このセットには、経路が物体表面１０Ｓで定義された半空間内に含まれる光線のみが含まれる。言い換えれば、図２Ｂが示すように、光線セットＬｐ（ｒ）は、物体表面１０Ｓに入射し、入射点から距離ｒの表面点から出る光線からなる。一般性を失うことなく、インパルス光源は単位放射輝度であり、カメラは線形放射輝度捕捉用に較正されていると仮定する。これで、次式のように、表面下散乱の重要な観測結果を述べる準備が整った。
【数5】
【数6】
【数7】
【0039】
【数8】
【0040】
この観測の証明は簡単である。物体表面１０Ｓ上の２点間の最短経路はそれらの間の測地線である。これは本発明者らの平らな表面の表面距離ｒとして定義され、観測された光は表面から再出現するためにもっと短い距離を進むことはできない。この性質を明示的にするために、式（２）を次式で書き直す。
【0041】
【数9】
【0042】
３．３リング光表面下散乱．
光路長のより少ないバウンスが与えられると、インパルス照明を用いた表面点の観測は、おそらく、本発明者らは、制限された光路長の光（すなわち過渡光）を抽出させる。次のセクションでこの過渡画像計算をどのように正確に達成するかを説明する前に、まずインパルス照明を使用することの基本的な問題について説明する。単一インパルス照明を使用することは、２つの理由で非効率的である。第一に、表面下散乱の放射輝度は光路長と共に指数関数的に減衰し、インパルス表面下散乱から計算された過渡光は忠実度が低い。第二に、特に不均一な表面に対するこれらの過渡光の光路は、距離ｒにおけるどの表面点がインパルス照明に使用されるかに応じて異なる。
光路長のより少ないバウンスが与えられると、インパルス照明を用いた表面点の観測は、おそらく、本発明者らは、制限された光路長の光（すなわち過渡光）を抽出させる。次のセクションでこの過渡画像計算をどのように正確に達成するかを説明する前に、まずインパルス照明を使用することの基本的な問題について説明する。単一インパルス照明を使用することは、２つの理由で非効率的である。第一に、表面下散乱の放射輝度は光路長と共に指数関数的に減衰し、インパルス表面下散乱から計算された過渡光は忠実度が低い。第二に、特に不均一な表面に対するこれらの過渡光の光路は、距離ｒにおけるどの表面点がインパルス照明に使用されるかに応じて異なる。
【0043】
本発明者らは、本発明者らが可変リング光と呼ぶ特別な光源観測構成によってこれらの非効率性を解決する。可変リング光は、異なる半径の一組のリング形状照明パターンを指す。図２Ｃに示すように、関心のある観測表面点Ｐｏから距離ｒである、すべての表面照射点Ｐｐをインパルス照明することを検討する。観測表面点Ｐｏの正規化された放射輝度は、各インパルス光源によるすべての放射輝度値の線形結合として次式で表される。
【0044】
【数10】
【0045】
ここで、Ｋはインパルス発光点の数、すなわち、図２Ｃの右図に示すように距離ｒにある画像画素に対応するプロジェクタ画素である。正規化された可変リング光放射輝度と非正規化されたインパルス照明放射輝度の両方を表すことによって、混乱を避けるために表記Ｅを用いているが、すべてのｋについてｒｋ＝ｒなので、この表記上の上書きは直観的になる。リング形状照明は、パラメータＫによってＳＮＲを改善し、パラメータＫは、より大きい半径ｒと共に増加する。
【0046】
観測表面点Ｐｏを中心としたリング形状照明の下で捕捉された表面下散乱もまた、観測点の空間的近傍における全ての可能な光路を効果的に平均化する。これは、入射インパルス照明の単一の任意の選択された点に依存しないので、観測された表面点を囲む内部構造のよりロバストな観測をもたらす。リング形状照明の中心以外の任意の点（すなわち観測表面点）は、異なる距離の重畳したインパルス表面下散乱を有することになることに留意されたい。本発明者らが考えるのは中心点の放射輝度だけである。実際には、後で実験結果の節で詳述するように、各観測表面点Ｐｏの周りの可変リング光を用いて、すなわち様々な半径のリング形状照明を仮想的に構築することができる。
【0047】
３．４．リング光画像からの過渡画像．
半径ｒよりも距離Δｒだけ大きい半径（ｒ＋Δｒ）のリング形状照明を用いて物体表面１０Ｓを放射することを考えと、次式を得る。
半径ｒよりも距離Δｒだけ大きい半径（ｒ＋Δｒ）のリング形状照明を用いて物体表面１０Ｓを放射することを考えと、次式を得る。
【0048】
【数11】
【0049】
これら２つの組の式（４）及び（６）における光線の実際の具体化は、それらが同じ観測表面点Ｐｏで観測されたとしても、入射点がわずかに異なるので、互いに素である。代わりに、２組の式（４）及び（６）が、表面距離（ｒ＋Δｒ）より長い経路長を有するすべての光についてほぼ重なると仮定する。
【0050】
【数12】
【0051】
この重要な仮定は、表面距離ｒでインパルス照明を用いて同じ観測表面点Ｐｏで観測された表面距離（ｒ＋Δｒ）よりも長い経路長を有する光線の放射輝度が、表面距離（ｒ＋Δｒ）でインパルス照明を有するものと同じであることを意味する。言い換えれば、唯一の違いは、２つの組のより少ないバウンスによって、表面距離（ｒ＋Δｒ）より短い経路長の光線である。光線は、同じ経路長について観測された表面点からのそれらの入射点に関係なく同じスペクトル放射輝度を蓄積するので、この特性は均質表面に対して正確に当てはまる。厳密に言えば、光線が与えられた光路長に対して経験するバウンス数は変化するが、統計的に言えば（すなわち、狭い分散で平均的に）、本発明者らは安全にこれが正しいと仮定する。
【0052】
式（７）が成り立つとき、同じ観測表面点Ｐｏであるが、わずかに異なる半径のリング形状照明で照明された正規化観測放射輝度の差は、次式で表される。
【0053】
【数13】
【0054】
ここで、次式で表される。
【0055】
【数14】
【0056】
なお、式（９）の左辺の算術記号
は差分集合を表している。これは、図１が示すように、各表面照射点Ｐｐを徐々に増加する半径の可変リング光で照明することによって、各リング表面がそれぞれ所与のリング形状照明の半径に対する放射輝度をエンコードする可変リング光画像に組み立てられて形成されることを意味する。そして、各半径の増分の間のそれらの放射輝度差を計算することによって、制限された経路長を有する光の画像、すなわち、表面下の光輸送の過渡的な画像を復元できる。
【数15】
【0057】
物体表面１０Ｓが容積的に不均一である場合、すなわち空間と深さの両方に分布する異なる材料領域からなる場合、２つの間の経路長差は追加の材料領域における表面下散乱の積分を含むことができるので、式（７）は必ずしも成り立たない。しかしながら、２つの観測間の表面距離（ｒ＋Δｒ）よりも長い経路長を有する光のスペクトル放射輝度の相違点は、半径増分Δｒを、深さ方向又は空間方向のいずれかの方向で図１の別個の材料領域の最小サイズより十分に小さく保つことによって最小化できる。この場合、境界を定められた経路長の復元分解能は、個別の材料領域よりも小さくなる。言い換えれば、可変リング光画像の差から回収された過渡光輸送の離散的な復元分解能は、表面容積の材料組成よりも細かい。その結果、過渡画像は、固有の表面構造を明らかにするのに十分なほど十分に細かい重要な表面下散乱イベントを依然として捕捉することになる。より長い光路長の光の放射輝度は指数関数的に減衰し、従って、いずれの場合でも矛盾の明るさは通常小さいことに注意することも重要である。
【0058】
図３Ａは、図の左側にミツバ（非特許文献７参照）を用いてレンダリングされた合成マルチカラー積層表面の側面図を示し、図の右上にミツバによってレンダリングされた有界画像又は経路長画像を示す。図３Ｂは、図の右上にミツバによってレンダリングされた有界画像又は経路長画像と共に、ミツバによって左側にレンダリングされた球状物体を含む表面の側面図を示す。図３Ａ及び図３Ｂはまた、各図の右下の行にある２つの合成不均一面についての可変リング光画像及び経路長制限レンダリングから計算された過渡画像を示す。それ以外の場合、それらはより長い光路長に対して指数関数的に暗くなるので、各過渡画像はその複雑な構造を示すために独立してその明るさにおいて正規化される。図３Ａ及び３Ｂにおいて、可変リング光過渡画像は、その理論から予想される矛盾及びレンダリングノイズ及びエイリアシング（赤いビーズの場合は白い輝きの周囲の暗い縁）から生じる矛盾を除いて、レンダリングされた経路長画像と視覚的に一致する。
【0059】
ここで、ミツバ製レンダラを用いてこれらの合成面をレンダリングした（非特許文献７参照）。可変リング光イメージングのために、本発明者らは最初に各画素中心を向いた表面に直交する理想化された単一光線光源を用いてインパルス照明画像をレンダリングする。これらのインパルス照明画像を再構築することによって、本発明者らは、画素増分の様々な半径の可変リング光画像を計算し、過渡画像を計算するために隣接する半径の可変リング光画像の差をとる。
【0060】
ミツバは限られたバウンスレンダリングのみを含み、各バウンスは表面に統計的に分散された粒子ではなくサンプリングされたレンダリングノードでのみ発生する。ミツバで経路長制限レンダリングを実現するために、レンダリングでの最長光路長を制限するように双方向経路トレースインテグレータ（統合器）を変更しました。これらの上限を定められた光路長の光の画像の差を計算することによって、本発明者らは、グラウンドトゥルースと見なすことができる範囲を定められた光路長の画像を得る。
【0061】
残念ながら、特に複雑で不均一な表面に対して、また経路長に制限を設けて表面下散乱をレンダリングすることは、それらがそれらの光輸送を適切にシミュレートするためにほとんど非現実的に多数のサンプルを必要とするので、困難である。この場合、経路長制限レンダリングに２６２，１４４個のサンプルを使用した。これはレンダリングに１日かかりますが、それでも過度のノイズを被る。このため、レンダリングはノイズが多く、可変リング光イメージングの結果もノイズが多くなる。
【0062】
ただし、図３Ａ及び図３Ｂの結果は、復元された過渡画像が、両方の表面で経路長制限のレンダリングとよく一致することを示しています。重ね合わせたカラー表面では、各過渡画像内の積分された光の色は一致し、浸漬された赤いビーズ（bead）のある表面では、ビーズからの光伝播（その表面での鏡面反射により赤色のビーズから広がる白色光）ビードの中で跳ね返った後に赤い光がビードから出ることによって、経路長を制限されたレンダリングでの白熱光（white glow）は、ダークノイズとの対比のために見ることは困難であるが、それらは存在する。
【0063】
赤いビーズの表面には小さいながらも目立った矛盾がある。ここでは、経路長制限レンダリングの最初のいくつかの画像に完全な内部の赤いビーズが表示されないのに対し、可変リング光の結果には最初の過渡画像からの赤いビーズ全体の光が含まれる。可変リング光画像の場合、ビーズは球形であるため、ビーズからの赤色光は、より大きい半径（ｒ＋Δｒ）にはあまり寄与しないので、最初のいくつかの過渡画像は赤色光を有している。
【0064】
対照的に、光は赤いビーズに到達していないため、最初のいくつかの経路長制限レンダリングでは、赤い光が徐々に観測されるだけである。この予想される違いと、基本的にレンダリングノイズとエイリアシングから生じる矛盾以外に、これらの合成結果は、可変リング光イメージングが過渡的な表面下の光輸送を捕捉することを示す。散乱体が表面体積中に均一に分布している表面が均質である場合、経路に沿った粒子の数は光路長に正比例する。
【0065】
物体表面１０Ｓがその組成において不均一であっても、統計的に言えば、バウンス数は経路長と共に単調に増加する。結果として、光線が経験する平均のバウンス数は光路長に比例すると安全に仮定することができる。結果として、異なる半径の２つのリング照明画像の放射輝度の差が、平均バウンス光の数を制限する。
【0066】
しかしながら、限界は平均的であり、所与の経路長に対する光のバウンス数の分散が大きい場合、可変リング光画像は表面下散乱の進行を排除することができない。ただし、一般的な実世界の表面では、この分散は通常小さいである。補足資料では、リング光観測のｎ回バウンス光の放射輝度の比のモンテカルロシミュレーションとその解析的近似を使用した理論解析に基づいた実証的証拠を提供する。復元された過渡画像が、境界を定められたｎ回バウンス光にほぼ対応すると仮定する。
【0067】
４．実施形態に係るイメージング装置．
図４Ａは、本発明による実施形態のイメージング装置１００の概略ブロック図である。
図４Ａは、本発明による実施形態のイメージング装置１００の概略ブロック図である。
【0068】
図４Ａを参照すると、観測対象の対象物体１０がテーブル１１上に配置されており、対象物体１０はその上面に平坦又は不均一な物体表面１０Ｓを有している。物体表面１０Ｓ上で、観測表面点Ｐｏと、観測表面点Ｐｏから半径ｒ又は（ｒ＋ｐΔｒ）（ｐ＝１，２，…、ｐｍａｘ）だけ離れた表面照射点Ｐｐとを選択する。
【0069】
照射レンズ等の光源１は、望遠レンズ等のレンズ３を介して物体表面１０Ｓ上の各表面照射点Ｐｐを照明するために設けられている。撮影カメラ等の画像センサ２は、望遠レンズ等のレンズ４を介して物体表面１０Ｓからの光線を検知するために設けられており、入射した光線の画像信号をイメージング装置１００の画像入力インターフェース２２に出力する。
【0070】
イメージング装置１００は、イメージングプロセッサ２０と、光源コントローラ２１と、画像入力インターフェース２２と、画像メモリ２３と、出力インターフェース２４とを含んで構成されている。イメージングプロセッサ２０は、画像入力インターフェース２２と、画像メモリ２３と、出力インターフェース２４とを備える。
【0071】
光源コントローラ２１は、イメージングプロセッサ２０の制御に従って光源１の動作を制御し、レンズ３を介して光源１が物体表面１０Ｓ上の各面点を照明するように構成される。画像入力インターフェース２２は、画像信号を入力する。イメージングプロセッサ２０は、図５～図１１の処理を実行することにより、画像センサ２からの画像信号をＡＤ変換し、入力画像信号をＡＤ変換して画像データをイメージングプロセッサ２０に出力する。これらの画像データは、リング形状照明又は非リング光照明により、所定の信号及びデータ変換を行う出力インターフェース２４を介してＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等のディスプレイ５に出力される。ディスプレイ５は、リング形状照明又は非リング光照明の下で捕捉された表面下散乱の捕捉された過渡画像を表示する。
【0072】
図４Ａの光源１の代わりに、図４Ｂの光源１Ａを設けてもよい。図４Ｂは、２次元形状に配置された複数のＬＥＤ６によって構成された光源１Ａの正面図である。図４Ｂに示すように、光源１Ａは、二次元状に配列された複数のＬＥＤ６によって構成されている。
【0073】
図５は、図４Ａのイメージング装置１００により実行される、１つの照明画素（リング形状ではない照明）を用いたイメージング処理のフローチャートである。例えば、リング形状照明を用いた実施形態から変形した実施形態である。
【0074】
図５のステップＳ１において、まず、イメージングプロセッサ２０は、物体表面１０Ｓ上の表面点が光源１の画素に対応するように定義された観測表面点Ｐｏを１つ選択する。ステップＳ２において、光源コントローラ２１は、光源１を制御して、選択された観測位置からリング形状照明の半径ｒに対応する所定距離だけ面照射点Ｐｐにインパルス照明を照射させる。ここで、表面照射点Ｐｐは、表面照射点Ｐｐの候補から選択される。そして、画像入力インターフェース２２は、選択された観測表面点Ｐｏから画像信号の放射輝度Ｌ（ｒ）を入力してイメージングプロセッサ２０に出力し、イメージングプロセッサ２０は放射輝度Ｌ（ｒ）のデータを画像メモリ２３に画像に格納する。
【0075】
ステップＳ３では、パラメータｐに１を設定する。そして、ステップＳ４において、光源コントローラ２１は、光源１を制御して、選択された光源からリング形状照明の半径（ｒ＋ｐΔｒ）に対応する所定距離だけ離れた表面照射点Ｐｐにインパルス照明を照射させる。観測表面点Ｐｏにおいて、画像入力インターフェース２２は、選択された観測表面点Ｐｏから画像信号の放射輝度Ｌ（ｒ＋ｐΔｒ）を入力し、イメージングプロセッサ２０は、放射輝度Ｌ（ｒ＋ｐΔｒ）を画像メモリ２３に格納する。ステップＳ５において、イメージングプロセッサ２０は、過渡画像の選択された観測点Ｐｏにおける放射輝度Ｌｔとして、放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）と放射輝度Ｌ（ｒ＋ｐΔｒ）との放射輝度差を計算する。画像メモリ２３に記憶する。
【0076】
ステップＳ６では、パラメータｐが最大値ｐｍａｘと等しいか否かを判断する。ステップＳ６でＮＯの場合には、ステップＳ７へ進む。ステップＳ７では、パラメータｐを１つインクリメントし、ステップ４に戻る。一方、ステップＳ６でＹＥＳであれば、ステップＳ８に進み、物体表面１０Ｓ上の全ての観測表面点Ｐｏが選択されたか否かが判断される。ステップＳ８でＮＯの場合、ステップＳ９に進み、イメージングプロセッサ２０は、物体表面１０Ｓ上の次の１つの観測表面点Ｐｏをラスタ走査方式で選択して、ステップＳ２に戻る。一方、ステップＳ８でＹＥＳの場合、ステップＳ１０に進み、イメージングプロセッサ２０は、全ての観測表面点Ｐｏにおける半径毎の放射輝度Ｌｔを収集することにより、物体表面１０Ｓ上に複数の過渡画像を形成し、複数ｐｍａｘ個の半径について形成された過渡画像を出力インターフェース２４を介してディスプレイ５に出力する。そして、図５のイメージング処理は終了する。
【0077】
図５に示されるように、イメージング処理は、非リング形状照明によって複数ｐｍａｘ個の半径について形成された過渡画像を提供することができる。
【0078】
図６は、図４Ａのイメージング装置１００によって実行される、リング形状の複数の照明画素（リング形状照明）を用いたイメージング処理のフローチャートである。図６のイメージング処理は、図５のイメージング処理と比較して以下の点で相違するが、その他の構成同じである。
（１）ステップＳ２の代わりにステップＳ２Ａを実行する。
（２）ステップＳ４の代わりにステップＳ４Ａを実行する。
以下、図６と図５との相違点について説明する。実施形態において、リング形状照明とは円形リング形状の照明を意味する。
（１）ステップＳ２の代わりにステップＳ２Ａを実行する。
（２）ステップＳ４の代わりにステップＳ４Ａを実行する。
以下、図６と図５との相違点について説明する。実施形態において、リング形状照明とは円形リング形状の照明を意味する。
【0079】
ステップＳ２Ａにおいて、光源コントローラ２１は、光源１を制御して、選択された１つの観測表面点Ｐｏからのリング形状照明の半径に対応する距離ｒの面照射点Ｐｐにリング形状照明を照射させる。画像入力インターフェース２２は、選択された観測表面点Ｐｏから画像信号の放射輝度Ｌ（ｒ）を入力し、イメージングプロセッサ２０は放射輝度Ｌ（ｒ）を画像メモリ２３に格納する。ステップＳ４Ａにおいて、光源コントローラ２１は光源１を制御して、選択された１つの観測表面点Ｐｏからわずかに大きい距離（ｒ＋ｐΔｒ）で表面照射点Ｐｐ上にリング形状照明を照射する。そして、画像入力インターフェース２２は、選択された観測表面点Ｐｏからの画像信号の放射輝度Ｌ（ｒ＋ｐΔｒ）を入力する。イメージングプロセッサ２０は、放射輝度Ｌ（ｒ＋ｐΔｒ）を画像メモリ２３に格納する。
【0080】
図６に示されるように、イメージング処理は、リング形状照明によって複数ｐｍａｘ個の半径について形成された過渡画像を提供することができる。
【0081】
図１９Ａ及び図１９Ｂは、図６のイメージング処理を補足説明するための図である。ここで、図１９Ａは観測表面点Ｐｏから半径ｒ＋（ｐ－１）Δｒの位置にある複数の表面照射点Ｐｐに対するリング光照射時の観測表面点Ｐｏの放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）を示す。また、図１９Ｂは観測表面点Ｐｏから半径ｒ＋ｐΔｒの位置にある複数の表面照射点Ｐｐに対するリング光照射時の観測表面点Ｐｏの放射輝度Ｌ（ｒ＋ｐΔｒ）を示す。図１９Ａ及び図１９Ｂに示すように、図６のイメージング処理では、過渡画像の選択された観測点Ｐｏにおける放射輝度Ｌｔとして、放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）と放射輝度Ｌ（ｒ＋ｐΔｒ）との放射輝度差を計算し、走査した全ての観測表面点Ｐｏにおける半径毎の放射輝度Ｌｔを収集することにより、物体表面１０Ｓ上に複数の過渡画像を形成し、複数ｐｍａｘ個の半径について形成された過渡画像を得ることができる。
【0082】
図７は、図４Ａのイメージング装置１００により実行される、１つの照明画素を用いて仮想的にリング形状照明（仮想リング形状照明）を形成するイメージング処理のフローチャートである。図７のイメージング処理は、図６のイメージング処理と比較して以下の点で相違するが、その他の構成同じである。
（１）ステップＳ２Ａの代わりにステップＳ２Ｂを実行する。
（２）ステップＳ４Ｂの代わりにステップＳ４Ｂを実行する。
以下、図７と図６との相違点について説明する。
（１）ステップＳ２Ａの代わりにステップＳ２Ｂを実行する。
（２）ステップＳ４Ｂの代わりにステップＳ４Ｂを実行する。
以下、図７と図６との相違点について説明する。
【0083】
ステップＳ２Ｂにおいて、イメージングプロセッサ２０は、図８に示す仮想リング形状照明及び放射輝度Ｌ（ｒ）検出のサブルーチン処理を実行する。ステップ４Ｂにおいて、イメージングプロセッサ２０は、図９に示す仮想リング形状照明及び放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）検出のサブルーチン処理を実行する。
【0084】
【0085】
図８のステップＳ２１において、パラメータｍに１が設定され、ステップＳ２２において、イメージングプロセッサ２０は、選択された１つの観測表面点Ｐｏからの、仮想リング形状照明の半径ｒに等価な距離の１つの面照射点Ｐｐ（ｍ）を選択する。そして、ステップＳ２３において、光源コントローラ２１は、光源１を制御して、選択された面照射点Ｐｐ（ｍ）にインパルス照明を照射し、画像入力インターフェース２２は、観測された画像信号の放射輝度Ｌ（ｒ，ｍ）を入力する。そして、イメージングプロセッサ２０は、その放射輝度Ｌ（ｒ，ｍ）を画像メモリ２３に格納する。次に、ステップＳ２４において、物体表面１０Ｓ上でリング形状照明を形成する全ての面照射点Ｐｐ（ｍ）が選択されたか否かが判断され、ステップＳ２４でＮＯであればステップＳ２５に戻り、その後パラメータｍを１つインクリメントしてステップＳ２２に進む。一方、ステップＳ２４でＹＥＳの場合、ステップＳ２６に進み、イメージングプロセッサ２０は、リング形状照明の全放射輝度Ｌ（ｒ，ｍ）の合計値を放射輝度Ｌ（ｒ）として計算する。そして、制御フローはメインルーチンに戻る。
【0086】
【0087】
図９のステップＳ３１において、パラメータｍに１が設定された後、ステップＳ３２において、イメージングプロセッサ２０は、選択された１つの観測表面点Ｐｏからの、仮想リング形状照明の半径（ｒ＋（ｐ－１）Δｒ）に等価な距離にある１つの面照射点Ｐｐ（ｍ）を選択する。そして、ステップＳ３３において、光源コントローラ２１は光源１を制御して、選択された面照射点Ｐｐ（ｍ）にインパルス照明を照射し、画像入力インターフェース２２は放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ，ｍ）を入力する。そして、イメージングプロセッサ２０は、観測表面点Ｐｏからの画像信号の画像信号を取得し、放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ，ｍ）を画像メモリ２３に格納する。次に、ステップＳ３４において、物体表面１０Ｓ上にリング形状を形成する全ての面照射点Ｐｐ（ｍ）が選択されたか否かを判定する。ステップＳ３４でＮｏの場合、ステップＳ３５に進み、パラメータｍを１つインクリメントして、ステップＳ３２に戻る。一方、ステップＳ３４でＹＥＳの場合、ステップＳ３６に進み、イメージングプロセッサ２０は、全ての放射輝度値Ｌ（ｒ＋（ｐ－１）Δｒ，ｍ）の合計値を、放射輝度Ｌ（ｒ＋（ｐ－１）Δｒ）として計算する。そして、制御フローはメインルーチンに戻る。
【0088】
図２０～図２２は図７のイメージング処理の補足説明図であって、図２０は図７のステップＳ１～Ｓ９において物体表面１０Ｓ上の複数の観測表面点Ｐｏをラスタ走査方式で走査するときの複数の観測表面点Ｐｏを示す平面図である。また、図２１は図７のイメージング処理の補足説明図であって、第１の半径ｒ＋（ｐ－１）Δｒによって決定される各表面照射点Ｐｐが照射されたときの、所定の各観測表面点Ｐｏの第１の放射輝度を収集してその正規化値を計算する手順を示す平面図である。さらに、図２２は図７のイメージング処理の補足説明図であって、第２の半径ｒ＋ｐΔｒによって決定される各表面照射点Ｐｐが照射されたときの、所定の各観測表面点Ｐｏの第２の放射輝度を収集してその正規化値を計算する手順を示す平面図である。
【0089】
図２０に示すように、観測表面点Ｐｏをラスタ走査方式で走査しながら、図２１に示すように、第１の半径ｒ＋（ｐ－１）Δｒによって決定される各表面照射点Ｐｐが照射されたときの、所定の各観測表面点Ｐｏの第１の放射輝度を収集してその正規化値を計算し、次いで、図２２に示すように、第２の半径ｒ＋ｐΔｒによって決定される各表面照射点Ｐｐが照射されたときの、所定の各観測表面点Ｐｏの第２の放射輝度を収集してその正規化値を計算する。さらに、図７のステップＳ１０に示すように、全ての観測表面点Ｐｏにおける半径毎の放射輝度Ｌｔを収集することにより、物体表面１０Ｓ上に複数の過渡画像を形成し、複数ｐｍａｘ個の半径について形成された過渡画像を得る。
【0090】
【0091】
図７～図９のイメージング処理では、観測表面点Ｐｏを走査しながら、当該観測表面点Ｐｏを中心とする半径ｒを変化させることで、放射輝度のデータを収集しているが、本発明はこれに限らず、以下のように放射輝度のデータを収集してもよい。
（変形例１）表面観測点Ｐｐを走査しながら、観測表面点Ｐｏからの半径ｒが表面観測点Ｐｐとなる同一半径ｒのリング形状照明を用いて放射輝度のデータを収集し、次いで、異なる半径ｒ＋Δｒのリング形状照明を用いて放射輝度のデータを収集してもよい。
（変形例２）表面観測点Ｐｐを走査しながら、観測表面点Ｐｏからの半径ｒが表面観測点Ｐｐとなる異なる半径ｒ，ｒ＋Δｒのリング形状照明を用いて、放射輝度のデータを収集してもよい。
（変形例１）表面観測点Ｐｐを走査しながら、観測表面点Ｐｏからの半径ｒが表面観測点Ｐｐとなる同一半径ｒのリング形状照明を用いて放射輝度のデータを収集し、次いで、異なる半径ｒ＋Δｒのリング形状照明を用いて放射輝度のデータを収集してもよい。
（変形例２）表面観測点Ｐｐを走査しながら、観測表面点Ｐｏからの半径ｒが表面観測点Ｐｐとなる異なる半径ｒ，ｒ＋Δｒのリング形状照明を用いて、放射輝度のデータを収集してもよい。
【0092】
【0093】
図１０のステップＳ４１において、まず、イメージングプロセッサ２０は、物体表面１０Ｓ上の表面点から１つの表面照射点Ｐｐを選択し、ステップＳ４２において、光源１を制御してインパルス照明を照射させる。選択された表面照射点Ｐｐにおいて、画像入力インターフェース２２が全画像の画像信号の画像データを入力し、イメージングプロセッサ２０が全画像の画像信号の画像データを画像メモリ２３の画像データテーブルに格納する。次に、ステップＳ４３において、物体表面１０Ｓ上の全ての表面照射点Ｐｐを選択したか否かを判断する。ステップＳ４３でＮＯの場合、ステップＳ４４に進み、イメージングプロセッサ２０は、物体表面１０Ｓ上の次の１つの表面照射点Ｐｐをラスタ走査方式で選択し、ステップＳ４２に戻る。一方、ステップＳ４３でＹＥＳであればステップＳ４５に進み、イメージングプロセッサ２０は、物体表面１０Ｓ上の表面点の中から１つの観測表面点Ｐｏを選択し、ステップＳ４６でパラメータｐに１を設定した後、ステップＳ４７に進む。
【0094】
ステップＳ４７にて、イメージングプロセッサ２０は、入力された観測表面点Ｐｏが仮想的に面照射点下で捕捉された場合の放射輝度Ｌ（ｒ）と放射輝度Ｌ（ｒ＋ｐΔｒ）を画像メモリ２３の画像データテーブルから抽出する。そして、放射輝度Ｌ（ｒ）の平均値と放射輝度Ｌ（ｒ＋ｐΔｒ）の平均値との差（仮想リング形状照明）を放射輝度Ｌｔとして計算する。そして、ステップＳ４８において、パラメータｐが最大値ｐｍａｘと等しいか否かを判断する。ステップＳ４８でＮＯであればステップＳ４９に進み、その後パラメータｐを１つインクリメントしてステップＳ４７に戻る。
【0095】
一方、ステップＳ４８でＹＥＳであればステップＳ５０に進み、対象表面１０Ｓ上の全ての観測表面点Ｐｏを選択したか否かを判断する。ステップＳ５０でＮＯの場合、ステップＳ５１に進み、イメージングプロセッサ２０は、物体表面１０Ｓ上の次の観測表面点Ｐｏをラスタ走査方式で１つ選択し、ステップＳ４７に戻る。一方、ステップＳ５０でＹＥＳの場合、ステップＳ５２に進み、イメージングプロセッサ２０は、全ての観測表面点Ｐｏにおいて半径毎の放射輝度Ｌｔを収集することにより、物体表面１０Ｓ上に複数の過渡画像を形成し、複数ｐｍａｘ個の半径について形成された過渡画像を、出力インターフェース２４を介してディスプレイ５に出力する。
【0096】
図１０に示されるように、イメージング処理は、予め放射輝度値を測定しておいて、過渡画像を形成するために必要な放射輝度値を読み出して過渡画像を形成することで、図６～７のものよりも高い効率で仮想リング形状照明によって複数ｐｍａｘ個の半径について形成された過渡画像を提供することができる。
【0097】
上記の図６～図１０では、イメージング装置１００は、実際の又は仮想の円形リング形状照明を使用しているが、完全なリング形状照明の代わりに、リング形状照明の一部（すなわち、円弧状照明）を使用してもよい。上記の図５～図１０において、イメージング装置１００は、放射輝度Ｌ（ｒ）及びＬ（ｒ＋ｐΔｒ）を使用し、この場合、放射輝度Ｌ（ｒ）及びＬ（ｒ＋ｐΔｒ）の各々は、単色放射輝度又はＲＧＢカラー放射輝度であってもよい。
【0098】
【0099】
【0100】
図１１のステップＳ６１において、まず、イメージングプロセッサ２０は、図５～図７及び図１０のうちの１つのイメージング処理を実行することにより、物体表面１０Ｓ上の複数のカラー過渡画像ＣＴＩ（ｐ－１，ｐ）（ｐ＝１，２，…，ｐｍａｘ）を取り込む。そして、ステップＳ６２にて、イメージングプロセッサ２０は、複数のカラー過渡画像ＣＴＩ（ｐ－１，ｐ）（ｐ＝１，２，…，ｐｍａｘ）の平均色度（Ｘａｖｅ，Ｙａｖｅ）を計算する。ステップＳ６３において、イメージングプロセッサ２０は、選択された複数のカラー過渡画像の平均色度（Ｘａｖｅ，Ｙａｖｅ）が所定のしきい値だけ異なるように、異なる複数色を有するいくつかのカラー過渡画像を選択する。次に、ステップＳ６４において、イメージングプロセッサ２０は、選択した複数の層に対応する色の異なる複数のカラー過渡画像をディスプレイ５に出力して表示する。
【0101】
【0102】
５．実験結果．
図３Ａ及び３Ｂの合成表面に加えて、実世界の物体表面の復元された過渡画像を調べることによって、本発明者らは可変リング光の理論を実験的に検証した。その実験結果は、本発明者らの新しいイメージング方法が表面下散乱の過渡画像の復元を可能にすることを実証している。
図３Ａ及び３Ｂの合成表面に加えて、実世界の物体表面の復元された過渡画像を調べることによって、本発明者らは可変リング光の理論を実験的に検証した。その実験結果は、本発明者らの新しいイメージング方法が表面下散乱の過渡画像の復元を可能にすることを実証している。
【0103】
５．１．過渡画像における空間光輸送．
ＵＳＢカメラ（Ｐｏｉｎｔ Ｇｒｅｙ Ｇｒａｓｓｈｏｐｐｅｒ３）とＤＬＰプロジェクタ（ＴＩ ＤＬＰ Ｌｉｇｈｔ Ｃｏｍｍａｎｄｅｒ）を使用して、可変リング光イメージングを実装する。ＵＳＢカメラは図４Ａの画像センサ２に対応し、ＤＬＰプロジェクタは図４Ａの光源１に対応する。プロジェクタとカメラを表面から十分に離して配置することで、視線と照射線がおおよそ整列し、ターゲット表面に対して垂直になる。正射影と指向性光を実現するために、カメラとプロジェクタの両方に望遠レンズを使用する。プロジェクタとカメラを調整して、各プロジェクタの画素を画像の画素に関連付ける。本発明者らの実験では、およそ１つのプロジェクタ画素が２２画像画素領域に対応する。各プロジェクタ画素についてインパルス照明画像を捕捉し、これらの画像から可変リング光画像を計算する。
ＵＳＢカメラ（Ｐｏｉｎｔ Ｇｒｅｙ Ｇｒａｓｓｈｏｐｐｅｒ３）とＤＬＰプロジェクタ（ＴＩ ＤＬＰ Ｌｉｇｈｔ Ｃｏｍｍａｎｄｅｒ）を使用して、可変リング光イメージングを実装する。ＵＳＢカメラは図４Ａの画像センサ２に対応し、ＤＬＰプロジェクタは図４Ａの光源１に対応する。プロジェクタとカメラを表面から十分に離して配置することで、視線と照射線がおおよそ整列し、ターゲット表面に対して垂直になる。正射影と指向性光を実現するために、カメラとプロジェクタの両方に望遠レンズを使用する。プロジェクタとカメラを調整して、各プロジェクタの画素を画像の画素に関連付ける。本発明者らの実験では、およそ１つのプロジェクタ画素が２２画像画素領域に対応する。各プロジェクタ画素についてインパルス照明画像を捕捉し、これらの画像から可変リング光画像を計算する。
【0104】
各過渡画像における光の経路長は、可変リング光半径の厚さ及び間隔によって決定される。リング光が厚ければ厚いほど、観測された放射輝度は明るくなり、従って、復元された過渡画像においてより忠実になる。しかしながら、厚いリング光は、経路長の限界を直接増大させる、すなわち、式（９）において半径ｒは広い範囲を有することになる。このために、経路長のシャープな境界を確保するために、太さを単一のプロジェクタ画素に設定する（例えば、図２Ｃ参照）。異なるリング形状光の半径ｒ間の間隔は、本発明者らが１つの過渡像で捕捉する光路長の範囲を制御する。可能な限り最大の光路長の分解能を復元するために、これを１つのプロジェクタ画素に設定する。不均一な表面に対して、本発明者らが説明した式（７）に関する半径ｒに関する条件は、この単一プロジェクタ画素が最も細かい材料領域よりも十分に小さいことを保証することによって制御することができることに留意されたい。これは、プロジェクタから物体表面１０Ｓまでの距離を変えることによって実現できる。
【0105】
図１２は、２つの物体の平面図、その一部の照明写真、及び光の空間伝搬による過渡画像を示す写真を示し、図１３は、２つのマルチカラー層を有する物体の側面図及び平面図、その一部を投光照明した写真、及び表面下深度の色変化による色度を有する過渡画像を含む写真を示す。すなわち、図１２及び図１３は、表面下での光相互作用の有界積分を符号化し、その表面の体積組成及びその外側界面の外観からは不明瞭であるそれらの色を明らかにし、それらの画素における過渡画像を示す。過渡像の差、すなわち可変リング光像の差の差は、異なる深さにおける表面色を明らかにする。
【0106】
図１２に示すように、空間的に不均一な表面下構造については、対応するリング光半径が増大するにつれて、復元された過渡画像は、興味深い空間的な光伝搬を捕捉する。これらの結果及びその他すべての結果について、各過渡画像の明るさは、より長い光路長の光の減少する放射輝度とは無関係に細部を視覚化するために独立して正規化される。結果は、白色プラスチック粘土に挿入された赤色半透明ビーズの場合、赤色ビーズから鏡面反射する白色光の同心伝搬とそれに続くビーズからの赤色光、そしてピンク色ポリマーに埋め込まれた星型プラスチックの場合は星型の光を示す。光路長が長くなるにつれて、花弁のような光伝播形状を作り出し、相互反射する。これらの表面下構造は、通常の室内光で撮影された最も左の画像に示されているように、外面からは不明瞭である。
【0107】
５．２．過渡画像からの色．
物体表面がその深さにわたって変化する表面下構造を持つとき、復元された過渡画像は、その連続的な深度の変化の外観サンプルを提供する。さらに、制限された経路長さの光がその経路に沿って累積色を直接符号化するので、各過渡画像は深さに沿った統合色変動を明らかにするであろう。この過渡光のスペクトル積分は、光路長を徐々に増加させながら光の差を取ることによって、対応する各表面深度における真の色を明らかにすることができることを示唆している。言い換えれば、可変リング光画像の差の差を取ることによって、本発明者らは異なる深さで表面下の色を再構成することができる。
物体表面がその深さにわたって変化する表面下構造を持つとき、復元された過渡画像は、その連続的な深度の変化の外観サンプルを提供する。さらに、制限された経路長さの光がその経路に沿って累積色を直接符号化するので、各過渡画像は深さに沿った統合色変動を明らかにするであろう。この過渡光のスペクトル積分は、光路長を徐々に増加させながら光の差を取ることによって、対応する各表面深度における真の色を明らかにすることができることを示唆している。言い換えれば、可変リング光画像の差の差を取ることによって、本発明者らは異なる深さで表面下の色を再構成することができる。
【0108】
図１３は、様々な色層の深さで作られた表面について、それらの差から復元した過渡画像及び色度値を示す。過渡画像の色度軌跡は表面下散乱のスペクトル積分を明らかにする。本発明者らは手動で等間隔で３つの過渡画像を選択し、それらの各々がおおよそ各層の深さの光路長に対応するようにし、そして各画像の平均色度とそれらの差を計算して各深さで色を復元した。図１３の一番右の列に表示されている復元された色は、図１３の一番左の画像に表示されている基本的な真実と非常によく一致している。これらの色の変化は単純な外部観測からはアクセスできない。そしてさらに悪いことに、同じ外面色が表面下の無限の色の組み合わせで作られている可能性があることに留意されたい。
【0109】
５．３．複雑な実表面の過渡画像．
図１４は、可変リング光イメージングがその復元された過渡画像において複雑な固有の表面構造を明らかにし、そこではより深くそしてより長く進行した光がより大きい半径のリング光で捕捉されることを示す。肌にはしわが消え、肌の深みのある赤が現れ、動脈が目立つようになり、大理石のペンダントには、半径が大きくなるにつれて異なる色領域の空間的広がりが現れる。
図１４は、可変リング光イメージングがその復元された過渡画像において複雑な固有の表面構造を明らかにし、そこではより深くそしてより長く進行した光がより大きい半径のリング光で捕捉されることを示す。肌にはしわが消え、肌の深みのある赤が現れ、動脈が目立つようになり、大理石のペンダントには、半径が大きくなるにつれて異なる色領域の空間的広がりが現れる。
【0110】
図１及び図１４は、複雑な表面下構造及び天然物のものを含む色組成を有する実表面の復元された過渡画像を示す。各実施例の過渡画像は、他の方法では外面からは見えない、その体積測定構造及びその色変化の両方における表面下組成を明らかにする。無色の表面反射及び早期散乱、並びにより大きな半径の過渡画像におけるより長い光路長の複雑な体積伝搬及びより豊かな色彩が注目されるべきである。過渡画像のより多くの結果に対する補足資料は次のセクションで説明される。
【0111】
ＨＤＲ（高動的解像度）キャプチャは画像キャプチャ時間を著しく増加させることに留意されたい。これは、合理的な計算時間（すなわち、すべての画像キャプチャ及び計算に対して約１時間）のために６４×６４の一時的画像に本発明者らを制限する。より大きな表面領域の高解像度画像取得のために、遠方の距離での表面点の平行インパルス照明取得を用いてイメージングをスピードアップすることができるが、同時に照明される点から誤って光を拾うことを避けるために最大リング光半径を制限する。
【0112】
図１５は、２つの物体の平面図、それらの照明写真、及び可変リング光イメージングによる過渡画像を含む写真を示す。図１５では、各過渡画像の幅は約８００画素である。すなわち、図１５は、大きな対象物領域についての可変リング光イメージングの高解像度での結果の例を示す。実施形態では、空間的及び動的範囲の多重化をリング光イメージングと組み合わせることによって、本発明の実装をスピードアップすることができる。
【0113】
６．過渡的な表面下の散乱を捕捉するための追加の可変リング形状照明イメージング．
６．１．追加の実験結果．
復元された過渡画像は、それらの各画素が表面下の体積を伝播する際に光の統合された相互作用を符号化するので、表面の固有の構造を明らかにする。外面からは認識できない表面下の体積組成とその色は、過渡画像で明らかになる。第１の過渡画像は、しばしば飽和する鏡面反射を含む表面反射を符号化することに留意されたい。リング光の半径が大きく、光路長が長いほど、色が濃くなり、光の空間伝搬が広くなる。境界から画像に入る一時的な光（例えば、ザクロジュースの最後の例では下から明るいハーフリング）は、物体の境界での反射によるものである。サボテンの過渡画像は、その背面から出る光による高周波空間パターンで終わる。これらの結果が示すように、可変リング光イメージングは、天然物のものを含む実世界の表面の体積及び放射構造を精査するための効果的な視覚的ツールを提供する。（例えば、魚、葉、そして魚の卵）。
６．１．追加の実験結果．
復元された過渡画像は、それらの各画素が表面下の体積を伝播する際に光の統合された相互作用を符号化するので、表面の固有の構造を明らかにする。外面からは認識できない表面下の体積組成とその色は、過渡画像で明らかになる。第１の過渡画像は、しばしば飽和する鏡面反射を含む表面反射を符号化することに留意されたい。リング光の半径が大きく、光路長が長いほど、色が濃くなり、光の空間伝搬が広くなる。境界から画像に入る一時的な光（例えば、ザクロジュースの最後の例では下から明るいハーフリング）は、物体の境界での反射によるものである。サボテンの過渡画像は、その背面から出る光による高周波空間パターンで終わる。これらの結果が示すように、可変リング光イメージングは、天然物のものを含む実世界の表面の体積及び放射構造を精査するための効果的な視覚的ツールを提供する。（例えば、魚、葉、そして魚の卵）。
【0114】
図１６は、２つの物体の平面図、その一部の照明写真、及び可変リング光イメージングによる過渡画像を含む写真である。図１７Ａ～図１７Ｃのそれぞれは、４つの物体それぞれの平面図、その一部の照明付き写真、及び可変リング光イメージングによる過渡画像を含む写真を示す。
【0115】
６．２．過渡画像は近似ｎ回バウンス画像であること．
図１８Ａは、表面下散乱のモンテカルロシミュレーションの代表的な結果を示す。α（ｎ，ｒ）分布、すなわち、半径ｒのリング光に対するｎ回バウンス光の比は、ある一定の後に急激に上昇する非ゼロ値を有し、異なる半径ｒで最後部が重なって素早く落ちる。これらのα（ｎ，ｒ）分布は、単位形状パラメータ及び半径ｒに比例する異なるスケールパラメータのフレシェ分布で正確に近似することができる。図１８Ｂは、２つのフレシェ分布の差の微分近似が、異なる半径の２つのリング光観測の差が実際にｎ回バウンス光を符号化すると安全に仮定できることを示す。
図１８Ａは、表面下散乱のモンテカルロシミュレーションの代表的な結果を示す。α（ｎ，ｒ）分布、すなわち、半径ｒのリング光に対するｎ回バウンス光の比は、ある一定の後に急激に上昇する非ゼロ値を有し、異なる半径ｒで最後部が重なって素早く落ちる。これらのα（ｎ，ｒ）分布は、単位形状パラメータ及び半径ｒに比例する異なるスケールパラメータのフレシェ分布で正確に近似することができる。図１８Ｂは、２つのフレシェ分布の差の微分近似が、異なる半径の２つのリング光観測の差が実際にｎ回バウンス光を符号化すると安全に仮定できることを示す。
【0116】
ヘニーイー・グリーンスタイン（Ｈｅｎｙｅｙ－Ｇｒｅｅｎｓｔｅｉｎ）の異方性散乱パラメータｇ（０．１～０．９）と、平均光路長（ガウス分布の平均０．１～０．３）による光路長のさまざまな値の組み合わせについてシミュレーションを行った。このプロットは、ｎ回バウンス光の２つの重要な特性を示す。まず最初に、本発明者らは、分布α（ｎ，ｒ）が半径ｒに比例するｎ回バウンスの後にのみ値をとることを確認することができる。これは経験的に、半径ｒのリング光で観測されたｎ回バウンス光はパラメータｎ（ｒ）によって制限されることを示している。第２に、様々な半径ｒについてパラメータｎを横切るα（ｎ，ｒ）分布が急速に低下し、隣接する分布α（ｎ，ｒ＋Δｒ）と著しく重なることが分かる。このｎ（ｒ）の前の急上昇は、まさに次のような特性を望んでいる。与えられた光路長に対する光のバウンス数は、平均を中心にして高密度で集中している。明確に定義されたより少ないバウンスと、より長い経路長又はより多くのバウンスは、ほとんど無制限である。
【0117】
また、パラメータαの形状は一意であり、特に単位形状パラメータを持つフレシェ分布に似ていることがわかる。
【0118】
【数16】
【0119】
ここで、β（ｒ）は、半径ｒのリング光に対するｎ回バウンス光の観測ごとに異なるスカラーであり、ｓ（ｒ）は、半径ｒに依存するフレシェ分布ｆ（ｎ；ｓ（ｒ））のスケールパラメータである。１２個の異なるシミュレーション結果に対して、ｒ＝５，６，…，２５及びｎ＝１，２，…，５０についてそれぞれ分布α（ｎ，ｒ）にフレシェ分布を当てはめ、相対ＲＭＳが０．１４であることを見つけることによって、この推測を確認する。
【0120】
物体表面上の距離ｒ及び（ｒ＋Δｒ）のリング光について観測され、ｓ（ｒ）＝ｓ及びｓ（ｒ＋Δｒ）＝ｓ＋Δｓを表す２つのｎ回バウンス光比を考える。それぞれがフレシェ分布でモデル化できるので、それらの違いは次式で表される。
【0121】
【数17】
【0122】
ここで、十分に小さい半径Δｒに対して、本発明者らは、次式を仮定した。
【0123】
【数18】
【0124】
形状パラメータに関するフレシェ分布の導関数を順微分で近似すると、次式を得る。
【0125】
【数19】
【0126】
式（１１）及び（１２）から、次式を得る。
【0127】
【数20】
【0128】
図１８Ｂは、異なる形状パラメータ（ｓ及び（ｓ＋Δｓ））を有する一対のフレシェ分布、それらの実際の差（ｆ（ｎ；ｓ）－ｆ（ｎ；ｓ＋ｓ））、及び導関数を使用した近似を示す。その形状パラメータ
に関するフレシェ分布
（ここで、Δｓは形状パラメータｓの約５０％である。）を用いた近似式（式（１３））は実際の差の形状をよく反映していることが分かる。パラメータｎ（ｒ＋Δｒ）よりも大きい平均反射に対して、次式を安全に仮定することができる。
【数21】
（ここで、Δｓは形状パラメータｓの約５０％である。）を用いた近似式（式（１３））は実際の差の形状をよく反映していることが分かる。パラメータｎ（ｒ＋Δｒ）よりも大きい平均反射に対して、次式を安全に仮定することができる。
【0129】
【数22】
【0130】
２つの半径に対するリング光の表面下散乱の差が
回バウンスの光を捕捉するので、次式を得る。
【数23】
【0131】
【数24】
【0132】
ここで、
は、光路長が
でありかつｎ回バウンスを経験した光の放射輝度である。経路長
を有する光線の放射輝度に対して最初に使用された表記
を再利用していることに留意されたい。言い換えれば、可変リング光イメージングから計算された過渡画像は、近似ｎ回バウンス光を符号化すると考えることができる。
【数25】
【数26】
【数27】
【数28】
【0133】
７．結論．
本発明に係る実施形態では、本発明者らは、外部観測から、表面下散乱光を様々な有界経路長及び比例的にバウンス数に解くための可変リング光イメージングを導入した。本発明者らが提案した方法は、制限的な解析的散乱モデルを仮定せず、表面下散乱を示す任意の実世界表面に適用することができる。理論とその実験的検証は、物体表面下の構造とその色を明らかにするための可変リング光イメージングの有効性を示している。本発明者らが提案した方法は、表面を視覚的に探査し、より豊かな情景を理解するために光の輸送を解読することに大きな意味を持つと考えている。
本発明に係る実施形態では、本発明者らは、外部観測から、表面下散乱光を様々な有界経路長及び比例的にバウンス数に解くための可変リング光イメージングを導入した。本発明者らが提案した方法は、制限的な解析的散乱モデルを仮定せず、表面下散乱を示す任意の実世界表面に適用することができる。理論とその実験的検証は、物体表面下の構造とその色を明らかにするための可変リング光イメージングの有効性を示している。本発明者らが提案した方法は、表面を視覚的に探査し、より豊かな情景を理解するために光の輸送を解読することに大きな意味を持つと考えている。
【産業上の利用可能性】
【0134】
以上詳述したように、本発明に係るイメージング装置及びイメージング方法によれば、従来よりも簡単な構成のイメージング装置及び方法を提供することができ、物体表面が不均一であっても従来よりも高精度にイメージングを実行することができる。
【符号の説明】
【0135】
１ 光源
１Ａ 光源
２ 画像センサ
３，４ レンズ
５ ディスプレイ
６ ＬＥＤ
１０ 対象物体
１０Ｓ 物体表面
１１ テーブル
２０ イメージングプロセッサ
２１ 光源コントローラ
２２ 画像入力インターフェース
２３ 画像メモリ
２４ 出力インターフェース
１００ イメージング装置
Ｐｏ 観測表面点
Ｐｐ 表面照射点
１Ａ 光源
２ 画像センサ
３，４ レンズ
５ ディスプレイ
６ ＬＥＤ
１０ 対象物体
１０Ｓ 物体表面
１１ テーブル
２０ イメージングプロセッサ
２１ 光源コントローラ
２２ 画像入力インターフェース
２３ 画像メモリ
２４ 出力インターフェース
１００ イメージング装置
Ｐｏ 観測表面点
Ｐｐ 表面照射点
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図17C】
【図18A】
【図18B】
【図19A】
【図19B】
【図20】
【図21】
【図22】