ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-20
(45)【発行日】2025-01-28
(54)【発明の名称】変調器及び撮像装置
(51)【国際特許分類】
G01J 3/36 20060101AFI20250121BHJP
G02B 5/18 20060101ALI20250121BHJP
G03B 15/00 20210101ALN20250121BHJP
【ＦＩ】
G01J3/36
G02B5/18
G03B15/00 V
【請求項の数】
9
(21)【出願番号】P 2021575729
(86)(22)【出願日】2021-01-25
(86)【国際出願番号】 JP2021002371
(87)【国際公開番号】W WO2021157398
(87)【国際公開日】2021-08-12
【審査請求日】2024-01-09
(31)【優先権主張番号】P 2020016582
(32)【優先日】2020-02-03
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】庄 沱
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開２０１０－２７６５５２（ＪＰ，Ａ）
【文献】特開２０１１－０８０９８０（ＪＰ，Ａ）
【文献】特表２０１２－５０８３６６（ＪＰ，Ａ）
【文献】国際公開第２０１３／０４６２５７（ＷＯ，Ａ１）
【文献】国際公開第２０１９／２１６２１３（ＷＯ，Ａ１）
【文献】中国実用新案第２１０７７４３５９（ＣＮ，Ｕ）
【文献】米国特許出願公開第２０１６／０２０２１７８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００２／０１０１５８７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００７／０１６５２２３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２００７／０１８２９６２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１１／０２０６２９１（ＵＳ，Ａ１）
【文献】Practical Spectral Photography，EUROGRAPHICS，2012年，Volume 31, Number 2，pp. 449-458，doi: 10.1111/j.1467-8659.2012.03024.x
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｊ ３／００－Ｇ０１Ｊ ３／５２
Ｇ０２Ｂ ５／００－Ｇ０２Ｂ ５／３２
Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／６１
Ｇ０３Ｂ １５／００
ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）
ＩＥＥＥ Ｘｐｌｏｒｅ
ＳＰＩＥ Ｄｉｇｉｔａｌ Ｌｉｂｒａｒｙ
Ｏｐｔｉｃａ
(57)【特許請求の範囲】
【請求項1】
回折格子とイメージセンサとの間に設けられる変調器であって、前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの投影される回折像が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
変調器。
【請求項2】
前記回折格子から入射される前記光線の波長のうち、前記受光面上における前記回折像が直線状になる波長の前記回折像が曲線となるように、前記光線の進行方向を変更する請求項１に記載の変調器。
【請求項3】
曲げた前記回折像が前記受光面の内部に収まるように、前記光線の進行方向を変更する請求項２に記載の変調器。
【請求項4】
曲げた前記回折像と他の前記回折像との重畳を抑制するように、前記光線の進行方向を変更する請求項３に記載の変調器。
【請求項5】
透過性部材によって形成された本体を備え、前記本体は、前記透過性部材の屈折率と一点に入射する単一波長及び単一入射角を含む前記光線とに基づく入射位置の形状に形成された入射面を有する
請求項４に記載の変調器。
【請求項6】
回折格子と、前記回折格子が受光面側に配置されたイメージセンサと、
前記回折格子と前記イメージセンサとの間に配置された変調器と、
を備え、
前記変調器は、
前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの投影される回折像が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
撮像装置。
【請求項7】
前記回折格子と前記変調器との間に配置された変調レンズをさらに備え、前記変調器は、前記変調レンズの焦点位置に配置されている
請求項６に記載の撮像装置。
【請求項8】
前記変調器と前記イメージセンサとの間に配置された結像レンズをさらに備え、前記結像レンズは、前記変調器が出射した前記光線を前記受光面上に結像する
請求項７に記載の撮像装置。
【請求項9】
前記回折格子と前記イメージセンサとの間に配置された結像レンズをさらに備え、前記変調器は、前記結像レンズの焦点面に位置するように、前記イメージセンサの受光面側に配置されている
請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、変調器及び撮像装置に関する。
【背景技術】
【0002】
従来、物体の組成解析手法として分光計測手法が知られている。分光計測手法とは、物体からの放射光あるいは反射光あるいは透過光を解析することで、その物体の組成（元素、分子構造など）を解析する手法である。
【0003】
物体からの放射光や反射光あるいは透過光の光波長成分は、物体の組成により異なる。そこで、この波長成分を解析することで、物体の組成を解析することができる。一般に、波長ごとの分量を示すデータを波長スペクトルと呼び、波長スペクトルを計測する処理を分光計測処理と呼ぶ。
【0004】
物体の表面の各点の組成を解析するためには、物体の空間情報と波長情報との対応データを取得することが必要となる。物体の空間情報と波長情報との対応データを１回の処理、すなわち分光計測装置による１回の撮影処理のみで、物体の空間情報と波長情報との対応データを取得する方式としてスナップショット方式が知られている。スナップショット方式を適用した分光計測装置は、複数のレンズやスリット（視野絞り）、分光素子等からなる光学系とセンサの組み合わせによって構成される。分光計測装置の空間分解能や波長分解能は、これらの光学系やセンサの構成によって決定される。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１６－９０５７６号公報
【非特許文献】
【0006】
【文献】Habel, R., Kudenov, M., Wimmer, M.: Practical spectral photography. Computer Graphics Forum (Proceedings EUROGRAPHICS 2012) 31(2), 449-458 (2012)
【文献】Tebow, Christopher P.; Dereniak, Eustace L.; Garrood, Dennis; Dorschner, Terry A.; Volin, Curtis E.: Tunable snapshot imaging spectrometer. Proceedings of the SPIE, Volume 5159, p. 64-72 (2004)
【文献】Dwight JG, Tkaczyk TS.: Lenslet array tunable snapshot imaging spectrometer (LATIS) for hyperspectral fluorescence microscopy. Biomed Opt Express. 2017;8:1950-64
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、分光計測装置に一般的に使用されるプリズムや回折格子などの分光素子は、入射した光をその波長に従って１軸又は２軸方向に分散する。一方で、分光像を撮像するためのイメージセンサの撮像領域は、通常、矩形の領域である。これは、イメージセンサには分光像が入射されない撮像領域が多く存在していることを意味している。
【0008】
このように、従来の一般的な分光素子では、分光計測装置などに用いられるイメージセンサの撮像領域を効率的に使用することが困難であった。
【0009】
そこで、本開示では、イメージセンサの撮像領域をより効率的に使用することを可能にする変調器、撮像装置及び設計方法を提案する。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本開示に係る一形態の変調器は、回折格子とイメージセンサとの間に設けられる変調器であって、前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する。
【0011】
また、本開示に係る一形態の撮像装置は、回折格子と、前記回折格子が受光面側に配置されたイメージセンサと、前記回折格子と前記イメージセンサとの間に配置された変調器と、を備え、前記変調器は、前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する。
【0012】
また、本開示に係る一形態の設計方法は、回折格子から入射した光線の進行方向を変更してイメージセンサに出射する変調器の設計方法であって、前記変調器の入射光線及び出射光線の空間における振る舞いを追跡すること、前記入射光線及び前記出射光線に基づいて変調器の面法線を決定すること、前記面法線を積分して前記変調器の形状を決定すること、を含む。
【図面の簡単な説明】
【0013】
【図1】光の種類と波長の関係について説明する図である。
【図2】発光物体の分光計測例について説明する図である。
【図3】ある食品の出力光の分光解析結果であるスペクトル強度解析結果の一例を示す図である。
【図4】分光素子であるプリズムについて説明する図である。
【図5】分光素子である解説格子について説明する図である。
【図6】計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータであるデータキューブの例について説明する図である。
【図7】点計測方式（スペクトロメータ）の分光計測装置の概略構成例を示す図である。
【図8】点計測方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【図9】波長スキャン方式の分光計測装置の概略構成例を示す図である。
【図10】波長スキャン方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【図11】空間スキャン方式の分光計測装置の概略構成例を示す図である。
【図12】空間スキャン方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【図13】スナップショット方式の分光計測装置の概略構成例を示す図である。
【図14】スナップショット方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【図15】スナップショット方式の分光計測装置の変形例を示す図である。
【図16】スナップショット方式におけるデータキューブ復元方法を説明するための図である。
【図17】スリット型の回折格子による分光の原理を説明するための図である。
【図18】格子型の回折格子で分光された光の像の一例を示す図である。
【図19】入射光の波長と回折角度との関係を示す図である。
【図20】スナップショット方式の課題を説明するための図である（その１）。
【図21】スナップショット方式の課題を説明するための図である（その２）。
【図22】格子間隔を制御することで波長分解能と空間分解能とを調節する方法における第１の課題を説明するための図である。
【図23】格子間隔を制御することで波長分解能と空間分解能とを調節する方法における第２の課題を説明するための図である。
【図24】受光面上における基本的な回折格子の投影像と実施形態に係る変調器を用いた場合の投影像との一例を示す図である。
【図25】実施形態に係るスナップショット方式の分光計測装置の概略構成例を示す図である。
【図26】実施形態に係る分光計測装置の変調器と画像データとの関係の一例を示す図である。
【図27】スナップショット方式の従来の分光計測装置における光線を説明するための図である。
【図28】実施形態に係る分光計測装置の配置例を説明するための図である。
【図29】実施形態に係る変調器の設計方法の手順を示すフローチャートである。
【図30】実施形態に係る変調器の設計方法の一例を説明するための図である。
【図31】実施形態に係る分光計測装置のシミュレーション結果を示す図である。
【図32】実施形態の変形例に係る分光計測装置の配置例を説明するための図である。
【図33】実施形態の変形例に係る変調器の設計方法の手順を示すフローチャートである。
【図34】本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【図36】本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【発明を実施するための形態】
【0014】
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0015】
また、以下に示す項目順序に従って本開示を説明する。
１．分光計測装置（システム）の概要について
２．スナップショット方式の課題について
３．実施形態
３．１ 分光計測装置の概要
３．２ 変調器の配置
３．３ 変調器の設計例
３．４ シミュレーション結果
３．５ 作用・効果
３．６ 実施形態の変形例
３．７ 実施形態の変形例に係る変調器の設計例
３．８ 移動体への応用例
３．９ 内視鏡手術システムへの応用例
１．分光計測装置（システム）の概要について
２．スナップショット方式の課題について
３．実施形態
３．１ 分光計測装置の概要
３．２ 変調器の配置
３．３ 変調器の設計例
３．４ シミュレーション結果
３．５ 作用・効果
３．６ 実施形態の変形例
３．７ 実施形態の変形例に係る変調器の設計例
３．８ 移動体への応用例
３．９ 内視鏡手術システムへの応用例
【0016】
１．分光計測装置（システム）の概要について
まず、分光計測装置（システム）の概要について説明する。光は、例えば、赤外光（ｉｎｆｒａｒｅｄ ｒａｄｉａｔｉｏｎ）、可視光（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）、紫外線（Ｕｌｔｒａｖｉｏｌｅｔ）などが知られているが、これらの光は電磁波の一種であり、図１に示すように光の種類によって異なる波長（振動周期）を持っている。
まず、分光計測装置（システム）の概要について説明する。光は、例えば、赤外光（ｉｎｆｒａｒｅｄ ｒａｄｉａｔｉｏｎ）、可視光（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）、紫外線（Ｕｌｔｒａｖｉｏｌｅｔ）などが知られているが、これらの光は電磁波の一種であり、図１に示すように光の種類によって異なる波長（振動周期）を持っている。
【0017】
可視光（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）の波長は約４００ｎｍ～７００ｎｍの範囲であり、赤外光（ｉｎｆｒａｒｅｄ ｒａｄｉａｔｉｏｎ）は、可視光（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）より波長が長く、一方、紫外線（Ｕｌｔｒａｖｉｏｌｅｔ）は可視光（ｖｉｓｉｂｌｅ ｌｉｇｈｔ）より波長が短いという特性を持つ。
【0018】
前述したように、物体からの放射光や反射光あるいは透過光は、物体の組成（元素、分子構造など）により光波長成分が異なり、この波長成分を解析することで物体の組成を解析することが可能となる。一般に、波長ごとの分量を示すデータを波長スペクトルと呼び、波長スペクトルを計測する処理を分光計測処理と呼ぶ。
【0019】
図２は、発光物体の分光計測例を示す図である。図２には、太陽、電灯、ネオン、水素、水銀、ナトリウムから出力される光が、可視光の波長範囲（約４００ｎｍ～７００ｎｍ）のどの波長の光であるかを示している。出力のある領域が白っぽく表示され、出力の無い領域が黒く示されている。図２は、太陽光、電灯や熱せられた各種物質からの出力光を分光計測した結果である。
【0020】
図２に示すように、太陽、電灯、ネオン、水素、水銀、ナトリウム、これらの各物体は、それぞれの物体固有の波長光を出力する。すなわち、物体が不明であっても、その物体からの光に含まれる波長成分を解析することで、その物体の組成を解析することが可能となる。
【0021】
例えば、ある加工食品の組成が不明である場合、その食品の出力光（放射光や反射光あるいは透過光）を解析することで、その食品を構成している物質を解析することが可能となる。図３は、ある食品の出力光の分光解析結果であるスペクトル強度解析結果の一例を示す図である。この食品からは２種類の異なるスペクトル解析結果が得られている。
【0022】
このスペクトル強度解析結果と、予め様々な物質について解析済みのスペクトル強度解析結果データとを比較することで、物質Ａと物質Ｂが何であるかを判定することが可能となり、食品の組成を解析することができる。
【0023】
上述のように、分光計測ができれば、計測対象物に関する様々な情報を取得することが可能となる。しかし、集光レンズとセンサを有する一般的なカメラでは、センサの各画素にすべての波長が入り混じった光が入射してしまうため、各波長単位の強度を解析することが困難となる。
【0024】
そこで、分光計測の観測系には、カメラに飛び込んでくる光から各波長の光を分離するための分光素子（分光デバイス）が設けられる。
【0025】
最も一般的に知られている分光素子としては、図４に示すプリズム９０１がある。プリズム９０１に対して入射する光、すなわち入射光に含まれる様々な波長の光は、入射光の波長と、入射角度と、プリズム９０１の形状に対応した出射角でプリズム９０１から出射される。分光計測の観測系にはこのプリズム９０１のような分光素子が設けられ、波長単位の光をセンサで個別に受光可能とした構成を持つ。
【0026】
なお、屈折率ｎのプリズムによる分光において、プリズムによる光の進行方向の変化を示す式は、以下の式（１）で示すことができる。
【数1】
【0027】
なお、上記式（１）の各パラメータは、以下の通りである。
α：プリズムの頂角
θ１：プリズム入射面に対する入射角
θ２：プリズム出射面に対する出射角
φ１：プリズム入射面の屈折角
φ２：プリズム出射面の屈折角
δ：偏角（入射光と出射光との角度）
α：プリズムの頂角
θ１：プリズム入射面に対する入射角
θ２：プリズム出射面に対する出射角
φ１：プリズム入射面の屈折角
φ２：プリズム出射面の屈折角
δ：偏角（入射光と出射光との角度）
【0028】
ここで、スネルの法則（ｓｉｎθｊ＝ｎｓｉｎΦｊ）に従うと、上記式（１）は下記の式（２）のように書き換えることができる。
【数2】
【0029】
なお、上記式（２）において、ｎはプリズムの屈折率であり、屈折率ｎは波長に依存する。また、φ１はプリズム入射面の屈折角であり、プリズムの屈折率ｎとプリズム入射面に対する入射角θ１とに依存する。よって、偏角（入射光と出射光との角度）δは、入射角θ１と波長に依存する。
【0030】
また、図５に示すように、光の波としての性質を利用した回折格子９０２による分光も可能である。回折格子９０２による光線の出射角（回折角度）βは以下の式（３）で示すことができる。
なお、上記式（３）において、ｄは格子間隔、αは入射角、βは出射角、ｍは回折次数である。
【数3】
【0031】
しかし、物体のある一点からの光の波長情報を解析したとしても、その一点の組成を解析することしかできない。すなわち、物体の表面の各点の組成を一回の観測により解析するためには、表面の各点からの光を全て解析することが必要となる。
【0032】
計測対象物の表面の各点の組成を解析するためには、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータを一回の観測で取得することが必要となる。図６は、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータ、すなわちデータキューブの例を示している。
【0033】
図６に示すように、データキューブは、計測対象物の空間方向（ＸＹ）と、波長方向（λ）の３次元からなるデータであり、計測対象物の表面の各点の座標がＸＹ座標で示され、各座標位置（ｘ，ｙ）の各波長光の強度（λ）が記録されたデータである。図６に例示するデータキューブは、８×８×８の立方体データから構成されており、１つの立方体Ｄが、特定の位置（ｘ，ｙ）の特定波長（λ）の光強度を示すデータである。
【0034】
なお、図６に示す立方体の数８×８×８は一例であり、分光計測装置の空間分解能や、波長分解能に応じてこの数は変動することになる。
【0035】
つづいて、図６に示すようなデータキューブ、すなわち、計測対象物の空間方向（ＸＹ）と波長方向（λ）との３次元からなるデータを取得する既存の分光計測装置の例について説明する。
【0036】
計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元データを取得する既存の分光計測装置は、下記の４種類に分類される。
（ａ）点計測方式（スペクトロメータ）
（ｂ）波長スキャン方式
（ｃ）空間スキャン方式
（ｄ）スナップショット方式
以下、これらの各方式の概要について説明する。
（ａ）点計測方式（スペクトロメータ）
（ｂ）波長スキャン方式
（ｃ）空間スキャン方式
（ｄ）スナップショット方式
以下、これらの各方式の概要について説明する。
【0037】
（ａ）点計測方式（スペクトロメータ）
図７は、点計測方式（スペクトロメータ）の分光計測装置の概略構成例を示す図である。図８は、点計測方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
図７は、点計測方式（スペクトロメータ）の分光計測装置の概略構成例を示す図である。図８は、点計測方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【0038】
図７に示すように、点計測方式の分光計測装置は、光源９１１と、スリット９１２と、プリズム９１３と、リニアセンサ９１４とを備え、計測対象９００の１点から出た光を、分光素子であるプリズム９１３で分光し、その分散光を１方向にのみ素子が配置されているリニアセンサ９１４に投影する構成を備える。このような構成により、異なる波長光がリニアセンサ９１４上の異なる素子（画素）に記録される。
【0039】
点計測方式では、リニアセンサ９１４の各素子（画素）の値を読み取れることで、波長スペクトルが取得される。この点計測方式の特徴は、波長分解能がリニアセンサ９１４の素子サイズ（画素数）に依存することであり、素子の数（画素数）を増やせば増やすほど細かい波長情報を取得可能となることである。
【0040】
しかし、点計測方式では、１回の撮影処理で、計測対象９００の１点から出た光を受光して解析する。したがって、図８に示すように、１回の撮影処理では、計測対象９００の空間方向（ＸＹ）のある一点のみの波長情報（λ）しか得ることができない。そのため、計測対象９００の空間方向（ＸＹ）の様々な点の波長情報（λ）を得るためには、計測位置をずらしながら多数回の撮影と解析とを行う必要がある。
【0041】
【0042】
図９に示すように、波長スキャン方式の分光計測装置は、波長フィルタアレイ９２１とエリアセンサ（２次元イメージセンサ）９２３とを備え、エリアセンサ９２３の前に配置された異なる波長通過特性を持つ複数の光学フィルタ９２２を時間ごとに切り替えて撮影する。
【0043】
このような手順によれば、図１０に示すように、１回の撮影で複数の空間位置に対応する１つの波長の強度情報を取得することが可能である。そして、光学フィルタ９２２を切り替えて撮影することで、複数の異なる波長の強度情報を取得することが可能である。
【0044】
ただし、高い波長分解能を実現するには、大量の異なる光学フィルタ９２２を用意し、それらを切り替えて撮影する必要があるので、計測時間が長くなるという問題がある。また、光学フィルタ９２２の特性により、取得できない波長帯域が存在するという課題も存在する。
【0045】
【0046】
図１１に示すように、空間スキャン方式の分光計測装置は、対物レンズ９３１と、スリット９３２と、コリメートレンズ９３３と、分光素子９３４と、結像レンズ９３５と、エリアセンサ９３６とを備え、分光素子（プリズム、回折格子など）９３４によって分光された計測対象９００からの光に対して、空間の１方向をエリアセンサのＸ方向に、波長方向をエリアセンサのＹ方向に記録する。さらに、図１２に示すように、分光計測装置を計測対象９００に対して残りの１方向に走査（スキャン）する。この処理により、先に図６を参照して説明したデータキューブ、すなわち、計測対象９００の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータキューブを取得することができる。
【0047】
この空間スキャン方式では高い空間分解能と波長分解能を実現できるが、スキャンするのに大型な装置が必要なうえ、スキャン処理時間が必要で計測時間が長くなるという課題が存在する。
【0048】
（ｄ）スナップショット方式
図１３は、スナップショット方式の分光計測装置の概略構成例を示す図である。図１４は、スナップショット方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
図１３は、スナップショット方式の分光計測装置の概略構成例を示す図である。図１４は、スナップショット方式の分光計測装置を用いて１回の撮影処理で取得されるデータの一例を示す図である。
【0049】
図１３に示すように、スナップショット方式の分光計測装置は、対物レンズ９４１と、スリット９４２と、コリメートレンズ９４３と、回折格子型分光素子（以下、単に回折格子という）９４４と、結像レンズ９４５と、エリアセンサ９４６とを備え、計測対象９００からの光を対物レンズ９４１で集光し、さらにコリメートレンズ９４３で平行光に変換し、回折格子９４４を透過させてエリアセンサ９４６の受光面上に投影する構成である。なお、受光面とは、イメージセンサ（固体撮像装置ともいう）におけるフォトダイオードなどの光電変換部が配列された面であってよい。
【0050】
このような構成により、計測対象９００上の異なる点からの異なる波長成分の光がエリアセンサ９４６の受光面における異なる素子（画素）に記録される。
【0051】
このスナップショット方式は、１回の撮影で、図６を参照して説明したデータキューブ、すなわち、図１４に示すような計測対象９００の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータキューブを取得することができる。
【0052】
ただし、エリアセンサ９４６の受光面積は有限であり、また波長方向の情報が受光面上で重なり合って記録されるため、撮影後は信号処理によってデータキューブを復元する処理が必要となる。
【0053】
また、信号処理に用いられる各種係数は光学系の性能と連動しているため、光学系を固定、すなわち、センサと光学系との位置関係を固定して使用する必要があり、応用目的に合わせて波長と空間分解能とを調整することが困難であるという課題が存在する。
【0054】
なお、図１３に示すスナップショット方式の応用例として、図１５に例示するような、エリアセンサ９４６の受光面上に異なる透過帯域を持つ光学フィルタ９４７を空間的に配置することでデータキューブを取得する構成も提案されている。しかし、受光面積は有限であって、光学フィルタ９４７をエリアセンサ９４６の受光面上に装着することが必要となるため、光学フィルタ９４７の装着によりエリアセンサ９４６の空間分解能が低下するという問題がある。
【0055】
図７～図１４を参照して、計測対象物の空間方向（ＸＹ）と波長方向（λ）の３次元からなるデータを取得する既存の分光計測装置の例、すなわち、（ａ）点計測方式（スペクトロメータ）、（ｂ）波長スキャン方式、（ｃ）空間スキャン方式、（ｄ）スナップショット方式、これら４種類の方式について説明した。
【0056】
【0057】
さらに、波長分解能の調整が困難という課題を解決するには、センサとフィルタとが一体化されているセンサ構成よりも、既存の光学系に後から組み込むことのできる回折格子を用いた構成の方が好適である。
【0058】
そこで本開示では、回折格子を用いたスナップショット方式の分光計測装置であって、例えば、計算トモグラフィ撮像分光計（ＣＴＩＳ：Computed Tomography Imaging Spectrometer）を利用した分光計測装置について、以下に幾つか例を挙げて説明する。
【0059】
２．スナップショット方式の課題について
ここで、スナップショット方式におけるデータキューブの復元方法について、図１６を用いて説明する。図１６では、格子状の回折格子９４４（図１３参照）を備えるスナップショット方式の分光計測装置９４０で計測対象９００を撮像した場合を例示する。
ここで、スナップショット方式におけるデータキューブの復元方法について、図１６を用いて説明する。図１６では、格子状の回折格子９４４（図１３参照）を備えるスナップショット方式の分光計測装置９４０で計測対象９００を撮像した場合を例示する。
【0060】
図１６に示すように、回折格子９４４を備える分光計測装置９４０で計測対象９００を撮像（Ｓ９０１）した場合、その撮像画像９５１では、中央に位置する０次光の回折像を中心として、その上下左右方向と斜め方向との計８方向に、±１次以上の回折像が映し出されている。
【0061】
このような撮像画像９５１に対し、予め準備しておいた変調行列Ｈを用いるバイナリ行列演算処理を施すことで、データキューブｇを復元することが可能である。具体的には、取得された撮像画像９５１を以下の式（４）に代入することで、データキューブｇを復元することができる。なお、式（４）において、ｘ、ｙ及びλは撮像画像９５１（若しくは分光計測装置９４０の画素アレイ部）における画素のｘ座標、ｙ座標及び波長λを示し、ｆ（ｘ，ｙ，λ）は撮像画像９５１における画素（ｘ，ｙ，λ）の画素値を示している。
【数4】
【0062】
式（４）の解は、例えば、以下の式（５）を用いたＥＭ（expectation-maximization）アルゴリズムによる最適化を利用することで求めることができる（Ｓ９０２）。それにより、水平面をＸＹ座標系とし、縦方向を波長軸としたデータキューブ（ｇ）９５２を得ることができる。なお、グラフ９５３は、データキューブ９５２における（ｘ，ｙ）画素の波長スペクトルを示している。
【数5】
【0063】
このようなスナップショット方式を適用した分光計則装置では、回折像を取得するイメージセンサのサイズ上の制約から、空間分解能と波長分解能との間でトレードオフの関係が発生してしまう。例えば、波長分解能を上げるために分散角を大きくして分散光の広がりを大きくした場合には、回折像の広がりも大きくなるため、広範囲の撮影ができず、空間分解能が低下してしまう。一方で、空間分解能を上げるために分散角を小さくした場合には、異なる波長の回折像の重なりが大きくなるため、波長分解能が低下してしまう。さらに、回折像が小さくなることによってイメージセンサの１つの画素に入射する分散光の波長範囲が大きくなることも、波長分解能を低下させる要因となる。
【0064】
これを、より具体的に説明する。図１７は、スリット型の回折格子による分光の原理を説明するための図である。図１８は、格子型の回折格子で分光された光の像の一例を示す図である。図１９は、入射光の波長と回折角度との関係を示す図である。
【0065】
図１７に示すように、回折格子に入射した光（平面波とする）は、２つのスリットを通過して、球面波としてスクリーンに到達する。その際、一方のスリットを通過した光と他方のスリットを通過した光とには、光路長の差が生じる。そのため、スクリーンに転写された入射光の像には、光路長の差と入射光の波長λとスリットの間隔（格子間隔Ｐ）とに依存したパターンの光の濃淡（光強度の強弱）が発生する。
【0066】
これを、格子状の回折格子に応用すると、図１８の左図に示すように、回折格子に入射した入射光は、その波長λと、回折格子の格子間隔Ｐとに依存して、上述した式（３）で求まる異なる回折角度βで回折をする。なお、式（３）において、ｍは次数である。その結果、図１８の右図に示すように、回折格子を通過した光の像（回折像）は、０次光を中心として、その周囲に、±１次光、±２次光、…が配列した像となる。
【0067】
これは、格子間隔Ｐを固定した場合、波長λと回折角度βとの関係が、図１９のような線形の関係になることを意味している。なお、図１９において、直線Ｐ１、Ｐ２及びＰ３は、格子間隔Ｐ１、Ｐ２及びＰ３に対応し、格子間隔Ｐ１、Ｐ２及びＰ３は、Ｐ１＜Ｐ２＜Ｐ３の関係にある。
【0068】
このような関係から、格子間隔Ｐを小さくすると、回折角度βが大きくなる。それにより、図２０に例示するように、撮像画像９６０中の回折像９６１の広がりが大きくなるため、波長分解能を高めることが可能となる。一方で、格子間隔Ｐを大きくすると、回折角度βが小さくなる。それにより、図２１に例示するように、撮像画像９６０中の回折像９６２の広がりが小さくなるため、より広い範囲の撮像が可能となり、空間分解能を高めることが可能となる。
【0069】
しかしながら、単に格子間隔を制御することで波長分解能と空間分解能とを調節する方法では、以下のような課題が発生する。
【0070】
図２２は、第１の課題を説明するための図である。図２２に示すように、格子間隔Ｐを小さくすると、回折角度βが観測されるすべての波長において大きくなる。そのため、回折像９７１の範囲が広がるものの、エリアセンサのセンササイズなどの設定によっては、回折像９７１がエリアセンサの観測可能範囲９７０から突出てしまい、正確な測定ができないという事象が発生し易くなる。これは、つまり計測したい波長範囲と波長分解能とは、お互いトレードオフの関係にあることを意味する。
【0071】
また、図２３は、第２の課題を説明するための図である。図２３に示すように、格子間隔Ｐを大きくすると、回折像全体の広がりが小さくなるため、空間分解能を高めることが可能となるが、その一方で、各波長の回折像９８１～９８５の重畳部分が増加するため、波長分解能が低下してしまう。これは、空間分解能と波長分解能とは、お互いトレードオフの関係にあることを意味する。なお、図２３では、理解のため、回折像９８１～９８５を横方向に微小にずらしているが、実際には縦方向に揃っていてよい。
【0072】
このように、従来の回折格子を用いたスナップショット方式の分光計測装置では、空間分解能と波長分解能とがトレードオフの関係にあるため、空間分解能を維持しつつ、高い波長分解能を実現することが困難であった。
【0073】
そこで以下の実施形態では、新たな変調器を提案することにより、観測可能波長範囲や空間分解能との間のトレードオフ関係を軽減することを可能にする。
【0074】
３．実施形態
つづいて、実施形態に係る変調器及び撮像装置について、図面を参照して詳細に説明する。なお、実施形態では、上述において図１３、図１４及び図１６を用いて説明した回折格子を用いたスナップショット方式の分光計測装置９４０をベースとしている。ただし、これに限定されず、回折格子を分光素子として使用する種々の光学装置に対して、本実施形態を適用することが可能である。
つづいて、実施形態に係る変調器及び撮像装置について、図面を参照して詳細に説明する。なお、実施形態では、上述において図１３、図１４及び図１６を用いて説明した回折格子を用いたスナップショット方式の分光計測装置９４０をベースとしている。ただし、これに限定されず、回折格子を分光素子として使用する種々の光学装置に対して、本実施形態を適用することが可能である。
【0075】
３．１ 分光計測装置の概要
図２４は、受光面上における基本的な回折格子の投影像と実施形態に係る変調器を用いた場合の投影像との一例を示す図である。図２５は、実施形態に係るスナップショット方式の分光計測装置の概略構成例を示す図である。図２６は、実施形態に係る分光計測装置の変調器と画像データとの関係の一例を示す図である。
図２４は、受光面上における基本的な回折格子の投影像と実施形態に係る変調器を用いた場合の投影像との一例を示す図である。図２５は、実施形態に係るスナップショット方式の分光計測装置の概略構成例を示す図である。図２６は、実施形態に係る分光計測装置の変調器と画像データとの関係の一例を示す図である。
【0076】
スナップショット方式の分光計測装置９４０における分光素子では、図２４の左図に示すように、画像データ１００は、回折像が波長（例えば、±１次光）によって、直線状に記録される。すなわち、回折像は、０次光を中心として、±１次光の直線状の像が放射状に記録される。この現象によって有限サイズのセンサ空間においては、像と像の間の重なり合いを調整することが困難であり、波長分解能の劣化の要因となる。このため、実施形態に係る分光計測装置９４０Ａは、回折格子９４４からの出射光線を変調器によって再度曲げることで、図２４の右図に示す画像データ１０１のように、波長ごとの回折像の記録方向を変更する。なお、本実施形態では、説明を簡単化するため、変調器は、１次光の回折像を曲げる場合について説明するが、２次光以降の次光の回折像も、１次光と同様に曲げるように構成してもよい。
【0077】
分光計測装置９４０Ａは、例えば、撮像装置に含まれる。分光計測装置９４０Ａは、図２５に示すように、対物レンズ９４１と、スリット９４２と、コリメートレンズ９４３と、回折格子９４４と、変調レンズ９４８と、変調器３００と、結像レンズ９４５と、エリアセンサ９４６とを備える。エリアセンサ９４６は、イメージセンサの一例である。
【0078】
変調レンズ９４８は、回折格子９４４と変調器３００との間に設けられ、回折格子９４４の回折光線を波長ごとにまとめるためのレンズである。変調レンズ９４８は、焦点距離がｆＭとなっており、ｆＭだけ離れた位置に焦点面を生成する。
【0079】
変調器３００は、回折格子９４４とエリアセンサ９４６との間に設けられる。変調器３００は、回折格子９４４を透過した光線がエリアセンサ９４６に向かう光路上に設けられている。実施形態では、変調器３００は、光路上における変調レンズ９４８の焦点位置に配置されている。変調器３００は、透過性部材によって外形が方形状に形成されている。透過性部材は、例えば、ガラス、合成樹脂、ポリカーボネート樹脂等の屈折率を有する部材を含む。変調器３００の形状は、例えば、外形が円形、楕円形、多角形等の外形とすることができる。
【0080】
変調器３００は、回折格子９４４からエリアセンサ９４６に向かう光線（回折光線）が入射される。変調器３００は、スネルの法則により、入射した光線の進行方向を変化させる構成となっている。変調器３００は、エリアセンサ９４６の受光面上における光線の波長ごとの回折像の記録方向が曲がるように、エリアセンサ９４６に向けて出射する光線の進行方向を変更する。すなわち、変調器３００は、エリアセンサ９４６の受光面上の回折像の記録方向が曲がるように、光線の進行方向を変更する。
【0081】
例えば、図２６に示すように、変調器３００は、画像データ１００に示す回折像を投影する光線群Ｌ１が回折格子９４４から入射する。光線群Ｌ１は、０次光を中心として、±１次光の直線状の回折像が放射状に記録される光線の束である。変調器３００は、画像データ１０１のような回折像のパターンを得るために、入射した光線群Ｌ１のうちのパターンに対応する波長の光線Ｌ１１の進行方向を変更した光線Ｌ２１を出射する。光線Ｌ２１を含む光線群Ｌ２は、エリアセンサ９４６の受光面上に投影される。このとき、屈折率を有する変調器３００は、入射面上の各点に入射する単一波長と単一進入角度を持つ光線Ｌ１１に対して入射位置の面形状を設計することで、スネルの法則にしたがって光線Ｌ１１の進行方向を変化させ、変調光線である光線Ｌ２１を出射する。
【0082】
図２６に示す一例では、変調器３００は、回折格子９４４から入射される光線の波長のうち、エリアセンサ９４６の受光面上における記録方向が直線状になる波長の回折像が曲線となるように、光線の進行方向を変更する。変調器３００は、０次光の回折像を変化させずに、１次光の回折像が変化するように、光線の進行方向を変更する。すなわち、変調器３００は、１次光以降の次光の回折像を変化させたり、特定の次光の回折像を変化させたりすることができる。
【0083】
変調器３００は、曲げた回折像がエリアセンサ９４６の受光面の内部に収まるように、光線の進行方向を変更する。例えば、変調器３００は、図２６の画像データ１０１に示すように、１次光の回折像が受光面の内部に収まる曲線となるように、光線の進行方向を変更する。変調器３００は、曲げた回折像が他の回折像との重畳を抑制するように、光線の進行方向を変更する。例えば、変調器３００は、複数の１次光の回折像同士が重ならないように、光線の進行方向を変更する。
【0084】
本実施形態では、変調器３００は、エリアセンサ９４６の受光面で曲げる回折像に対応した部分が凸状となるように、面形状が設計されている。変調器３００の面形状の設計方法の一例については、後述する。
【0085】
図２５に戻り、分光計測装置９４０Ａの動作の一例について説明する。分光計測装置９４０Ａは、計測対象９００からの光を対物レンズ９４１で集光し、さらにスリット９４２を介してコリメートレンズ９４３で平行光に変換し、回折格子９４４を透過させる。分光計測装置９４０Ａは、回折格子９４４を透過させた光線を変調レンズ９４８、変調器３００で透過させることで、進行方向を変更させた光線を、結像レンズ９４５を介してエリアセンサ９４６の受光面上に投影する構成である。
【0086】
このような構成により、分光計測装置９４０Ａは、計測対象９００上の異なる点からの異なる波長成分の光がエリアセンサ９４６の受光面における異なる素子（画素）に記録する。分光計測装置９４０Ａは、変調器３００を備えることで、波長ごとの回折像の記録方向を直線から曲線に変更することができる。
【0087】
３．２ 変調器の配置
分光計測装置９４０Ａは、変調器３００を用いて光線の進行方向を変更（変調）する場合、変調器３００の設置位置が重要である。図２７を参照しながら、変調器３００を備えない、従来の分光計測装置における光線の一例について説明する。図２７は、スナップショット方式の従来の分光計測装置における光線を説明するための図である。
分光計測装置９４０Ａは、変調器３００を用いて光線の進行方向を変更（変調）する場合、変調器３００の設置位置が重要である。図２７を参照しながら、変調器３００を備えない、従来の分光計測装置における光線の一例について説明する。図２７は、スナップショット方式の従来の分光計測装置における光線を説明するための図である。
【0088】
図２７に示すように、従来の分光計測装置は、焦点距離がｆ１の対物レンズ９４１と、焦点距離がｆ２のコリメートレンズ９４３と、回折格子９４４と、焦点距離がｆ３の結像レンズ９４５と、エリアセンサ９４６と、を備える。従来の分光計測装置は、対物レンズ９４１を光線群ＬＦが通過している。従来の分光計測装置は、回折格子９４４と結像レンズ９４５との間では、部分ＰＴ１に示すように、回折光に混色があり、複数の角度光にも混色がある。このため、変調器３００は、回折格子９４４と結像レンズ９４５との間に設ける場合、入射面上の一点には異なる波長と異なる進入角度を持つ複数の光線が集まるので、適切な変調を掛けることが困難である。また、従来の分光計測装置は、結像レンズ９４５とエリアセンサ９４６との間では、部分ＰＴ２に示すように、回折光に混色はないが、複数の角度光に混色がある。従来の分光計測装置は、エリアセンサ９４６の受光面の位置では回折光線が焦点に集光され、波長ごとに光線がまとめられる。
【0089】
よって、実施形態に係る分光計測装置９４０Ａは、進入角度の範囲を狭めれば、変調器３００の一点に入射する光線を単一波長、ほぼ単一進入角度にすることができ、上述のような変調を掛けることができるようになる。
【0090】
図２８は、実施形態に係る分光計測装置９４０Ａの配置例を説明するための図である。分光計測装置９４０Ａは、上述のように回折格子９４４を通過した回折光線を波長ごとにまとめるために、図２８に示すように、変調レンズ９４８及び変調器３００を光路ＯＰに配置している。なお，図２８では、スリット９４２の記載を省略している。分光計測装置９４０Ａは、光路ＯＰにおいて、回折格子９４４の直後に、焦点距離がｆＭの変調レンズ９４８を配置し、変調レンズ９４８からｆＭだけ離れた位置で焦点面を生成する。分光計測装置９４０Ａは、変調器３００を変調レンズ９３８の焦点面に配置することで、光線群ＬＦの光線の進行方向を波長ごとに変調する。分光計測装置９４０Ａは、変調器３００と結像レンズ９４５との距離がｄ１、結像レンズ９４５とエリアセンサ９４６との距離がｄ２となっている。ｄ２は、以下の式（６）で示すことができる。
なお、上記式（６）において、ｆ３は、結像レンズ９４５の焦点距離である。
【数6】
【0091】
分光計測装置９４０Ａは、変調レンズ９４８の焦点面で変調器３００が変調を行うことで、エリアセンサ９４６の受光面の位置に変調器３００を配置して変調を行う場合と同様の効果を得ることができる。
【0092】
３．３ 変調器の設計例
図２９は、実施形態に係る変調器３００の設計方法の手順を示すフローチャートである。図３０は、実施形態に係る変調器３００の設計方法の一例を説明するための図である。図２９に示す設計方法は、スネルの法則を利用して、入射する光線群ＬＦの進行方向を変化させる変調器３００の設計方法である。設計方法は、例えば、コンピュータ、専用の電子機器等によって実行される。本実施形態では、設計方法は、コンピュータによって実行される場合について説明する。
図２９は、実施形態に係る変調器３００の設計方法の手順を示すフローチャートである。図３０は、実施形態に係る変調器３００の設計方法の一例を説明するための図である。図２９に示す設計方法は、スネルの法則を利用して、入射する光線群ＬＦの進行方向を変化させる変調器３００の設計方法である。設計方法は、例えば、コンピュータ、専用の電子機器等によって実行される。本実施形態では、設計方法は、コンピュータによって実行される場合について説明する。
【0093】
図２９に示す設計方法では、コンピュータは、変調レンズ９４８の焦点距離を決定する（ステップＳ１０１）。コンピュータは、変調レンズ９４８からエリアセンサ９４６までの光線を追跡する（ステップＳ１０２）。例えば、コンピュータは、シミュレーション、アプリケーション等を実行することで、変調レンズ９４８からエリアセンサ９４６まで空間の中で、光線の振る舞いを追跡する。コンピュータは、図３０のＲ１に示すように、変調レンズ９４８からエリアセンサ９４６まで光線群ＬＦの追跡結果を得る。
【0094】
図２９に戻り、コンピュータは、変調レンズ９４８の焦点面への進入光線を入射光線として抽出する（ステップＳ１０３）。例えば、コンピュータは、図２８に示した変調レンズの焦点面に対する入射光線と、図３０のＲ２に示す受光面での必要な光線ヒット位置から算出される変調器３００の出力光線とを元に、必要な変調器３００の面法線をスネルの法則にしたがって算出する。光線ヒット位置は、例えば、図３０のＲ３に示すグラフにおいて、破線で示す非線形の部分を含む。
【0095】
図２９に戻り、コンピュータは、受光面上で必要な光線ヒット位置に基づいて、変調器３００からの出射光を決定する（ステップＳ１０４）。コンピュータは、入射光線と出射光線とに基づいて、変調器３００の面法線を決定する（ステップＳ１０５）。コンピュータは、面法線を積分して変調器３００の形状を決定する（ステップＳ１０６）。例えば、コンピュータは、図３０のＲ４に示すように、変調器３００の本体３０１の一面である面形状３１０を決定する。面形状３１０は、例えば、本体３０１の入射面であり、光線の非線形に応じた部分が突出する形状になっている。なお、面形状３１０は、本体３０１の出射面としてもよいし、本体３０１の入射面及び出射面を組み合わせた面形状としてもよい。
【0096】
図２９に戻り、コンピュータは、決定した形状の変調器３００を用いた場合の光線の追跡結果に基づいて、受光面上における光線のヒット位置を算出する（ステップＳ１０７）。例えば、コンピュータは、シミュレーション、アプリケーション等を実行することで、変調レンズ９４８からエリアセンサ９４６まで空間の中で、決定した変調器３００を用いた場合の光線の振る舞いを追跡する。
【0097】
コンピュータは、算出したヒット位置が設計位置と一致するか否かを判定する（ステップＳ１０８）。設計位置は、例えば、変調器３００を用いた場合の設計上の受光面における光線のヒット位置を含む。コンピュータは、算出したヒット位置が設計位置と一致しないと判定した場合（ステップＳ１０８でＮｏ）、変調器３００の面形状が分光計測装置９４０Ａに適していないので、処理を既に説明したステップＳ１０１に戻し、一連の手順をやり直す。また、コンピュータは、算出したヒット位置が設計位置と一致すると判定した場合（ステップＳ１０８でＹｅｓ）、変調器３００の面形状が分光計測装置９４０Ａに適しているので、設計結果を記憶装置等に記憶し、図２９に示す手順を終了させる。
【0098】
本技術では、変調器３００は、スネルの法則を利用して入射光線の進行方向を変化させる。設計方法は、図２９に示すように、まずは変調レンズ９４８からエリアセンサ９４６までの間の空間の中での光線の振る舞いを光線追跡で求める。次に、設計方法は、図２８中の変調レンズ９４８の焦点面に対する入射光線、図３０のＲ３の中の非線形の点のように、受光面での必要な光線ヒット位置から算出される変調器３００の出力光線に基づいて、必要な変調器３００の面法線をスネルの法則にしたがって算出する。設計方法は、最後に算出された面法線を積分し、必要な変調器３００の面形状を生成する。これにより、変調器３００の設計方法は、エリアセンサ９４６の受光面に曲げた屈折像を投影するのに適した面形状３１０を設計することができる。その結果、設計方法は、エリアセンサ９４６の撮像領域をより効率的に使用し、波長分解能を向上させることができる変調器３００を提供することができる。
【0099】
３．４ シミュレーション結果
次に、本実施形態に係る変調器３００を用いたスナップショット方式の分光計測装置４６０に対するシミュレーション結果について説明する。図３１は、実施形態に係る分光計測装置４６０のシミュレーション結果を示す図である。
次に、本実施形態に係る変調器３００を用いたスナップショット方式の分光計測装置４６０に対するシミュレーション結果について説明する。図３１は、実施形態に係る分光計測装置４６０のシミュレーション結果を示す図である。
【0100】
本シミュレーションは、図３１の左図の画像データ１０２のように、光線の波長ごとの回折そうの記録方向を曲線に変更する面形状３１０を有する変調器３００を、分光計測装置４６０のシミュレーションを行う。シミュレーションは、入力データ５１０の異なる点からの異なる波長成分の光が、変調器３００を介してエリアセンサ９４６の受光面に投影した結果が復元データ５２０として得られることを示している。
【0101】
入力データ５１０は、例えば、画素数が２６０×２６０、波長が３０１ｎｍとなっている。復元データ５２０は、例えば、画素数が６０×６０、波長が３０ｎｍとなっている。復元データ５２０は、例えば、予め準備しておいた変調行列を用いるバイナリ行列演算処理を施すことで、復元されたデータである。グラフ５３１は、入力データ５１０における画素５１１の相対強度と波長λとの関係を示し、真値を示している。グラフ５３２は、復元データ５２０における画素５２１の相対強度と波長λとの関係を示している。グラフ５３１及びグラフ５３２は、２つのピーク値の差が５０ｎｍであることを示している。グラフ５３１とグラフ５３２と比較すると、類似しており、設計に問題がないことを示している。また、変調器３００がある場合シミュレーション結果は、変調器３００がない場合よりも波長分解能を大幅に改善することができることを示している。
【0102】
３．５ 作用・効果
以上のように、本実施形態によれば、変調器３００は、分光計測装置９４０Ａの回折格子９４４とエリアセンサ９４６との間に設けられることで、回折格子９４４で回折された光線を、エリアセンサ９４６の受光面上における回折像を曲げることができる。これにより、変調器３００は、エリアセンサ９４６の受光面上における光線の波長ごとの回折像を直線状の回折像よりも大きくすることができる。その結果、変調器３００は、エリアセンサ９４６の撮像領域をより効率的に使用し、波長分解能を向上させることができる。
以上のように、本実施形態によれば、変調器３００は、分光計測装置９４０Ａの回折格子９４４とエリアセンサ９４６との間に設けられることで、回折格子９４４で回折された光線を、エリアセンサ９４６の受光面上における回折像を曲げることができる。これにより、変調器３００は、エリアセンサ９４６の受光面上における光線の波長ごとの回折像を直線状の回折像よりも大きくすることができる。その結果、変調器３００は、エリアセンサ９４６の撮像領域をより効率的に使用し、波長分解能を向上させることができる。
【0103】
変調器３００は、回折格子９４４から入射される光線の波長のうち、エリアセンサ９４６の受光面上における記録方向が直線状になる波長の回折像が曲線となるように、光線の進行方向を変更することができる。その結果、変調器３００は、特定の波長の回折像を大きくすることができるので、波長分解能をより一層向上させることができる。
【0104】
変調器３００は、曲げた回折像がエリアセンサ９４６の受光面の内部に収まるように、回折格子９４４からの光線の進行方向を変更することができる。その結果、変調器３００は、エリアセンサ９４６の受光面から回折像が外部に逸脱することなく、受光面を有効利用することができるので、波長分解能をより一層向上させることができる。
【0105】
変調器３００は、エリアセンサ９４６の受光面において、曲げた回折像と他の回折像との重畳を抑制するように、回折格子９４４からの光線の進行方向を変更することができる。その結果、変調器３００は、回折像同士の重畳を抑制することで、空間分解能と波長分解能との間の関係を軽減することができる。
【0106】
変調器３００は、本体３０１が屈折率と一点に入射する単一波長及び単一入射角を含む光線とに基づく入射位置の形状に形成された入射面を有する。一点は、例えば、変調器３００の設置面上で光線が集光する点である。その結果、変調器３００は、入射面で集光された光線に変調を掛けることが可能となるで、波長分解能をより一層向上させることができる。
【0107】
分光計測装置９４０Ａは、変調器３００を備えることで、回折格子９４４で回折された光線を、エリアセンサ９４６の受光面上における回折像を曲げることができる。これにより、分光計測装置９４０Ａは、エリアセンサ９４６の受光面上における光線の波長ごとの回折像を直線状の回折像よりも大きくすることができる。その結果、分光計測装置９４０Ａは、変調器３００を構成に設けることで、エリアセンサ９４６の受光領域をより効率的に使用し、波長分解能を向上させることができる。
【0108】
分光計測装置９４０Ａは、光路上における回折格子４４の後段に変調レンズ９４８を配置し、変調レンズ９４８の焦点位置に変調器３００を配置することができる。これにより、分光計測装置９４０Ａは、変調器３００をエリアセンサ９４６の近傍に配置しなくても、エリアセンサ９４６の受光面に集光させる波長ごとの光線と同様の光線を、変調レンズ９４８によって変調器３００に集光することができる。その結果、分光計測装置９４０Ａは、波長ごとにまとめられた光線の進行方向を変調器３００によって変更することができるので、波長分解能をより一層向上させることができる。
【0109】
３．６ 実施形態の変形例
実施形態の変形例に係る分光計測装置について説明する。上述のように、従来の分光計測装置は、エリアセンサ９４６の受光面の位置では回折光線が焦点に集光され、波長ごとに光線がまとめられる。このため、実施形態の変形例では、上述した変調器３００の配置を、分光計測装置９４０Ａの配置から変更した分光計測装置９４０Ｂの一例について説明する。
実施形態の変形例に係る分光計測装置について説明する。上述のように、従来の分光計測装置は、エリアセンサ９４６の受光面の位置では回折光線が焦点に集光され、波長ごとに光線がまとめられる。このため、実施形態の変形例では、上述した変調器３００の配置を、分光計測装置９４０Ａの配置から変更した分光計測装置９４０Ｂの一例について説明する。
【0110】
図３２は、実施形態の変形例に係る分光計測装置９４０Ｂの配置例を説明するための図である。図３２に示すように、分光計測装置９４０Ｂは、上述の分光計測装置９４０Ａと同様に、スナップショット方式の装置である。分光計測装置９４０Ｂは、焦点距離がｆ１の対物レンズ９４１と、焦点距離がｆ２のコリメートレンズ９４３と、回折格子９４４と、焦点距離がｆ３の結像レンズ９４５と、変調器３００と、エリアセンサ９４６と、を備える。すなわち、分光計測装置９４０Ｂは、上述の分光計測装置９４０Ａの変調レンズ９４８を備えないので、構成の簡単化を図ることができる。
【0111】
変調器３００は、結像レンズ９４５の焦点面に位置するように、エリアセンサ９４６の受光面側に配置されている。例えば、変調器３００は、エリアセンサ９４６の受光面上、または受光面の近傍に配置することができる。
【0112】
変調器３００は、結像レンズ９４５からエリアセンサ９４６に向かう、波長ごとにまとめられた光線（回折光線）が入射される。変調器３００は、スネルの法則により、入射した光線の進行方向を変化させる構成となっている。変調器３００は、エリアセンサ９４６の受光面上における光線の波長ごとの回折像の記録方向が曲がるように、エリアセンサ９４６に向けて出射する光線の進行方向を変更する。すなわち、変調器３００は、エリアセンサ９４６の受光面上の回折像の記録方向が曲がるように、光線の進行方向を変更する。
【0113】
つづいて、分光計測装置９４０Ｂの動作の一例について説明する。分光計測装置９４０Ｂは、計測対象９００からの光を対物レンズ９４１で集光し、さらにスリット９４２を介してコリメートレンズ９４３で平行光に変換し、回折格子９４４を透過させる。分光計測装置９４０Ｂは、回折格子９４４を透過させた光線を結像レンズ９４５で結像させ、変調器３００に集光させる。分光計測装置９４０Ｂは、光線を変調器３００で透過させることで、進行方向を変更させた光線をエリアセンサ９４６の受光面上に投影する。
【0114】
このような構成により、分光計測装置９４０Ｂは、計測対象９００上の異なる点からの異なる波長成分の光がエリアセンサ９４６の受光面における異なる素子（画素）に記録する。分光計測装置９４０Ｂは、変調器３００をエリアセンサ９４６の受光面側に配置しても、上述の分光計測装置９４０Ａと同様に、波長ごとの回折像の記録方向を直線から曲線に変更することができる。また、分光計測装置９４０Ｂは、結像レンズ９４５の焦点面に位置するように、エリアセンサ９４６の受光面側に配置することで、上述の変調レンズ９４８を用いる必要がなくなる。このため、分光計測装置９４０Ｂは、分光計測装置９４０Ａよりも装置構成を簡単化することができる。
【0115】
３．７ 実施形態の変形例に係る変調器の設計例
図３３は、実施形態の変形例に係る変調器３００の設計方法の手順を示すフローチャートである。図３３に示す設計方法は、上述の図２９に示した設計方法を変形している。
図３３は、実施形態の変形例に係る変調器３００の設計方法の手順を示すフローチャートである。図３３に示す設計方法は、上述の図２９に示した設計方法を変形している。
【0116】
図３３に示す設計方法では、コンピュータは、結像レンズ９４５からエリアセンサ９４６までの光線を追跡する（ステップＳ１１１）。例えば、コンピュータは、シミュレーション、アプリケーション等を実行することで、結像レンズ９４５からエリアセンサ９４６まで空間の中で、光線の振る舞いを追跡する。
【0117】
コンピュータは、結像レンズ９４５の焦点面への進入光線を入射光線として抽出する（ステップＳ１１２）。例えば、コンピュータは、結像レンズ９４５の焦点面に対する入射光線と、エリアセンサ９４６の受光面での必要な光線ヒット位置から算出される変調器３００の出力光線とを元に、必要な変調器３００の面法線をスネルの法則にしたがって算出する。
【0118】
コンピュータは、受光面上で必要な光線ヒット位置に基づいて、変調器３００からの出射光を決定する（ステップＳ１０４）。コンピュータは、入射光線と出射光線とに基づいて、変調器３００の面法線を決定する（ステップＳ１０５）。コンピュータは、面法線を積分して変調器３００の形状を決定する（ステップＳ１０６）。コンピュータは、変調器３００の形状を決定した設計結果を記憶装置等に記憶し、図３３に示す手順を終了させる。
【0119】
図３３に示す設計方法の手順では、分光計測装置９４０Ｂが変調レンズ９４８を備えていないため、図２９に示したステップＳ１０１の手順を不要とすることができる。また、図３３に示す設計方法の手順は、分光計測装置９４０Ｂが変調器３００をエリアセンサ９４６の受光面の近傍に配置することで、図２９に示したステップＳ１０７からステップＳ１０８の手順を不要とすることができる。これにより、図３３に示す設計方法は、図２９に示す設計方法よりも手順を簡単化することができる。
【0120】
本技術では、変調器３００は、スネルの法則を利用して入射光線の進行方向を変化させる。設計方法は、まずは結像レンズ９４５からエリアセンサ９４６までの間の空間の中での光線の振る舞いを光線追跡で求める。次に、設計方法は、結像レンズ９４５の焦点面に対する入射光線と、エリアセンサ９４６の受光面での必要な光線ヒット位置から算出される変調器３００の出力光線に基づいて、必要な変調器３００の面法線をスネルの法則にしたがって算出する。設計方法は、最後に算出された面法線を積分し、必要な変調器３００の面形状を生成する。これにより、変調器３００の設計方法は、エリアセンサ９４６の受光面に曲げた屈折像を投影するのに適した面形状３１０を設計することができる。その結果、設計方法は、エリアセンサ９４６の撮像領域をより効率的に使用し、波長分解能を向上させることができる変調器３００を提供することができる。
【0121】
３．８ 移動体への応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【0122】
図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【0123】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【0124】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【0125】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【0126】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【0127】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【0128】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【0129】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【0130】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0131】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【0132】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【0133】
図３５は、撮像部１２０３１の設置位置の例を示す図である。
【0134】
図３５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【0135】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【0136】
なお、図３５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【0137】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【0138】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【0139】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【0140】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【0141】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１等に適用され得る。具体的には、分光計測装置９４０Ａは、撮像部１２０３１等に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、波長分解能を向上させることができるため、車外の情報の検出精度を向上させることができる。
【0142】
３．９ 内視鏡手術システムへの応用例
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
【0143】
図３６は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【0144】
図３６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【0145】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【0146】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0147】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
【0148】
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【0149】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【0150】
光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【0151】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【0152】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0153】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0154】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0155】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0156】
【0157】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【0158】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【0159】
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【0160】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【0161】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【0162】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【0163】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【0164】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
【0165】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【0166】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【0167】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【0168】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【0169】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【0170】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【0171】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0172】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【0173】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１１４０２に適用され得る。撮像部１１４０２に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
【0174】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【0175】
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
【0176】
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
【0177】
さらに、上述した各実施形態は、それぞれ単独で使用されてもよいし、他の実施形態と組み合わせて使用されてもよい。
【0178】
上述した実施形態では、変調器３００は、回折像の記録方向を曲線状に曲げる場合について説明したが、これに限定されない。例えば、変調器３００は、回折像の記録方向を、部分的に折り曲げたり、異なる方向に曲げたり、ジグザグに曲げたりすることができる。
【0179】
なお、本技術は以下のような構成も取ることができる。
（１）
回折格子とイメージセンサとの間に設けられる変調器であって、
前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
変調器。
（２）
前記回折格子から入射される前記光線の波長のうち、前記受光面上における記録方向が直線状になる波長の前記回折像が曲線となるように、前記光線の進行方向を変更する
前記（１）に記載の変調器。
（３）
曲げた前記回折像が前記受光面の内部に収まるように、前記光線の進行方向を変更する
前記（１）または（２）に記載の変調器。
（４）
曲げた前記回折像と他の前記回折像との重畳を抑制するように、前記光線の進行方向を変更する
前記（１）から（３）のいずれかに記載の変調器。
（５）
透過性部材によって形成された本体を備え、
前記本体は、前記透過性部材の屈折率と一点に入射する単一波長及び単一入射角を含む前記光線とに基づく入射位置の形状に形成された入射面を有する
前記（１）から（４）のいずれかに記載の変調器。
（６）
回折格子と、
前記回折格子が受光面側に配置されたイメージセンサと、
前記回折格子と前記イメージセンサとの間に配置された変調器と、
を備え、
前記変調器は、
前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
撮像装置。
（７）
前記回折格子と前記変調器との間に配置された変調レンズをさらに備え、
前記変調器は、前記変調レンズの焦点位置に配置されている
前記（６）に記載の撮像装置。
（８）
前記変調器と前記イメージセンサとの間に配置された結像レンズをさらに備え、
前記結像レンズは、前記変調器が出射した前記光線を前記受光面上に結像する
前記（６）または（７）に記載の撮像装置。
（９）
前記回折格子と前記イメージセンサとの間に配置された結像レンズをさらに備え、
前記変調器は、前記結像レンズの焦点面に位置するように、前記イメージセンサの受光面側に配置されている
前記（６）に記載の撮像装置。
（１０）
回折格子から入射した光線の進行方向を変更してイメージセンサに出射する変調器の設計方法であって、
前記変調器の入射光線及び出射光線の空間における振る舞いを追跡すること、
前記入射光線及び前記出射光線に基づいて変調器の面法線を決定すること、
前記面法線を積分して前記変調器の形状を決定すること、
を含む設計方法。
（１）
回折格子とイメージセンサとの間に設けられる変調器であって、
前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
変調器。
（２）
前記回折格子から入射される前記光線の波長のうち、前記受光面上における記録方向が直線状になる波長の前記回折像が曲線となるように、前記光線の進行方向を変更する
前記（１）に記載の変調器。
（３）
曲げた前記回折像が前記受光面の内部に収まるように、前記光線の進行方向を変更する
前記（１）または（２）に記載の変調器。
（４）
曲げた前記回折像と他の前記回折像との重畳を抑制するように、前記光線の進行方向を変更する
前記（１）から（３）のいずれかに記載の変調器。
（５）
透過性部材によって形成された本体を備え、
前記本体は、前記透過性部材の屈折率と一点に入射する単一波長及び単一入射角を含む前記光線とに基づく入射位置の形状に形成された入射面を有する
前記（１）から（４）のいずれかに記載の変調器。
（６）
回折格子と、
前記回折格子が受光面側に配置されたイメージセンサと、
前記回折格子と前記イメージセンサとの間に配置された変調器と、
を備え、
前記変調器は、
前記回折格子から前記イメージセンサに向かう光線が入射され、前記イメージセンサの受光面上における前記光線の波長ごとの回折像の記録方向が曲がるように、前記イメージセンサに向けて出射する前記光線の進行方向を変更する
撮像装置。
（７）
前記回折格子と前記変調器との間に配置された変調レンズをさらに備え、
前記変調器は、前記変調レンズの焦点位置に配置されている
前記（６）に記載の撮像装置。
（８）
前記変調器と前記イメージセンサとの間に配置された結像レンズをさらに備え、
前記結像レンズは、前記変調器が出射した前記光線を前記受光面上に結像する
前記（６）または（７）に記載の撮像装置。
（９）
前記回折格子と前記イメージセンサとの間に配置された結像レンズをさらに備え、
前記変調器は、前記結像レンズの焦点面に位置するように、前記イメージセンサの受光面側に配置されている
前記（６）に記載の撮像装置。
（１０）
回折格子から入射した光線の進行方向を変更してイメージセンサに出射する変調器の設計方法であって、
前記変調器の入射光線及び出射光線の空間における振る舞いを追跡すること、
前記入射光線及び前記出射光線に基づいて変調器の面法線を決定すること、
前記面法線を積分して前記変調器の形状を決定すること、
を含む設計方法。
【符号の説明】
【0180】
３００ 変調器
９００ 計測対象
９０１、９１３ プリズム
９１１ 光源
９１２、９３２、９４２ スリット
９１４ リニアセンサ
９２１ 波長フィルタアレイ
９２２、９４７ 光学フィルタ
９２３、９３６、９４６ エリアセンサ
９３１、９４１ 対物レンズ
９３３、９４３ コリメートレンズ
９３４ 分光素子
９４０、９４０Ａ、９４０Ｂ 分光計測装置
９４４ 回折格子型分光素子（回折格子）
９３５、９４５ 結像レンズ
９４８ 変調レンズ
９００ 計測対象
９０１、９１３ プリズム
９１１ 光源
９１２、９３２、９４２ スリット
９１４ リニアセンサ
９２１ 波長フィルタアレイ
９２２、９４７ 光学フィルタ
９２３、９３６、９４６ エリアセンサ
９３１、９４１ 対物レンズ
９３３、９４３ コリメートレンズ
９３４ 分光素子
９４０、９４０Ａ、９４０Ｂ 分光計測装置
９４４ 回折格子型分光素子（回折格子）
９３５、９４５ 結像レンズ
９４８ 変調レンズ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】