IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックi−PROセンシングソリューションズ株式会社の特許一覧

<>
  • 特開-撮像装置 図1
  • 特開-撮像装置 図2
  • 特開-撮像装置 図3
  • 特開-撮像装置 図4
  • 特開-撮像装置 図5
  • 特開-撮像装置 図6
  • 特開-撮像装置 図7
  • 特開-撮像装置 図8
  • 特開-撮像装置 図9A
  • 特開-撮像装置 図9B
  • 特開-撮像装置 図10
  • 特開-撮像装置 図11
  • 特開-撮像装置 図12
  • 特開-撮像装置 図13
  • 特開-撮像装置 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022117068
(43)【公開日】2022-08-10
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 5/232 20060101AFI20220803BHJP
   G03B 15/00 20210101ALI20220803BHJP
   G03B 19/06 20210101ALI20220803BHJP
   G03B 17/02 20210101ALI20220803BHJP
   G03B 17/12 20210101ALI20220803BHJP
   G03B 11/00 20210101ALI20220803BHJP
   G02B 7/28 20210101ALI20220803BHJP
   G03B 13/36 20210101ALI20220803BHJP
   G03B 15/14 20210101ALI20220803BHJP
   G03B 5/08 20210101ALI20220803BHJP
   H04N 5/225 20060101ALI20220803BHJP
【FI】
H04N5/232 290
G03B15/00 U
G03B15/00 H
G03B19/06
G03B17/02
G03B17/12 Z
G03B11/00
G02B7/28 H
G02B7/28 N
G03B13/36
G03B15/14
G03B5/08
H04N5/225 400
H04N5/225 800
H04N5/232 120
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021013556
(22)【出願日】2021-01-29
(71)【出願人】
【識別番号】320008672
【氏名又は名称】i-PRO株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】和田 穣二
(72)【発明者】
【氏名】橋本 洋太
(72)【発明者】
【氏名】和智 隼
(72)【発明者】
【氏名】竹永 祐一
【テーマコード(参考)】
2H011
2H054
2H083
2H100
2H101
2H151
5C122
【Fターム(参考)】
2H011CA01
2H054BB02
2H054BB07
2H083AA02
2H083AA26
2H083AA32
2H100CC02
2H101FF08
2H151AA15
2H151DD09
2H151DD20
5C122DA16
5C122DA25
5C122EA12
5C122EA68
5C122FB15
5C122FB17
5C122FB24
5C122FC04
5C122FD10
5C122FH18
5C122GG03
5C122GG04
5C122GG21
5C122HA86
5C122HA88
5C122HB01
5C122HB06
5C122HB09
5C122HB10
(57)【要約】
【課題】あらかじめ想定された距離範囲内に存在する1以上の被写体の撮像に関する動作遅延の発生を抑制し、それぞれの被写体に応じた高画質な撮像画像をフレキシブルに得る。
【解決手段】撮像装置は、被写体からの光が入射するレンズと、第1波長を有する第1光を第1反射率で反射する第1面と、第1面を透過した光のうち第2波長を有する第2光を第2反射率で反射する第2面とを有する分光プリズムと、第1面で反射された第1光に基づいて、第1被写界深度を有して被写体の第1画像を撮像する第1撮像部と、第2面で反射された第2光に基づいて、第2被写界深度を有して被写体の第2画像を撮像する第2撮像部と、第1面あるいは第2面を透過した第3光に基づいて、第3被写界深度を有して被写体の第3画像を撮像する第3撮像部と、第1画像、第2画像および第3画像を合成して出力する信号処理部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
少なくとも1つの被写体からの光が入射するレンズと、
前記被写体からの光のうち第1波長を有する第1光を第1反射率で反射する第1面と、前記第1面を透過した光のうち第2波長を有する第2光を第2反射率で反射する第2面とを有する分光プリズムと、
少なくとも前記第1面で反射された前記第1光に基づいて、第1被写界深度を有して前記被写体の第1画像を撮像する第1撮像部と、
少なくとも前記第2面で反射された前記第2光に基づいて、第2被写界深度を有して前記被写体の第2画像を撮像する第2撮像部と、
少なくとも前記第1面あるいは前記第2面を透過した第3光に基づいて、第3被写界深度を有して前記被写体の第3画像を撮像する第3撮像部と、
前記第1画像、前記第2画像および前記第3画像を合成して出力する信号処理部と、を備える、
撮像装置。
【請求項2】
前記第1撮像部の光軸に沿って配置され、前記第1撮像部に受光される前記第1光の透過帯域を調整可能な複数のフィルタを保持する第1フィルタ保持部と、
前記第2撮像部の光軸に沿って配置され、前記第2撮像部に受光される前記第2光の透過帯域を調整可能な複数のフィルタを保持する第2フィルタ保持部と、
前記第3撮像部の光軸に沿って配置され、前記第3撮像部に受光される前記第3光の透過帯域を調整可能な複数のフィルタを保持する第3フィルタ保持部と、をさらに備える、
請求項1に記載の撮像装置。
【請求項3】
前記被写体までの距離情報に基づく被写界深度の制御信号を発する制御部と、
前記制御信号に基づいて、前記第1撮像部、前記第2撮像部および前記第3撮像部のうち少なくとも1つをその光軸方向に移動させる駆動部と、をさらに備える、
請求項1に記載の撮像装置。
【請求項4】
前記第1被写界深度、前記第2被写界深度および前記第3被写界深度のそれぞれは空間的に連続である、
請求項1に記載の撮像装置。
【請求項5】
前記第1被写界深度、前記第2被写界深度および前記第3被写界深度のそれぞれは空間的に非連続である、
請求項1に記載の撮像装置。
【請求項6】
前記第1光、前記第2光および前記第3光は可視光である、
請求項1に記載の撮像装置。
【請求項7】
前記第1フィルタ保持部の複数のフィルタを透過する光は、近赤外光であり、
前記第2フィルタ保持部の複数のフィルタを透過する光は、420~780nmの波長を有する光であり、
前記第3フィルタ保持部の複数のフィルタを透過する光は、660~700nmの波長を有する光である、
請求項2に記載の撮像装置。
【請求項8】
前記第1フィルタ保持部の複数のフィルタを透過する光は、800nm以上の波長を有する近赤外光であり、
前記第2フィルタ保持部の複数のフィルタを透過する光は、可視光であり、
前記第3フィルタ保持部の複数のフィルタを透過する光は、700~800nmの波長を有する光である、
請求項2に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、撮像装置に関する。
【背景技術】
【0002】
特許文献1には、任意の焦点距離を有する撮像レンズを用いて任意の絞り値で撮像した場合でも、広範囲の被写体に合焦して撮像する撮像装置が開示されている。この撮像装置は、遠視野の被写体および近視野の被写体の各像を撮像する撮像レンズと、撮像レンズを通過した光の光路を複数の光路に分割する光路分割手段と、分割された各光路にそれぞれ配置され被写体の像を撮像して映像信号を発生する異なる撮像素子と、各撮像素子をその光軸方向に沿って移動させる撮像素子駆動装置と、入力されたレンズパラメータに応じて各撮像素子の光軸上の位置を決定する演算処理装置とを備える。演算処理装置は、レンズパラメータが変化した場合、第1の撮像素子および第2の撮像素子のそれぞれの撮像レンズの主点からの距離を算出して撮像素子駆動装置を駆動することで、撮像素子の配置を移動させる。これにより、最も広範囲の被写界深度を持つ映像が得られる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-78802号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の構成では、撮像レンズの主点から被写体までの距離である対物距離に合焦している場合に、対物距離より遠方の合焦範囲を後方被写界深度、対物距離より撮像レンズに近い側の合焦範囲を前方被写界深度と定義されている。そのため、例えば前方被写界深度内、後方被写界深度内のそれぞれに撮像対象となる被写体が1つも存在しない場合、第1の撮像素子および第2の撮像素子の撮像レンズの主点からの距離を都度算出して撮像素子駆動装置を駆動する必要があり、一定時間の動作遅延が生じる可能性があった。例えば工場等に撮像装置が配置される場合、撮像装置が観察するべき1以上の被写体(例えば貨物あるいは人物)までの距離は粗方定まっていることが少なくない。このように、撮像装置から見た1以上の被写体までの距離はそれぞれ不変であることに鑑みれば、動作遅延の発生を抑制して被写体に応じた高画質な撮像画像を得ることに関して改善の余地があったと言える。
【0005】
本開示は、上述した従来の事情に鑑みて案出され、あらかじめ想定された距離範囲内に存在する1以上の被写体の撮像に関する動作遅延の発生を抑制し、それぞれの被写体に応じた高画質な撮像画像をフレキシブルに得る撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示は、少なくとも1つの被写体からの光が入射するレンズと、前記被写体からの光のうち第1波長を有する第1光を第1反射率で反射する第1面と、前記第1面を透過した光のうち第2波長を有する第2光を第2反射率で反射する第2面とを有する分光プリズムと、少なくとも前記第1面で反射された前記第1光に基づいて、第1被写界深度を有して前記被写体の第1画像を撮像する第1撮像部と、少なくとも前記第2面で反射された前記第2光に基づいて、第2被写界深度を有して前記被写体の第2画像を撮像する第2撮像部と、少なくとも前記第1面あるいは前記第2面を透過した第3光に基づいて、第3被写界深度を有して前記被写体の第3画像を撮像する第3撮像部と、前記第1画像、前記第2画像および前記第3画像を合成して出力する信号処理部と、を備える、撮像装置を提供する。
【発明の効果】
【0007】
本開示によれば、あらかじめ想定された距離範囲内に存在する1以上の被写体の撮像に関する動作遅延の発生を抑制し、それぞれの被写体に応じた高画質な撮像画像をフレキシブルに得ることができる。
【図面の簡単な説明】
【0008】
図1】実施の形態1に係る分光プリズムカメラのユースケース例を示す図
図2】実施の形態1に係る分光プリズムカメラの内部のハードウェア構成を例示する斜視図
図3図2に示す分光プリズムカメラの内部のハードウェア構成を例示する分解斜視図
図4図2に示す分光プリズムカメラの内部の機能的構成を示すブロック図
図5図2に示すクロスプリズムの分光に関する動作概要を示す模式図
図6図2に示す分光プリズムの種類のそれぞれの特性を例示する表
図7図2に示す光学フィルタの内部のハードウェア構成を例示する斜視図
図8図7に示す光学フィルタ全体の透過特性を説明するグラフ
図9A図7に示す光学フィルタのそれぞれの透過特性の第1例を示すグラフ
図9B図7に示す光学フィルタのそれぞれの透過特性の第2例を示すグラフ
図10】実施の形態1に係る分光プリズムカメラの動作手順例を示すフローチャート
図11】実施の形態1の第1変形例を示す模式図
図12】実施の形態1の第2変形例を示す写真
図13】実施の形態2に係る分光プリズムカメラのユースケース例を示す図
図14】実施の形態2に係る分光プリズムカメラの動作手順例を示すフローチャート
【発明を実施するための形態】
【0009】
以下、適宜図面を参照しながら、本開示に係る撮像装置を具体的に開示した実施の複数の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、添付図面のそれぞれは符号の向きにしたがって参照するものとする。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0010】
本開示に係る撮像装置として、例えば物流センターで用いられる貨物の仕分けシステム用の荷札ラベル認識装置(実施の形態1参照)、または病院の手術室で患者の患部を医師が視認容易なようにその患部を撮像するヘッドマウント型の撮像装置(実施の形態2参照)を例示して説明するが、これらの例に限定されない。所定の被写体を撮像するものであれば、本開示の内容を種々の用途に採用することが可能である。
【0011】
また、実施の形態のそれぞれでいう「部」または「装置」とは単にハードウェアによって機械的に実現される物理的構成に限らず、その構成が有する機能をプログラムなどのソフトウェアにより実現されるものも含む。また、1つの構成が有する機能が2つ以上の物理的構成により実現されても、または2つ以上の構成の機能が例えば1つの物理的構成によって実現されていてもかまわない。
【0012】
(実施の形態1)
図1図12に基づいて、本開示に係る実施の形態1について説明する。
【0013】
図1を参照しながら、実施の形態1に係るユースケースの一例について説明する。図1は、実施の形態1に係る分光プリズムカメラ100のユースケース例を示す図である。分光プリズムカメラ100は、本開示に係る撮像装置の一例である。
【0014】
図1に示すように、例えば物流センターで用いられる貨物仕分けシステムは、様々な種類の高さを有する貨物PKの搬送装置BC(例えばコンベア装置)と、実施の形態1に係る分光プリズムカメラ100をその一部として有して設けられる荷札ラベル認識装置と、を含んで構成される。
【0015】
搬送装置BCは、互いに高さ(言い換えると、搬送装置BCの搬送面に対し垂直方向(鉛直方向)の寸法)が異なる貨物PKの複数種類をその搬送方向に沿って搬送する。貨物PKは例えば段ボールなどの箱形状を有しており、その天面には荷札ラベルとして非可視インキのバーコードBDが刻印されている。非可視インキは、受けた光に対し近赤外(IR:Infrared Ray)光を発光(反射)する特性を有し、人間の目で視認することは不可能である。
【0016】
実施の形態1に係る分光プリズムカメラ100は、後述するように、クロスプリズムCXP(分光プリズムの一例)と、第1カメラ部11(第1撮像部の一例)と、第2カメラ部12(第2撮像部の一例)と、第3カメラ部13(第3撮像部の一例)と、を含む。分光プリズムカメラ100の入射軸IMXは貨物PKの高さ方向に沿って配置され、分光プリズムカメラ100は、搬送される貨物PKの天面を撮像する。本ユースケースでは、第1カメラ部11、第2カメラ部12および第3カメラ部13のいずれも、近赤外(IR)光を撮像可能に構成される。
【0017】
そして、本ユースケースでは、前述したように高さの異なる貨物PKが搬送装置BCによって搬送され、実施の形態1に係る分光プリズムカメラ100は、第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれにより、複数の焦点位置、および複数の被写界深度を実現可能である。
【0018】
つまり、この実現により、実施の形態1に係る分光プリズムカメラ100によれば、単一のカメラ(例えば第1カメラ部11、第2カメラ部12、第3カメラ部13)によりも被写界深度を相対的に拡充可能となることで、分光プリズムカメラ100から見て高さ方向もしくは奥行き方向に幅広いダイナミックレンジを有することが可能となる。例えば、実施の形態1では、第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれで実現される第1被写界深度D1、第2被写界深度D2および第3被写界深度D3の範囲が、分光プリズムカメラ100から見て高さ方向もしくは奥行き方向(例えば上述した垂直方向(鉛直方向))で空間的に連続して配置され、それにより、単一のカメラ部(例えば第1カメラ部11)が有する被写界深度に比べて、高さ方向もしくは奥行き方向に幅広い被写界深度を得る機能が実現される(以下、この機能を「SDDF:Super Dynamic Depth of Field」と略して表記する場合もある)。そのため、広範囲の被写界深度を実現して高さがさまざまに異なる貨物PKが搬送された場合でも、実施の形態1に係る分光プリズムカメラ100は、適切に焦点を合わせて精度よく非可視インキのバーコードBDを撮像することが可能となる。
【0019】
なお、その他の構成として、分光プリズムカメラ100が、近赤外(IR)光を撮像可能なカメラ部と、可視光を撮像可能なカメラ部と、を有して構成される場合、可視光と赤外線(IR)光の両方が合成された画像を取得することが可能である。すなわち、貨物PKの天面全体によって反射される可視光と、非可視インキのバーコードBDによって反射される近赤外(IR)光とがクロスプリズムCXP(後述参照)で分光され、複数のカメラ部(つまり第1カメラ部11,第2カメラ部12,第3カメラ部13)のそれぞれで個別に撮像される。そして、その可視光と赤外線光とのそれぞれによって個別に撮像される画像が1つに合成されてディスプレイなどの表示器DPに表示される。そのため、実施の形態1に係る分光プリズムカメラ100は、貨物PKの天面の外形が映った画像上にその非可視インキのバーコードBDが映った画像を重畳して表示することが可能となる。したがって、この場合、貨物PKのバーコードBDの視認性を高め、仕分け効率を向上することが可能である。
【0020】
[分光プリズムカメラの構成について]
図2図4に参照しながら、分光プリズムカメラ100の構成について説明する。図2は、実施の形態1に係る分光プリズムカメラ100の内部のハードウェア構成を例示する斜視図である。図3は、図2に示す分光プリズムカメラ100の内部のハードウェア構成を例示する分解斜視図である。図4は、図2に示す分光プリズムカメラ100の内部の機能的構成を示すブロック図である。
【0021】
図2図4に示すように、分光プリズムカメラ100は、共用レンズLS(レンズの一例)と、カメラヘッド部10と、カメラ信号処理部20と、CCU(Camera Control Unit)部30(信号処理部の一例)と、カメラ制御部40(制御部の一例)と、ABF(Auto Back Focus)制御部41と、照明制御部42と、偏光フィルタ制御部43、レンズ制御部44と、照明部ILMと、を含む構成である。また、分光プリズムカメラ100は、表示器DPと有線または無線を介して接続されており、表示器DPは分光プリズムカメラ100で撮像される画像または動画が表示される。
【0022】
レンズの一例としての共用レンズLSは、カメラヘッド部10のクロスプリズムCXP(後述)より対物側(換言すると、被写体の一例としての搬送装置BCによって搬送される貨物PK(図1参照)側)に取り付けられた光学レンズを含むレンズユニットとして構成される。共用レンズLSには被写体の一例としての貨物PKからの光(例えば貨物PKの天面での反射光)が入射し、共用レンズLSはその入射した光を集光する。共用レンズLSにより集光された被写体の一例としての貨物PKからの光は、カメラヘッド部10のクロスプリズムCXPに入射する。
【0023】
カメラヘッド部10は、共用レンズLSの次に対物側(つまり搬送装置BCによって搬送される貨物PK側)に配置され、共用レンズLSを透過した光を分光したり撮像したりする。カメラヘッド部10は、偏光フィルタPLFと、2つの光学面(例えば後述するA面ASおよびB面BS参照)を有するクロスプリズムCXPと、第1カメラ部11(第1撮像部の一例)と、第2カメラ部12(第2撮像部の一例)と、第3カメラ部13(第3撮像部の一例)と、を含んで構成される。
【0024】
偏光フィルタPLFは、共用レンズLSにより集光された光(つまり被写体からの光)のうち特定の偏光成分(例えば偏光フィルタ制御部43により設定された光の進行方向に対するp偏光成分およびs偏光成分)のみ透過させる光学的性質を有している。
【0025】
クロスプリズムCXP(分光プリズムの一例)は、光学面としての性質を有するA面AS(第1面の一例)およびB面BS(第2面の一例)を有し、プリズム固定部材FXにより固定される。クロスプリズムCXPは、共用レンズLSにより集光された光(つまり被写体としての貨物PKからの光)をA面ASまたはB面BSにおいて反射および透過する。
【0026】
すなわち、クロスプリズムCXPは、搬送装置BCによって搬送される貨物PK(被写体の一例)からの光のうち第1波長(例えば可視光もしくは近赤外光の波長帯域)を有する第1光(例えば可視光もしくは近赤外光)を第1反射率で反射するA面ASと、このA面ASを透過した光のうち第2波長(例えば可視光もしくは近赤外光の波長帯域)を有する第2光(例えば可視光もしくは近赤外光)を第2反射率で反射するB面BSとを有する(図5参照)。実施の形態1では、クロスプリズムCXPは分光プリズムカメラ100の本体に着脱自在に設けられており、それぞれの光学特性が異なる複数種類のクロスプリズムCXPが用意されており用途に対応して選択されてその本体に装着される(図6参照)。
【0027】
第1カメラ部11は、第1光学フィルタ保持部FH1と、第1イメージセンサISR1と、第1オートバックフォーカス機構ABF1(駆動部の一例)と、を有して構成される。第1カメラ部11は、クロスプリズムCXPのA面ASで反射された第1光(例えば可視光もしくは近赤外光)に基づいて、第1被写界深度D1を有して貨物PKの天面(被写体の一例)の第1画像IMG1を撮像する。
【0028】
なお、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2(後述)および第3光学フィルタ保持部FH3(後述)のそれぞれは、例えば、複数の光学フィルタOPF(フィルタの一例、後述)を保持して所定の波長を有する光のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF:Band Pass Filter)を実現可能に構成される。
【0029】
第1イメージセンサISR1は、例えば830±30[nm]の波長を有する近赤外(IR)光に適する複数の画素が配列されたCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)を含んで構成される。
【0030】
第1イメージセンサISR1は、クロスプリズムCXPのA面ASにより反射あるいは全反射される光(実施の形態1では近赤外(IR)光)が受光しやすくなるように、入射軸IMXと直交する第1撮像軸CAX1と撮像面が直交して配置される。第1イメージセンサISR1は、搬送装置BCによって搬送される貨物PKの天面を、受光された光(第1光)に基づいて撮像する。第1イメージセンサISR1は、撮像により得られる貨物PKの天面に関する第1画像IMG1(例えば近赤外画像)の信号を第1信号処理部21に送る。
【0031】
なお、実施の形態1では、貨物PKの天面に刻印される非可視インキのバーコードBDを読み取るために、第1イメージセンサISR1は近赤外画像を取得可能に構成されるが、これに限定されない。それ以外の用途(ユースケース)に応じて、第1イメージセンサISR1は可視光の撮像に適する複数の画素が配列されたCCDまたはCMOSを含む構成としてもよい。後述する第2イメージセンサISR2および第3イメージセンサISR3も同様である。
【0032】
第1オートバックフォーカス機構ABF1は、例えば特許第3738777号公報に開示されているような機構により構成される。第1オートバックフォーカス機構ABF1は、ABF制御部41(後述参照)からの制御信号に基づいて、第1イメージセンサISR1の撮像面が第1撮像軸CAX1に直交する状態を維持しながら第1イメージセンサISR1を第1撮像軸CAX1の方向に移動させることで第1イメージセンサISR1の焦点距離を適宜調整する。
【0033】
つまり、第1オートバックフォーカス機構ABF1によれば、例えば第1イメージセンサISR1に受光される光の波長帯域がカメラ制御部40(後述)によって異なる波長帯域に選択される場合でも、あるいは異なる波長帯域に伴う光路長の変化がある場合でも、第1イメージセンサISR1を第1撮像軸CAX1の方向(光軸方向の一例)に移動可能となることでピントの合う鮮明な近赤外画像もしくは可視画像を得ることが可能となる。
【0034】
なお、第1イメージセンサISR1は第1オートバックフォーカス機構ABF1の内部に配設されてもよいし、第1オートバックフォーカス機構ABF1とは別体で設けられてもよい。第2イメージセンサISR2(後述)および第3イメージセンサISR3(後述)も同様である。
【0035】
第2カメラ部12も、第1カメラ部11と同様に、第2光学フィルタ保持部FH2と、第2イメージセンサISR2と、第2オートバックフォーカス機構ABF2(駆動部の一例)と、を有して構成される。第2カメラ部12は、クロスプリズムCXPのB面BSで反射された第2光に基づいて、第2被写界深度D2を有して貨物PKの天面の第2画像IMG2を撮像する。
【0036】
第2イメージセンサISR2も、第1イメージセンサISR1と同様に、近赤外(IR)光に適する複数の画素が配列されたCCDまたはCMOSを含んで構成される。なお、上述したように、第2イメージセンサISR2も、可視光の撮像に適する複数の画素が配列されたCCDまたはCMOSを含む構成としてもよい。
【0037】
第2イメージセンサISR2は、クロスプリズムCXPのB面BSにより反射あるいは全反射される光(実施の形態1では近赤外(IR)光もしくは可視光)が受光しやすくなるように、入射軸IMXと直交する第2撮像軸CAX2と撮像面が直交して配置される。第2イメージセンサISR2も、同様に搬送装置BCによって搬送される貨物PKの天面を、受光された光(第2光)に基づいて撮像する。第2イメージセンサISR2は、撮像により得られる貨物PKの天面に関する第2画像IMG2(例えば近赤外画像もしくは可視画像)の信号を第2信号処理部22に送る。
【0038】
第2オートバックフォーカス機構ABF2も、第1オートバックフォーカス機構ABF1と同様に、例えば特許第3738777号公報に開示されているような機構により構成される。第2オートバックフォーカス機構ABF2は、ABF制御部41からの制御信号に基づいて、第2イメージセンサISR2の撮像面が第2撮像軸CAX2に直交する状態を維持しながら第2イメージセンサISR2を第2撮像軸CAX2の方向に移動させることで第2イメージセンサISR2の焦点距離を適宜調整する。
【0039】
つまり、第2オートバックフォーカス機構ABF2によれば、例えば第2イメージセンサISR2に受光される光の波長帯域がカメラ制御部40(後述参照)によって異なる波長帯域に選択される場合でも、あるいは異なる波長帯域に伴う光路長の変化がある場合でも、第2イメージセンサISR2を第2撮像軸CAX2(光軸方向の一例)の方向に移動可能となることでピントの合う鮮明な近赤外画像もしくは可視画像を得ることが可能となる。なお、実施の形態1では、第1カメラ部11および第2カメラ部12は入射軸IMXを基準にして線対称に配置されるため、第1撮像軸CAX1および第2撮像軸CAX2は一致する。
【0040】
第3カメラ部13も、第1カメラ部11および第2カメラ部12と同様に、第3光学フィルタ保持部FH3と、第3イメージセンサISR3と、第3オートバックフォーカス機構ABF3(駆動部の一例)と、を有して構成される。第3カメラは、クロスプリズムCXPのA面ASあるいはB面BSを透過した第3光(例えば可視光もしくは近赤外光の波長帯域)に基づいて、第3被写界深度D3を有して貨物PKの天面の第3画像IMG3を撮像する。なお、実施の形態1は、第3カメラ部13はその撮像軸(光軸)が入射軸IMXに一致して配置される。
【0041】
第3イメージセンサISR3も、第1イメージセンサISR1および第2イメージセンサISR2と同様に、近赤外(IR)光に適する複数の画素が配列されたCCDまたはCMOSを含んで構成される。なお、上述したように、第3イメージセンサISR3も、可視光の撮像に適する複数の画素が配列されたCCDまたはCMOSを含む構成としてもよい。
【0042】
第3イメージセンサISR3は、クロスプリズムCXPのA面ASないしはB面BSを透過した光(実施の形態1では近赤外(IR)光もしくは可視光)が受光しやすくなるように、入射軸IMXと撮像面が直交して配置される。第3イメージセンサISR3も、同様に搬送装置BCによって搬送される貨物PKの天面を、受光された光(第3光)に基づいて撮像する。第3イメージセンサISR3は、撮像により得られる貨物PKの天面に関する第3画像IMG3(例えば近赤外画像もしくは可視画像)の信号を第3信号処理部23に送る。
【0043】
第3オートバックフォーカス機構ABF3も、第1オートバックフォーカス機構ABF1および第2オートバックフォーカス機構ABF2と同様に、例えば特許第3738777号公報に開示されているような機構により構成される。第3オートバックフォーカス機構ABF3は、ABF制御部41からの制御信号に基づいて、第3イメージセンサISR3の撮像面が入射軸IMXに直交する状態を維持しながら第3イメージセンサISR3を入射軸IMXの方向に移動させることで第3イメージセンサISR3の焦点距離を適宜調整する。
【0044】
つまり、第3オートバックフォーカス機構ABF3によれば、例えば第3イメージセンサISR3に受光される光の波長帯域がカメラ制御部40によって異なる波長帯域に選択される場合でも、あるいは異なる波長帯域に伴う光路長の変化がある場合でも、第3イメージセンサISR3を入射軸IMXの方向(光軸方向の一例)に移動可能となることでピントの合う鮮明な近赤外画像を得ることが可能となる。さらに、複数の被写体が分光プリズムカメラ100からの距離が異なるために、それぞれの被写体までの焦点距離が複数種類となる場合でも、分光プリズムカメラ100は、被写界深度が異なる複数のカメラ部(例えば第1カメラ部11、第2カメラ部12、第3カメラ部13)を有しているので、それぞれの被写体を対象としてピントの合う画像を得ることができる。
【0045】
カメラ信号処理部20は、カメラヘッド部10での撮像により得られる画像信号を用いて人間が認知可能な形式(例えばRGB形式、またはYUV形式)の撮像画像データを生成する。カメラ信号処理部20は、第1信号処理部21と、第2信号処理部22と、第3信号処理部23と、を含む。なお、CCU部30(後述参照)は、カメラ信号処理部20の内部に含まれる構成としてもよい。
【0046】
第1信号処理部21、第2信号処理部22および第3信号処理部23のそれぞれは、例えばDSP(Digital Signal Processor)あるいはFPGA(Field Programmable Gate Array)などのプロセッサにより構成される。第1信号処理部21は、第1イメージセンサISR1からの画像信号を用いて各種のカメラ信号処理を施して撮像画像データを生成してCCU部30に送る。第2信号処理部22も、同様に第2イメージセンサISR2からの画像信号を用いて各種のカメラ信号処理を施して撮像画像データを生成してCCU部30に送る。第3信号処理部23も、同様に第3イメージセンサISR3からの画像信号を用いて各種のカメラ信号処理を施して撮像画像データを生成してCCU部30に送る。
【0047】
第1信号処理部21、第2信号処理部22および第3信号処理部23のそれぞれにより生成される撮像画像データは、クロスプリズムCXPの種類、また対応する第1カメラ部11、第2カメラ部12および第3カメラ部13の内部構成に基づいて貨物PKの天面の可視画像データ、近赤外画像データ、または特定波長画像データとされ、分光プリズムカメラ100の用途によって適宜選択あるいは設定される。なお、特定波長画像データは、第1信号処理部21、第2信号処理部22または第3信号処理部23のそれぞれにおけるカメラ信号処理によって、あらかじめ設定された特定の波長帯域の成分のみ抽出された画像データである。
【0048】
信号処理部の一例としてのCCU部30は、例えばDSPあるいはFPGAなどのプロセッサにより構成され、第1信号処理部21、第2信号処理部22および第3信号処理部23のそれぞれからの撮像画像データを用いて各種の画像解析処理(例えば画像間演算または画像合成)を実行する。例えば、CCU部30は、画像解析処理の1つとして、ハイダイナミックレンジ合成(HDR:High-dynamic-range rendering)が可能に構成される。また、CCU部30は、第1信号処理部21からの画像データ(第1画像IMG1)と、第2信号処理部22からの画像データ(第2画像IMG2)と、第3信号処理部23からの画像データ(第3画像IMG3)と、を重畳した画像合成を行って表示器DPに表示出力する(換言すると、画像合成して出力する)。
【0049】
なお、CCU部30は、前述した画像解析処理によって貨物PKの天面などの被写体あるいは被写体に置かれている対象物(例えば分析対象の物体)の状態、性質などを分析してもよい(例えば、後述する実施の形態1の第2変形例、図12参照)。
【0050】
制御部の一例としてのカメラ制御部40は、例えばCPU(Central Processing Unit)、DSPあるいはFPGAなどのプロセッサにより構成され、分光プリズムカメラ100の作動に関する各種の制御を統括する。例えば、カメラ制御部40は、ABF制御部41にオートバックフォーカスに関する制御信号を送信したり、照明制御部42に照射に関する制御信号を送信したりする。また、カメラ制御部40は、偏光フィルタ制御部43に偏光フィルタPLFの偏光特性に関する制御信号を送信したり、レンズ制御部44に共用レンズLSの特性調整に関する制御信号を送信したりする。また、カメラ制御部40は、前述のオートバックフォーカスに関する制御信号として、被写体までの距離情報に基づく被写界深度の制御信号を生成して送信する。なお、カメラ制御部40は、分光プリズムカメラ100とは異なる外部入力に基づく外部制御信号を受けて、分光プリズムカメラ100の作動に関する各種の制御を実行可能に構成されてもよい。
【0051】
ABF制御部41は、カメラ制御部40からの制御信号に基づいて、第1オートバックフォーカス機構ABF1、第2オートバックフォーカス機構ABF2および第3オートバックフォーカス機構ABF3のそれぞれに、前進および後退、原点検出、位置保持に関する制御信号を独立に生成して送信する。それにより、これら第1オートバックフォーカス機構ABF1、第2オートバックフォーカス機構ABF2および第3オートバックフォーカス機構ABF3のそれぞれは、ABF制御部41からの制御信号に基づいて、前進および後退、原点検出、位置保持を実行することが可能になる。
【0052】
照明制御部42は、カメラ制御部40からの制御信号に基づいて、照明部ILMから照射する光の点灯または消灯、光量に関する制御信号を生成して照明部ILMに送信する。
【0053】
偏光フィルタ制御部43は、カメラ制御部40からの制御信号に基づいて偏光フィルタPLFを旋回させることで、偏光フィルタPLFで透過させるべき被写体からの光の偏光角度(例えば被写体からの光の進行方向に対するp偏光成分およびs偏光成分の角度)を設定する。
【0054】
レンズ制御部44は、カメラ制御部40からの制御信号に基づいて、共用レンズLSの絞り、倍率、焦点に関する制御信号を生成する。それにより、分光プリズムカメラ100において、共用レンズLSの絞り、倍率、焦点が適切に調整することが可能となる。
【0055】
照明部ILMは、照明制御部42からの制御信号に基づいて、可視光、近赤外(IR)光、または特定波長帯域の励起光を貨物PKの天面などの被写体に向けて照射する。照明部ILMから照射される光は、例えば可視光、近赤外(IR)光、特定波長帯域の励起光とされる。実施の形態1では、このような励起光の照射により、貨物PKの天面に刻印される非可視インキのバーコードBDがより鮮明に撮像することが可能となる。
【0056】
表示器DPは、例えばLCD(Liquid Crystal Display)あるいは有機EL(Electroluminescence)デバイスなどのディスプレイを用いて構成され、CCU部30により画像合成された後の画像データを表示する。
【0057】
図5および図6を参照しながら、クロスプリズムCXPの分光に関する動作概要、および分光プリズムの種類のそれぞれの特性について説明する。図5は、図2に示すクロスプリズムCXPの分光に関する動作概要を示す模式図である。図6は、図2に示す分光プリズムの種類のそれぞれの特性を例示する表である。
【0058】
図5に示すように、貨物PKの天面などの被写体からの光(例えば図5で例示される光LT1,光LT2のそれぞれ)は共用レンズLS(図5では図示せず)を透過してクロスプリズムCXP(図2図4参照)に入射する。
【0059】
光LT1は、クロスプリズムCXPのB面BS上の第1ポイントPT1でその一部(つまり光LT1の一部)が反射され、その残部が透過する。なお、光LT1の反射と透過との割合はB面BSが有する光学的特性(具体的には反射率)によって表現される。以下の説明においても同様である(図6参照)。B面BSで反射された光LT1の一部は、B面BSでの反射によって直角に向きを変えて第2撮像軸CAX2(図4参照)に平行に進行する。クロスプリズムCXPのA面AS上の第2ポイントPT2でさらにその一部がA面ASおよび第2光学フィルタ保持部FH2の光学フィルタOPFを透過して第2イメージセンサISR2に受光される。それと同時に、さらにその残部(つまり第1ポイントPT1で反射された光LT1の一部のうち、A面ASを透過しなかった光)がA面ASの第2ポイントPT2で反射されて光の入射方向と逆方向に進行し戻る(図5で例示される「戻り光RL1」)。
【0060】
その一方、第1ポイントPT1で透過した残部の光LT1は、入射軸IMXに平行に進行し、クロスプリズムCXPのA面AS上の第3ポイントPT3でさらにその一部がA面ASおよび第3光学フィルタ保持部FH3の光学フィルタOPFを透過して第3イメージセンサISR3に受光される。それと同時に、さらにその残部(つまり第1ポイントPT1を透過した光LT1のうち、A面ASを透過しなかった光)がA面ASの第3ポイントPT3で反射され第1撮像軸CAX1に沿って進行し、第1光学フィルタ保持部FH1の光学フィルタOPFを透過して第1イメージセンサISR1に受光される。
【0061】
次に、光LT2は、クロスプリズムCXPのA面AS上の第4ポイントPT4でその一部(つまり光LT2の一部)が反射され、その残部が透過する。A面ASで反射された光LT2の一部は、A面ASでの反射によって第1撮像軸CAX1に平行に進行する。クロスプリズムCXPのB面BS上の第5ポイントPT5でさらにその一部がB面BSおよび第1光学フィルタ保持部FH1の光学フィルタOPFを透過して第1イメージセンサISR1に受光される。それと同時に、さらにその残部(つまり第4ポイントPT4で反射された光LT2の一部のうち、B面BSを透過しなかった光)がB面BSの第5ポイントPT5で反射されて光の入射方向と逆方向に進行し戻る(図5で例示される「戻り光RL2」)。
【0062】
同様にその一方、第4ポイントPT4で透過した残部の光LT2は、入射軸IMXに平行に進行し、クロスプリズムCXPのB面BS上の第6ポイントPT6でさらにその一部がB面BSおよび第3光学フィルタ保持部FH3の光学フィルタOPFを透過して第3イメージセンサISR3に受光される。それと同時に、さらにその残部(つまり第4ポイントPT4を透過した光LT2のうち、B面BSを透過しなかった光)がB面BSの第6ポイントPT6で反射され第2撮像軸CAX2に沿って進行し、第2光学フィルタ保持部FH2の光学フィルタOPFを透過して第2イメージセンサISR2に受光される。
【0063】
ここで、図6に示すように、分光プリズムカメラ100に装着するクロスプリズムCXPの種類(例えば図6で種類A~D)を適宜選択あるいは変更することで、分光プリズムカメラ100で実現される機能(例えば上述したSDDFおよび/またはHDR)を変更することが可能である。なお、いずれの種類でもクロスプリズムCXPに関する動作概要は前述したとおりである(図5参照)。
【0064】
クロスプリズムCXPの種類として、A面ASでの透過率が60%、B面BSでの透過率60%である種類Aが選択された場合、入射される光のうち第1カメラ部11(第1イメージセンサISR1)では24%の可視光、第2カメラ部12(第2イメージセンサISR2)では36%の可視光、第3カメラ部13(第3イメージセンサISR3)では24%の可視光が受光可能に分光される。その結果、種類Aを選択することで、分光プリズムカメラ100で前述したSDDFの機能を実現することが可能となる。なお、種類Aの場合、戻り光は10%となる。
【0065】
また、クロスプリズムCXPの種類として、A面ASでの透過率が80%、B面BSでの透過率が60%である種類Bが選択された場合、入射される光のうち第1カメラ部11では12%の可視光、第2カメラ部12では48%の可視光、第3カメラ部13では32%の可視光が受光可能に分光される。その結果、種類Bを選択することで、分光プリズムカメラ100で前述したSDDFおよびHDRの両方の機能を実現することが可能となる。なお、種類Bの場合、戻り光は16%となる。
【0066】
また、クロスプリズムCXPの種類として、A面ASでの透過率が90%、B面BSでの透過率が50%である種類Cが選択された場合、入射される光のうち第1カメラ部11では5%の可視光、第2カメラ部12では45%の可視光、第3カメラ部13では45%の可視光が受光可能に分光される。その結果、種類Cを選択することで、分光プリズムカメラ100でHDRの機能を実現することが可能となる。なお、種類Cの場合、戻り光は5%となる。
【0067】
クロスプリズムCXPの種類として、A面ASでの透過率が50%、B面BSでの近赤外(IR)の透過率が0%(つまり反射率が100%)である種類Dが選択された場合、入射される光のうち第1カメラ部11では50%の可視光、第2カメラ部12では50%の可視光、第3カメラ部13では近赤外(IR)光の可視光が受光可能に分光される。なお、種類Dの場合、戻り光は0%となる。
【0068】
次に、図7図9Bを参照して、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2、第3光学フィルタ保持部FH3の各構成、ならびにその光学フィルタOPFの光学的特性(透過特性)について説明する。図7は、図2に示す光学フィルタOPFの内部のハードウェア構成を例示する斜視図である。図8は、図7に示す光学フィルタOPF全体の透過特性を説明するグラフである。なお、図8に示す内容は説明の便宜上挙げた一例であり、これに限定されるものはない。
【0069】
図7に示すように、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3のそれぞれは、枠状フレーム体を有して形成されており、分光プリズムカメラ100の本体に対しカセット式でユーザの手動操作で簡易に着脱自在に設けられる。
【0070】
第1光学フィルタ保持部FH1は、第1カメラ部11の第1撮像軸CAX1(光軸の一例)に沿って配置される。第2光学フィルタ保持部FH2は、第2カメラ部12の第2撮像軸CAX2(光軸の一例)に沿って配置される。第3光学フィルタ保持部FH3は、入射軸IMX(第3カメラ部13の光軸の一例)に沿って配置される。また、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3のそれぞれは、その枠状フレーム体の内部に3枚の光学フィルタOPFが重なった状態で装着可能に設けられており、これら3枚の光学フィルタOPFを一体に保持する。
【0071】
光学フィルタOPFのそれぞれは板状に形成される。そして、図7で奥側の光学フィルタOPFはローカットフィルタ(LCF:Low Cut Filter)である。図7で真ん中の光学フィルタOPFはハイカットフィルタ(HCF:High Cut Filter)である。図7で手前側の光学フィルタOPFは色彩に影響を与えることなく、光の量だけを低下させるNDフィルタ(NDF:Neutral Density Filter)である。
【0072】
図8に示すように、複数の光学フィルタOPFのうちローカットフィルタは、例えばおおよそ500[nm]未満の波長を有する光を遮断して、その波長以上の光のみを透過させる。ハイパスフィルタは、例えばその逆におおよそ700[nm]以上の波長を有する光を遮断して、その波長未満の光のみを透過させる。そのため、ローカットフィルタおよびハイカットフィルタが重なった状態で光が透過すると、例えばおおよそ500~700[nm]の波長を有する光のみを透過させて他の帯域の波長を有する光を遮断するバンドパスフィルタ(BPF)の機能が実現される。なお、図8では一例としてハンドバスフィルタとして透過させる光の波長帯域はおおよそ500~700[nm]に設定されるが、これに限定されない。分光プリズムカメラ100の用途に応じてその光の波長帯域は適宜選択され設定される。
【0073】
このように構成されることで、第1カメラ部11の複数の光学フィルタOPFは、第1カメラ部11に受光される光(第1光の一例)の透過帯域を調整する。第2カメラ部12の複数の光学フィルタOPFは、第2カメラ部12に受光される光(第2光の一例)の透過帯域を調整する。第3カメラ部13の複数の光学フィルタOPFは、第3カメラ部13に受光される光(第3光の一例)の透過帯域を調整する。
【0074】
次に、図9Aおよび図9Bを参照して、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3のそれぞれにおける光学フィルタOPFの組み合わせと、変更前後におけるその組み合わせでの用途例について説明する。図9Aは、図7に示す光学フィルタOPFのそれぞれの透過特性の第1例を示すグラフである。図9Bは、図7に示す光学フィルタOPFのそれぞれの透過特性の第2例を示すグラフである。
【0075】
図9Aに示すように、変更前(図9Aで矢印の図形を基準として左側列)では、第1カメラ部11の第1光学フィルタ保持部FH1に保持される複数の光学フィルタOPFは、ローカットフィルタ(LCF)として全体的に機能し、おおよそ800[nm]以上の波長を有する光、つまり近赤外(IR)光のみを透過させる。第1カメラ部11の第1光学フィルタ保持部FH1の複数の光学フィルタOPFは変更後(図9Aで矢印の図形を基準として右側列)も同様に機能しその機能は変更されない。なお、この第1カメラ部11の第1光学フィルタ保持部FH1の複数の光学フィルタOPFの機能と整合して、第1カメラ部11は近赤外(IR)光を撮像可能に構成される。
【0076】
変更前の第2カメラ部12の第2光学フィルタ保持部FH2に保持される複数の光学フィルタOPFは、ハイカットフィルタ(HCF)として全体的に機能し、おおよそ780[nm]未満の波長を有する光のみを透過させる。変更後については、第2カメラ部12の第2光学フィルタ保持部FH2の複数の光学フィルタOPFは、バンドパスフィルタ(BPF)として全体的に機能し、420~780[nm]の波長を有する光(可視光)のみを透過させて他の帯域の波長を有する光を遮断する。なお、この第2カメラ部12の第2光学フィルタ保持部FH2に保持される複数の光学フィルタOPFの機能と整合して、第2カメラ部12は可視光を撮像可能に構成される。
【0077】
変更前の第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFは、第2カメラ部12と同様にハイカットフィルタ(HCF)として全体的に機能し、おおよそ780[nm]未満の波長を有する光のみを透過させる。変更後については、第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFは、バンドパスフィルタ(BPF)として全体的に機能し、680[nm]付近、例えば660~700[nm]の波長を有する光(蛍光)のみをピンポイント的に透過させて他の帯域の波長を有する光を遮断する。なお、この第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFの機能と整合して、第3カメラ部13は可視光を撮像可能に構成される。
【0078】
このような第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3のそれぞれにおける光学フィルタOPFの組み合わせについては、例えば、病院の手術室での用途が想定される。
【0079】
つまり、第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFについて、その変更後の光学的特性は、蛍光試薬(例えば5-ALA:5-アミノレブリン酸)が照明部ILMによる励起光に基づいて発光する蛍光の波長帯域が680[nm]付近であることに基づいている。そのため、患者PATの患部AFPに蛍光試薬が手術前にあらかじめ投与された場合(図13参照)、手術中に照明部ILMの励起光によって蛍光試薬が発光し、その蛍光試薬の発光も合わせて分光プリズムカメラ100は撮像して他の画像にその患部AFPの画像も重畳して表示することが可能である。それにより、患部AFPの視認性を高めて医療行為の進行を適切に支援することが可能となる。
【0080】
図9Bに示すように、変更前(図9Aで矢印の図形を基準として左側列)では、第1カメラ部11の第1光学フィルタ保持部FH1に保持される複数の光学フィルタOPFは、ローカットフィルタ(LCF)として全体的に機能し、おおよそ800[nm]以上の波長を有する光、つまり近赤外(IR)光のみを透過させる。変更後(図9Aで矢印の図形を基準として右側列)も同様に機能しその機能は変更されない。なお、この第1カメラ部11の第1光学フィルタ保持部FH1に保持される複数の光学フィルタOPFの機能と整合して、第1カメラ部11は近赤外(IR)光を撮像可能に構成される。
【0081】
変更前の第2カメラ部12の第2光学フィルタ保持部FH2に保持される複数の光学フィルタOPFは、ハイカットフィルタ(HCF)として全体的に機能し、おおよそ800[nm]未満の波長を有する光、つまり可視光のみを透過させる。第2カメラ部12の第2光学フィルタ保持部FH2に保持される複数の光学フィルタOPFは、変更後も同様に機能しその機能は変更されない。なお、この第2カメラ部12の第2光学フィルタ保持部FH2に保持される複数の光学フィルタOPFの機能と整合して、第2カメラ部12は可視光を撮像可能に構成される。
【0082】
変更前の第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFは、第2カメラ部12と同様にハイカットフィルタ(HCF)として全体的に機能し、おおよそ800[nm]未満の波長を有する光のみを透過させる。変更後については、第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFは、バンドパスフィルタ(BPF)として全体的に機能し、おおよそ700~800[nm]の波長を有する光(所定帯域の可視光)のみを透過させて他の帯域の波長を有する光を遮断する。なお、この第3カメラ部13の第3光学フィルタ保持部FH3に保持される複数の光学フィルタOPFの機能と整合して、第3カメラ部13は可視光を撮像可能に構成される。
【0083】
このような第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3のそれぞれにおける光学フィルタOPFの組み合わせについては、同様に、例えば、病院の手術室での用途が想定される。
【0084】
手術中での患者PATの患部AFPにおける血管識別に関し、800[nm]以上の波長を有する近赤外(IR)光に基づく近赤外画像によって動脈が識別容易であり、700~800[nm]の波長を有する可視光に基づく可視光画像によって静脈が識別容易となる。そのため、前述したような第1カメラ部11、第2カメラ部12および第3カメラ部13によって互いに異なる波長を有する光の画像を取得して合成することで、その血管識別(例えば動脈または静脈)が容易となる。
【0085】
次に、図10を参照して、実施の形態1に係る分光プリズムカメラ100の動作手順例について説明する。図10は、実施の形態1に係る分光プリズムカメラ100の動作手順例を示すフローチャートである。
【0086】
図10に示すように、例えば被写体の一例として高さの異なる貨物PKが搬送装置BCによって搬送されている場合(図1参照)、分光プリズムカメラ100の第1カメラ部11は第1被写界深度D1で被写体を撮像する(S11)。この第1カメラ部11の撮像と同時並行して、第2カメラ部12は第1被写界深度D1で(S12)、第3カメラ部13は第2被写界深度D2で(S13)、それぞれ同じ被写体を撮像する。
【0087】
CCU部30は、第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれに基づく撮像画像データを用いて各種の画像解析処理をして、それぞれの撮像画像データを重畳した画像の合成処理を行う(S14)。その合成処理の結果を、CCU部30は、表示器DPに表示出力する(S15)。
【0088】
表示器DPに表示した後、分光プリズムカメラ100の処理が終了とならない場合には(S16のNO)、分光プリズムカメラ100の処理はステップS11~S13に戻る。つまり、分光プリズムカメラ100の処理が終了となるまで、分光プリズムカメラ100はステップS11からステップS16までの処理を繰り返す。その一方、分光プリズムカメラ100の処理が終了となる場合(S16のYES)、分光プリズムカメラ100の処理は終了する。
【0089】
以上により、実施の形態1の分光プリズムカメラ100は、搬送装置BCによって搬送される貨物PKなどの被写体からの光が入射する共用レンズLS(レンズの一例)と、被写体からの光のうち第1波長(例えば可視光もしくは近赤外光の波長帯域)を有する第1光(例えば可視光もしくは近赤外光)を第1反射率で反射するA面AS(第1面の一例)と、A面ASを透過した光のうち第2波長(例えば可視光もしくは近赤外光の波長帯域)を有する第2光(例えば可視光もしくは近赤外光)を第2反射率で反射するB面BS(第2面の一例)とを有するクロスプリズムCXP(分光プリズムの一例)と、A面ASで反射された第1光に基づいて、第1被写界深度D1を有して被写体の第1画像IMG1を撮像する第1カメラ部11(第1撮像部の一例)と、B面BS(第2面の一例)で反射された第2光に基づいて、第2被写界深度D2を有して被写体の第2画像IMG2を撮像する第2カメラ部12(2撮像部の一例)と、A面ASあるいはB面BSを透過した第3光(例えば可視光もしくは近赤外光)に基づいて、第3被写界深度D3を有して被写体の第3画像IMG3を撮像する第3カメラ部13(第3撮像部の一例)と、第1画像IMG1、第2画像IMG2および第3画像IMG3を合成して出力するCCU部30(信号処理部の一例)と、を備える。
【0090】
このため、複数のカメラ部(例えば第1カメラ部11,第2カメラ部12,第3カメラ部13)によって複数の焦点位置、および複数の被写界深度(例えば第1被写界深度D1,第2被写界深度D2,第3被写界深度D3)が実現されており、この実現により、分光プリズムカメラ1001つで被写界深度を幅広いダイナミックレンジとすることができる。これにより、分光プリズムカメラ100は、分光プリズムカメラ100から見て高さ方向もしくは奥行き方向において広範囲の被写界深度を実現して高さがさまざまに異なる被写体を撮像する場合でも適切に焦点を合わせて精度のよい画像を取得することができる。したがって、あらかじめ想定された距離範囲内に存在する1以上の被写体の撮像に関する動作遅延の発生を抑制し、それぞれの被写体に応じた高画質な撮像画像をフレキシブルに得ることができる。
【0091】
また、実施の形態1の分光プリズムカメラ100によれば、第1カメラ部11(第1撮像部の一例)の第1撮像軸CAX1(光軸の一例)に沿って配置され、第1カメラ部11に受光される第1光の透過帯域を調整可能な複数の光学フィルタOPF(フィルタの一例)を保持する第1光学フィルタ保持部FH1(第1フィルタ保持部の一例)と、第2カメラ部12(第2撮像部の一例)の第2撮像軸CAX2(光軸の一例)に沿って配置され、第2カメラ部12に受光される第2光の透過帯域を調整可能な複数の光学フィルタOPF(フィルタの一例)を保持する第2光学フィルタ保持部FH2(第2フィルタ保持部の一例)と、入射軸IMX(第3撮像部の光軸の一例)に沿って配置され、第3カメラ部13(第3撮像部の一例)に受光される第3光の透過帯域を調整可能な複数のフィルタ(フィルタの一例)を保持する第2光学フィルタ保持部FH2(第3フィルタ保持部の一例)と、をさらに備える。
【0092】
これにより、第1光学フィルタ保持部FH1、第2光学フィルタ保持部FH2および第3光学フィルタ保持部FH3との間でそれぞれの光学フィルタOPFの透過帯域に関する光学的特性を異ならせた組み合わせに設定することで、種々の機能(例えばDDFおよび/またはHDR)または種々の用途(例えば病院の手術室での用途など)に適した画像撮像を適宜実現することができる。
【0093】
また、第1具体例としては、第1光学フィルタ保持部FH1(第1フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、近赤外光であり、第2光学フィルタ保持部FH2(第2フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、420~780[nm]の波長を有する光であり、第3光学フィルタ保持部FH3(第3フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、660~700[nm]の波長を有する光である場合(図9A参照)、この組み合わせは病院の手術室での用途に適する。患者PATの患部AFPに対し、励起光に基づいて発光する蛍光の波長帯域が680[nm]付近である蛍光試薬が手術前にあらかじめ投与された際、手術中に照明部ILMの励起光によって蛍光試薬が発光し、その蛍光試薬の発光も合わせて分光プリズムカメラ100は撮像して他の画像にその患部AFPの画像も重畳して表示する(図13参照)。これにより、患部AFPの視認性を高めて医療行為の進行を適切に支援することができる。
【0094】
また、第2具体例としては、第1光学フィルタ保持部FH1(第1フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、800nm以上の波長を有する近赤外(IR)光であり、第2光学フィルタ保持部FH2(第2フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、可視光であり、第3光学フィルタ保持部FH3(第3フィルタ保持部の一例)の複数の光学フィルタOPF(フィルタの一例)を透過する光は、700~800[nm]の波長を有する光である場合(図9B参照)、この組み合わせも同様に病院の手術室での用途に適する。手術中での患者PATの患部AFPにおける血管識別に関し、800[nm]以上の波長を有する近赤外(IR)光に基づく近赤外画像によって動脈が識別容易であり、700~800[nm]の波長を有する可視光に基づく可視光画像によって静脈が識別容易となる。これにより、病院の手術室での用途について、第1カメラ部11、第2カメラ部12および第3カメラ部13によって互いに異なる波長を有する光の画像を取得して合成することで、その血管識別(例えば動脈または静脈)を容易にすることができる。
【0095】
また、実施の形態1の分光プリズムカメラ100(撮像装置の一例)は、搬送装置BCによって搬送される貨物PKなどの被写体までの距離情報に基づく被写界深度の制御信号を発するカメラ制御部40(制御部の一例)と、制御信号に基づいて、第1カメラ部11(第1撮像部の一例)、第2カメラ部12(第2撮像部の一例)および第3カメラ部13(第3撮像部の一例)のうち少なくとも1つをその光軸方向に移動させる第1オートバックフォーカス機構ABF1(駆動部の一例)、第2オートバックフォーカス機構ABF2(駆動部の一例)とおよび第3オートバックフォーカス機構ABF3(駆動部の一例)をさらに備える。
【0096】
これにより、例えば第1イメージセンサISR1、第2イメージセンサISR2または第3イメージセンサISR3に受光される光の波長帯域がカメラ制御部40によって異なる波長帯域に選択される場合でも、異なる波長帯域に伴う光路長の変化がある場合でも、第1イメージセンサISR1、第2イメージセンサISR2または第3イメージセンサISR3をその光軸方向に移動可能となることでピントの合う鮮明な近赤外画像を得ることができる。
【0097】
また、実施の形態1に係る分光プリズムカメラ100は、第1被写界深度D1、第2被写界深度D2および第3被写界深度D3のそれぞれは空間的に連続である。これにより、被写界深度のダイナミックレンジに関する機能(SDDF)が実現され、広範囲の被写界深度を実現して、例えば高さがさまざまに異なる貨物PKなどの被写体が搬送された場合でも適切に焦点を合わせて精度良く被写体を撮像することができる。
【0098】
また、実施の形態1に係る分光プリズムカメラ100では、第1光(第1カメラ部11で受ける光)、第2光(第2カメラ部12で受ける光)および第3光(第3カメラ部13で受ける光)は可視光である。このため、分光プリズムカメラ100でSDDFおよび/またはHDRなどの種々の機能を実現することができる(図6参照)。
【0099】
(実施の形態1の第1変形例)
図11に基づいて、実施の形態1の第1変形例について説明する。図11は、実施の形態1の第1変形例を示す模式図である。
【0100】
図11に示すように、本変形例では、搬送装置BCによって搬送される貨物PKの高さについて、統計的にそのバラツキが、3箇所にある程度集中されていると判断される場合、第1被写界深度D1、第2被写界深度D2および第3被写界深度D3のそれぞれは空間的に非連続に設定される。この場合、前述の実施の形態1に比べて、コストをかけずに容易に被写界深度の範囲をより広く(ダイナミックに)設定することができる。
【0101】
このように、実施の形態1の第1変形例では、第1被写界深度D1、第2被写界深度D2および第3被写界深度D3のそれぞれは空間的に非連続である。これにより、第1被写界深度D1、第2被写界深度D2および第3被写界深度D3のそれぞれは空間的に連続となる場合に比べて、被写界深度のダイナミックレンジに関する機能(SDDF)がより一層広範囲に実現可能となる。したがって、実施の形態1の第1変形例に係る分光プリズムカメラ100は、実施の形態1に係る分光プリズムカメラ100に比べて、広範囲の被写界深度を実現して、例えば高さがさまざまに異なる貨物PKなどの被写体が搬送された場合でもより適切に焦点を合わせて精度良く被写体を撮像することができる。
【0102】
(実施の形態1の第2変形例)
図12に基づいて、実施の形態1の第2変形例について説明する。図12は、実施の形態1の第2変形例を示す写真である。
【0103】
図12に示す例では、分光プリズムカメラ100は、地球上を周回する衛星装置に取り付けられ、被写体として地球表面を撮像する。分光プリズムカメラ100の第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれは、地球表面から発せられる異なる波長帯域の光を撮像する。その撮像によって取得される撮像画像データを用いて、CCU部30は正規化植生指標NDVIに基づく画像解析処理を実行する。正規化植生指標NDVIは次式によって算出される。
【0104】
NDVI = (IR-R)/(IR+R)
ただし、
IR:赤外線の光(波長:780~2500[nm])バンドのピクセル値
R :赤色の光(波長:640~770[nm])バンドのピクセル値
【0105】
NDVIの値は、植生の有無・活性度を表す標準化された指数であり、NDVIは-1.0~1.0の範囲を示す値である。NDVIの値は、赤色の光バンドにおけるクロロフィル色素の吸収と、近赤外(IR)の光バンドにおける植物の細胞構造による高い反射特性と、を意味する。この値により、植生の活性化によりクロロフィルが赤色を吸収する様子が可視化される(観測可能となる)。
【0106】
つまり、地球表面の画像においては、負の値は、主に雲、水または雪を意味する。ゼロに近い値は主に岩または地表を意味する。低い(0.1以下)の値の場合、当該値の示すピクセルは、岩、砂、または雪に覆われた不毛地帯を意味する。中程度の値(0.2~0.3)の場合、当該値の示すピクセルは、低木または草原を意味する。高い値(0.6~0.8)の場合、当該値の示すピクセルは温帯林および熱帯雨林を意味する。
【0107】
(実施の形態2)
次に図13および図14に基づいて、本開示に係る実施の形態2について説明する。なお、前述の形態1と同一または同等部分については、その説明が重複するため、図面に同一符号を付してその説明を省略あるいは簡略化する場合がある。
【0108】
図13を参照しながら、実施の形態2に係るユースケースの一例について説明する。図13は、実施の形態2に係る分光プリズムカメラ200のユースケース例を示す図である。
【0109】
図13に示すように、実施の形態2に係る分光プリズムカメラ200は、例えば看護師などの補助者U2の協力の下で患者PATへの手術を施している医師U1により装着されて使用される。また、実施の形態2に係る分光プリズムカメラ200には、プロジェクタ装置などの投影装置が搭載されており、実施の形態2の分光プリズムカメラ200はその投影装置によって光(投射光)を患者PATの患部AFPに投影する。
【0110】
分光プリズムカメラ200は、例えば医師U1の頭部の外周を覆うヘッドバンドHMBの先端側に取り付けられて固定され、医師U1の頭部の動きに追従するように投影画像を投影するヘッドマウント型の投影装置である。実施の形態2に係る分光プリズムカメラ200は、前述したように、例えば患者PATの特定の患部AFP、または動脈または静脈の血管を識別するのに適する(図9Aおよび図9B参照)。なお、実施の形態2に係る分光プリズムカメラ200のユースケースは、手術中の医師U1に装着されるような医療用途に限定されなくてもよい。
【0111】
図14を参照して、実施の形態2に係る分光プリズムカメラ200の動作手順例について説明する。図14は、実施の形態2に係る分光プリズムカメラ200の動作手順例を示すフローチャートである。
【0112】
図14に示すように、例えば被写体の一例として患者PATの患部AFPを分光プリズムカメラ200で撮像する場合(図13参照)、分光プリズムカメラ200は互いに異なる波長の光を第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれで撮影する。つまり、分光プリズムカメラ200の第1カメラ部11は被写体を可視光で撮像する(S21)。この第1カメラ部11の撮像と同時並行して、第2カメラ部12は赤外(IR)光で(S22)、第3カメラ部13は紫外光(S23)で、それぞれ同じ被写体(患者PATの患部AFP)を撮像する。なお、実施の形態2では、第3カメラ部13は、紫外光の撮像に適する複数の画素が配列されたCCDまたはCMOSを含む構成でよい。
【0113】
CCU部30は、第1カメラ部11、第2カメラ部12および第3カメラ部13のそれぞれに基づく撮像画像データを用いて各種の画像解析処理をして、それぞれの撮像画像データを重畳した画像の合成処理を行う(S24)。その合成処理の結果を、CCU部30は、表示器DPに表示出力する(S25)。
【0114】
表示器DPに表示した後、分光プリズムカメラ200の処理が終了とならない場合には(S26のNO)、分光プリズムカメラ200の処理はステップS21~S23に戻る。つまり、分光プリズムカメラ200の処理が終了となるまで、分光プリズムカメラ200はステップS21からステップS26までの処理を繰り返す。その一方、分光プリズムカメラ200の処理が終了となる場合(S26のYES)、分光プリズムカメラ200の処理は終了する。
【0115】
以上、図面を参照しながら実施の複数の形態について説明したが、本開示はかかる例に限定されないことはいうまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、前述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0116】
本開示は、あらかじめ想定された距離範囲内に存在する1以上の被写体の撮像に関する動作遅延の発生を抑制し、それぞれの被写体に応じた高画質な撮像画像をフレキシブルに得ることができる撮像装置として有用である。
【符号の説明】
【0117】
10 カメラヘッド部
11 第1カメラ部
12 第2カメラ部
13 第3カメラ部
20 カメラ信号処理部
21 第1信号処理部
22 第2信号処理部
23 第3信号処理部
30 CCU部
40 カメラ制御部
41 ABF制御部
42 照明制御部
43 偏光フィルタ制御部
44 レンズ制御部
100、200 分光プリズムカメラ
ABF1 第1オートバックフォーカス機構
ABF2 第2オートバックフォーカス機構
ABF3 第3オートバックフォーカス機構
AS A面
BS B面
CAX1 第1撮像軸
CAX2 第2撮像軸
CXP クロスプリズム
DP 表示器
FH1 第1光学フィルタ保持部
FH2 第2光学フィルタ保持部
FH3 第3光学フィルタ保持部
FX プリズム固定部材
ILM 照明部
ISR1 :第1イメージセンサ
ISR2 :第2イメージセンサ
ISR3 :第3イメージセンサ
LS :共用レンズ
OPF :光学フィルタ
PLF :偏光フィルタ
図1
図2
図3
図4
図5
図6
図7
図8
図9A
図9B
図10
図11
図12
図13
図14