(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-20
(45)【発行日】2023-09-28
(54)【発明の名称】撮像システム及び撮像システム応用機器
(51)【国際特許分類】
H04N 25/10 20230101AFI20230921BHJP
H04N 5/32 20230101ALI20230921BHJP
H04N 25/53 20230101ALI20230921BHJP
H04N 23/54 20230101ALI20230921BHJP
H04N 23/60 20230101ALI20230921BHJP
H04N 23/40 20230101ALI20230921BHJP
H04N 23/55 20230101ALI20230921BHJP
G21C 17/00 20060101ALI20230921BHJP
G01N 21/27 20060101ALI20230921BHJP
【FI】
H04N25/10
H04N5/32
H04N25/53
H04N23/54
H04N23/60 500
H04N23/40 300
H04N23/55
G21C17/00 100
G01N21/27 A
(21)【出願番号】P 2020039201
(22)【出願日】2020-03-06
【審査請求日】2022-05-12
(73)【特許権者】
【識別番号】507250427
【氏名又は名称】日立GEニュークリア・エナジー株式会社
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】桑名 諒
(72)【発明者】
【氏名】鈴木 睦三
(72)【発明者】
【氏名】増永 昌弘
(72)【発明者】
【氏名】野本 真司
【審査官】橘 高志
(56)【参考文献】
【文献】特開2016-134907(JP,A)
【文献】特開2001-251547(JP,A)
【文献】特開2000-101926(JP,A)
【文献】特開2012-235265(JP,A)
【文献】特開2012-156194(JP,A)
【文献】特開2002-296414(JP,A)
【文献】特開2012-104979(JP,A)
【文献】特開2017-046020(JP,A)
【文献】特開平07-087409(JP,A)
【文献】特開2015-065524(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 25/10
H04N 5/32
H04N 25/53
H04N 23/54
H04N 23/60
H04N 23/40
H04N 23/55
G21C 17/00
G01N 21/27
(57)【特許請求の範囲】
【請求項1】
放射線が照射される高線量環境に設置されるセンサ部と
、前記高線量環境下と壁で区切られた低線量環境に設置される画像処理部とを備える撮像システムであって、
前記センサ部は、特定の波長の光を取り出す色分解素子と、前記色分解素子を透過した光を撮影する撮像センサとを有し、
前記撮像センサは、センサ素子と送受信部とを有し、
前記センサ素子は、
受光素子と充電トランジスタを画素毎に有し、
前記受光素子の端子電圧が所定の閾値以上かを判定する1又は複数の閾値判定回路を有し、
異なる輝度閾値に対応する複数のサブ画像を取得し、
前記画像処理部は、
放射線遮蔽材で囲まれており、前記複数のサブ画像の信号を処理して、階調画像を生成
し、
前記色分解素子は、誘電体ミラーによって、入射した可視光を赤色光、緑色光及び青色光に分解し、各色の光を前記入射した可視光と異なり直交する3方向に進行させるものであって、
前記センサ部は、前記色分解素子を透過した光を撮影する複数の撮像センサを有し、
前記撮像システムは、前記各撮像センサから出力された画像を合成して、カラー画像を生成することを特徴とする撮像システム。
【請求項2】
請求項1に記載の撮像システムであって、
前記センサ素子は、画素毎に前記閾値判定回路を有することを特徴とする撮像システム。
【請求項3】
請求項1に記載の撮像システムであって、
前記センサ素子は、前記受光素子の露光時間をサブ画像毎に変えることによって前記輝度閾値を変化させることを特徴とする撮像システム。
【請求項4】
請求項1に記載の撮像システムであって、
前記センサ素子の各画素は、前記受光素子の受光面積が異なる複数のサブ画素を含むことを特徴とする撮像システム。
【請求項5】
請求項1に記載の撮像システムであって、
前記センサ素子は、前記受光素子へ印加する充電電圧を所定の期間毎に変化させることを特徴とする撮像システム。
【請求項6】
請求項1に記載の撮像システムであって、
前記センサ部と前記画像処理部とは空間的に分離され、有線又は無線で接続されることを特徴とする撮像システム。
【請求項7】
請求項1に記載の撮像システムであって、
前記閾値判定回路は、前記受光素子の出力電圧が入力されるバイポーラトランジスタを有することを特徴とする撮像システム。
【請求項8】
請求項1に記載の撮像システムであって、
通常モードと高階調モードとで動作可能であって、
前記高階調モードにおいて前記階調画像を生成するために取得するサブ画像の数は、前記通常モードにおいて前記階調画像を生成するために取得するサブ画像の数より多いことを特徴とする撮像システム。
【請求項9】
請求項1から8のいずれか一つに記載の撮像システムを備えることを特徴とする撮像システム応用機器。
【請求項10】
請求項9に記載の撮像システム応用機器であって、
前記センサ部を有する耐放射線装置部と、
前記画像処理部と、前記撮像システム応用機器の動作を制御する装置制御部とを有する制御装置を備えることを特徴とする撮像システム応用機器。
【請求項11】
請求項9に記載の撮像システム応用機器であって、
前記センサ部を設置したロボットと、
前記画像処理部と、前記ロボットの動作を制御するロボット制御部と有する制御装置を備えることを特徴とする撮像システム応用機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、イメージセンサを用いた撮像システム及び撮像システム応用機器に関する。
【背景技術】
【0002】
原子力プラントや放射線利用施設には、プラント内や施設内を監視するために、イメージセンサを有する撮像システムが設置されている。また、原子力プラントの廃炉のための内部調査等でイメージセンサを有する撮像システムが活用されている。これらの撮像システムが有するイメージセンサには、真空管である撮像管や、半導体を用いた固体撮像素子などがある。
【0003】
特許文献1に述べられているように、固体撮像素子型イメージセンサでは通常、画素内の受光素子で光電変換された電荷を、CMOS型増幅アンプ(相補型金属-絶縁体-半導体型電界効果トランジスタ、CMOS-FET)を用いて増幅する。増幅された電圧信号は、垂直走査回路と水平走査回路で順次走査して取り出され、各画像の光量、すなわち、輝度に比例した電圧信号を取得する。これにより対象物(被写体)の画像を取得する。
【0004】
しかし、CMOS型アンプは、放射線照射による劣化が起こり易いことが知られている。この一つの理由は、以下の通りである。MOS型FETに放射線が照射されると、ゲートの酸化膜(絶縁膜)中で電子とホールが生成される。酸化膜中の電子は、ホールより移動度が大きいため、酸化膜中から抜け出すが、ホールは移動度が小さいため正の電荷として酸化膜中に蓄積する。このように酸化膜中に蓄積した電荷によって、MOS型FETの閾値が変動し、安定した信号増幅ができなくなるなどの悪影響が生じるためである。
【0005】
一般に、放射線環境などの過酷環境下で使用される回路素子は、鉛などで遮蔽したり、線源から遠ざける等の対策がなされている。しかしながら、イメージセンサ、カメラ、撮像装置では、光を透過しない鉛板で遮蔽できない。
【0006】
一方、撮像画像をカラー化するために、従来は特許文献2に述べられているようなイメージセンサの前にカラーフィルタを配置していた。しかしながら,この場合,カラーフィルタ自体も放射線環境下では光透過率が低下するなど劣化することが知られており,放射線環境下でカラー撮像装置の長時間の使用は困難であった。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2014-39159号公報
【文献】特開2018-200909号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
前述した通り、従来の固体撮像素子型イメージセンサは、通常CMOS型アンプが使用されており、CMOS型アンプは、放射線照射により特性が劣化し易いという課題があった。
【0009】
この問題に対応するため、撮像管などの真空管を用いる試みがされているが、撮像管は電子ビームを空間的に走査して動作させるという原理上、物理的な大きさが大きく、重量が重いという課題がある。
【0010】
また、特許文献2に述べられているようなイメージセンサの前にカラーフィルタを配置してカラー化すると,カラーフィルタ自体も放射線環境下では光透過率が低下するなど劣化することが知られており,放射線環境下で使用する撮像装置を長時間使用することが出来ないという課題があった。
【0011】
一方、ロボットシステムなどの応用機器においては、複数のイメージセンサを搭載したいという要求があり、小型で軽量なイメージセンサが求められている。さらに、ロボットの作業支援においては、従来のCMOS耐放射線カメラや真空管を用いた撮像管のようなモノクロ画像ではなく、撮像対象をより鮮明に映すためにカラー化が求められている。
【0012】
本発明が解決しようとする課題は、耐放射線性などの環境性能が優れ、かつ小型で軽量なイメージセンサと色分解素子を使ってカラー化された撮像システム及び撮像システム応用機器を提供することである。
【課題を解決するための手段】
【0013】
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、放射線が照射される高線量環境に設置されるセンサ部と、前記高線量環境下と壁で区切られた低線量環境に設置される画像処理部とを備える撮像システムであって、前記センサ部は、特定の波長の光を取り出す色分解素子と、前記色分解素子を透過した光を撮影する撮像センサとを有し、前記撮像センサは、センサ素子と送受信部とを有し、前記センサ素子は、受光素子と充電トランジスタを画素毎に有し、前記受光素子の端子電圧が所定の閾値以上かを判定する1又は複数の閾値判定回路を有し、異なる輝度閾値に対応する複数のサブ画像を取得し、前記画像処理部は、放射線遮蔽材で囲まれており、前記複数のサブ画像の信号を処理して、階調画像を生成し、前記色分解素子は、誘電体ミラーによって、入射した可視光を赤色光、緑色光及び青色光に分解し、各色の光を前記入射した可視光と異なり直交する3方向に進行させるものであって、前記センサ部は、前記色分解素子を透過した光を撮影する複数の撮像センサを有し、前記撮像システムは、前記各撮像センサから出力された画像を合成して、カラー画像を生成することを特徴とする撮像システム。
【発明の効果】
【0014】
本発明の一態様によれば、耐環境性能が優れており、過酷な環境下でも色付き画像を撮影可能な撮像装置および撮像システムを提供できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
【図面の簡単な説明】
【0015】
【
図1】本発明の第1の実施形態に係る耐放射線撮像システムにおける、構成図である。
【
図2】第1の実施例の色分解素子の構成を示す模式図の第1例である。
【
図3】第1の実施例の色分解素子の構成を示す模式図の第2例である。
【
図6】本実施例の閾値判定回路を示す回路図である。
【
図7】第1の実施例の閾値判定回路の別の例を示す回路図である。
【
図8】比較例のセンサ素子の画素の構成を示す模式図である。
【
図9】第1の実施例のセンサ素子内の画素からの読み出しシーケンスを模式的に示すタイミング図である。
【
図11】第1の実施例の階調画像を構成する処理を示す論理表である。
【
図12】
図9に示す階調画像を構成する処理を実現する回路の回路図である。
【
図13】第1の実施例のサブ画像の画像データがメモリ上に格納された状態を示す模式図である。
【
図14】
図11に示す階調画像を構成する処理を実現するための真理値表である。
【
図15】第2の実施例のセンサ素子の構成を示す図である。
【
図16】第2の実施例のセンサ素子内の画素からの読み出しシーケンスを模式的に示すタイミング図である。
【
図17】第3の実施例の受光素子に入射する光量と端子電圧との関係を示す模式図である。
【
図18】第3の実施例の各画素からの読み出しシーケンスと充電電圧Vb0の関係を示す模式図である。
【
図19】第4の実施例の各画素からの読み出しシーケンスと充電電圧Vb0の関係を示す模式図である。
【
図20】第7の実施例の応用機器の一例であるロボットシステムを示す図である。
【
図21】第8の実施例の画素の構成を示す模式図である。
【
図22】第8の実施例のセンサ素子の構成を示す模式図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら本発明の実施例を説明する。但し、本発明は以下の実施例に限らず、例えば複数の実施例を組み合わせたり、本発明の技術的思想から逸脱しない範囲で任意に変形したりできる。
【0017】
また、本明細書において、同じ部材には同じ符号を付し、重複する説明は省略する。図示の内容は、図示の都合上、本発明の趣旨を損なわない範囲で実際の構成から変更することがある。
【0018】
【0019】
本実施例の撮像システム1は、センサ部10と画像処理部20とで構成される。図示したように、センサ部10と画像処理部20を分離して構成して、ケーブル30又は無線で接続してもよいが、センサ部10と画像処理部20を一体に構成してもよい。
【0020】
センサ部10は、色分解素子14と複数の撮像センサ15とで構成され、撮像センサ15は、外部の画像を検出するセンサ素子13と、センサ素子13内の回路による処理を制御するセンサ制御部11と、センサ部10と画像処理部20との間で信号を送受信する送受信部12とを有する。センサ制御部11と送受信部12は機能的に分けられたものであり、一つのICチップにセンサ素子13とセンサ制御部11と送受信部12を設けてもよい。
【0021】
色分解素子14は、無機材料(例えば、誘電体光学素子など)で構成され、可視光を波長の異なるRGB(赤、緑、青)に分解する。図示したように、各色に分けられた光を複数の撮像センサ15で受光し、後段の画像処理部20の信号処理によって特定の色を含む画像(例えば、赤色光の画像、白黒画像に赤色画像を合成した画像)や、カラー画像を取得する。従来の有機材料で構成されたカラーフィルタによる色分解素子と異なり、本実施例の色分解素子14は無機材料で構成されるため、放射線や紫外線によって劣化しにくく、放射線環境などの過酷な環境下でも長期間安定して使用できる。
【0022】
色分解素子14の構成をさらに具体的に述べると、誘電体光学素子を用いるとよい。誘電体光学素子は、屈折率が異なる無機材料を複数層積層し、その積層膜厚に応じて特定波長帯の光を反射させる。反射波長帯を積層膜厚で定められるため,パターンが不要である。本発明の色分解素子14は、このような構成によって有機物を含有しないため、放射線や紫外線の照射によるブラウニング(褐色化)を、従来のカラーフィルタより格段に抑制できる。
【0023】
撮像センサ15は、光の三原色(赤、緑、青)に分解されたRGB各色に対応して三つを設けるとよいが、その組み合わせは任意に変更してもよい。また、複数の撮像センサ15を用いることで、SN比(信号雑音比)を向上でき、より高品質な画像を提供できる。
【0024】
(色分解素子の構成)
図2は、色分解素子14の構成例1を示す模式図である。
【0025】
構成例1では、可視光が図左から色分解素子14に入射するとき、RGBの各波長を反射する3枚の誘電体ミラー16R、16G、16Bによって可視光は赤色光、緑色光及び青色光(RGB)に分解される。この例では、赤色光Rをx軸正方向に、青色光Bをx軸負方向に、緑色光Gをz軸方向に反射させている。誘電体ミラー16R、16G、16Bによって反射しないγ線を直進させ、撮像センサ15に放射線が直接入射しないように構成して、撮像システム1の放射線耐性をより向上させている。なお、構成をより簡易にするために、緑色光を反射する誘電体ミラー16Gを排除し、
図1に示すように緑色光Gを直進させてもよい。
【0026】
色分解素子14によって反射された赤色光、緑色光及び青色光の各々は、撮像センサ15が受光する。図示した色分解素子14では、赤色光R及び青色光Bは2回反射しているが、緑色光は1回だけ反射しているため、緑色用の撮像センサ15が撮影した緑色画像は左右反転した画像となる。このため、緑色画像は画像処理部20において、電気的な左右反転処理が必要である。より具体的には、後述する画像処理部20での信号処理において、
図13に模式的に示したメモリ上の画素の列番号を緑色画像についてのみ左右反転させる。
【0027】
従来のカラーフィルタの放射線劣化を詳細に調べると、カラーフィルタがブラウニングを起こすために、可視光透過率が低下することが分かった。本発明の発明者らは、この放射線照射によるブラウニングの原因を鋭意検討した結果、γ線などの光子エネルギーが高い光の照射によって、カラーフィルタに含まれる有機物が分解するためであると思い至った。
【0028】
一般に、有機物の骨格を形成する炭素-炭素間の結合エネルギーは、一重結合で4eV(電子ボルト)程度、二重結合でも6eV程度であるため、波長20nm以下、すなわち、光子エネルギー60eV以上の光が照射されると結合が破壊する。このため、放射線(一般的には、波長20nm以下、すなわち、光子エネルギー60eV以上)が有機物に照射されると、有機物が分解し、ブラウニングが発生する。
【0029】
このようなブラウニングは、無機材料を主要構成材料とするカラーフィルタを用いた場合でも、カラーフィルタを各色毎にパターン化する際に用いる、リソグラフィ工程で使用した薬剤の残留有機物が残存していても発生しうる。従来のカラーフィルタに放射線を照射すると劣化するのは、このためである。
【0030】
このような考察に基づき、本発明の実施例では、有機物を含まない色分解素子、すなわち、無機材料で構成された色分解素子14を採用した。
【0031】
さらに、フィルタの各色のパターン化プロセスでの残留薬剤の問題を解決するため、パターン化プロセスを用いない色分解素子を用いるとよい。
【0032】
図3は、色分解素子14の構成例2を示す模式図である。
【0033】
構成例2では、色分解素子14として、無機材料で構成されるフィルタ、特に、ハーフミラー17と所望の波長範囲の光を透過するカラーフィルタ18を使用する。
【0034】
ハーフミラー17は、可視光波長範囲において波長選択性を持たずに、一定量の光を反射し、かつ一定量の光を透過するミラーである。
【0035】
レンズ光学系を透過した入射光は、ハーフミラー17によって、反射光と透過光に分けられる。反射光の経路にカラーフィルタ18を配置し、カラーフィルタ18を透過した光を撮像センサ15で撮像する。
【0036】
透過光の経路には、別の撮像センサ15を配置して透過光の画像を撮像する。
【0037】
本実施例では、カラーフィルタ18として無機材料を用いた構成で、赤色領域を透過するフィルタを用いた。例えば、ガラス材料に金属酸化物を含ませることによって、赤色の波長のみを透過させるフィルタを構成できる。
【0038】
構成例2では、積層誘電体膜で構成したハーフミラー17を用いるとよい。しかし、ハーフミラーとして機能すれば、積層誘電体膜によるハーフミラーに限定されない。
【0039】
構成例2では、ハーフミラー17の透過光は全ての色を含むので、取得した画像は、白黒画像となる。一方、ハーフミラー17による反射光は、赤色カラーフィルタを通過するため、赤色の画像となる。二つの画像を重畳して表示することで、白黒画像中で被写体の赤色部分が赤色に着色された画像を得ることができる。
【0040】
構成例2では、白黒画像と特定色のカラー画像を合成した画像が得られるので、特定の色の物体を強調表示した画像を撮影できる。
【0041】
また、複数のハーフミラー17を用いて、赤色画像、緑色画像、及び青色画像を撮影し、これらを合成することによって、カラー画像を得ることができる。
【0042】
また、
図3(A)に示す構成では、反射光はハーフミラー17で奇数回反射しているので、左右反転した画像となる。このため、反射光から取得した画像は画像処理部20において、電気的な左右反転処理を施してから、透過光と合成すればよい。左右反転処理は、前述と同様に、画像処理部20での信号処理において、
図13に模式的に示したメモリ上の画素の列番号を緑色画像についてのみ左右反転させるとよい。
【0043】
図3(B)に示す構成では、ハーフミラー17の後段に反射板19を設けて、反射光も偶数回反射させることで、左右反転を防止する。この構成を用いれば、左右反転の画像処理は不要になるため、画像処理部20の処理回路を簡略化できる。
【0044】
(センサ素子13の構成)
図4は、センサ素子13の構成を示す模式図である。
【0045】
図4では、説明を分かりやすくするため四つの画素130を示す。実際のセンサ素子13では、さらに多数の画素を有し、典型的には、行数が100行~2000行、列数が100列~4000列程度の画素を有する。
【0046】
各画素には、2本の水平方向配線と、1本の垂直方向配線が接続される。
【0047】
水平方向配線の1本は、充電用の充電走査線(Charge走査線)135であり、後述するように画素130の受光素子131を充電する機能を有する。他の1本の水平方向配線は、信号の読み出しタイミングを指定する読み出し走査線(Read走査線)136である。充電走査線135は、各画素130の充電アドレス端子(図中の「CA」)に接続される。読み出し走査線136は、各画素130の読み出しアドレス端子(図中の「RA」)に接続される。充電走査線135と読み出し走査線136は、各画素130の行数だけ設けられる。
【0048】
充電走査線135は、充電走査回路(Charge走査回路)138に接続される。読み出し走査線136は読み出し走査回路139(Read走査回路)に接続される。充電走査回路138と読み出し走査回路139は、それぞれ適切な電圧波形を出力して各画素130を走査する。この走査方法に関しては後に詳述する。
【0049】
垂直方向配線は、データ線137である。データ線137は各画素130に配線されている。
【0050】
データ線137は、各画素130のデータ出力端子(図中の「D」)に接続される。データ線137は、画素130内の受光素子131が検知した信号を読み出す機能を有する。データ線137は、水平走査回路140に接続され、各画素130内の受光素子131が検知した信号を順次読み出し、送受信部12に転送する。
【0051】
(画素の構成)
図5は、各画素130の構成を示す模式図である。
【0052】
各画素130は、受光素子131、保持容量132、充電トランジスタ(Chargeトランジスタ)133、及び閾値判定回路134を有する。
【0053】
本明細書で説明される回路図を表す図面において、下向きの白抜き矢印は、接地電位に接続することを示す。ここで、接地電位とは、センサ素子13内の基準電位の意味であり、信号処理部の接地電位と一致しなくてもよい。必要に応じて、センサ素子13内の基準電位(接地電位)には、信号処理部の接地電位に対してバイアス電位を与えてもよい。
【0054】
本実施例では、受光素子131にシリコンのフォトダイオードを用いるとよく、シリコンカーバイドのフォトダイオードでもよい。
【0055】
保持容量132は、受光素子131とは独立に設けてもよいし、受光素子131の接合容量(寄生容量)を利用してもよい。
【0056】
受光素子131にフォトダイオードを用いた場合、受光素子131の接合容量の等価回路は
図5の保持容量132と同じである。したがって、受光素子131の接合容量が保持容量132として十分な容量を備えている場合は、保持容量132を受光素子131とは別個に設けるかわりに、接合容量をもって保持容量132の機能を持たせればよい。本明細書では、このように受光素子131の接合容量(寄生容量)も含めて保持容量132とする。
【0057】
すなわち、本明細書においては、保持容量132とは、受光素子131の接合容量も含む。そして、受光素子131の接合容量で保持容量132を置き換えた場合も、本発明の効果が得られる。
【0058】
図5を用いて、各画素130での外光検出の方法を述べる。充電走査線135に適正な電圧を印加して充電トランジスタ133をON状態(すなわち、導通状態)にすると、受光素子131と保持容量132は充電電圧Vb0に充電される。なお、充電トランジスタ133は、バイポーラトランジスタでもMOSFETでもよい。
【0059】
この状態で、受光素子131に光が照射されない状態では、保持容量132の端子電圧は保持される。一方、受光素子131に光が照射される状態では、受光素子131が導通状態になるため保持容量132の電荷が少しずつ漏れ出るため、保持容量132の端子電圧が低下する。
【0060】
(閾値判定回路134)
保持容量132の端子は閾値判定回路134の入力端子INに接続される。
【0061】
閾値判定回路134は、保持容量132の端子電圧が予め設定された電圧閾値Vthよりも小さい場合は信号1を出力端子Oから出力し、電圧閾値Vthよりも大きい場合は信号0を出力端子Oから出力する。すなわち、外部の被写体の輝度が、所定の輝度閾値Bthを超える場合は、対応する位置の画素130は、受光素子131のリーク電流により保持容量132電圧が低下してVthより小さくなるため、閾値判定回路134は出力信号として1を出力する。一方、被写体の輝度が輝度閾値Bthより小さい場合は、対応する位置の画素130の保持容量132電圧はVthより大きいので、閾値判定回路134は出力信号として0を出力する。
【0062】
なお、出力信号1とは、論理回路の信号状態1を意味する。例えば、電圧が高い状態(Highレベル)を信号「1」とし、電圧が低い状態(Lowレベル)を信号「0」とする。これとは逆にLowレベルを信号「1」とし、Highレベルを信号「0」としてもよい。又は、電圧レベルの代わりに、電流レベルなどを用いてもよい。本実施例では、信号「1」を電圧のHighレベルに対応させた。
【0063】
このようにして、被写体の輝度閾値Bth以上の場所に対応する画素130では、信号「1」が出力され、輝度閾値Bth以下に対応する画素130では信号「0」が出力される。すなわち、輝度閾値Bthを基準とした2値の画像が取得できる。
【0064】
各データ線137には2値の信号が流れるので、切替スイッチ141はロジック回路でよい。
【0065】
(閾値判定回路134の出力インピーダンス)
閾値判定回路134は読み出し有効化端子RE(Read Enable)を有する。読み出し有効化端子REは、読み出し走査線136に接続される。読み出し有効化端子REに有効化信号が入力された期間(読み出し有効期間)では、前述した動作に従い信号「0」又は「1」が出力端子Oから出力される。
【0066】
読み出し有効化端子REに有効化信号が入力されない期間(読み出し無効期間)では、出力端子Oは、より高インピーダンスな状態に遷移する。このように、出力端子Oの出力インピーダンスを、読み出し無効期間で高インピーダンスにすることで、複数個の画素130がデータ線137に接続されていても、選択した画素130の閾値判定回路134の出力信号を取り出すことが可能になる。
【0067】
(閾値判定回路134の実装例)
図6は、本実施例の閾値判定回路134を示す回路図である。
【0068】
本実施例の閾値判定回路134は、PNP型トランジスタであるトランジスタ1(Tr1)と、NPN型トランジスタであるトランジスタ2(Tr2)と、抵抗(R)とで構成される。閾値判定回路134の入力端子は、トランジスタ2(Tr2)のベースに接続される。閾値判定回路134の入力端子がトランジスタ2(Tr2)の閾値電圧Vthより大きいと、トランジスタ2(Tr2)のコレクタは、電源電圧Vccに維持(ラッチ)される。Tr2のコレクタが、閾値判定回路134の出力端子になる。
【0069】
本実施例で用いた閾値判定回路134は、ラッチ回路を採用しており、電源電圧Vccが印加された期間は、出力信号は、HighレベルまたはLowレベルを維持する。このように、ラッチ回路を閾値判定回路134に用いることで、誤動作が低減できる効果がある。
【0070】
図6のRE端子の電圧をLowレベルに設定すると、二つのトランジスタTr1、Tr2が非導通状態になるため、出力端子Oの出力インピーダンスは、高インピーダンス状態になる。
【0071】
図7は、閾値判定回路134の別の例を示す回路図である。
【0072】
図7に示す閾値判定回路134では、二つのトランジスタTr1とTr2の動作は、
図6と同じであり、第3のトランジスタである読み出しトランジスタTr3が加わっている。読み出し有効化パルスが印加された期間のみ読み出しトランジスタTr3がON状態になり、データ線137に信号電圧が出力される。読み出し無効期間では、読み出しトランジスタTr3がOFF状態になるので、閾値判定回路134の出力端子Oの出力インピーダンスは、
図6の回路と比較して、さらに高インピーダンスになる。
【0073】
選択されていない画素130の閾値判定回路134の出力インピーダンスをより一層高くすることは、走査線の本数が多い場合に、より望ましい。その理由は、各データ線137には、走査線の本数の閾値判定回路134が接続されているので、非選択画素の閾値判定回路134の出力インピーダンスが高いほど、走査線本数が多くても、非選択画素の閾値判定回路134によるインピーダンスは十分な高さを維持できるからである。
【0074】
なお、
図6、
図7に示した回路は閾値判定回路134の一例であり、前述した閾値判定回路134の特性を満たす回路であれば、他の回路を用いても本発明の効果が得られることは言うまでも無い。
【0075】
(比較例との対比)
次に、比較例との対比を行う。
図8は、比較例のセンサ素子の画素530の構成を示す模式図である。
【0076】
図8には、CMOSセンサ(相補型MOS電界効果トランジスタ型センサ)の例であり、民生用カメラの撮像デバイスの方式を示す。
【0077】
図8に示すセンサ素子は、受光素子531、保持容量532、及び充電走査線535に接続された充電トランジスタ(Chargeトランジスタ)FET1を有する。充電走査線535によって充電される受光素子531と並列に設けられた保持容量532の電圧を画素アンプで増幅し、保持容量532の蓄積電荷に比例した電圧値V2をアナログ信号として出力する。画素アンプにはCMOS型FET(電界効果トランジスタ)を用いている。
図8のFET2とFET3とで画素アンプを構成する。この画素アンプでは、FET2がソースフォロア回路として動作しており、FET2のゲートに印加された電荷を低インピーダンスな電圧信号に変換する、電荷増幅をしている。
【0078】
読み出し走査線536に適切な電圧が印加されてFET3がON状態になると、画素アンプの出力信号であるアナログ信号電圧がデータ線537に出力されて、図示を省略する水平走査回路で順次出力される。
【0079】
比較例では、被写体の輝度レベルに対応した電圧信号がアナログ的に出力されるので、階調付きの画像を取得することができる。
【0080】
しかしながら、
図8の画素内の回路で使用されるCMOS画素アンプは、放射線照射に対する耐性が低いため、放射線が存在するなど過酷な環境下で使用すると、センサ素子が劣化しやすいという課題がある。これに対して、本発明ではCMOSアンプより放射線照射への耐性が高い素子を用いているため、放射線環境下での特性の劣化を抑制できるという効果がある。
【0081】
特に、本発明の本実施例である
図6のようにバイポーラ型トランジスタは、CMOS型FETよりも放射線耐性が高いことが知られており、バイポーラ型トランジスタで構成すると、さらに好ましい。
【0082】
また、上述の比較例では、データ線537に接続される切替スイッチと送受信回路はアナログ信号を扱う必要がある。これに対し、本発明では切替スイッチ141や送受信回路142が処理する信号は、2値の信号であるため、比較例より回路構成が簡易になる。
【0083】
(2値画像の階調化)
前述した通り、本実施例の画素130で得られた画像は、被写体をある輝度閾値で2値化した2値画像である。
【0084】
以下に、2値画像から階調画像を構成する方法を述べる。本実施例では、複数の輝度閾値Bth[n]で2値画像を取得し、それぞれをサブ画像SIm[n](Sub-Image)と呼ぶことにする。ここで、添え字のnは、輝度閾値とサブ画像を区別するための番号であり、n=1,2,・・・・である。
【0085】
(輝度閾値を変える手段)
輝度閾値Bth[n]を変える方法を述べる。本発明では、保持容量132の電圧V1が閾値を超えるか否かを検出している。保持容量132の電圧V1は次式で表される。
【0086】
【0087】
ここで、Vb0は受光素子131の充電電圧、ΔVは受光素子131に流れる光電流による電圧減少量、Jは受光素子131を流れる光電流の電流密度、Sは受光素子131の受光面積、Δtは受光素子131の露光時間、Cは保持容量132の容量(Capacitance)である。本実施例では、受光素子131としてフォトダイオードを用いた。
【0088】
画素130の輝度閾値Bthを変化させるには、以下の方法がある。
(A)露光時間Δtを変える。
(B)受光素子131の面積Sを変える。
(C)受光素子131への充電電圧Vb0を変える。
【0089】
本発明では、(A)、(B)、(C)のいずれの方法で輝度閾値を変化させてもよい。また、これらの複数の方法を組み合わせてもよい。さらに、(A)~(C)以外の方法で輝度閾値を変えてもよい。
【0090】
すなわち、本実施例の撮像システム1は、輝度閾値変化手段を備える。輝度閾値変化手段には、(A)露光時間Δtをサブ画像毎に変える、(B)受光素子131の受光面積が異なる複数のサブ画素を備える、(C)受光素子131へ印加する充電電圧Vb0を所定の期間毎に変える、などの手段があり、さらに、これら(A)~(C)の組み合わせる手段などを含む。
【0091】
また、上記の輝度閾値変化手段は、典型的にはセンサ部10に設ける。実装上、容易になるためである。ただし、センサ部以外に設けてもよい。
【0092】
(露光時間により輝度閾値を変える)
本実施例では、露光時間を変えることで輝度閾値を変える。
【0093】
図9は、本実施例のセンサ素子13内の画素130からの読み出しシーケンスを模式的に示すタイミング図である。この図では、横軸が時間を示し、縦軸がセンサ素子13内の画素130の走査線位置を示す。走査タイミングを表すダイヤグラムが
図9のように斜めの直線になるのは、各走査線が、第1走査線、第2走査線、・・・・と順次走査されることを示す。
【0094】
1フィールドは、1枚の画像を取得するための時間であり、典型的には1/30秒~1/60秒である。本実施例では1/30秒(33.3ms)に設定した。1フィールドは、四つのサブフィールドに分割される。一つのサブフィールドで一つのサブ画像を取得する。
図9では四つのサブ画像を取得する例を示したが、より多くのサブフィールドに分割してももちろんよい。n番目のサブフィールドをSF[n]と記すことにする。
【0095】
第1サブフィールドSF[1]を例に、サブフィールド内での読み出しシーケンスを説明する。第1行の充電走査線135に充電走査パルスが印加されると、第1行の画素130では受光素子131が充電電圧Vb0に充電される。これ以降、第2行以降の充電走査線135に充電走査パルスが印加される。
【0096】
時間Δtexが経過した後に、第1行の読み出し走査線136に読み出し走査パルスを印加すると、各画素130の閾値判定回路134が動作し、その時点での保持容量132電圧に基づいて、出力信号1又は0が閾値判定回路134から出力される。その後、第2行以降の読み出し走査線136に読み出し走査パルスが印加される。このように、充電走査パルスの印加から読み出し走査パルスの印加までの時間Δtexが露光時間に相当する。
【0097】
このようにして、第1サブフィールドSF[1]の走査を終え、第1サブ画像SIm[1]が取得される。次に、第2サブフィールドSF[2]にも同様に充電走査線135と読み出し走査線136の走査を行う。但し、充電走査線135と読み出し走査線136の間の経過時間ΔtexはSF[1]よりも長くする。次に、充電走査線135と読み出し走査線136の間の経過時間ΔtexはSF[2]よりも長くして、第3サブフィールドSF[3]にも同様に充電走査線135と読み出し走査線136の走査を行う。さらに、充電走査線135と読み出し走査線136の間の経過時間ΔtexはSF[3]よりも長くして、第4サブフィールドSF[4]にも同様に充電走査線135と読み出し走査線136の走査を行う。このようにして、サブフィールド毎に露光時間Δtexを変えてサブ画像を取得する。
【0098】
数式(1)から分かるように、露光時間Δtexを変えると、閾値判定回路134の電圧閾値に対応する輝度閾値が変化する。同じ被写体の場合、露光時間Δtexが長いほど、保持容量132電圧が低下するので、より小さい輝度(暗い輝度)でも閾値判定回路134の電圧閾値を超え、出力信号「1」が与えられる。このようにして、輝度閾値が異なる複数のサブ画像を取得できる。
【0099】
(階調画像の構成)
取得された複数のサブ画像は、
図1に示す通り、センサ部10から画像処理部20に送信される。画像処理部20では、輝度閾値が異なる複数のサブ画像から、以下の方法で階調画像が構成される。
【0100】
図10は、階調画像の構成方法を示す模式図である。
図10では、四つのサブ画像から4階調の階調画像を構成する例を示す。
【0101】
図10(A)は、4枚のサブ画像を示す。それぞれのサブ画像が被写体の像を示す2値画像であり、1枚目は輝度閾値が8のサブ画像、2枚目の輝度閾値が4のサブ画像、3枚目の輝度閾値が2のサブ画像、4枚目の輝度閾値が1のサブ画像である。図中ハッチングを示した領域が出力信号「1」の画素領域である。
【0102】
輝度閾値が高いほど、出力信号「1」の領域、すなわち輝度閾値を超える領域は小さくなる。また、輝度閾値が低いサブ画像での出力信号「1」の領域は、輝度閾値がより高いサブ画像の出力信号「1」の領域を包含する。
【0103】
n番目のサブ画像SIm[n]の画像データをS[n]とする。サブ画像は2値画像なので、その画像データS[n]は各画素130に信号「1」または「0」が割り当てられた2次元データである。そして、nが小さいほど輝度閾値Bth[n]が高い場合を考える。
【0104】
図11は、階調画像を構成する処理を示す論理表である。輝度閾値が隣接するサブ画像の画像データS[n]とS[n-1]から、階調画像GS[n]を構成する。GS[n]の列に「1」とした画素130に、輝度閾値Bth[n]に対応する階調輝度を与える。
図11に示すように、S[n]が「1」でS[n-1]が「0」である画素130に階調Bth[n]を与える。このような信号処理により階調画像GS[n]を生成できる。
【0105】
【0106】
【0107】
図11の信号処理は、
図12の回路で実装できる。サブ画像データS[n-1]をインバータにより論理反転した信号と、S[n]との論理積(AND)によって、その画素130がn番目の階調GS[n]を持つか否かの結果が得られる。
【0108】
この信号処理を、n=1~4について行うと、各画素130に対して輝度階調0、GS[1]~GS[4]のいずれかが割り当てられ、階調画像を生成できる。このように、2値のサブ画像間の信号処理によって、簡単な処理回路で階調画像を生成できる利点がある。もちろん、コンピュータやCPU(中央演算装置)を用いて
図11の論理表の信号処理を数式的に処理してもよい。
【0109】
図13と
図14を用いて、閾値が異なる複数のサブ画像から階調画像を生成する別の実施例を述べる。
【0110】
図13は、サブ画像SIm[n]の画像データS[n]が、メモリ上に格納された状態を示す模式図である。図中(k,m)は、k行m列の位置の画素130に対応する。
図13のように、複数のサブ画像S[n]を画素130が対応するようにメモリ上に配置し、そこから各画素130の信号処理により各画素130の階調を算出する。
【0111】
階調画像を算出する方法は、
図14に示す真理値表を用いる。S[1]~S[4]の値に応じて、階調レベルの出力GSが得られる。
図14の真理値表において「X」は「1」又は「0」のいずれでもよいことを示す。また、出力GSの欄のBth[n]は、サブ画像S[n]の輝度閾値を意味する。
【0112】
図14の真理値表に基づく処理は、FPGA(Field Programable Gate Array)を用いて容易に実装できる。または、CPUによる演算処理によって実装してもよい。
【0113】
以上のようにして生成された各色毎の階調画像は、画像処理部内に設けられた画像処理部20に送られる。画像処理部20は、赤色(R)画像、緑色(G)画像、青色(B)画像の三つの画像信号を受け取り,それらを適切な比率で合成して、カラー画像を出力する。
【0114】
以上のようにして生成された階調画像は、画像処理部20に接続された表示装置21に表示される。また、階調画像は、必要に応じて、画像処理部20に接続された画像記録部22に記憶される。画像記録部22は、画像処理部20に組み込んでももちろんよい。
【0115】
(画像処理部20を分離する利点)
本実施例では、
図1に示すように、画像処理部20とセンサ部10を分離して、両者をケーブル30で接続している。このような分離した構成によって、放射線耐性を向上できる効果がある。
【0116】
センサ部10は、放射線の高線量環境下に設置し、画像処理部20は低線量環境下に設置する。
図1において、壁40で区切られた左側の領域(領域A)が高線量環境、壁40の右側の領域(領域B)が低線量環境である。このようにすると、画像処理部20は放射線耐性が低い通常のCPUや回路部品で構成でき、より好ましい。
【0117】
本実施例の撮像システム1の耐放射線性をさらに高める方法として、
図1に示すように、画像処理部20を鉛板などの放射線遮蔽材25で囲んでもよい。画像処理部20は、センサ部10とは異なり、光を通さない部材で囲っても機能を損なわない。このように、画像処理部20とセンサ部10を分離して構成すると、放射線耐性がさらに高まるという効果がある。
【0118】
<実施例2>
図15、
図16を用いて本発明の第2の実施例の撮像システム1を説明する。
【0119】
本実施例の撮像システム1では、異なる輝度閾値のサブ画像を取得するために、画素130内に受光面積が異なるサブ画素1300を設けたセンサ素子13を用いる。第2の実施例では、前述した第1の実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0120】
図15は、本実施例の撮像システム1のセンサ素子13の構成を示す図であり、センサ素子13の中で四つの画素130を示す。図中、1点鎖線で囲った部分が一つの画素130を構成する。一つの画素130は、四つのサブ画素1300から構成され、四つのサブ画素1300の面積が互いに異なる。
【0121】
各サブ画素1300の構成は、
図5と同じである。但し、サブ画素1300の受光素子131の受光面積はサブ画素1300により異なる。数式(1)に示すように、ある所定の電圧減少量ΔVを得ようとする場合、受光面積が小さいほど所定のΔVを得るのに大きな光電流密度Jが必要である。光電流密度Jは観測対象の輝度と対応するので、受光面積が小さいほど輝度閾値Bthが大きくなる。
図15の各画素130内に記した数字は、各サブ画素1300の輝度閾値Bthの相対値である。受光素子131の受光面積に応じて、輝度閾値が変化する。
【0122】
また、
図15から分かるように、一つの画素130に2本の充電走査線135と2本の読み出し走査線136が必要なので、走査する本数は第1の実施例の2倍になる。本実施例では、保持容量132を受光素子131とは別に設ける構成が好ましい。その理由は、受光素子131の接合容量の大きさは受光素子131の面積に概ね比例する場合があるためである。数式(1)からわかるように、容量の大きさCが面積Sに比例する場合には、輝度閾値が変わらなくなる。
【0123】
図1に示すように、可視光をRGBに分解する色分解素子14をセンサ素子13の前に設けることで、カラー画像を取得する方法は実施例1と同様である。
【0124】
図16は、本実施例のセンサ素子13内の画素130からの読み出しシーケンスを模式的に示すタイミング図である。サブ画素1300の面積で輝度閾値を変化させているため、1フィールド期間に1回走査するだけで、輝度閾値が異なる四つのサブ画像を得ることができる。同じ画素数の場合、第1の実施例と比べて走査線の本数が2倍になるが、サブフィールド毎の4回の走査が1回になるので、走査の回数は低減できる。
【0125】
サブ画像から階調画像を生成する方法は、第1の実施例と同様である。
【0126】
(サブ画素配置パターン)
また、
図15の画素130の構成では、データ線137の取り出し方向をサブ画素1300間で逆側にすることによって、サブ画素1300の受光素子131間の距離が短くなるように配置される。一例を示すと、閾値8のサブ画素1300はデータ線137が左側に延びており、閾値2のサブ画素1300はデータ線137が右側に延びている。このような配置パターンの採用により、サブ画素1300間の受光素子131が互いに近接する。
【0127】
このように、データ線137の取り出し方向をサブ画素1300の間で逆側にしたサブ画素1300の配置を採用することで、観測対象の輝度変化が空間的に細かい場合でも、階調の乱れが発生しにくくなり、いわゆる、モアレ現象を低減する効果が得られる。
【0128】
<実施例3>
図17、
図18を用いて本発明の第3の実施例の撮像システム1を説明する。
【0129】
本実施例の撮像システム1では、異なる輝度閾値のサブ画像を取得するために、受光素子131の充電電圧Vb0を変化させる。第3の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0130】
図17は、輝度、すなわち受光素子131に入射する光量と端子電圧との関係を示す模式図である。
【0131】
この図は、充電電圧Vb0を、Vb01~Vb04の4種の値に変えた時の特性を示している。
【0132】
数式(1)から分かるように、輝度がゼロの場合ΔV=0なので、保持容量132の端子電圧V1は、充電電圧Vb0に概ね等しい。そして、光が入射して光電流が流れると、数式(1)に従ってΔVだけ電圧が減少するので、
図17に示す特性になる。
【0133】
図17から分かるように、充電電圧Vb0をVb01~Vb04の4種の値に変化させると、保持容量132の端子電圧V1が所定の閾値Vthに等しくなる輝度が変化する。すなわち、輝度閾値Bthが変化する。本実施例では、この特性を利用して、輝度閾値が異なる複数のサブ画像を取得する。
【0134】
本実施例で用いるセンサ素子13の構成は、
図4に示すものと同じである。
【0135】
図18は、本実施例での各画素130からの読み出しシーケンスと充電電圧Vb0の関係を示す模式図である。
【0136】
1フィールドを四つのサブフィールドSF[1]~SF[4]に分割する。各サブフィールドで、充電走査パルスを順次走査し(図中の点線のタイミング)、露光時間Δtex経過後に読み出し走査パルスを順次走査する。本実施例の特徴は、サブフィールド毎に充電電圧Vb0を変化させることである。これにより、輝度閾値が異なるサブ画像を取得できる。
【0137】
サブ画像から階調画像を生成する方法は、第1の実施例と同様である。
【0138】
<実施例4>
本発明の第4の実施例の撮像システム1を説明する。本実施例は、数式(1)で説明した、輝度閾値を変化させる方法を複数用いるハイブリッド型である。これにより、階調数がより高い画像を取得できる効果がある。第4の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0139】
本実施例では、
図15に示したセンサ素子13の構成を使用し、
図18に示した走査シーケンスで、サブフィールド毎の充電電圧を変える。一例として、
図15に示すように四つのサブ画素1300で構成されたセンサ素子13を用いると、4階調の画像が得られる。そして、
図18のように、充電電圧Vb0を4段階に変化させてサブ画像を取得すると4階調の画像が得られる。この結果、4×4である16階調の階調画像を生成することができる。
【0140】
<実施例5>
図19を用いて、本発明の第5の実施例の撮像システム1を説明する。本実施例は、数式(1)で説明した、輝度閾値を変化させる方法を複数用いるハイブリッド型である。本実施例では、露光時間の変化と、充電電圧Vb0の変化を組み合わせる。第5の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0141】
図19に示すように、第1のフィールドは、露光時間を変えた四つのサブフィールドSF[1]~SF[4]を含む。そして、第2のフィールドでは充電電圧Vb0を変化させた上で、露光時間を変えた四つのサブフィールドで画像を取得する。このようにして、輝度閾値が異なる8枚のサブ画像を取得する。このサブ画像から上述の方法により8階調の階調画像を生成できる。
【0142】
説明は省略するが、ハイブリッド型の第3態様として、画素面積が異なるサブ画素1300と、露光時間の変化を組み合わせてもよい。
【0143】
<実施例6>
本発明の第6の実施例の撮像システム1を説明する。本実施例の撮像システム1は、通常モード及び高階調モードの二つの撮像モードで動作可能である。第6の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0144】
本実施例の撮像システム1は、リアルタイム性が要求される場合には、
図9の駆動タイミングにより4階調の画像を得る。これを通常モードと呼ぶ。一方、より高階調な画像が必要な場合には、高階調モードに遷移する。高階調モードにおいては、
図19の駆動タイミングを用いる。すなわち、1フィールドを露光時間の異なるサブフィールドに分割し、充電電圧Vb0を1フィールド毎に変えながら、nフィールド期間にわたって撮像する。
図19ではn=2の場合を示したが、n=8としてもよい。n=8とした場合、撮像に必要な時間は8倍になるが、4×8=32階調の階調画像を生成できる。
【0145】
なお、通常モードでの階調画像を4階調の場合を示したが、これはあくまで一例であり、通常モードが、例えば16階調であってもよい。
【0146】
本実施例のポイントは、階調画像を生成するために用いるサブ画像の数が、高階調モードの場合の方が、通常モードの場合よりも多いということである。これにより、高階調モードでは、高階調な画像を撮像できる。
【0147】
<実施例7>
図20を用いて、本発明の第7の実施例である撮像システム応用機器の一例としてロボットシステムを説明する。
【0148】
本実施例の応用機器は、高レベル放射線環境下などの過酷環境下でも使用可能なロボットシステムである。第7の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0149】
本実施例のロボットシステムは、ロボット100とロボット制御装置200とを有する。ロボット100は、タイヤ102が取り付けられたロボット台101と、アーム110と、センサ部10を有する。アーム110は関節111を有し、回転や屈折などの動作が可能である。図示していないが、アーム110を伸縮可能とする機構を設けてもよい。センサ部10は、前述したいずれかの実施例のセンサ構造を有する。
【0150】
ロボット制御装置200は、遠隔操作によりロボット100を操作可能な制御装置である。ロボット制御装置200は、画像処理部20とロボット制御部210を有する。センサ部10と画像処理部20とはケーブル30によって接続され、互いに信号を送受信する。ロボット100とロボット制御部210とはケーブル31によって接続され、ロボット100を駆動するための電力の供給と制御信号を送受信する。画像処理部20とロボット制御部210とは必要に応じて信号を送受信する。
【0151】
本実施例において、センサ部10は耐放射線性に優れるため、ロボット100は高レベル放射線環境下でも画像を撮影できる。特に、本実施例では、高レベル放射線環境である領域A(
図20の壁40の左側)にロボット100(センサ部10)を配置し、低放射線環境である領域B(壁40の右側)に画像処理部20を配置する。これにより、画像処理部20を低放射線環境で動作させることができる。
【0152】
また、撮像管などの真空管型撮像素子を用いる場合と比較すると、本実施例のセンサ部10を構成するセンサ素子13は小型軽量である。そのため、ロボット100を狭い場所に設置可能であり、複数個のセンサ部10をロボット100に設置しても重量の増加が抑制でき、設置場所への影響を低減できる。これにより、対象物300をより正確に把握することが可能になり、ロボット100に高度な動作を行わせることができる。
【0153】
また、本実施例のロボットシステムでは、必要に応じて、第6の実施例に記載した、高階調モードと通常モードとを切り替え可能な構成を採用するとよい。ロボット100の移動時や、対象物300をアーム110で操作する場合は、センサ部10を通常モードで動作する。これにより、対象物300の画像を高速で取得できるので、ロボット制御部210に高速なフィードバックを行うことができる。一方、対象物300や周囲の画像を記録のために撮影する場合には、センサ部10を高階調モードで動作させる。これにより、高い階調数で、高画質の画像で記録できる。
【0154】
<実施例8>
図21、
図22を用いて本発明の第8の実施例の撮像システム1を説明する。
【0155】
本実施例では、閾値判定回路134を画素130内に設けず、データ線137毎に設ける。第8の実施例では、前述した実施例と同じ機能を有する構成の説明は省略し、主に異なる構成について説明する。
【0156】
図21は、本実施例のセンサ素子13の画素130の構成を示す模式図である。
【0157】
保持容量132の端子は、読み出しトランジスタ143を介してデータ線137に接続される。
【0158】
図22は、本実施例の撮像システム1のセンサ素子13の構成を示す模式図であり、センサ素子13の中で四つの画素130を示すが、実際にはより多数の画素が配列されている。
【0159】
各データ線137は、閾値判定回路134の入力端子INに接続される。閾値判定回路134の出力端子Oは、切替スイッチ141を介して送受信部12に接続される。
【0160】
本実施例での信号読み出し手順を説明する。本実施例では、
図9に示すタイミングで走査パルスを印加する。充電走査線135に充電走査パルスを印加すると、選択された走査線上の画素(
図21)のCA端子に充電走査パルスが印加され、充電トランジスタ133がON状態になる。これにより、受光素子131が充電電圧Vb0に充電される。その後、充電トランジスタ133はOFF状態になる。
【0161】
所定の露光時間後、読み出し走査線136に読み出し走査パルスが印加されると、選択された画素の読み出しトランジスタ143がON状態になる。このとき、選択されていない走査線上の画素の読み出しトランジスタ143はOFF状態である。従って、選択された走査線上の画素の保持容量132の電圧が、データ線137に出力される。
【0162】
この時点で、
図22に示す読み出しパルス発生部144から、読み出しパルスが出力され、閾値判定回路134のRE端子に入力される。これにより、読み出しパルスの印加時点でのデータ線137の電圧と所定の閾値との大小関係に基づいて、閾値判定回路134の出力端子Oは、信号「1」または「0」にラッチされる。
【0163】
この期間に、水平走査回路140から順次出力される水平走査パルスによって、切替スイッチ141が動作し、各データ線137の信号電圧(「1」または「0」)が送受信部12に転送される。各データ線137には、閾値判定回路134の出力以降は2値の信号が流れるので、切替スイッチ141はロジック回路でよい。
【0164】
このようにして、各画素の保持容量132電圧に基づいて、2値のサブ画像データが得られる。
図9に示すように、各サブフィールド毎に露光時間を変えることによって、輝度閾値が異なるサブ画像を取得できる。複数のサブ画像から階調画像を生成する方法は、第1の実施例で前述した通りである。
【0165】
図21では、読み出しトランジスタ143にMOS型FETを用いているが、この動作ではFETの飽和領域で動作させるので、FETのゲート電圧閾値が多少変化しても、データ線137へ出力される信号への影響が少ない。このため、CMOS型増幅アンプを用いる場合と比べて、耐放射線性が向上する。
【0166】
本実施例によると、画素130内の回路を簡素化できる。
【0167】
また、本実施例では、露光時間の変化で輝度閾値を変えるが、充電電圧を変える構成(
図18)や受光素子131の面積を変える構成(
図15)や、複数の方法を組み合せたハイブリッド型(
図19等)にも、閾値判定回路134をデータ線137毎に設ける構成を適用できる。
【0168】
以上に説明したように、本発明の実施例の撮像システム1は、センサ部10と画像処理部20とを備え、センサ部10は、特定の波長の光を取り出す色分解素子14と、色分解素子14を透過した光を撮影する撮像センサ15とを有し、撮像センサ15は、送受信部12とセンサ素子13とを有し、センサ素子13は、受光素子131と充電トランジスタ133を画素130毎に有し、センサ素子13は、受光素子131の端子電圧が所定の閾値以上かを判定する1又は複数の閾値判定回路134とを有し、センサ素子13は、異なる輝度閾値に対応する複数のサブ画像を取得し、画像処理部20は、複数のサブ画像の信号を処理して、階調画像を生成するので、耐環境性能が優れており、高レベル放射線環境下などの過酷な環境下でも使用可能で、小型かつ軽量で、少なくとも1色が付いた画像を撮影する撮像装置を提供できる。
【0169】
また、第1の実施例では、色分解素子14は、入射した光を3色の光に分解するものであって、センサ部10は、色分解素子14を透過した光を撮影する複数の撮像センサ15を有し、撮像システム1は、各撮像センサ15から出力された画像を合成して、カラー画像を生成するので、耐環境性能が優れており、高レベル放射線環境下などの過酷な環境下でも使用可能で、小型かつ軽量で、カラー画像を撮影する撮像装置を提供できる。
【0170】
また、第1の実施例では、色分解素子14は、無機材料で構成されるので、放射線や紫外線の照射によるブラウニング(褐色化)の発生を抑制できる。
【0171】
また、第1の実施例では、色分解素子14は、誘電体光学素子であるので、硬度が高く、化学的に安定しているので、酸化や変質が生じにくく、長期間使用できる。
【0172】
また、第1の実施例では、色分解素子14は、透過した光を放射線と別の方向に進行させるので、撮像センサ15に放射線が直接入射せず、撮像システム1の放射線耐性を向上できる。
【0173】
また、第1の実施例では、センサ素子13は、画素130毎に閾値判定回路134を有するので、走査線の数が多くても確実に動作でき、アナログ信号を長く伝送することによるレベル変化の影響を抑制できる。
【0174】
また、センサ素子13は、受光素子131の露光時間をサブ画像毎に変えることによって前記輝度閾値を変化させるので、画素内にサブ画素を設ける必要がなく、画素の構成を簡素化できる。
【0175】
また、第2の実施例では、センサ素子13の各画素130は、受光素子131の受光面積が異なる複数のサブ画素1300を含むので、1回の走査で1画像が取得でき、1画素の読み出し時間を長くできる。
【0176】
また、第3の実施例では、センサ素子13は、受光素子131へ印加する充電電圧を所定の期間毎に変化させるので、画素内にサブ画素を設ける必要がなく、画素の構成を簡素化できる。また、サブ画素を取得する期間毎に電圧を変えることによって、サブ画素の輝度閾値を変えることができる。また、複数のサブ画素を取得するサイクル毎に電圧を変えることによって、複数のサブ画素の輝度閾値を一括して変えることができる。
【0177】
また、別の実施例では、センサ部10と画像処理部20とは空間的に分離され、有線又は無線で接続されるので、高レベル放射線環境下などの過酷な環境下でも使用可能な撮像装置を提供できる。また、画像処理部20に安価かつ高性能な半導体素子を使用できる。
【0178】
また、別の実施形態では、画像処理部20は、放射線遮蔽材25で囲まれているので、高レベル放射線環境下などの過酷な環境下でも使用可能な撮像装置を提供できる。また、画像処理部20に安価かつ高性能な半導体素子を使用できる。
【0179】
また、別の実施例では、閾値判定回路134は、受光素子131の出力電圧が入力されるバイポーラトランジスタTr2を有するので、耐放射線性能を向上できる。
【0180】
また、別の実施例では、撮像システム1は通常モードと高階調モードとで動作可能であって、高階調モードにおいて階調画像を生成するために取得するサブ画像の数は、通常モードにおいて階調画像を生成するために取得するサブ画像の数より多いので、画像取得目的に応じて、リアルタイム性と高画質のいずれかを優先させた画像を得ることができる。
【0181】
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
【0182】
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
【0183】
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD、BD等の記録媒体に格納することができる。
【0184】
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
【符号の説明】
【0185】
1 撮像システム
10 センサ部
11 センサ制御部
12 送受信部
13 センサ素子
14 色分解素子
15 撮像センサ
16R、16G、16B 誘電体ミラー
17 ハーフミラー
18 カラーフィルタ
19 反射板
20 画像処理部
21 表示装置
22 画像記録部
25 遮蔽材
30、31 ケーブル
100 ロボット
101 ロボット台
102 タイヤ
110 アーム
111 関節
130 画素
131 受光素子
132 保持容量
133 充電トランジスタ
134 閾値判定回路
135 充電走査線
136 読み出し走査線
137 データ線
138 充電走査回路
139 読み出し走査回路
140 水平走査回路
143 読み出しトランジスタ
144 読み出しパルス発生部
200 ロボット制御装置
210 ロボット制御部
300 対象物
1300 サブ画素