特許 7075092 撮像装置および撮像システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-17

(45)【発行日】2022-05-25

(54)【発明の名称】撮像装置および撮像システム

(51)【国際特許分類】

   H04N 5/374 20110101AFI20220518BHJP

   H04N 5/225 20060101ALI20220518BHJP

   H04N 5/232 20060101ALI20220518BHJP

   G01B 11/30 20060101ALN20220518BHJP

【ＦＩ】

H04N5/374 300

H04N5/225 300

H04N5/225 600

H04N5/232 480

G01B11/30 A

【請求項の数】 11

(21)【出願番号】P 2018035886

(22)【出願日】2018-02-28

(65)【公開番号】P2019153848

(43)【公開日】2019-09-12

【審査請求日】2021-02-26

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、戦略的イノベーション創造プログラム（ＳＩＰ）「インフラ維持管理・更新・マネジメント技術」事業、「レーザーを活用した高性能・非破壊劣化インフラ診断技術の研究開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】503359821

【氏名又は名称】国立研究開発法人理化学研究所

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】緑川 克美

(72)【発明者】

【氏名】和田 智之

(72)【発明者】

【氏名】斎藤 徳人

(72)【発明者】

【氏名】加瀬 究

(72)【発明者】

【氏名】道川 隆士

(72)【発明者】

【氏名】小町 祐一

(72)【発明者】

【氏名】村上 武晴

(72)【発明者】

【氏名】坂下 亨男

(72)【発明者】

【氏名】木暮 繁

【審査官】橘 高志

(56)【参考文献】

【文献】特開２０１７－００３４０４（ＪＰ，Ａ）

【文献】特開２０１６－１２５９４９（ＪＰ，Ａ）

【文献】特開２０１７－１２６４９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／３７４

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｇ０１Ｂ １１／３０

(57)【特許請求の範囲】

【請求項1】

被写体と相対的に移動する移動体上に設けられる撮像装置であって、
前記被写体に照射光を照射する光源と、
前記被写体からの反射光に応じた電荷を蓄積し、前記移動体の移動量に応じて前記電荷を転送するＴＤＩ方式のセンサを含む撮像部と、
前記電荷の転送方向において、前記移動体の振動による前記撮像部の振動を検出する振動検出部と、
前記振動検出部が検出した前記電荷の転送方向の振動の検出結果に基づいて、前記電荷を転送するタイミングを制御する制御部と
を備える、撮像装置。

【請求項2】

前記振動検出部は、前記移動体の回転成分を検出するジャイロセンサを備える、請求項１に記載の撮像装置。

【請求項3】

前記振動検出部は、前記移動体の速度変化に応じた前記撮像部の速度変化を検出し、
前記制御部は、前記振動検出部が検出した、前記撮像部の前記振動および前記撮像部の前記速度変化に基づいて、前記電荷を転送するタイミングを制御する、
請求項１又は２に記載の撮像装置。

【請求項4】

前記撮像部の振動を抑制する振動抑制部をさらに備え、
前記振動抑制部は、前記電荷の転送方向に対して垂直な方向の前記撮像部の撮像面の振動を抑制する、請求項１から３のいずれか一項に記載の撮像装置。

【請求項5】

前記振動抑制部は、前記電荷の転送方向の、鉛直方向に対する傾斜の変動を抑制しない、請求項４に記載の撮像装置。

【請求項6】

前記振動抑制部は、前記撮像面の奥行き方向の振動を抑制しない、請求項４または５に記載の撮像装置。

【請求項7】

前記被写体と前記撮像装置との距離を測定する測距部をさらに備え、
前記制御部は、前記測距部の測定結果を更に用いて、前記電荷を転送するタイミングの制御を行う、請求項１から６のいずれか一項に記載の撮像装置。

【請求項8】

前記測距部は、前記被写体の上下方向における２以上の場所の距離を測定し、
前記制御部は、前記測距部の測定結果に応じて、前記被写体に対する前記撮像部のレンズの傾きを制御する、請求項７に記載の撮像装置。

【請求項9】

前記測距部は、前記被写体の上下方向における２以上の場所の距離を測定し、
前記制御部は、前記測距部の測定結果に応じて、前記被写体に対する前記撮像部のレンズの高さ位置を制御する、請求項７または８に記載の撮像装置。

【請求項10】

前記測距部は、前記被写体上の各点の３次元情報を測定し、
前記制御部は、前記測距部が測定した前記被写体の３次元情報に応じて、前記各点に照射する前記照射光の波長を制御する、請求項７から９のいずれか一項に記載の撮像装置。

【請求項11】

被写体に対して相対的に移動する移動体と、
請求項１から１０のいずれか一項に記載の撮像装置と
を備える、撮像システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置および撮像システムに関する。

【背景技術】

【0002】

従来、ＴＤＩ方式のカメラを移動体上に設置し、道路、トンネル、ダム等の構造物を撮像する装置が知られている（例えば、特許文献１参照）。
特許文献１ 特開２０１７―３４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来のＴＤＩ方式のカメラを備える撮像装置においては、ＴＤＩセンサが振動し、振動の影響から撮像される画像にぶれを生じるおそれがあった。

【課題を解決するための手段】

【0004】

上記課題を解決するために、本発明の第１の態様においては、被写体と相対的に移動する移動体上に設けられる撮像装置を提供する。撮像装置は、被写体に照射光を照射する光源と、被写体からの反射光に応じた電荷を蓄積し、移動体の移動量に応じて電荷を転送するＴＤＩ方式のセンサを含む撮像部と、電荷の転送方向において、移動体の振動による撮像部の振動を検出する振動検出部と、振動検出部が検出した電荷の転送方向の振動の検出結果に基づいて、電荷を転送するタイミングを制御する制御部とを備える。

【0005】

振動検出部は、移動体の回転成分を検出するジャイロセンサを備えてよい。

【0006】

振動検出部は、移動体の速度変化に応じた撮像部の速度変化を検出してよい。制御部は、振動検出部が検出した、撮像部の振動および撮像部の速度変化に基づいて、電荷を転送するタイミングを制御してよい。

【0007】

撮像装置は、撮像部の振動を抑制する振動抑制部をさらに備えてよい。振動抑制部は、電荷の転送方向に対して垂直な方向の撮像部の撮像面の振動を抑制してよい。

【0008】

振動抑制部は、電荷の転送方向の、鉛直方向に対する傾斜の変動を抑制しなくてよい。

【0009】

振動抑制部は、撮像面の奥行き方向の振動を抑制しなくてよい。

【0010】

撮像装置は、被写体と撮像装置との距離を測定する測距部をさらに備えてよい。制御部は、測距部の測定結果を更に用いて、電荷を転送するタイミングの制御を行ってよい。

【0011】

測距部は、被写体の上下方向における２以上の場所の距離を測定してよい。
制御部は、測距部の測定結果に応じて、被写体に対する撮像部のレンズの傾きを制御してよい。

【0012】

測距部は、被写体の上下方向における２以上の場所の距離を測定してよい。制御部は、測距部の測定結果に応じて、被写体に対する撮像部のレンズの高さ位置を制御してよい。

【0013】

測距部は、被写体上の各点の３次元情報を測定してよい。制御部は、測距部が測定した被写体の３次元情報に応じて、各点に照射する照射光の波長を制御してよい。

【0014】

本発明の第２の態様においては、被写体に対して相対的に移動する移動体と、第１の態様に記載された撮像装置とを備える、システムを提供する。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】撮像システム２３０の概要の一例を示す。

【図2】撮像システム２３０のより具体的な構成例を示す。本例の移動体２００は、トラックである。

【図3】撮像装置１００のより具体的な構成の一例を示す。

【図4】ＴＤＩセンサの動作を示した概念図である。

【図5】移動体２００と被写体１０１との間の距離Ｄと、グリッド５１０との関係を説明するための図である。

【図6】斜面を移動体６００が進行する場合において、被写体１０１を撮影したときに記録される撮像面６１０、６１２、および６１４を示す図である。

【図7A】移動体２００に与えられる振動成分および回転成分を説明するための図である。

【図7B】撮像装置１００の構成の一例を示す。

【図8A】レンズ８１２のシフトを説明するための図である。

【図8B】レンズ８１２のシフトを説明するための図である。

【図8C】レンズ８１２のシフトを説明するための図である。

【図9A】レンズ９３０により結像面９１０に対象９２０を写す形態を図示した概念図である。

【図9B】ティルトさせたレンズ９３２により結像面９１０に対象９２０を写す形態を示した概念図である。

【図9C】逆ティルトさせたレンズ９３４により結像面９１０に対象９２０を写す形態を図示した概念図である。

【図10】レンズの色収差について説明する概念図である。

【図11】被写体１０１からの反射光に対して、センサが有する波長に応じた異なるセンサ感度を図示するグラフである。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0018】

図１は、撮像システム２３０の概要の一例を示す。撮像システム２３０は、撮像装置１００および移動体２００を備える。一例において、撮像システム２３０は、被写体１０１を撮像することにより被写体１０１の欠陥を検査する。例えば、被写体１０１は、トンネルの内壁、道路およびダム等の構造物である。

【0019】

移動体２００は、被写体１０１に対し相対的に移動する。一例において、移動体２００は、トラック等の車両や、鉄道、ドローン等の飛翔体である。

【0020】

本明細書においては、移動体２００の移動方向をｘ軸方向とする。ｙ軸は、水平面においてｘ軸と垂直な方向である。ｚ軸は、ｘ軸およびｙ軸のそれぞれに垂直な軸であり、ｘ軸、ｙ軸、およびｚ軸が右手系をなす。なお、本例では、移動体２００のみが移動する場合について説明するが、移動体２００および被写体１０１の双方が移動してもよい。

【0021】

撮像装置１００は、移動体２００に設けられ、移動体２００と同様に被写体１０１と相対的に移動する。撮像装置１００は、被写体１０１と相対的に移動しながら被写体１０１を連続的に撮像する。これにより、撮像装置１００は、被写体１０１の表面上の欠陥を検出することができる。撮像装置１００は、光源１１０と、撮像部１２０と、速度検出部１３０と、振動検出部１４０と、振動抑制部１４１と、動作制御部１５０と、測距部１６０と、記録部１７０とを備える。

【0022】

光源１１０は、被写体１０１に照射光を照射する。一例において、光源１１０は、白熱電球、蛍光管、ＬＥＤ照明、レーザーを有する。限定するものではないが、光源１１０は、十分な光量の照射光を照射するために、レーザーを有することが好ましい。

【0023】

撮像部１２０は、照射光が照射された被写体１０１からの反射光を撮像する。撮像部１２０は、レンズ１２２と、調整部１２４と、ＴＤＩセンサ１２６とを有する。

【0024】

レンズ１２２は、被写体１０１からの反射光をＴＤＩセンサ１２６の撮像面に結像する。調整部１２４は、レンズ１２２が受光した反射光がＴＤＩセンサ１２６において鮮明に結像されるように、レンズ１２２のフォーカス位置を調整する。

【0025】

ＴＤＩセンサ１２６は、時間遅延積分（ＴＤＩ）方式の撮像素子である。ＴＤＩセンサ１２６は、被写体１０１と相対的に移動しながら被写体１０１を撮像する。ＴＤＩセンサ１２６は、被写体１０１の相対速度に応じて電荷を転送することにより、画素毎に被写体１０１に対応した電荷を蓄積する。このように、ＴＤＩセンサ１２６は、被写体１０１の画像を積分していくことにより、被写体１０１を高解像度且つ高感度で撮像することができる。

【0026】

速度検出部１３０は、被写体１０１に対する撮像装置１００の相対的な移動速度を検出する。一例において、速度検出部１３０は、移動体２００が車両である場合、タイヤの回転数から移動体２００の移動速度を検出することができる。但し、速度検出部１３０は、ＧＰＳ等の他の方法を用いて移動体２００の移動速度を検出してよい。

【0027】

振動検出部１４０は、撮像部１２０の振動に応じた信号を検出する。また、振動検出部１４０は、移動体２００の速度変化を検出してもよい。本例の振動検出部１４０は、六軸センサとして作動する慣性計測ユニット（ＩＭＵ）を有する。一例において、振動検出部１４０は、移動体２００の三軸（ｘ軸、ｙ軸、およびｚ軸）周りの回転成分を検出するジャイロセンサを有する。また、振動検出部１４０は、移動体２００の三軸（ｘ軸、ｙ軸、およびｚ軸）方向の速度変化および並進振動を検出する加速度検出部を備えてよい。振動検出部１４０は、六軸方向の累積的な測定結果を検出する。振動検出部１４０は、検出した信号を動作制御部１５０に出力する。

【0028】

振動抑制部１４１は、振動検出部１４０が検出した信号に基づいて、機械的に撮像部１２０の振動を抑制する。本例の振動抑制部１４１は、スタビライザ１４２およびダンパ１４４を有する。

【0029】

スタビライザ１４２は、撮像部１２０のｘ軸周りの回転成分を抑制する。ダンパ１４４は、撮像部１２０のｚ軸方向の並進振動を抑制する。

【0030】

動作制御部１５０は、光源１１０の動作を制御する。一例において、動作制御部１５０は、光源１１０の照射タイミングおよび照射光の波長の少なくとも１つを制御する。動作制御部１５０は、光源１１０がレーザー光源である場合、パルス照射および連続照射のいずれかで光源１１０の照射を制御する。例えば、動作制御部１５０は、光源１１０のパルス照射のタイミングを、撮像部１２０の露光タイミングに合わせる。これにより、撮像部１２０は、被写体１０１を撮像するための光量を確保しやすくなる。

【0031】

また、制御部１５０は、撮像部１２０の動作を制御する。一例において、動作制御部１５０は、振動検出部１４０が検出した信号に基づいて、撮像部１２０の振動を電子的に抑制する。本例の動作制御部１５０は、ＴＤＩセンサ１２６の露光タイミングおよび電荷転送のタイミングを制御することにより、撮像部１２０の振動を電子的に抑制する。

【0032】

測距部１６０は、撮像装置１００と被写体１０１との距離Ｄを測定する。撮像装置１００と被写体１０１との距離Ｄは、撮像部１２０の動作を制御するために用いられてよい。例えば、測距部１６０は、被写体１０１の３次元情報を取得するための３Ｄレーザープロファイラである。測距部１６０が取得する３次元情報には、被写体１０１の傾斜や凹凸等の撮像装置１００からみた奥行方向の情報が含まれてよい。

【0033】

記録部１７０は、振動検出部１４０が検出した電気信号を記録する。記録部１７０は、動作制御部１５０に記録したデータを送信してよい。これにより、動作制御部１５０は、振動検出部１４０が検出したデータに基づいて、光源１１０および撮像部１２０の動作を制御する。

【0034】

ここで、撮像装置１００は、予め定められた撮像環境において被写体１０１を撮像するために十分に高い解像度と、十分に広いダイナミックレンジを有することが好ましい。また、撮像装置１００の撮像条件を満たすためには、十分な光量を確保することが好ましい。

【0035】

本例の撮像装置１００は、ＴＤＩセンサ１２６を有するので、被写体１０１からの反射光の光量が小さい場合であっても、被写体１０１の画像を積算することにより、十分な感度を確保することができる。そのため、被写体１０１がトンネルの内壁である場合であっても、光量を確保しやすくなる。

【0036】

十分な光量を確保することは、ＴＤＩセンサ１２６の分解能を向上する上でも有用である。例えば、ＴＤＩセンサ１２６の分解能を２倍にするために、ＴＤＩセンサ１２６の一画素当たりのピクセル幅ｐを半分にした場合、ＴＤＩセンサ１２６の撮像面上の一画素当たりの面積（即ち、ｐ^２）は、元の面積の１／４となる。そのため、ＴＤＩセンサ１２６の一画素に入射する反射光の光量も１／４となる。

【0037】

また、撮像装置１００は、被写体１０１の凹凸等に対応できる程度に、十分な被写界深度を有することが好ましい。被写体１０１は、必ずしも撮像装置１００に正対しているとは限らず、その表面形状も凹凸などの変化を有する場合がある。そのため、レンズ１２２は、被写体１０１の表面形状の影響を吸収するだけの被写界深度を有することが好ましい。例えば、被写体１０１の欠陥検査の場合には、１０ｃｍ以上の被写界深度を有することが好ましい。このように、レンズ１２２の焦点深度を拡張し、一定以上の被写界深度を確保しつつ、高い分解能を実現することが好ましい。

【0038】

本例の撮像装置１００は、機械的な制御および電子的な制御の両方を組み合わせることにより、移動体２００の移動により生じた振動を抑制する。撮像装置１００は、移動体２００の移動方向の振動を電子的に制御し、それ以外の方向の振動を機械的に制御する。これにより、移動体２００の移動方向の振動を高い反応速度で抑制することができる。また、移動体２００の移動方向において、機械的な振動の制御を不要にすることにより、撮像装置１００の高剛性および低コストが実現される。したがって、本例の撮像装置１００は、移動体２００が高速に移動する場合であっても、感度良く被写体１０１を撮像することができる。

【0039】

図２は、撮像システム２３０のより具体的な構成例を示す。本例の移動体２００は、トラックである。撮像装置１００は、移動体２００の荷台に載置されている。

【0040】

移動体２００は、被写体１０１であるトンネルの内壁に沿って移動する。本例の撮像装置１００は、ＴＤＩ方式の撮像部１２０を三台備える。これにより、被写体１０１において、撮像範囲２１０を大きくすることができる。

【0041】

撮像範囲２１１ａ、２１１ｂ、２１１ｃは三台の撮像部１２０の撮像範囲をそれぞれ示している。撮像部１２０は、所望の撮像範囲２１０に応じた台数だけ用意すれば良い。撮像部１２０の台数はこれに限定されない。撮像範囲２１０は、移動体２００の移動とともに被写体１０１上を移動する。

【0042】

図３は、撮像装置１００のより具体的な構成の一例を示す。本例の撮像装置１００は、被写体１０１としてトンネルの内壁を撮像する。本例の撮像装置１００は、マウント３５０上に配置され、照射範囲３１０に照射光を照射する２台の光源１１０を有する。撮像範囲３１２は、３台の撮像部１２０の内、中央の撮像部１２０による被写体１０１の撮像範囲である。

【0043】

撮像部１２０は、撮像範囲３１２上に微細なピクセルを割り当てて撮像する。調整部１２４により調整されたレンズ１２２を通してＴＤＩセンサ１２６により撮像された画像は、記録部１７０へと送られて、記録される。

【0044】

動作制御部１５０は、撮像制御部３４１と、光源制御部３４２と、ＣＰＵ３４３と、クロック３４４とを有する。撮像制御部３４１は、撮像部１２０の調整部１２４を制御する。撮像制御部３４１は、被写体１０１の傾斜に対応するレンズ１２２のシフトおよびティルトを制御してもよい。さらに、撮像制御部３４１は、ＴＤＩセンサ１２６の露光タイミングおよび電荷転送のタイミングを制御してもよい。

【0045】

光源制御部３４２は、光源１１０の照射光の照射タイミングを制御する。例えば、光源制御部３４２は、クロック３４４が計測した時間に応じて、撮像部１２０の動作のタイミングに対する光源１１０の動作のタイミングを制御する。また、光源制御部３４２は、光源１１０の照射波長等を制御してよい。

【0046】

ＣＰＵ３４３は、速度検出部１３０および測距部１６０の測定結果、並びに記録部１７０に記録されたデータおよびクロック３４４の計時結果を用いて、計算を行う。ＣＰＵ３４３は、制御情報に関わる計算結果を、撮像制御部３４１および光源制御部３４２に送信する。ＣＰＵ３４３は、クロック３４４が測定した時間に基づいて、光源１１０の照射タイミングおよびＴＤＩセンサ１２６の動作タイミングを計算する。

【0047】

測距部１６０は、撮像部１２０より移動体２００の移動方向に対して前方方向にオフセットして配置される。本例の測距部１６０は、撮像部１２０から距離ｄ０だけ、移動体２００の移動方向にオフセットして配置される。本例の測距部１６０は、移動体２００の移動方向に対して撮像部１２０より前方にオフセットして配置されることにより、撮像部１２０が撮像する被写体１０１までの距離を撮像部１２０が撮像する前に事前に計測することができる。動作制御部１５０は、測距部１６０により事前に計測されたデータに基づいて、光源１１０および撮像部１２０の動作を制御することができる。

【0048】

一例において、測距部１６０のオフセット距離ｄ０は、動作制御部１５０が撮像部１２０の機械的制御に要する時間に基づく。例えば、機械的制御に要する時間とは、撮像部１２０のレンズ１２２の調整にかかる時間である。機械的制御に要する時間は、ＴＤＩセンサ１２６の電子的な制御に要する時間に比べてより長い時間を要する。このように、測距部１６０のオフセット距離ｄ０は、次式を満たすことが好ましい。
［数１］
（オフセット距離ｄ０）≧（機械的制御の反応時間）×（移動体２００の移動速度）

【0049】

但し、測距部１６０のオフセット距離ｄ０を大きくすると、移動体２００が蛇行移動する場合、測距部１６０が計測した距離Ｄと、撮像部１２０が被写体１０１を撮像する際の被写体１０１と撮像部１２０との間の実際の距離Ｄとの間に誤差が生じやすくなる。そのため、測距部１６０のオフセット距離ｄ０は、機械的制御に要する時間と移動体２００の移動速度から得られるオフセット距離ｄ０の範囲で小さく設定されることが好ましい。例えば、オフセット距離ｄ０は、１０ｃｍ以上、１ｍ以下である。

【0050】

図４は、ＴＤＩセンサ１２６の動作を示した概念図である。本例のＴＤＩセンサ１２６は、時刻ｔ_１～ｔ_４において、露光と読み出しを繰り返している。

【0051】

時刻ｔ_１は、露光タイミングに対応する時刻の一例である。時刻ｔ_１において、照射面４２０の欠陥４２２を有する被写体１０１からの反射光でＴＤＩセンサ１２６上の撮像面４３０を露光する。露光の際、ＴＤＩセンサ１２６は、撮像面４３０上に欠陥４２２からのシグナル４３２を含む反射光を受光し、シグナル４３２に対応する電荷４４０がＴＤＩセンサ１２６に蓄積される。本例のＴＤＩセンサ１２６は、ｘ軸方向およびｚ軸方向にそれぞれ予め定められた段数を有する。ＴＤＩセンサ１２６の段数とは、ｘ軸方向又はｚ軸方向におけるピクセル数を指す。

【0052】

ｘ軸方向において、本例のＴＤＩセンサ１２６では、４段のみ図示されているものの、これに限られない。例えば、ＴＤＩセンサ１２６の段数は、１２８段であっても、２５６段であってもよい。

【0053】

ｚ軸方向において、本例のＴＤＩセンサ１２６では、８段のみ図示されているものの、これに限られない。撮像面４３０のｚ軸方向のピクセル数は、解像度に影響する。例えば、ｚ軸方向に数千個から数万個のピクセル数を有するＴＤＩセンサ１２６が利用出来るが、ピクセル数はこれらの値に限定されない。

【0054】

時刻ｔ_２は、読み出しタイミングに対応する時刻の一例である。時刻ｔ_２において電荷の転送４３１ａが行われる。電荷の転送４３１ａにより電荷４４０は、ＴＤＩセンサ１２６の撮像面４３０において、－ｘ軸方向に１ピクセルだけ移動する。そして、撮像面４３０上の左端のシグナル４３３ａに対応する電荷が電荷４４０から読み出される。

【0055】

時刻ｔ_３は、露光タイミングに対応する時刻の一例である。時刻ｔ_３において再度被写体１０１に照射光が照射され、再びＴＤＩセンサ１２６上の撮像面４３０がシグナル４３２を含む反射光で露光される。シグナルに対応する電荷４４０がＴＤＩセンサ１２６に設けられた容量性要素上に蓄積される。

【0056】

時刻ｔ_４は、読出しタイミングに対応する時刻の一例である。時刻ｔ_４において再度電荷の転送４３１ｂが行われ、電荷の転送４３１ｂにより電荷４４０は、ＴＤＩセンサ１２６の撮像面４３０において、－ｘ軸方向に１ピクセルだけ移動する。そして、撮像面４３０上の左端のシグナル４３３ｂに対応する電荷が電荷４４０から読み出される。

【0057】

以上に記載したように、シグナル４３２に対して、ｔ_１、ｔ_３、…の奇数添え字のタイミングでの露光とｔ_２、ｔ₄、…の偶数添え字のタイミングでの電荷の転送が繰り返され、電荷の転送と共に左端のシグナルの読み出しが行われる。したがって、撮像面４３０上の各ピクセルに対してＴＤＩセンサ１２６の段数の回数の多段露光が行われ、多段露光により各ピクセルに十分な光量および分解能が確保される。

【0058】

動作制御部１５０は、ＴＤＩセンサ１２６の露光タイミングを制御する。露光タイミングｔ_１およびｔ_３間において、移動体２００は、（移動体２００の移動速度）×（ｔ_３－ｔ_１）の距離だけ移動する。動作制御部１５０は、ｔ_３－ｔ_１の期間にシグナル４３２が撮像面４３０上で一段電荷の転送４３１ａおよび４３２ｂの方向に移動した状態で露光されるように、露光タイミングｔ_３を調整する。

【0059】

即ち、動作制御部１５０は、移動体２００の移動速度、速度変化および振動に応じて、時刻ｔ_１とｔ_３およびｔ_３以降の各露光の間の時間間隔を移動体２００の移動速度、速度変化および振動に応じて調整する。したがって、移動体２００のｘ軸方向の振動の影響は、ｘ軸方向の振動を抑制する機構を設けることなくＴＤＩセンサ１２６の露光タイミングの制御で取り除くことができる。

【0060】

動作制御部１５０が行うＴＤＩセンサ１２６の露光のタイミングの電子的な調整のために、ＴＤＩセンサ１２６に特殊な半導体設計技術を用いた新たな設計を施す必要はない。露光タイミングの調整は、制御方式の変更のみで実現可能である。

【0061】

露光タイミングの制御は、機械的な制御でなく電子的な制御であるため、機械的な制御より速い反応速度を実現する。振動への対応を電子的な制御で行うことは撮像装置１００全体から機械的な作動部分を減らすことにつながり、撮像装置１００のマウント機構を高剛性かつ低コストにすることも実現する。

【0062】

図５は、移動体２００と被写体１０１との間の距離Ｄと、グリッド５１０との関係を説明するための図である。グリッド５１０は、撮像部１２０で撮像される撮像面４３０に対応する被写体１０１の領域を指す。

【0063】

グリッド５１０は、移動体２００と被写体１０１との間の距離Ｄが距離Ｄ_１から距離Ｄ_２に変化した場合、グリッド５１０ａからグリッド５１０ｂに変化する。例えば、距離Ｄ_１から距離Ｄ_２に距離Ｄが長くなった場合、グリッド５１０ａからグリッド５１０ｂにグリッド５１０の大きさが大きくなる。そのため、被写体１０１の各点に対応するピクセルが、距離Ｄの変化によってずれる場合がある。

【0064】

動作制御部１５０は、被写体１０１の各点に対応するピクセルが、移動体２００の移動によってずれないように、光源１１０および撮像部１２０の動作を制御する。例えば、動作制御部１５０は、距離Ｄ_１から距離Ｄ_２に距離Ｄが長くなった場合であっても、被写体１０１の各点が対応する撮像面４３０のピクセルに露光されるように、光源１１０および撮像部１２０を制御する。これにより、撮像装置１００は、距離Ｄが変化した場合であっても、被写体１０１の各点に対応する電荷を積算することができる。

【0065】

また、動作制御部１５０は、距離Ｄ、移動体２００の移動速度Ｖ、移動体２００の速度変化ΔＶおよび撮像部１２０の振動成分とに基づいて、撮像部１２０に送信する駆動パルスの間隔ΔＴを制御してよい。撮像装置１００の振動の影響がない場合、駆動パルスの間隔ΔＴは、次式で示される。
［数２］
ΔＴ=（ｐ×Ｄ／ｆ）／Ｖ

【0066】

ここで、ｐはセンサの撮像面４３０上のピクセルのピクセル幅、ｆはレンズ１２２の焦点距離、Ｄは撮像部１２０と被写体１０１との距離、Ｖは移動体２００の移動速度である。なお、動作制御部１５０は、（数２）式に移動体２００の速度変化ΔＶおよび撮像部１２０の振動の影響をさらに考慮に入れてもよい。

【0067】

図６は、斜面を移動体２００が移動する場合において、被写体１０１を撮影したときに記録される撮像面６１０、６１２、および６１４を示す図である。図６では、移動体２００としてトラックを用いる場合に、トラックに撮像部１２０および測距部１６０が備えられている図を示している。被写体１０１を撮影したときの撮像面６１０がピクセルとともに示されている。

【0068】

移動体２００は、移動方向６３０に進行する。移動体２００が斜面を登り降りするとき、撮像面６１０を傾ける方向６４０に撮像面６１０が回転し、撮像面６１０の傾斜が変動する。

【0069】

移動体２００が水平な面を移動する場合、撮像面６１０における移動方向６３０の振動の影響は電子的に抑制される。一方、移動体２００が斜面を登る場合、振動抑制部１４１は、方向６４０の回転は抑制せず、撮像面の傾斜の変動は抑制しない。したがって、斜面を登る移動体２００の撮像面は撮像面６１２に示されるようになる。

【0070】

振動抑制部１４１は、方向６４０の傾斜の変動を抑制しない。仮に、振動抑制部１４１が方向６４０に対しても撮像面を安定化する場合、その撮像面は撮像面６１４のようになる。振動抑制部１４１が撮像面６１４のように撮像面を安定化すると、水平面走行時から斜面を登る間に時間的に連続的に撮像される画像はかえって電荷の転送方向に対し、垂直な方向にぶれを生じた画像となる。振動抑制部１４１は、方向６４０の傾斜の変動を抑制しないので、被写体１０１を安定して撮像することができる。

【0071】

図７Ａは、移動体２００に与えられる振動成分および回転成分を説明するための図である。移動体２００には、ｘ軸周りの回転成分７１１と、ｙ軸周りの回転成分７１２と、ｚ軸周りの回転成分７１３と、ｘ軸振動成分７２１と、ｙ軸振動成分７２２と、ｚ軸振動成分７２３との６つの成分が与えられる。ｘ軸周りの回転成分７１１は、ロールと呼ばれる。ｙ軸周りの回転成分７１２はピッチと呼ばれる。ｚ軸周りの回転成分７１３はヨーと呼ばれる。

【0072】

ｘ軸振動成分７２１は、ＴＤＩセンサ１２６の露光タイミングの制御により抑制される。ｙ軸振動成分７２２は、被写界深度に吸収される。但し、ｙ軸振動成分７２２は、振動抑制部１４１には抑制されない。被写体１０１の表面形状には、元来凹凸があり得るので、表面の凹凸形状の影響と共に、ｙ軸振動成分７２２の影響は、被写界深度で対応することが好適である。ｚ軸振動成分７２３は、振動抑制部１４１により、機械的に抑制される。

【0073】

ｘ軸周りの回転成分７１１は、ｚ軸方向の並進運動と共に、振動抑制部１４１により機械的に抑制される。ｘ軸周りの回転成分７１１およびｚ軸振動成分７２３は、撮像する画像のぶれにつながるので、適切に振動抑制部１４１により抑制することが好適である。

【0074】

ｚ軸周りの回転成分７１３は、微小振動である場合、ｘ軸振動成分７２１と同視できる。したがって、ｘ軸振動成分７２１と同様に、この影響は、ＴＤＩセンサ１２６のタイミング制御により電子的に除去される。

【0075】

ｙ軸周りの回転成分７１２は、センサの撮像面４３０の傾斜に影響する。センサの撮像面４３０の傾斜に関しては、機械的なスタビライザは設けない。水平面を移動する移動体２００においては、このような振動は１％以下でしか生じない。図６のように斜面を移動する場合には、移動体２００全体の傾斜に応じて撮像部１２０も傾斜し、撮像される画像の連続性も保たれる。

【0076】

ｙ軸周りの回転成分７１２およびｚ軸周りの回転成分７１３は、撮像部１２０を設ける場所によって、撮像部１２０に与える影響が異なり、撮像部１２０がｙ軸方向又はｚ軸方向以外の方向に向けられる場合には、互いの影響は混合する。ＴＤＩセンサ１２６のタイミングの制御においては、ｙ軸周りの回転成分７１２およびｚ軸周りの回転成分７１３の影響に対して撮像部１２０を設けた場所それぞれで適切にタイミング制御が行われる。

【0077】

図７Ｂは、撮像装置１００の構成の一例を示す。撮像装置１００は、スタビライザ１４２上に六軸センサ７５２を備える。また、撮像装置１００は、動作制御部１５０上に設けられた六軸センサ７５４を備える。

【0078】

六軸センサ７５２および六軸センサ７５４は、ｘ軸周りの回転成分７１１と、ｙ軸周りの回転成分７１２と、ｚ軸周りの回転成分７１３と、ｘ軸振動成分７２１と、ｙ軸振動成分７２２と、ｚ軸振動成分７２３との６つの成分を検出する。例えば、ｘ軸振動成分７２１と、ｙ軸振動成分７２２と、ｚ軸振動成分７２３とが、加速度検出部で検出される。ｘ軸周りの回転成分７１１と、ｙ軸周りの回転成分７１２と、ｚ軸周りの回転成分７１３とがジャイロセンサで検出される。

【0079】

六軸センサ７５２および六軸センサ７５４は、スタビライザ１４２およびマウント３５０のいずれに設けられていてもよい。本例の六軸センサ７５２および六軸センサ７５４は、スタビライザ１４２およびマウント３５０の両方に設けられている。ジャイロセンサは動きに応じて反応するため、スタビライザ１４２およびマウント３５０の両方に設けることで、振動をより精密かつ高速に検出することができる。

【0080】

スタビライザ１４２として、パッシブスタビライザおよびアクティブスタビライザのいずれを使用してもよい。パッシブスタビライザは、フリー回転のみにより回転成分を機械的に除去する。パッシブスタビライザは、スタビライザ１４２の回転軸が重力方向に垂直に設置され、剛体の重心を貫く。パッシブスタビライザは、回転軸の摩擦が無視出来る場合には、等速的な回転以外の回転運動を伝達しない性質がある。

【0081】

一方、アクティブスタビライザは、モータによる駆動力での制御を含む。アクティブスタビライザは、パッシブスタビライザと同様に重力による自発的な制御を含んでよい。アクティブスタビライザは、パッシブスタビライザの回転軸の摩擦、回転軸の重心からのずれ、等速回転運動などにより生じるパッシブ的な制御のみで取り除けない振動もより精密に取り除くことが可能である。

【0082】

図８Ａは、レンズ８１２のシフトを説明するための図である。同図は、レンズ８１２を使用して被写体１０１を撮影する場合に結像面８１４に画像を結像する形態を図示する。

【0083】

被写体１０１の画像をレンズ８１２を通して結像面８１４上に結像させる。この場合、レンズ８１２の中心点を通る光軸に対し、伸びる結像面８１４に対応する被写体１０１は、レンズ８１２に対し上下に対称に伸びる。

【0084】

図８Ｂは、レンズ８１２のシフトを説明するための図である。本例のレンズ８２２は、被写体１０１に対して傾けて配置されている。レンズ８２２の光軸に対し被写体１０１よりさらに遠位に延伸する被写体１０１を撮影する場合に結像面８２４に画像を結像する形態である。

【0085】

レンズ８２２の光軸に対し被写体１０１よりさらに遠位に延伸する被写体１０１の画像を結像面８２４上に結像させた場合、被写体１０１全体をレンズ８２２の視野に収めるためには図８Ｂのように仰角をつけた撮影が行われる。このとき結像面８２４は、図８Ｂに示したように斜めに結像することになり、被写体１０１の上端に向かうにつれ、幅が先細りする画像８２６を結像させることとなる。

【0086】

図８Ｃは、レンズ８１２のシフトを説明するための図である。レンズ８３３に対してシフトさせたレンズ８３２を用いて、レンズ８３３の光軸に対し、被写体１０１より遠位に延伸する被写体１０１を撮影する場合に結像面８３４に画像を結像させる形態である。

【0087】

シフトさせたレンズ８３２は、レンズ８３３に対して光軸を図面上の上方向にシフトしている。このようなレンズにおいては、被写体面において光軸から図面上の上方向にシフトした被写体１０１と、図面上の下方向にシフトした結像面８３４が対応し、仰角をつけて被写体１０１を仰ぎ見ることなく、結像面８３４上に画像を結像させている。また、シフトさせたレンズ８３２は、被写体１０１全体を画像を歪ませることなく等幅の画像８３６として結像面８３４上に結像させる。

【0088】

このように、レンズ１２２は、シフト可能なレンズであってよい。一例において、動作制御部１５０は、撮像部１２０と被写体１０１との距離Ｄに応じて、レンズ１２２のシフト量を調整する。

【0089】

撮像部１２０を被写体１０１に正対して設置した状態のままで撮像範囲をシフトすることで、被写体１０１上の広い領域の撮影が可能となる。これにより、レンズの視野全体にわたり、１ピクセルに相当する壁面上の水平距離が一定であることが保証される。ＴＤＩセンサ１２６の撮像面４３０上の１ピクセルのピクセル幅ｐに対する被写体上のｘ軸方向距離が、ｚ軸方向にわたって均一となる点好適である。

【0090】

図９Ａは、レンズ９３０により結像面９１０に被写体１０１を写す形態を図示した概念図である。レンズ９３０の被写界深度が、被写界深度９４０である。

【0091】

結像面９１０上で、被写体１０１の像は、被写界深度９４０と被写体１０１とが交わる領域にフォーカスが合う。本例では、被写体１０１のうち、距離ｄ１部分にのみフォーカスが合っている。

【0092】

図９Ｂは、ティルトさせたレンズ９３２により結像面９１０に被写体１０１を写す形態を示した概念図である。ティルトさせたレンズ９３２の被写界深度は、被写界深度９４２である。

【0093】

結像面９１０上で、被写体１０１が結像する画像は、被写界深度９４２と対象９２０とが交わる領域にフォーカスが合わされた画像となる。本例では、被写体１０１のうち、距離ｄ２の領域にまでフォーカスが合っている。

【0094】

図９Ｃにおいては、逆ティルトさせたレンズ９３４により結像面９１０に被写体１０１を写す形態を図示した概念図である。逆ティルトさせたレンズ９３４の被写界深度が被写界深度９４４である。

【0095】

結像面９１０上で、被写体１０１の像は、被写界深度９４４と被写体１０１とが交わる領域にフォーカスが合うこととなる。したがって、被写体１０１のうち、距離ｄ３の領域にまでフォーカスが合うこととなる。

【0096】

撮像装置１００は、レンズ１２２としてティルト又は逆ティルト可能なレンズを採用することができる。測距部１６０は、動作制御部１５０に撮像部１２０と被写体１０１との距離Ｄを測定する。動作制御部１５０は、測距部１６０が測定した距離Ｄに応じて、レンズ１２２をティルト又は逆ティルトさせるように制御する。これにより、撮像装置１００は、被写体１０１がｚ軸方向から大きく傾斜し、レンズのシフト動作では対応出来ない傾斜に対しても広い範囲にフォーカスを合わせることが可能となる。

【0097】

図１０は、レンズの色収差について説明する概念図である。被写体１０１のうちの対象点１０１１から反射光が照射される。図面上、レンズ１０２０にレンズの中心点１０２２を通る光軸が示されている。反射光は、レンズ１０２０内をレンズの表面での屈折を伴いながら透過する。焦点距離は、光軸と交わる点上に波長毎に異なる。

【0098】

波長λ_Ｒを有する赤色光１０１２は、光軸上のレンズの中心点１０２２から遠位に焦点を有する。波長λ_Ｂを有する青色光１０１４は、光軸上のレンズの中心点１０２２から近位に焦点を有する。そのように波長による屈折率の差により、反射光の波長毎の焦点距離の差が生じる。したがって、対象点１０１１から照射された白色光の焦点距離には差が生じ、この現象は軸上色収差と呼ばれる。逆に、所望の焦点距離を得るためには、照射光の光を波長λ_Ｄにすることができる。波長λ_Ｄの反射光１０１６の光路が図１０に示されている。

【0099】

被写体１０１からの反射光が単色光である場合、凹凸を有する被写体１０１を撮影すると、凹凸に応じて、受光側で光軸上の異なる位置に結像位置を生じる。光源１１０が、レーザやプロジェクタ等の複数波長又は可変波長の光源である場合に、測距部１６０は、撮像装置１００と被写体１０１との距離を信号として送り、当該信号に応じて、動作制御部１５０は、色収差を利用し、受光側の結像位置が光軸上で等距離になるように光源１１０の照射光の波長を制御する。

【0100】

上述の照射光の波長の制御により、壁面が平面ではなく複雑な凹凸を持つ場合にも対応した視野全体でのフォーカス位置を調整することができる。また、移動体２００が高速に移動する移動体２００である場合、移動体２００の移動面上に段差があり、段差通過時に撮像装置１００と被写体１０１との距離が変動し、機械的なフォーカス位置調整では間に合わない場合にも、被写体１０１に正確にフォーカスを合わせることができる。

【0101】

被写体１０１がトンネル内壁であるとき、トンネルの内壁は一般に撮像部１２０と向いている方向に対し平坦でなく、凹凸を有し精密な測定では撮像部１２０の視野内でフォーカスが合わない箇所を有する場合がある。測距部１６０は、視野内の中心付近の距離の測定から定めた代表値、又は、視野内の複数個所の測定からの平均値のいずれかの一自由度の値にフォーカス位置を定めるのではなく、視野全体をカバーするように被写体の上下方向に２以上の場所の距離を測定する。

【0102】

測距部１６０は、被写体１０１の３次元情報を取得する。測距部１６０は、取得した３次元情報を記録部１７０に保存してもよい。

【0103】

動作制御部１５０は、測距部１６０が取得した被写体１０１の３次元情報に応じて、光源１１０および調整部１２４を制御する。一例において、動作制御部１５０は、被写体１０１の各点に照射する照射光の波長を制御する。例えば、動作制御部１５０は、複数の波長または可変波長を有する光源１１０に対し、適切な波長の照射光を被写体１０１の各領域に分けて照射させる。また、動作制御部１５０は、レンズ１２２の高さ位置（シフト量）、およびレンズ１２２の傾き（ティルト量）を調整することにより、調整部１２４を制御してよい。

【0104】

図１１は、被写体１０１からの反射光に対して、センサが有する波長に応じた異なるセンサ感度を図示するグラフである。ＴＤＩセンサ１２６は、モノクロセンサであってよい。モノクロセンサは、波長λ_１に対して感度ｆ（λ_１）、波長λ_２に対して感度ｆ（λ_２）を有する。

【0105】

このような場合に、ｆ（λ）に応じて波長λの照射光の強度を調整することにより、ｆ（λ）×（強度）を一定にすることができる。ＴＤＩセンサ１２６の感度における波長特性に応じて、光源１１０の照射光の各波長に対する強度を調整することにより、波長特性の影響を補償することができる。例えば、光源１１０は、ＴＤＩセンサ１２６の感度が低い波長λにおいて、ＴＤＩセンサ１２６の感度が高い波長λよりも、照射光の強度を強くする。

【0106】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0107】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0108】

１００・・・撮像装置、１０１・・・被写体、１１０・・・光源、１２０・・・撮像部、１２２・・・レンズ、１２４・・・調整部、１２６・・・ＴＤＩセンサ、１３０・・・速度検出部、１４０・・・振動検出部、１４１・・・振動抑制部、１４２・・・スタビライザ、１４４・・・ダンパ、１５０・・・動作制御部、１６０・・・測距部、１７０・・・記録部、２００・・・移動体、２１０・・・撮像範囲、２１１ａ、２１１ｂ、２１１ｃ・・・撮像範囲、２３０・・・システム、３１０・・・照射範囲、３１２・・・撮像範囲、３４１・・・撮像制御部、３４２・・・光源制御部、３４３・・・ＣＰＵ、３４４・・・クロック、３５０・・・マウント、４２０・・・照射面、４２２・・・欠陥、４３０・・・撮像面、４３１ａ、４３１ｂ・・・電荷の転送、４３２・・・シグナル、４３３ａ・・・左端のシグナル、４３３ｂ・・・左端のシグナル、４４０・・・電荷、５１０ａ、５１０ｂ・・・グリッド、６１０、６１２、６１４・・・撮像面、６３０・・・移動方向、６４０・・・方向、７１１・・・ｘ軸周りの回転成分、７１２・・・ｙ軸周りの回転成分、７１３・・・ｚ軸周りの回転成分、７２１・・・ｘ軸振動成分、７２２・・・ｙ軸振動成分、７２３・・・ｚ軸振動成分、７５２・・・六軸センサ、７５４・・・六軸センサ、８１２・・・レンズ、８１４・・・結像面、８２２・・・レンズ、８２４・・・結像面、８２６・・・先細りする画像、８３２・・・シフトさせたレンズ、８３３・・・レンズ、８３４・・・結像面、８３６・・・等幅の画像、９１０・・・結像面、９２０・・・対象、９３０・・・レンズ、９３２・・・ティルトさせたレンズ、９３４・・・逆ティルトさせたレンズ、９４０・・・被写界深度、９４２・・・被写界深度、９４４・・・被写界深度、１０１１・・・対象点、１０１２・・・赤色光、１０１４・・・青色光、１０１６・・・波長λ_Ｄの反射光、１０２０・・・レンズ、１０２２・・・レンズの中心点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】

【図11】