特許 7418760 情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】情報処理システム

(51)【国際特許分類】

   H04N 23/58 20230101AFI20240115BHJP

   H04N 23/55 20230101ALI20240115BHJP

   H04N 23/695 20230101ALI20240115BHJP

   G03B 15/00 20210101ALI20240115BHJP

   G03B 17/17 20210101ALI20240115BHJP

   G03B 37/04 20210101ALI20240115BHJP

   G03B 37/00 20210101ALI20240115BHJP

【ＦＩ】

H04N23/58

H04N23/55

H04N23/698

G03B15/00 T

G03B15/00 V

G03B17/17

G03B37/04

G03B37/00 A

【請求項の数】 11

(21)【出願番号】P 2022531766

(86)(22)【出願日】2021-06-11

(86)【国際出願番号】 JP2021022280

(87)【国際公開番号】W WO2021261293

(87)【国際公開日】2021-12-30

【審査請求日】2022-10-27

(31)【優先権主張番号】P 2020108252

(32)【優先日】2020-06-23

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】早川 智彦

(72)【発明者】

【氏名】江崎 ゆり子

(72)【発明者】

【氏名】望戸 雄史

(72)【発明者】

【氏名】石川 正俊

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１５－２２２９１３（ＪＰ，Ａ）

【文献】特開２０１７－１８３８０４（ＪＰ，Ａ）

【文献】特開２０１４－２４０８０１（ＪＰ，Ａ）

【文献】特開２０１５－８２７１０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／５８

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６９８

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／１７

Ｇ０３Ｂ ３７／０４

Ｇ０３Ｂ ３７／００

(57)【特許請求の範囲】

【請求項1】

移動体に搭載される情報処理システムであって、
撮像部と、複数のミラー部と、を有し、
前記撮像部は、被写体を撮像可能に構成され、
前記複数のミラー部のうち、少なくとも第１のミラー部及び第２のミラー部は、前記撮像部の光軸上に配置され、
前記第１のミラー部は、前記撮像部の撮像範囲が前記被写体の一定の領域になるようにするために用いられ、
前記第２のミラー部は、前記撮像部の視線の方向を切り替えるために用いられる、
情報処理システム。

【請求項2】

請求項１に記載の情報処理システムにおいて、
前記第１のミラー部は、前記撮像部の少なくとも１フレームにおける露光時間中に、前記撮像部の撮像範囲が前記被写体の一定の領域になるようにするために用いられる、
情報処理システム。

【請求項3】

請求項１又は請求項２に記載の情報処理システムにおいて、
前記第１のミラー部は、前記移動体の移動方向と逆向きに前記視線の方向を制御するために用いられ、
前記第２のミラー部は、前記移動体の移動方向と垂直な向きに前記視線の方向を制御するために用いられる、
情報処理システム。

【請求項4】

請求項１に記載の情報処理システムにおいて、
撮像制御部を有し、
前記撮像制御部は、
前記撮像部の撮像範囲が前記被写体の一定の領域になるよう前記第１のミラー部を制御可能に構成され、
前記撮像部の視線の方向を切り替えるよう前記第２のミラー部を制御可能に構成される、
情報処理システム。

【請求項5】

請求項４に記載の情報処理システムにおいて、
前記撮像制御部は、前記第２のミラー部の共振周波数に基づいたパルス信号の入力に基づき前記撮像部の視線の方向を切り替えるよう前記第２のミラー部を制御可能に構成される、
情報処理システム。

【請求項6】

請求項５に記載の情報処理システムにおいて、
前記パルス信号の幅Ｔは、前記共振周波数をωｒとすると、
Ｔ＝２ｎπ／ωｒ
（ｎは、ゼロ以上の自然数）
で表される、
情報処理システム。

【請求項7】

請求項５又は請求項６に記載の情報処理システムにおいて、
前記撮像制御部は、前記第２のミラー部からの出力信号に基づき前記パルス信号の幅を補正可能に構成される、
情報処理システム。

【請求項8】

請求項５から請求項７までの何れか１項に記載の情報処理システムにおいて、
前記パルス信号の高さは、前記第２のミラー部の最大ストロークに対応する振幅よりも大きい、
情報処理システム。

【請求項9】

請求項５から請求項８までの何れか１項に記載の情報処理システムにおいて、
前記撮像制御部は、前記撮像部によって撮像された撮像画像に基づき前記第２のミラー部の共振周波数を求める、
情報処理システム。

【請求項10】

請求項１から請求項８までの何れか１項に記載の情報処理システムにおいて、
前記第１のミラー部及び前記第２のミラー部は、ガルバノミラーである、
情報処理システム。

【請求項11】

請求項１から請求項１０までの何れか１項に記載の情報処理システムにおいて、
前記移動体は、車両であり、
前記被写体は、トンネル内の壁面である、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システムに関する。

【背景技術】

【0002】

特許文献１にはカメラが移動する環境下においてブラーの少ない画像を連続的に取得するための技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－８２７１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術では、検査車両に１台の高解像度高速カメラを設置した場合、カメラ画角が３度の場合、例えばトンネル内の壁面を１８０度撮像するためにはトンネルを６０回走行する必要があった。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、移動体に搭載される情報処理システムであって、撮像部と、複数のミラー部と、を有し、前記撮像部は、被写体を撮像可能に構成され、前記複数のミラー部のうち、少なくとも第１のミラー部及び第２のミラー部は、前記撮像部の光軸上に配置され、前記第１のミラー部は、前記撮像部の撮像範囲が前記被写体の一定の領域になるようにするために用いられ、前記第２のミラー部は、前記撮像部の視線の方向を切り替えるために用いられる、情報処理システムが提供される。

【図面の簡単な説明】

【0006】

【図1】図１は、情報処理システムのシステム構成の一例を示す図である。

【図2】図２は、情報処理装置のハードウェア構成の一例を示す図である。

【図3】図３は、情報処理装置の機能構成の一例を示す図である。

【図4】図４は、提案する手法による撮像範囲の例を示す図である。

【図5】図５は、情報処理装置の情報処理の一例を示すフローチャートである。

【図6】図６は、ガルバノミラーの動きを示す図である。

【図7】図７は、ガルバノミラーの応答を示す図である。

【図8】図８は、振動強度の一例を示す図である。

【図9】図９は、所望の台形出力を実現するための入力を示す図である。

【図10】図１０は、共振周波数３６６７Ｈｚにおける振動強度を示す図である。

【図11】図１１は、評価装置の例を示す図である。

【図12】図１２は、撮像画像を示す図である。

【図13】図１３は、パルス入力に対する応答を示す図である。

【図14】図１４は、キャプチャ画像の一例を示す図である。

【図15】図１５は、パルス入力に対する周波数応答を示す図である。

【図16】図１６は、文字列が記載された画像の一例を示す図である。

【図17】図１７は、高速プロジェクタで投影された図１６の画像を情報処理システムによって画角を広げて撮影した結果を手動でイメージモザイキングした様子を示す図である。

【発明を実施するための形態】

【0007】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0008】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0009】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0010】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0011】

＜実施形態１＞
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。情報処理システム１０００は、移動体に搭載される。情報処理システム１０００は、システム構成として、情報処理装置１００と、撮像部１１０と、ファンクションジェネレータ１２０と、サーボドライバ１３０と、駆動可能なミラー部１４０と、ミラー部１５０と、を含む。図１では説明の簡略化のため、情報処理システム１０００に含まれるミラー部を２つとしているが、これに限定されず、ミラー部は２以上であってもよい。また、駆動可能なミラー部の例としては、ガルバノミラーがあるが、ガルバノミラーに限定されるものではなく、例えば、ポリゴンミラー、デフォーマブルミラー等であってもよい。ミラー部１４０及びミラー部１５０は、複数のミラー部の一例である。

【0012】

情報処理装置１００は、情報処理システム１０００の全体の処理を制御する。ファンクションジェネレータ１２０は、任意の周波数と波形を持った交流電圧信号を生成する。サーボドライバ１３０は、ファンクションジェネレータ１２０からの指示に基づき、ミラー部１４０及びミラー部１５０の回転角を制御する。

【0013】

撮像部１１０は、被写体を撮像可能に構成される。撮像部１１０は、いわゆる高速ビジョンと称する撮像レート（フレームレート）が高いものが採用される。フレームレートは、例えば、１００ｆｐｓ以上であり、好ましくは、２５０ｆｐｓ以上であり、さらに好ましくは５００ｆｐｓ又は１０００ｆｐｓである。より具体的には例えば、１００，１５０，２００，２５０，３００，３５０，４００，４５０，５００，５５０，６００，６５０，７００，７５０，８００，８５０，９００，９５０，１０００，１０５０，１１００，１１５０，１２００，１２５０，１３００，１３５０，１４００，１４５０，１５００，１５５０，１６００，１６５０，１７００，１７５０，１８００，１８５０，１９００，１９５０，２０００ｆｐｓであり、ここで例示した数値の何れか２つの間の範囲内であってもよい。

【0014】

ミラー部１４０及びミラー部１５０は、撮像部１１０の光軸上に配置される。ミラー部１４０又はミラー部１５０が駆動することで撮像部１１０の光軸が変化し、これにより、撮像部１１０の撮像範囲又は視線を所望に制御することができる。
ミラー部１４０は、撮像部１１０の撮像範囲が被写体の一定の領域になるようにするために用いられる。ミラー部１４０は、第１のミラー部の一例である。また、ミラー部１４０は、撮像部１１０の少なくとも１フレームにおける露光時間中に、撮像部１１０の撮像範囲が被写体の一定の領域になるようにするために用いられる。また、ミラー部１４０は、移動体の移動方向と逆向きに視線の方向を制御するために用いられる。
ミラー部１５０は、撮像部１１０の視線の方向を切り替えるために用いられる。ミラー部１５０は、第２のミラー部の一例である。また、ミラー部１５０は、移動体の移動方向と垂直な向きに視線の方向を制御するために用いられる。

【0015】

２．情報処理装置１００のハードウェア構成
図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００は、ハードウェア構成として、制御部２０１と、記憶部２０２と、通信部２０３と、を含む。制御部２０１は、情報処理装置１００の全体を制御する。記憶部２０２は、プログラム及び制御部２０１がプログラムに基づき処理を実行する際に用いるデータ等が記憶される。制御部２０１が、記憶部２０２に記憶されたプログラムに基づき処理を実行することによって、後述する図３に示す機能等が実現される。通信部２０３は、他の装置等との通信を司る。なお、情報処理装置１００のハードウェア構成は一例であって、情報処理装置１００は、ハードウェア構成として、図２に示した構成以外にも、入力部、表示部等を含んでもよい。

【0016】

３．情報処理装置１００の機能構成
図３は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、機能構成として、画像処理部３０１と、撮像制御部３０２と、出力制御部３０３と、を含む。

【0017】

（画像処理部３０１）
画像処理部３０１は、撮像部１１０から受信した撮像画像に対して所定の画像処理を実行する。例えば、移動体が、車両であり、被写体が、道路の路面である場合、画像処理部３０１は、道路の路面の撮像画像に対して所定の画像処理を実行し、ひび割れ、凹凸等を検出する。また、例えば、移動体が、車両であり、被写体が、トンネル内の壁面である場合、画像処理部３０１は、トンネル内の壁面の撮像画像に対して所定の画像処理を実行し、ひび割れ、コンクリートの剥落、錆等を検出する。また、例えば、移動体が、飛行機やドローン等の飛行体であり、被写体が、地上の構造物である場合、画像処理部３０１は、航空画像に対して所定の画像処理を実行し、所定の形の構造物を検出する。また、移動体が、工場内を移動する車両、又は工場内を移動するロボットであり、被写体が工場の設備である場合、画像処理部３０１は、工場の設備の撮像画像に対して所定の画像処理を実行し、工場の設備のひび割れ、液漏れ、設備の欠損等を検出する。移動体は、車両、飛行体、移動するロボットに限られず、列車等であってもよい。

【0018】

（撮像制御部３０２）
撮像制御部３０２は、例えばＰＤ制御、ＰＩ制御、又はＰＩＤ制御等に基づいて制御信号の値を決定する。そして、制御信号が通信部２０３からミラー部１４０に対して送信され、ミラー部１４０が所望の角度に制御されることとなる。ミラー部１５０に対する制御も同様である。制御に係る各係数は、必要に応じて好ましい値が設定される。また制御信号の値は電圧で規定される。
本実施形態において、撮像制御部３０２は、撮像部１１０の撮像範囲が被写体の一定の領域になるようミラー部１４０を制御可能に構成される。また、撮像制御部３０２は、撮像部１１０の視線の方向を切り替えるようミラー部１５０を制御可能に構成される。より具体的に説明すると、撮像制御部３０２は、ミラー部１５０の共振周波数に基づいたパルス信号の入力に基づき撮像部１１０の視線の方向を切り替えるようミラー部１５０を制御可能に構成される。ここで、パルス信号の幅Ｔは、共振周波数をωｒとすると、Ｔ＝２ｎπ／ωｒ（ｎは、ゼロ以上の自然数）で表される。また、パルス信号の高さは、ミラー部１５０の最大ストロークに対応する高さよりも大きくなるよう制御される。

【0019】

ここで、撮像制御部３０２は、撮像部１１０によって撮像された撮像画像に基づきミラー部１５０の共振周波数を求める。より具体的に説明すると、撮像制御部３０２は、撮像部１１０によって撮像された連続する撮像画像に共通する、連続する撮像画像中の同一の位置の輝度成分を特定する。撮像制御部３０２は、特定した画素の輝度成分の変化の周期を示す周波数を解析し、卓越周波数を生成する。撮像制御部３０２は、卓越周波数を統計解析し、平均値を画像化し、卓越周波数画像を生成し、卓越周波数画像を解析する。撮像制御部３０２は、解析の結果、ミラー部１５０の共振周波数を求める。

【0020】

また、撮像制御部３０２は、ミラー部１５０からの出力信号に基づきパルス信号の幅及び高さを補正可能に構成されるようにしてもよい。ここで、最初の立ち上がりのパルスの幅は共振周波数の値により決定され、離散値となるので、その離散値に対する最適なパルスの高さは一意に存在するため、撮像制御部３０２は、パルス信号の高さを調整することができる。また、撮像制御部３０２は、入力をパルス信号として、そのパラメータとしての幅と高さの設定問題を解くようにしてもよい。換言すると、撮像制御部３０２は、入力信号波形の最適化問題を解くようにしてもよい。このような構成とすることによって、経年劣化等によってミラー部１５０の共振周波数が変わった場合においても、それに合わせて入力するパルス信号を補正することができる。

【0021】

（出力制御部３０３）
出力制御部３０３は、画像処理部３０１の画像処理の結果を出力する。出力制御部３０３は、画像処理の結果を、記憶部２０２に格納することで出力してもよいし、不図示の表示部に表示することで出力してもよいし、情報処理装置１００と通信可能な他の装置に送信することで出力してもよい。

【0022】

４．情報処理
図４は、撮像範囲の例を示す図である。図５は、情報処理装置１００の情報処理の一例を示すフローチャートである。図５の情報処理において、撮像制御部３０２は、撮像部１１０から常に画像を取得するものとして説明を行う。
ステップＳ５０１において、撮像制御部３０２は、撮像領域が、次の撮像領域となるようミラー部１５０を制御する。
次に、ステップＳ５０２において、撮像制御部３０２は、移動体が移動中の所定の時間の間、撮像領域を継続するようミラー部１４０を制御する。この制御によってモーションブラーが排除される。
次に、ステップＳ５０３において、撮像制御部３０２は、撮像部１１０によって撮像されたデータを、前のデータに続けて、記憶部２０２等に記憶するよう制御する。
次に、ステップＳ５０４において、撮像制御部３０２は、撮像の制御を終了するか否かを判定する。撮像制御部３０２は、撮像の制御を終了すると判定すると、図４に示す情報処理を終了し、撮像の制御を終了しないと判定すると、ステップＳ５０１に処理を戻す。例えば、撮像制御部３０２は、不図示の入力装置等を介して撮像の制御を終了する旨の指示を受け取る、又は通信部２０３を介して他の装置より撮像の制御を終了する旨の信号を受け取ると、撮像の制御を終了すると判定する。

【0023】

図４の処理を具体的に説明すると、はじめに、ステップＳ５０１において、撮像制御部３０２は、撮像領域が撮像領域Ａ１となるようミラー部１５０を制御する。ステップＳ５０２において、撮像制御部３０２は、移動体が移動中も所定フレーム（例えば、１フレーム）の間、撮像領域として撮像領域Ａ１が継続するようミラー部１４０を制御する。ステップＳ５０３において、撮像制御部３０２は、撮像領域Ａ１の画像データを、記憶部２０２に記憶するよう制御する。次に、ステップＳ５０４において、撮像制御部３０２は、撮像の制御を終了しないと判定し、ステップＳ５０１に処理を戻す。

【0024】

ステップＳ５０１において、撮像制御部３０２は、撮像領域が撮像領域Ｂ１となるようミラー部１５０を制御する。ステップＳ５０２において、撮像制御部３０２は、移動体が移動中も所定フレーム（例えば、１フレーム）の間、撮像領域として撮像領域Ｂ１が継続するようミラー部１４０を制御する。ステップＳ５０３において、撮像制御部３０２は、撮像領域Ａ１の画像データの次に、撮像領域Ｂ１の画像データが表示されるようなデータ構造で、撮像領域Ｂ１の画像データを、撮像領域Ａ１の画像データに繋げて、記憶部２０２に記憶するよう制御する。次に、ステップＳ５０４において、撮像制御部３０２は、撮像の制御を終了しないと判定し、ステップＳ５０１に処理を戻す。以上、上述した処理を繰り返す。

【0025】

本実施形態によれば、１ピクセルあたりの情報量を非広角のレンズで撮像した状態を維持しつつ、撮像範囲を拡張することができる。

【0026】

＜変形例＞
以下、変形例を説明する。変形例の処理の主体は、制御部２０１である。高速道路内のトンネルの点検は、運送の安全性及び安定性を確保する上で重要な作業である。点検においてトンネル壁面の亀裂及び錆等の細かな以上を正確に検知するためには、目視による点検と同程度の精度とするため、それが鮮明に見える高画質な画像が必要である。しかし、道路上を移動中にトンネル壁面を撮像する場合、露光時間中にカメラの光軸がトンネル壁面に対して移動するため、通常はモーションブラーが生じ撮像画像の画質が劣化する。この問題を解決する方法として、撮像対象の動きに合わせてカメラの光軸を追従させ、カメラの光軸を、ガルバノミラーを用いて調節する手法がある。

【0027】

しかし、この方法では、検査車両に１台の高解像度高速カメラを設置する場合、カメラ画角が３度の場合、トンネルの壁を１８０度撮像するためにはトンネルを６０回走行する必要がある。トンネル点検の効率を向上させるには、この移動回数を減らすことが求められる。１軸のガルバノミラーを用いて撮像ごとに、カメラの光軸を移動方向に垂直に変更することで、１回の走行と１台のカメラで撮像する範囲を拡張することを目指す。図４に示したように、連続して撮像した写真について十分重複が存在する場合は、撮像範囲を１つの画像列から隣接する２つの画像列に増やすことができる。

【0028】

高速道路内のトンネルの高速移動下の点検において、効率化のために点検車両の走行回数を減らすことを可能とするシステムを提案する。変形例では、１００ｋｍ／ｈの速度で検査車両が走行するという条件の下で、撮像範囲を１つの画像列から、隣接する２つの画像列に増やす手法を提案する。２倍の画角と等価で撮像することで、撮像効率を２倍にすることができる。

【0029】

ガルバノミラーはＰＩＤ制御により駆動されるが、入力が急激に変化すると、出力は正確に追跡できず、モーションブラーを引き起こす。また、そのような入力において固有振動数でのミラーの振動が生じる。このように出力にはミラー固有の物理的特性等に影響され歪むため、モデルを未知と考え、どの物理特性、制御方法を持つガルバノミラーに対してもモデル化なしで適用できる手法を提案する。具体的には、パルス入力に対するガルバノミラーの応答を測定及び計測し、その後、カメラの露光時間にミラーの角度が停止するミラーへの入力を実現する。

【0030】

撮像範囲を増やすため、カメラの光軸の角度の変更を実現する必要がある。３次元において所望の方向を撮像するシステムを考える。このようなシステムにおいて、１００ｋｍ／ｈでの走行条件下では３ｍｓに一回カメラの撮像角度を切り替える必要があり、ガルバノミラーのシステムの帯域幅は、入力パルスの帯域幅を処理するのに十分ではない。また、ミリ秒オーダーでガルバノミラーを駆動することによりターゲットを追跡する方法があるが、この方法では、カメラの露光時間内にガルバノミラーの角度更新が停止していないため、撮像された画像にモーションブラーが発生する。

【0031】

ガルバノミラーのモデル化に関して、２慣性系回転駆動機構のモデルを採用した研究によると、２慣性系回転駆動機構の共振特性により、ミラーを駆動する際に共振周波数における振動が生じすることが知られている。
ガルバノミラーの駆動に対して、共振周波数におけるノイズが応答に発生する。この共振ノイズが発生した場合、撮像画像のブラーに繋がる。

【0032】

変形例では、ガルバノミラーを高速カメラの前に設置し、高速カメラの露光タイミングに合わせてガルバノミラーの角度を高速にスイッチングする。その際、カメラの撮像角度が装置の進行方向に対して垂直に切り替わるものと想定する。１００ｋｍ／ｈの走行において、画像列の方向に対してカメラの光軸を変更するために使用されるガルバノミラーは１キャプチャ／３ｍｓとなるように駆動する。その際、カメラの撮像角度が装置の進行方向に対して垂直に切り替わるものと想定する。１００ｋｍ／ｈの走行において、画像列の方向に対してカメラの光軸を変更するために使用されるガルバノミラーは１キャプチャ／３ｍｓとなるように駆動する。

【0033】

ＰＩＤ制御のパラメータは、企業によって手動で設定されており、未知となっている。この設定では、入力が急激に変化すると追従精度が低下するため、ガルバノミラーが高速なステップ走査入力に対して追従することができない。図６は、ガルバノミラーの動きを示す図である。図６におけるガルバノミラーの動きを実現するためには、周波数１０００／６Ｈｚ、カメラの光軸を変更する電圧値の大きさを持つ矩形波を入力とすれば、出力は遅延が生じるため台形波に近いものと考えられる。しかし、実際は角度に追従するまでの時間が撮像間隔に対して長いため、ミラーが露光時間内に静止することができず、鮮明な画像を撮像することができない。また、出力を台形波としたいが、急峻に変動する入力に対して、ガルバノミラーの出力は各ミラーの物理的特性及びＰＩＤ制御のパラメータ等に影響されるため、モデル化は難しい。したがって、外部からの入力により、出力を台形波とするために複数のパルス波を用いて角度の変化を調整することで実現することを考える。パルス波の電圧値を大きくすると、ミラーの角度変化も大きくなることを利用し、図６のようにミラーに対しての入力を定める。最初のパルス波について、出力のピーク値が所望の角度となるよう高さと幅を設定する。パラメータαはパラメーターチューニングを行い、カメラの露光時間において最もミラーの動く角度が小さくなるものを選ぶ。

【0034】

高さが電圧値０．７０Ｖ、幅が４５０μｓパルス入力に対するガルバノミラーの応答をオシロスコープで測定したところ、図７となった。図７は、ガルバノミラーの応答を示す図である。

【0035】

また、８回分の応答を加算平均したのちＦｏｕｒｉｅｒ変換して周波数領域による振動強度を求めた結果が図８である。図８は、振動強度の一例を示す図である。２００Ｈｚ以降の高周波の部分において、３６６７Ｈｚあたりにピークがみられる。また、ミラーの剛的特性に起因する共振周波数における振動が生じている。３６６７Ｈｚが本変形例で使用したガルバノミラー固有の共振周波数であると考えられる。

【0036】

高さＡ、幅がＴの単位矩形関数Ｒ（ｘ）をＦｏｕｒｉｅｒ変換すると、

【数1】

と、式（１）は変数ωに対してＳｉｎｃ関数になる。このとき共振各周波数ωｒに対して

【数2】

とパルス入力の幅Ｔを設定すると、共振周波数成分を含まない矩形波を生成できる。

【0037】

図９は、所望の台形出力を実現するための入力を示す図である。図９の最初の入力パルス波の高さｐｕｌｓｅ＿ｈｅｉｇｈｔが他の変動に対して大きく、共振周波数においての出力に対する影響が大きくなる。そのため最初のパルス波の幅ｐｕｌｓｅ＿ｗｉｄｔｈについて式（２）のミラーの共振周波数における振動強度が小さくなるＴを選ぶことで、ガルバノミラーの応答に共振ノイズが生じるのを防止する。パルス波の高さは、決定したパルス波の幅に対してミラーの角度の応答のピークが所望の角度になるよう設定する。

【0038】

変形例で使用したガルバノミラーは、ＣａｍｂｒｉｄｇｅＴｅｃｈｎｏｌｏｇｙ社のＭ３Ｓ３０ｍｍＹミラーである。インタフェース社の解像度１６ビットのＡＤ／ＤＡインターフェースボード、ＬＰＣ－３６１２１６を用いてガルバノミラーへの信号を変換した。ガルバノミラーはアナログサーボドライバＭＩＮＩ ＳＡＸ ＩＩにより、０．４０Ｖの入力に対して、ミラーの角度が３．５度変化するように設定した。サーボドライバ内部で手動制御パラメータに応じたＰＩＤ制御を行っている。ガルバノミラーへの入力はＡｇｉｌｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ社の３３２２０Ａファンクションジェネレータを使用した。

【0039】

予備実験においてＴｅｋｔｒｏｎｉｘ社オシロスコープＭＤＯ３０２４を使用して出力を観測した。またガルバノミラーの露光時間内における静止度合いの評価においては、レーザーを用いて静止させた輝度を高速カメラで撮像することでカメラの撮像中心の移動量を求めた。露光のタイミングをガルバノミラーの駆動周期に対して１μｓずつずらしながら７０００回撮像した。各撮像ごとに３０枚の画像を撮像し、写るレーザーの輝点の座標を平均することでカメラの光軸中心を求めた。高速カメラはＪＡＩ社のＳＰ－１２０００Ｍ－ＣＸＰ４－ＸＴを用いた。

【0040】

パルス入力の電圧値を０．５０Ｖから０．８０Ｖまで０．１０Ｖずつ変化させ、それぞれの電圧値に対して幅を１００μｓから１４００μｓまで５μｓずつ変化させ、ガルバノミラー応答を測定した。測定した８回分の方向を加算平均したのちにＦｏｕｒｉｅｒ変換をしてこのミラー固有の共振周波数３６６７Ｈｚにおける振動強度を求めた。図１０は、共振周波数３６６７Ｈｚにおける振動強度を示す図である。ｉｄｅａｌ ｃｈａｒａｃｔｅｒｉｓｔｉｃは共振周波数３６６７Ｈｚにおいて、パルス幅を１００μｓから１４００μｓまで５μｓずつ変化させた場合の式（２）のプロットである。図１０の結果から、パルス入力に対するガルバノミラーの応答について、共振ノイズを低減するには、ミラーの入力に共振周波数成分が少ないパルス波を用いることが有効であることがわかった。
したって、式（２）に共振周波数を導入すると、ｐｕｌｓｅ＿ｗｉｄｔｈ μｓを

【数3】

ｐｕｌｓｅ＿ｗｉｄｔｈ＝２６２．９ｋ（ｋ＝２，３，４，・・・）
と設定すると、共振ノイズが低減されることを示した。

【0041】

式（３）において、ｋ＝５すなわちｐｕｌｓｅ＿ｗｉｄｔｈ＝１３４０μｓとしてガルバノミラーを図７の入力で駆動した。固定した幅のパルス入力に対して、ミラーの応答についてピークが０．４０Ｖとなるようｐｕｌｓｅ＿ｈｅｉｇｈｔ＝０．７５Ｖと設定した。このとき、パラメータα＝６２０μｓとなった。

【0042】

レーザーポインタを用いて静止させた輝点を高速カメラで撮影することでカメラの撮影中心の移動量を求めた。露光のタイミングをガルバノミラーの駆動周期に対して１μｓずつずらしながら７０００回撮像した。撮像ごと３０枚の画像を撮像し、写るレーザーの輝点の座標を平均することでカメラの光軸中心を求めた。高速カメラはＪＡＩ社のＳＰ－１２０００Ｍ－ＣＸＰ４－ＸＴを用いた。また、図１１のようにカメラから２ｍ先にあるターゲットを固定した可視光線レーザーポイントとして撮像し、撮像画像のブレ具合を評価した。図１１は、評価装置の例を示す図である。

【0043】

この条件において、図１２に示す撮像画像から光源が写っている座標を時間経過とともにプロットしたものが図１３である。図１２は、撮像画像を示す図である。図１３は、パルス入力に対する応答を示す図である。１０００μｓ間カメラを露光する場合、各撮像において撮像中心の移動量は撮像ごとの撮像中心の移動量に対して１．２７％となった。図１４は、２ｍ先の写真をシステムで撮影したときの図である。この写真では１ｍｍ幅の白線の検出に成功した。また、出力を周波数領域に変換したところ図１５となった。共振周波数３６６７Ｈｚにおける振動強度が低減されており、変形例１の手法がガルバノミラーの剛的特性に起因する共振ノイズの発生防止に有効であることを示している。図１５は、パルス入力に対する周波数応答を示す図である。

【0044】

図１６は、文字列が記載された画像の一例を示す図である。図１７は、高速プロジェクタで投影された図１６の画像を情報処理システム１０００によって画角を広げて撮影した結果を手動でイメージモザイキングした様子を示す図である。図１７では６枚の画像が合成されている。情報処理システム１０００は、図１６の１０２４×７６８ピクセルの画像を５０ピクセル／ｍｓの速度で右から左に流れるよう高速プロジェクタで１０００ｆｐｓでスクリーンに対して撮影した。また、情報処理システム１０００は、カメラの画角を３ｍｓごとに切り替えながら１枚／３ｍｓのフレームレートで３８４０×１８０４ピクセルの解像度で撮影を行った。撮影された６枚の画像が並べられた画像が図１７である。実際に画角が２倍程度拡張できることが確認された。これにより、高解像度、かつ、高速な撮影が求められる状況でも、情報処理システム１０００を単一カメラに適用することで実現可能であるといえる。なお、高速プロジェクタは１ｍｓごとに離散的に画像を切り替えているため、情報処理システム１０００の応用が想定される移動環境下での撮影と異なり、モーションブラーは発生しない状況であった。

【0045】

＜その他の変形例＞
以下、その他の変形例について説明する。
その他の変形例のミラー部１５０によって切り替えられる視線方向は２つ以上であってもよい。
また、その他の変形例の情報処理システム１０００において、ミラー部１４０を２つ用意し、移動方向に垂直な成分のモーションブラーも排除可能な構成としてもよい。
また、情報処理システム１０００において、撮像部１１０とミラー部１４０及びミラー部１５０との間に瞳転送光学系を設けて、カメラの瞳をミラー部１４０及びミラー部１５０の中間付近に転送するような構成としてもよい。このような構成とすることによって、画角を維持しつつ、ミラーのサイズを小型化することができる。
また、その他の変形例の撮像制御部３０２は、移動体の速度に基づき、ミラー部１４０を制御するようにしてもよい。
また、移動速度が既知であるならば、撮像制御部３０２は、ミラー部１４０をオープンループ制御してもよい。
また、情報処理システム１０００において、光軸をハーフミラーで分離して、検査用の撮像部と、ミラー部１４０の駆動に用いるビジュアルフィードバック用の撮像部と、を分けるような構成としてもよい。

【0046】

＜付記＞
次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記第１のミラー部は、前記撮像部の少なくとも１フレームにおける露光時間中に、前記撮像部の撮像範囲が前記被写体の一定の領域になるようにするために用いられる、情報処理システム。
前記情報処理システムにおいて、前記第１のミラー部は、前記移動体の移動方向と逆向きに前記視線の方向を制御するために用いられ、前記第２のミラー部は、前記移動体の移動方向と垂直な向きに前記視線の方向を制御するために用いられる、情報処理システム。
前記情報処理システムにおいて、撮像制御部を有し、前記撮像制御部は、前記撮像部の撮像範囲が前記被写体の一定の領域になるよう前記第１のミラー部を制御可能に構成され、前記撮像部の視線の方向を切り替えるよう前記第２のミラー部を制御可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記撮像制御部は、前記第２のミラー部の共振周波数に基づいたパルス信号の入力に基づき前記撮像部の視線の方向を切り替えるよう前記第２のミラー部を制御可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記パルス信号の幅Ｔは、前記共振周波数をωｒとすると、Ｔ＝２ｎπ／ωｒ（ｎは、ゼロ以上の自然数）で表される、情報処理システム。
前記情報処理システムにおいて、前記撮像制御部は、前記第２のミラー部からの出力信号に基づき前記パルス信号の幅を補正可能に構成される、情報処理システム。
前記情報処理システムにおいて、前記パルス信号の高さは、前記第２のミラー部の最大ストロークに対応する振幅よりも大きい、情報処理システム。
前記情報処理システムにおいて、前記撮像制御部は、前記撮像部によって撮像された撮像画像に基づき前記第２のミラー部の共振周波数を求める、情報処理システム。
前記情報処理システムにおいて、前記第１のミラー部及び前記第２のミラー部は、ガルバノミラーである、情報処理システム。
前記情報処理システムにおいて、前記移動体は、車両であり、前記被写体は、トンネル内の壁面である、情報処理システム。
もちろん、この限りではない。

【0047】

例えば、上述のプログラムを記憶する、コンピュータ読み取り可能な非一時的な記憶媒体として提供してもよい。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。

【0048】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態及びその変形は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0049】

１００ ：情報処理装置
１１０ ：撮像部
１２０ ：ファンクションジェネレータ
１３０ ：サーボドライバ
１４０ ：ミラー部
１５０ ：ミラー部
２０１ ：制御部
２０２ ：記憶部
２０３ ：通信部
３０１ ：画像処理部
３０２ ：撮像制御部
３０３ ：出力制御部
１０００ ：情報処理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】