▶ エムファウテック ソフトウェア ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
特許7486740テレセントリックラインスキャンカメラを用いて物体を効率的に３次元再構成するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-10
(45)【発行日】2024-05-20
(54)【発明の名称】テレセントリックラインスキャンカメラを用いて物体を効率的に３次元再構成するためのシステムおよび方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20240513BHJP
G06T 7/593 20170101ALI20240513BHJP
【ＦＩ】
G01B11/24 K
G06T7/593
【請求項の数】
17
【外国語出願】
(21)【出願番号】P 2020097342
(22)【出願日】2020-06-04
(65)【公開番号】P2021173740
(43)【公開日】2021-11-01
【審査請求日】2023-04-26
(31)【優先権主張番号】20170097.8
(32)【優先日】2020-04-17
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】510275297
【氏名又は名称】エムファウテック ソフトウェア ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】ＭＶＴｅｃ Ｓｏｆｔｗａｒｅ ＧｍｂＨ
【住所又は居所原語表記】ＡＲＮＵＬＦＳＴＲＡＳＳＥ ２０５， ８０６３４ ＭＵＥＮＣＨＥＮ， ＧＥＲＭＡＮＹ
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】カルステン・シュテガー
(72)【発明者】
【氏名】マルクス・ウルリヒ
【審査官】仲野 一秀
(56)【参考文献】
【文献】特開２００９－１６８５８１（ＪＰ，Ａ）
【文献】特開２００８－３０４２２５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０１Ｃ ３／００－３／３２
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
３次元物体を再構成する方法であって、前記方法は、テレセントリックラインスキャン画像の取得を可能にする、少なくとも２つのテレセントリックラインスキャンカメラと、前記テレセントリックラインスキャンカメラに対する前記３次元物体の相対移動を生じさせるように構成された少なくとも１つの装置とを用い、ａ）各テレセントリックラインスキャンカメラごとに、テレセントリックラインスキャン較正画像のセットを準備するステップを含み、前記セットは１つ以上の画像を含み、
ｂ）前記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行するステップと、
ｃ）前記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算するステップと、
ｄ）前記３次元物体に対して、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを準備するステップと、
ｅ）前記テレセントリックラインスキャン画像ペアを前記テレセントリック平行化マッピングを用いて平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するステップとを含む、方法。
【請求項2】
ｆ）前記平行化されたテレセントリックラインスキャン画像ペアから視差を計算するステップがさらに実行され、前記視差は、再構成された前記３次元物体を表す、請求項１に記載の方法。
【請求項3】
ｇ）前記視差を距離に変換することにより、前記３次元物体を再構成させるステップがさらに実行される、請求項２に記載の方法。
【請求項4】
ｇ）前記視差を３次元座標に変換することにより、前記３次元物体を再構成させるステップがさらに実行される、請求項２に記載の方法。
【請求項5】
前記相対移動は直線移動である、請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記直線移動は定速度である、または、前記直線移動は可変速度であって前記テレセントリックラインスキャン画像の画像取得を適切にトリガすることによって定速度を確保する、請求項５に記載の方法。
【請求項7】
前記テレセントリックラインスキャン較正画像は較正物体の画像である、請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記較正物体は平坦な較正物体である、請求項７に記載の方法。
【請求項9】
前記較正物体は３次元較正物体である、請求項７に記載の方法。
【請求項10】
前記カメラ較正においてカメラパラメータを求め、前記カメラパラメータは、前記テレセントリックラインスキャン較正画像の外部オリエンテーションのパラメータと、各テレセントリックラインスキャンカメラごとの、相対オリエンテーションおよび内部オリエンテーションのパラメータとを含む、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記テレセントリック平行化マッピングは、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを、エピポーラ標準幾何学に従って平行化する、請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記テレセントリック平行化マッピングはルックアップテーブルに格納される、請求項１～１１のいずれか１項に記載の方法。
【請求項13】
前記テレセントリックラインスキャン画像ペアを平行化することは、前記ルックアップテーブルを前記テレセントリックラインスキャン画像ペアに適用することを含む、請求項１２に記載の方法。
【請求項14】
前記平行化されたテレセントリックラインスキャン画像ペアから視差を計算することは、視差画像を生成する稠密視差推定を含む、請求項２～４のいずれか１項に記載の方法。
【請求項15】
前記視差を距離に変換することは、距離画像を計算することを含む、請求項３に記載の方法。
【請求項16】
前記カメラ較正を、スパース・レーベンバーグ・マーカートアルゴリズムを適用することによって実行する、請求項１～１５のいずれか１項に記載の方法。
【請求項17】
少なくとも２つのラインスキャンカメラを用いて３次元物体を再構成するためのシステムであって、前記システムは、（ｄ）少なくとも２つのテレセントリックラインスキャンカメラと、
（ｅ）前記３次元物体の、前記テレセントリックラインスキャンカメラに対する相対移動を生じさせるように構成された少なくとも１つの装置と、
（ｆ）コンピュータとを備え、前記コンピュータは、
（ｆ１）前記相対移動を生じさせながら、各テレセントリックラインスキャンカメラを用いて、１つ以上の画像を含む、テレセントリックラインスキャン較正画像のセットを取得し、
（ｆ２）前記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行し、
（ｆ３）前記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算し、
（ｆ４）前記相対移動を生じさせながら、テレセントリックラインスキャンカメラのペアを用いて前記３次元物体のテレセントリックラインスキャン画像ペアを取得し、
（ｆ５）前記テレセントリック平行化マッピングを用いて、前記３次元物体の前記テレセントリックラインスキャン画像ペアを平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するように、構成されている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は、概してマシンビジョンシステムに関し、より具体的には物体を２次元画像から３次元再構成することに関する。
本発明は、概してマシンビジョンシステムに関し、より具体的には物体を２次元画像から３次元再構成することに関する。
【背景技術】
【0002】
発明の背景
３次元再構成の用途
画像からシーン（物体）を効率的かつ正確に再構成することは、数多くのコンピュータビジョンの、特にマシンビジョンの用途において重要である。たとえば、プリント回路基板（printed circuit board：ＰＣＢ）の、欠落しているまたは間違って配置された電子部品について、ＰＣＢの３次元再構成を用いてロバストな検査を実施することができる（Steger et al., 2018, Chapter 3.10.1）。さらに、製造された物体を、３次元で測定することにより、その正しい形状または寸法を、たとえば再構成された表面を基準物と比較することにより、確認することができる（Steger et al., 2018, Chapter 4.13）。もう１つの例は、ピック＆プレース用途の物体認識であり、この場合、物体の正確な３次元姿勢（pose）（位置および向き（orientation））を３次元データで判断することにより、この物体をロボットで把持できるようにしなければならない（Steger et al., 2018, Chapter 4.14）。
３次元再構成の用途
画像からシーン（物体）を効率的かつ正確に再構成することは、数多くのコンピュータビジョンの、特にマシンビジョンの用途において重要である。たとえば、プリント回路基板（printed circuit board：ＰＣＢ）の、欠落しているまたは間違って配置された電子部品について、ＰＣＢの３次元再構成を用いてロバストな検査を実施することができる（Steger et al., 2018, Chapter 3.10.1）。さらに、製造された物体を、３次元で測定することにより、その正しい形状または寸法を、たとえば再構成された表面を基準物と比較することにより、確認することができる（Steger et al., 2018, Chapter 4.13）。もう１つの例は、ピック＆プレース用途の物体認識であり、この場合、物体の正確な３次元姿勢（pose）（位置および向き（orientation））を３次元データで判断することにより、この物体をロボットで把持できるようにしなければならない（Steger et al., 2018, Chapter 4.14）。
【0003】
３次元再構成技術
マシンビジョン産業では、３次元データを返す３次元画像取得装置の多数のさまざまな技術を利用できる。大多数の３次元画像取得装置の背景にある原理は、三角測量である。三角測量に基づく、最もよく知られている代表的な３次元再構成のうちの１つは、ステレオ再構成であり、この場合、シーンを、少なくとも２つのカメラで、異なる位置から観察する（Steger et al., 2018, Chapter 2.5.1）。ある点の３次元座標は、画像中の対応する点を特定し、それぞれに対応付けられた視線を３次元空間内で交差させることによって得られる。もう１つの代表的な３次元再構成は、光シート（sheet of light）原理に基づく３次元再構成であり、レーザ三角測量と呼ばれることも多い（Steger et al., 2018, Chapter 2.5.2）。光シートセンサは、カメラと、レーザ面をシーン上に投影するレーザプロジェクタとで構成される。レーザ面と物体との交差部分を、カメラ画像におけるラインとして抽出する。抽出したライン上の各画像の点は、カメラにおける視線（line of sight）を表し、これを３次元におけるレーザ面と交差させることにより、再構成された点を得る。ある物体の完全な形状を光シートセンサで再構成するには、この物体をセンサに対して相対的に移動させねばならない。三角測量に基づく、第３のカテゴリの３次元センサは、構造化光（structured light）センサである（Steger et al., 2018, Chapter 2.5.3）。このセンサは、カメラと、パターンをシーン上に投影するプロジェクタとで構成される。カメラ画像内のパターンの歪みから、物体の３次元形状を推測することができる。三角測量以外の、普及している第２の３次元再構成原理は、飛行時間（time-of-flight：ＴＯＦ）測定である。ＴＯＦセンサは放射を射出し、放射を射出した時間と、この放射が物体の表面上で反射された後にセンサに返ってきた時間との時間差を測定する（Steger et al., 2018, Chapter 2.5.4）。
マシンビジョン産業では、３次元データを返す３次元画像取得装置の多数のさまざまな技術を利用できる。大多数の３次元画像取得装置の背景にある原理は、三角測量である。三角測量に基づく、最もよく知られている代表的な３次元再構成のうちの１つは、ステレオ再構成であり、この場合、シーンを、少なくとも２つのカメラで、異なる位置から観察する（Steger et al., 2018, Chapter 2.5.1）。ある点の３次元座標は、画像中の対応する点を特定し、それぞれに対応付けられた視線を３次元空間内で交差させることによって得られる。もう１つの代表的な３次元再構成は、光シート（sheet of light）原理に基づく３次元再構成であり、レーザ三角測量と呼ばれることも多い（Steger et al., 2018, Chapter 2.5.2）。光シートセンサは、カメラと、レーザ面をシーン上に投影するレーザプロジェクタとで構成される。レーザ面と物体との交差部分を、カメラ画像におけるラインとして抽出する。抽出したライン上の各画像の点は、カメラにおける視線（line of sight）を表し、これを３次元におけるレーザ面と交差させることにより、再構成された点を得る。ある物体の完全な形状を光シートセンサで再構成するには、この物体をセンサに対して相対的に移動させねばならない。三角測量に基づく、第３のカテゴリの３次元センサは、構造化光（structured light）センサである（Steger et al., 2018, Chapter 2.5.3）。このセンサは、カメラと、パターンをシーン上に投影するプロジェクタとで構成される。カメラ画像内のパターンの歪みから、物体の３次元形状を推測することができる。三角測量以外の、普及している第２の３次元再構成原理は、飛行時間（time-of-flight：ＴＯＦ）測定である。ＴＯＦセンサは放射を射出し、放射を射出した時間と、この放射が物体の表面上で反射された後にセンサに返ってきた時間との時間差を測定する（Steger et al., 2018, Chapter 2.5.4）。
【0004】
ステレオ再構成
本発明はステレオ再構成に注目する。なぜなら、ステレオ再構成は３次元再構成の最もよく知られている原理のうちの１つであるからである。商品化された多数のステレオセンサが入手できるが、典型的には２つのカメラが１つの筐体に含まれている。しかしながら、より柔軟性があるセットアップ（機器構成）は、独立したカメラを２つ以上使用することである。この場合、解決すべきタスクに応じて、最適にハードウェアおよびセットアップを選択するかまたは適合させることができる。たとえば、所定の用途に応じて、センサの解像度およびサイズ、レンズの種類、レンズの焦点深度、ならびに複数カメラの相対オリエンテーション（relative orientation）を、最適に選択することができる。これらのパラメータは、ステレオ再構成の精度、ロバスト性、および視野に影響を与える。
本発明はステレオ再構成に注目する。なぜなら、ステレオ再構成は３次元再構成の最もよく知られている原理のうちの１つであるからである。商品化された多数のステレオセンサが入手できるが、典型的には２つのカメラが１つの筐体に含まれている。しかしながら、より柔軟性があるセットアップ（機器構成）は、独立したカメラを２つ以上使用することである。この場合、解決すべきタスクに応じて、最適にハードウェアおよびセットアップを選択するかまたは適合させることができる。たとえば、所定の用途に応じて、センサの解像度およびサイズ、レンズの種類、レンズの焦点深度、ならびに複数カメラの相対オリエンテーション（relative orientation）を、最適に選択することができる。これらのパラメータは、ステレオ再構成の精度、ロバスト性、および視野に影響を与える。
【0005】
ステレオセンサは一般的に工場で較正（calibration）されるが、個々のセットアップを現場で較正してからでなければ３Ｄ再構成は実行できない。較正は、すべてのカメラの内部オリエンテーション（interior orientation）およびそれらの相対オリエンテーションのパラメータを求めることを意味する。相対オリエンテーションは、２つのカメラの、相互の相対位置および向きを説明し、一般的には剛体３次元変換によって表される（Steger et al., 2018, Chapter 3.10.1.1）。以下、剛体３次元変換を姿勢とも呼ぶ。カメラの内部オリエンテーションは、カメラ座標系に与えられた３次元の点の、画像座標系における２次元の点への射影を説明する。たとえば、パースペクティブ（perspective）（エントセントリック（entocentric））レンズを有するエリアスキャンカメラの内部オリエンテーションは、以下のパラメータによって、すなわち、主点距離、主点の行座標および列座標、センサ上の水平および垂直画素ピッチ、ならびにレンズ歪みをモデル化するパラメータによって説明できる（Steger et al., 2018, Chapter 3.9.1）。加えて、世界座標系に対するカメラのシステムの位置および向きで決まる外部オリエンテーション（exterior orientation）がモデル化されることも多い。世界座標系の原点は、較正を実行するために使用された較正物体（以下を参照）の原点によって定められることが多い。結果として、外部オリエンテーションは、先に選択された基準カメラに対する較正物体の姿勢を説明することが最も多い（Steger, 2017）。
【0006】
較正を実行するためには、既知のコントロールポイント（control point）を有する適切な較正物体の画像を、すべてのカメラによって取得しなければならない。以下、これらの画像を較正画像と呼ぶ。３次元の較正物体が使用される場合もあるが、ほとんどのマシンビジョン用途では平坦な較正物体が好ましい（Steger et al., 2018, Chapter 3.9.4.1）。これらは、３次元較正物体よりも正確にかつより簡単に製造できる。さらに、ユーザはこれらをより簡単に扱うことができる。また、これらは、背景照明が必要な用途において、カメラの較正を、たとえば不透明なコントロールポイントが与えられた透明な較正物体を使用することにより、またはその逆により、可能にする。また、平坦な較正物体を使用することにより、世界における面を、較正物体を世界におけるこの対象面上に置くだけで、容易に画定することができる。画像内の測定値は、画定した面内の、世界座標系の測定値に変換することができる（Steger et al., 2018, Chapter 3.9.5）。平坦な較正物体は円形のマークとともに使用されることが多いが、その理由は、これらのマークの中心点を高い精度で求めることができることにある（Lenz and Fritsch, 1990; Lanser et al., 1995; Lanser, 1997; Steger et al., 2018, Chapter 3.9.4.1）。平坦な較正物体および１つの較正画像を用いて較正を行うときに縮退（degeneracy）が生じるので（Steger et al., 2018, Chapter 3.9.4.3）、カメラの較正は、一般的に、異なる姿勢の平坦な較正物体が得られる複数の較正画像を用いて行われる（Steger et al., 2018, Chapter 3.9.4.4）。これに代えて、非較正ステレオ方法を適用してもよい。これらの場合、較正画像は必ずしも較正物体を含まなくてもよい。
【0007】
テレセントリックレンズ
マシンビジョン用途の一部では、パースペクティブレンズの代わりにテレセントリックレンズが使用される。テレセントリックレンズは、物体側においてテレセントリック投影を行う。したがって、テレセントリックレンズは世界を平行に投影して画像にする（Steger et al. 2018, Chapter 2.2.4）。特に測定用途において、テレセントリックレンズを使用すると精度が高まる。なぜなら、射影歪み（perspective distortion）を無くすからである。テレセントリックレンズは、開口絞りが画像側の焦点上に位置するように構成され、これにより、光軸と平行でないすべての光線が取り除かれる（Steger et al. 2018, Chapter 2.2.4）。テレセントリックレンズは、物体空間において平行に投影するので、テレセントリックレンズの直径は、撮像する画像と少なくとも同じ大きさのものを選択しなければならない。
マシンビジョン用途の一部では、パースペクティブレンズの代わりにテレセントリックレンズが使用される。テレセントリックレンズは、物体側においてテレセントリック投影を行う。したがって、テレセントリックレンズは世界を平行に投影して画像にする（Steger et al. 2018, Chapter 2.2.4）。特に測定用途において、テレセントリックレンズを使用すると精度が高まる。なぜなら、射影歪み（perspective distortion）を無くすからである。テレセントリックレンズは、開口絞りが画像側の焦点上に位置するように構成され、これにより、光軸と平行でないすべての光線が取り除かれる（Steger et al. 2018, Chapter 2.2.4）。テレセントリックレンズは、物体空間において平行に投影するので、テレセントリックレンズの直径は、撮像する画像と少なくとも同じ大きさのものを選択しなければならない。
【0008】
エリアスキャンカメラのカメラモデル
エリアスキャンカメラの汎用カメラモデル、ならびにパースペクティブレンズおよびテレセントリックレンズを備えたカメラの適切な較正手順が提案されている（Steger, 2017）。この較正手順により、（ティルト（tilt）レンズのサポートを含む）パースペクティブカメラおよびテレセントリックカメラの任意の組み合わせのセットアップの較正が可能である。
エリアスキャンカメラの汎用カメラモデル、ならびにパースペクティブレンズおよびテレセントリックレンズを備えたカメラの適切な較正手順が提案されている（Steger, 2017）。この較正手順により、（ティルト（tilt）レンズのサポートを含む）パースペクティブカメラおよびテレセントリックカメラの任意の組み合わせのセットアップの較正が可能である。
【0009】
２眼ステレオ－画像平行化（image rectification）
較正されたカメラセットアップは、ステレオ再構成の前提条件である。以下の説明を簡単にするために、２眼ステレオの場合に、すなわち２つのカメラの場合に限定する。しかしながら、本概念は、３つ以上のカメラに容易に拡張することができる。３次元の点を再構成するためには２つの画像内の対応する点を求めなければならない。第１の画像における所定の点について、第２の画像における対応する点は、いわゆるエピポーラ（epipolar）線上になければならないことは周知である（Steger et al. 2018, Chapter 3.10.1.3）。対応する点の探索の速度を高める一般的な方法は、２つの入力画像をエピポーラ標準幾何学に従う表現に変換することである（Steger et al., 2018, Chapter 3.10.1.4）。この変換はステレオ画像平行化と呼ばれる。この変換のパラメータは、カメラの較正結果から導き出すことができる。平行化後の画像にはレンズ歪みがなく、対応する画像の点は、３つの画像において同一の画像行にある。このように、対応する点の探索を、１つの画像行に限定することができ、よって、非常に効率的に実施することができる。これは、稠密再構成（dense reconstruction）を目的とする用途、すなわち、入力画像内の複数画素の３次元座標が必要な用途には、特に重要である。
較正されたカメラセットアップは、ステレオ再構成の前提条件である。以下の説明を簡単にするために、２眼ステレオの場合に、すなわち２つのカメラの場合に限定する。しかしながら、本概念は、３つ以上のカメラに容易に拡張することができる。３次元の点を再構成するためには２つの画像内の対応する点を求めなければならない。第１の画像における所定の点について、第２の画像における対応する点は、いわゆるエピポーラ（epipolar）線上になければならないことは周知である（Steger et al. 2018, Chapter 3.10.1.3）。対応する点の探索の速度を高める一般的な方法は、２つの入力画像をエピポーラ標準幾何学に従う表現に変換することである（Steger et al., 2018, Chapter 3.10.1.4）。この変換はステレオ画像平行化と呼ばれる。この変換のパラメータは、カメラの較正結果から導き出すことができる。平行化後の画像にはレンズ歪みがなく、対応する画像の点は、３つの画像において同一の画像行にある。このように、対応する点の探索を、１つの画像行に限定することができ、よって、非常に効率的に実施することができる。これは、稠密再構成（dense reconstruction）を目的とする用途、すなわち、入力画像内の複数画素の３次元座標が必要な用途には、特に重要である。
【0010】
２眼ステレオ－ステレオマッチング
画像内の対応する点を求めるプロセスはステレオマッチングと呼ばれている。稠密再構成を得るために、ステレオマッチングは、第１の平行化後の画像における各点（画素）ごとに、第２の平行化後の画像における対応する点を発見しようとする。平行化後の画像内の対応する点は同一の画像行になければならないことがわかっているので、３次元再構成についての関連情報は、平行化後の画像内の対応する点の列座標である。より具体的には、３次元の点の奥行き（すなわちカメラからその点までの距離）は、平行化後の画像内の、その対応する点の列座標の差のみによって決まる。この差は視差（disparity）と呼ばれている（Steger et al., 2018, Chapter 3.10.1.5）。
画像内の対応する点を求めるプロセスはステレオマッチングと呼ばれている。稠密再構成を得るために、ステレオマッチングは、第１の平行化後の画像における各点（画素）ごとに、第２の平行化後の画像における対応する点を発見しようとする。平行化後の画像内の対応する点は同一の画像行になければならないことがわかっているので、３次元再構成についての関連情報は、平行化後の画像内の対応する点の列座標である。より具体的には、３次元の点の奥行き（すなわちカメラからその点までの距離）は、平行化後の画像内の、その対応する点の列座標の差のみによって決まる。この差は視差（disparity）と呼ばれている（Steger et al., 2018, Chapter 3.10.1.5）。
【0011】
よって、稠密再構成の主な目的は、第１の平行化後の画像における各画素ごとに視差を発見することである。稠密ステレオ再構成のさまざまなアルゴリズムの概要を、たとえば（Scharstein and Szeliski, 2002; Brown et al., 2003）に見出すことができる。マシンビジョン用途において、視差を求めることは、テンプレートマッチング問題とみなされることが多い（Steger et al., 2018, Chapter 3.10.1.6）。テンプレートマッチングは、第１の画像内の各点ごとに、第２の画像内の、同一の画像行にある最も似ている点を発見しようとする。この類似性は、一般的に、第１の画像内の点の周りの三角形画像パッチを、第２の画像内の可能性のあるすべての対応する点の周りのそれぞれの三角形画像パッチと比較することにより、測定される。最も一般的な類似性の尺度は、絶対グレー値差の総和、グレー値差の二乗の総和、および、正規化された相互相関である（Steger et al., 2018, Chapter 3.10.1.6）。テンプレートマッチングに基づく稠密ステレオ再構成は、（メモリおよび計算時間双方において）効率的な計算を、ほとんどの用途に十分な精度と組み合わせる。稠密視差推定の代替方法は、低テクスチャ画像領域でさえも視差を計算することができる変分手法に基づく。稠密視差推定の効率的な方法はすべて、入力画像ペアが予めエピポーラ標準幾何学に従って平行化されていると仮定していることに注目することが重要である。
【0012】
ラインスキャンカメラ
いくつかのマシンビジョン用途では、エリアスキャンカメラよりもラインスキャンカメラの方が好ましい。ラインスキャンカメラの利点は、エリアスキャンカメラと比較して、価格当たりの解像度がより高いことである。現在、最大１６３８４画素のラインを有するラインスキャンカメラを利用することができる（Steger et al. 2018, Chapter 2.3.4）。ラインスキャンカメラを用いて物体の２次元画像を得るために、この物体に対してカメラを相対的に移動させながら、複数の１次元画像を、ある時間にわたって積み重ねる。よって、得られる画像の高さは実質上無制限である。なぜなら、この高さは、ある時間を経て得られた１次元画像の数に相当するからである。本発明において、物体に対してカメラが相対的に動くことを相対移動と呼ぶ。相対移動は、一般的に、静止している物体に対してカメラを移動させることにより、または、移動している物体の上方にカメラを設置することにより、実現される（Steger et al. 2018, Chapter 2.3.1.1）。ラインスキャンカメラを使用するマシンビジョン用途のほとんどにおいて、定速度の直線的な移動が適用される。相対移動は、たとえば、直線移動スライド、ベルトコンベア、またはその他のリニアアクチュエータによって実現できる。パースペクティブレンズを有するラインスキャンカメラのカメラモデルは（Steger et al., 2018, Chapter 3.9.3）に記載されている。
いくつかのマシンビジョン用途では、エリアスキャンカメラよりもラインスキャンカメラの方が好ましい。ラインスキャンカメラの利点は、エリアスキャンカメラと比較して、価格当たりの解像度がより高いことである。現在、最大１６３８４画素のラインを有するラインスキャンカメラを利用することができる（Steger et al. 2018, Chapter 2.3.4）。ラインスキャンカメラを用いて物体の２次元画像を得るために、この物体に対してカメラを相対的に移動させながら、複数の１次元画像を、ある時間にわたって積み重ねる。よって、得られる画像の高さは実質上無制限である。なぜなら、この高さは、ある時間を経て得られた１次元画像の数に相当するからである。本発明において、物体に対してカメラが相対的に動くことを相対移動と呼ぶ。相対移動は、一般的に、静止している物体に対してカメラを移動させることにより、または、移動している物体の上方にカメラを設置することにより、実現される（Steger et al. 2018, Chapter 2.3.1.1）。ラインスキャンカメラを使用するマシンビジョン用途のほとんどにおいて、定速度の直線的な移動が適用される。相対移動は、たとえば、直線移動スライド、ベルトコンベア、またはその他のリニアアクチュエータによって実現できる。パースペクティブレンズを有するラインスキャンカメラのカメラモデルは（Steger et al., 2018, Chapter 3.9.3）に記載されている。
【0013】
パースペクティブラインスキャンカメラを用いたステレオ再構成
ステレオ再構成の精度は、当然、画像の解像度によって制限される。したがって、再構成の精度に対する要求が高い用途の場合、ステレオ再構成のためにエリアスキャンカメラの代わりに高解像度のラインスキャンカメラを使用することが極めて望ましい。
ステレオ再構成の精度は、当然、画像の解像度によって制限される。したがって、再構成の精度に対する要求が高い用途の場合、ステレオ再構成のためにエリアスキャンカメラの代わりに高解像度のラインスキャンカメラを使用することが極めて望ましい。
【0014】
残念ながら、一般的に、パースペクティブラインスキャンカメラのステレオ画像は、エピポーラ標準幾何学に従って平行化することができない（Gupta and Hartley, 1997; Kim, 2000, Habib et al., 2005a, b）。これは、効率的なステレオ再構成を阻止し、それ故に、ステレオ再構成のためのラインスキャンカメラの汎用を妨げる。しかしながら、（Habib et al., 2005a, b）は、平行化が実際に可能な、パースペクティブレンズを有するラインスキャンカメラの、２つの特別な理想的構成が存在することを示している。これらは、理想的なアクロストラック構成と、理想的なアロングトラック構成とであり、双方のセンサのセンサラインを、特定のやり方で正確に互いに位置合わせしなければならない。さらに、これらの構成は、レンズ歪みがないことを想定している。これらの２つの構成に基づいて、産業用途のいくつかのパースペクティブラインスキャンステレオシステムが、文献（Calow et al., 2010; Ilchev et al., 2012; Lilienblum and Al-Hamadi, 2015; Sun et al. 2016; Sun et al, 2017; Godber et al., 1995）において提案されている。これらのシステムでは、たとえば適切な調整デバイスを用いることにより、センサラインを、２つの理想的構成のうちの一方に対して手作業で位置合わせする。残念ながら、これらの文献は、センサラインの正確な位置合わせを如何にして実現するか、および、これらのセンサの位置合わせに要する時間について、詳細に開示はしていない。したがって、パースペクティブラインスキャンカメラを用いるステレオは、複雑であり、高価な精密機器および煩雑な手作業を要する。このため、実用および有用性という観点からしても、これら２つの理想的構成のうちの一方に限定されないラインスキャンカメラを用いた効率的なステレオ再構成を実行できることは、大きな前進になるであろう。さらに、たとえラインを正確に互いに位置合わせすることができたとしても、センサラインが主点の後方に正確に設けられていなければ、レンズ歪みがここでも正確な画像の平行化を妨げることになる。レンズ歪みを無視することは、３次元再構成の精度に悪影響を与えることになる。
【発明の概要】
【課題を解決するための手段】
【0015】
発明の概要
本発明は請求項に明記されている。本発明は、テレセントリックレンズを有する少なくとも２つのラインスキャンカメラを用いて３次元シーンを再構成するための方法および装置に向けられている。本発明において、「３次元シーン」、「３次元物体」および「複数の３次元物体」という用語は同義のものとして使用される。本発明はまた、記載されている方法を実行するおよび／または実現するシステムまたは装置に関する。方法は、コンピュータにより実現される。
本発明は請求項に明記されている。本発明は、テレセントリックレンズを有する少なくとも２つのラインスキャンカメラを用いて３次元シーンを再構成するための方法および装置に向けられている。本発明において、「３次元シーン」、「３次元物体」および「複数の３次元物体」という用語は同義のものとして使用される。本発明はまた、記載されている方法を実行するおよび／または実現するシステムまたは装置に関する。方法は、コンピュータにより実現される。
【0016】
本発明における、汎用構成のラインスキャンカメラを用いてステレオ再構成を実行することを可能にするシステムおよび方法を説明する。結果として、負担が大きい、センサラインの正確な位置合わせは、不要になる。本開示の方法は、パースペクティブレンズの代わりにテレセントリックレンズがラインスキャンカメラに搭載されることを必要とする。この場合、画像をステレオ再構成で正確に平行化させることができる。平行化させた画像を使用することにより、効率的なステレオマッチングを実施できる。この方法は、たとえセンサラインが主点の後方に正確に設けられていなくても、レンズ歪みのモデル化をも含む、撮像プロセスの正確なモデル化を可能にする、カメラモデルと較正手順とを含む。これは、得られる３次元再構成の高い精度を確実にする。
【0017】
本発明のある好ましい実施形態において、このシステムは、再構成する３次元物体の画像を取得するためのテレセントリックレンズを有する２つ以上のラインスキャンカメラを備える。本発明では、テレセントリックレンズを有するラインスキャンカメラを、同義のものとしてテレセントリックラインスキャンカメラとも呼ぶ。さらに、この好ましい実施形態において、このシステムはさらに、３次元物体の、テレセントリックラインスキャンカメラに対する相対移動を生じさせる装置を含む。ある好ましい実施形態において、この装置は、たとえば、直線移動スライド、ベルトコンベア、またはその他のリニアアクチュエータにより、定速度の直線的な移動を実行する。ある好ましい実施形態において、このシステムは、以下で説明するステップを含む方法を実行するように構成されたコンピュータをさらに備える。ステップ１～３は、システムの較正を処理し、オフラインで実行される、すなわち、システムを設定した後であって、再構成する３次元物体の画像を取得する前に、実行される。ステップ４～７は、オンラインで実行され、３次元物体の画像取得と、テレセントリック画像の平行化と、視差推定と、実際の３次元再構成とを含む。
【0018】
第１のステップにおいて、各テレセントリックラインスキャンカメラで、較正物体の１つ以上のテレセントリックラインスキャン較正画像を取得する。較正物体の姿勢はこれらの較正画像で異なる。較正物体は、世界単位（世界座標）の既知の３次元座標の複数のコントロールポイントを有する。テレセントリックラインスキャン較正画像を、較正物体をテレセントリックラインスキャンカメラに対して相対移動させることによって取得する。較正物体の各姿勢および各カメラごとに、取得した１次元画像ラインを互いの上に積み重ねることにより、テレセントリックラインスキャン較正画像を生成する。ある好ましい実施形態において、各テレセントリックラインスキャンカメラを用いて、平坦な較正物体の複数のテレセントリックラインスキャン画像を取得する。ある代替実施形態において、各テレセントリックラインスキャンカメラを用いて１つのテレセントリックラインスキャン画像を取得する。結果として、各カメラごとに、１セットのテレセントリックラインスキャン較正画像が得られ、このセットは少なくとも１つの画像を含む。意義のある較正のためには、すべての画像を、テレセントリックラインスキャンカメラと較正物体との同一の相対移動によって取得することが重要である。
【0019】
第２のステップにおいて、テレセントリックラインスキャン較正画像に基づいてカメラ較正を実行する。そのために、画像生成プロセスおよびカメラ間の相対姿勢（複数の相対姿勢）を正確に記述することができる適切なカメラモデルを定める。ある好ましい実施形態において、較正物体の目に見えるコントロールポイントの２次元位置が、テレセントリック較正画像（画像座標）において自動的に測定される。さらに、較正物体の、測定した２次元画像の点と３次元の点との対応関係が、自動的に求められる。カメラモデルのパラメータを、テレセントリックラインスキャン較正画像における抽出されたコントロールポイントの画像点の２次元座標を、較正物体の対応する点の３次元座標に関連付ける誤差を最小にすることにより、求める。
【0020】
この較正の結果、カメラパラメータの値が得られる。カメラパラメータは、すべてのカメラの内部オリエンテーションのパラメータと、すべてのカメラ間の相対オリエンテーションのパラメータと、すべてのテレセントリックラインスキャン較正画像における較正物体の絶対オリエンテーションのパラメータとを含む。
【0021】
第３のステップにおいて、第２のステップのカメラ較正から得られたカメラパラメータに基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するのに使用できるテレセントリック平行化マッピングを計算する。テレセントリック平行化マッピングは、ステレオ画像平行化を表し、したがって、テレセントリックラインスキャン画像ペアの、エピポーラ標準幾何学に従う幾何学的変換を記述する。したがって、このマッピングをテレセントリックラインスキャン画像ペアに適用すると、得られる平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがなく、対応する画像点は同一の画像行にある。
【0022】
本発明のある好ましい実施形態において、上述の先行する３つのステップは、システムを設定した後または修正後にオフラインで一度実行される。そのため、これら３つのステップは、カメラセットアップが変更され、この変更がカメラ較正中に推定したパラメータに影響する場合に限り、再度実行する必要がある。テレセントリック平行化マッピングを、後にオンライン段階で使用するために格納する。ある好ましい実施形態において、平行化マッピングをルックアップテーブル（ＬＵＴ）として格納することにより、オンライン段階における効率的な平行化を可能にする。ＬＵＴは、平行化後のテレセントリックラインスキャン画像における画素ごとに、元のテレセントリックラインスキャン画像における対応する画素の位置を格納する。任意で、ＬＵＴに、適切なグレー値内挿のための重みを含めることにより、最終的な３次元再構成のより高い精度をもたらすより高い品質の平行化後画像を得てもよい。
【0023】
第４のステップにおいて、オンライン段階は、先行する３つのステップで説明した方法で以前に較正されたセットアップを用いて、再構成する３次元物体のテレセントリックラインスキャン画像を取得することから始まる。３次元再構成の場合に少なくとも２つのカメラが必要なので、この好ましい実施形態において、テレセントリックラインスキャン画像ペアを、テレセントリックラインスキャンカメラのペアを用いて取得する。これに代わる実施形態では、テレセントリックラインスキャン画像ペアを、３つ以上のテレセントリックラインスキャンカメラから選択する。各テレセントリックラインスキャン画像を、第１のステップでテレセントリックラインスキャン較正画像の取得中に実行したときと同じ相対移動を実施することにより、生成する。
【0024】
第５のステップにおいて、再構成する３次元物体の取得したテレセントリックラインスキャン画像ペアを、第３のステップで計算したテレセントリックラインスキャンカメラの各ペアのテレセントリック平行化マッピングを適用することにより、平行化する。得られた平行化後のテレセントリックラインスキャン画像ペアにおける対応する点は、同一の画像行にある。さらに、得られた平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがない。
【0025】
任意の第６のステップにおいて、結果として得られた平行化後のテレセントリックラインスキャン画像ペアから、エピポーラ標準幾何学を活用する、利用できるさまざまなステレオマッチング手法のうちの１つにより、視差を計算する。本発明のある好ましい実施形態において、稠密視差推定の手法を適用すると、画定された各画素ごとに視差値を含む視差画像が得られる。たとえば遮られた場合（occlusions）または低テクスチャ画像部分において、対応する画素を確実に決定できないときは、画定されない画素が発生する可能性がある。ある好ましい実施形態において、テンプレートマッチングに基づく稠密視差推定の手法が適用される。
【0026】
任意の第７のステップにおいて、第６のステップで計算した視差を距離に変換する。この変換は、平行化後のテレセントリックラインスキャン画像ペアの内部および相対オリエンテーションに基づいて行われる。ある好ましい実施形態において、視差画像の画定された各画素ごとに距離を計算することにより、距離画像を生成する。ある好ましい実施形態において、距離画像は３次元物体の再構成を表す。ある代替実施形態において、距離値を、距離画像におけるその行座標および列座標に基づいて、かつ、平行化後のテレセントリックラインスキャン画像ペアの内部オリエンテーションに基づいて、３次元座標にさらに変換する。
【0027】
ある局面に従い、本発明は、少なくとも２つのラインスキャンカメラを用いて３次元物体を再構成するためのシステムを提供する。このシステムは、
（ａ）少なくとも２つのテレセントリックラインスキャンカメラと、
（ｂ）上記３次元物体の、上記テレセントリックラインスキャンカメラに対する相対移動を生じさせるように構成された少なくとも１つの装置と、
（ｃ）コンピュータとを備え、このコンピュータは、
（ｃ１）上記相対移動を生じさせながら、各テレセントリックラインスキャンカメラを用いて、１つ以上の画像を含むテレセントリックラインスキャン較正画像のセットを取得し、
（ｃ２）上記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行し、
（ｃ３）上記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算し、
（ｃ４）上記相対移動を生じさせながら、テレセントリックラインスキャンカメラのペアを用いて上記３次元物体のテレセントリックラインスキャン画像ペアを取得し、
（ｃ５）上記テレセントリック平行化マッピングを用いて、上記３次元物体の上記テレセントリックラインスキャン画像ペアを平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するように、構成されている。
（ａ）少なくとも２つのテレセントリックラインスキャンカメラと、
（ｂ）上記３次元物体の、上記テレセントリックラインスキャンカメラに対する相対移動を生じさせるように構成された少なくとも１つの装置と、
（ｃ）コンピュータとを備え、このコンピュータは、
（ｃ１）上記相対移動を生じさせながら、各テレセントリックラインスキャンカメラを用いて、１つ以上の画像を含むテレセントリックラインスキャン較正画像のセットを取得し、
（ｃ２）上記テレセントリックラインスキャン較正画像のセットに基づいてカメラ較正を実行し、
（ｃ３）上記カメラ較正の結果に基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化するテレセントリック平行化マッピングを計算し、
（ｃ４）上記相対移動を生じさせながら、テレセントリックラインスキャンカメラのペアを用いて上記３次元物体のテレセントリックラインスキャン画像ペアを取得し、
（ｃ５）上記テレセントリック平行化マッピングを用いて、上記３次元物体の上記テレセントリックラインスキャン画像ペアを平行化することにより、平行化されたテレセントリックラインスキャン画像ペアを生成するように、構成されている。
【0028】
コンピュータはさらに、上記平行化されたテレセントリックラインスキャン画像ペアから視差を計算するように構成されてもよく、視差は再構成された３次元物体を表す。
【0029】
コンピュータはさらに、上記視差を距離に変換することにより、上記３次元物体を再構成したものを生成するように構成されてもよい。
【0030】
コンピュータはさらに、上記視差を３次元座標に変換することにより、上記３次元物体を再構成したものを生成するように構成されてもよい。
【0031】
上記相対移動は好ましくは直線移動である。この直線移動は定速度であってもよい、または、この直線移動は可変速度であり上記テレセントリックラインスキャン画像の画像取得を適切にトリガすることによって定速度を確保してもよい。
【0032】
較正画像は較正物体の画像であってもよい。較正物体は平坦な較正物体であってもよい。較正物体は３次元較正物体であってもよい。
【0033】
好ましくは、上記カメラ較正においてカメラパラメータを求め、これらのカメラパラメータは、テレセントリックラインスキャン較正画像の外部オリエンテーションのパラメータと、各テレセントリックラインスキャンカメラごとの、相対オリエンテーションおよび内部オリエンテーションのパラメータとを含む。
【0034】
テレセントリック平行化マッピングは、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを、エピポーラ標準幾何学に従って平行化してもよい。
【0035】
テレセントリック平行化マッピングはルックアップテーブルに格納されてもよい。ある実施形態に従うと、上記テレセントリックラインスキャン画像ペアを平行化することは、上記ルックアップテーブルを上記テレセントリックラインスキャン画像ペアに適用することを含む。
【0036】
上記平行化されたテレセントリックラインスキャンペアから視差を計算することは、視差画像を生成する稠密視差推定を含み得る。
【0037】
さらに、上記視差を距離に変換することは、距離画像を計算することを含み得る。
ある実施形態に従うと、カメラ較正を、スパース・レーベンバーグ・マーカートアルゴリズムを適用することによって実行する。
ある実施形態に従うと、カメラ較正を、スパース・レーベンバーグ・マーカートアルゴリズムを適用することによって実行する。
【0038】
本発明は、以下の詳細な説明および添付の図面から、より一層十分に理解されるであろう。
【図面の簡単な説明】
【0039】
【図1】基本的にカメラ較正とテレセントリック平行化マッピングの計算とを含む、本発明のオフライン部分のステップを示す図である。
【図2】基本的に画像平行化と、視差値の計算と、任意で視差値から距離値または３次元座標への変換とを含む、本発明のオンライン部分のステップを示す図である。
【図3】エントセントリックラインスキャンカメラのカメラモデルを示す図である。
【図4】２つのテレセントリックラインスキャンカメラを用いるステレオセットアップの一例を示す図であり、カメラはトラック平行構成で儲けられ、ライン形状の光源を用いて双方のセンサラインのフットプリントをカバーし、エンコーダが画像取得をトリガすることにより、確実に、双方のカメラで同時に取得することおよび定速度を保証する。
【図5】円形のコントロールポイントを有する平坦な較正物体の２つの例を示す図である。
【発明を実施するための形態】
【0040】
好ましい実施形態の詳細な説明
本発明のある好ましい実施形態において、システムは、再構成する３次元物体４０３の画像を取得するための２つのテレセントリックラインスキャンカメラ４０１（図４参照）を含む。本発明のある代替実施形態において、このシステムは、少なくとも２つのテレセントリックラインスキャンカメラのマルチビューセットアップを含む。３つ以上のカメラのマルチビューセットアップは、たとえば、世界において再構成可能な領域を拡大するのに役立ち得る。したがって、遮られている物体の部分の比率を最小にすることもできる。これに代えてまたはこれに加えて、カメラの数を多くすることにより、３次元再構成の精度を高めることができ、その理由は、物体の特定部分が複数の方向から観察されるからである。本開示の範囲において、「２つ以上のカメラ」は必ずしも２つ以上の物理的カメラを使用しなければならないことを意味する訳ではない。むしろ、２つ以上のカメラは、１つの物理的カメラを用い、このカメラで異なる視野（perspective）から画像を取得することによって実現することもできる。たとえば、１つのテレセントリックラインスキャンカメラを、異なる複数の予め定められた経路を辿るロボットアームに搭載することにより、複数のカメラを実現することができる。
本発明のある好ましい実施形態において、システムは、再構成する３次元物体４０３の画像を取得するための２つのテレセントリックラインスキャンカメラ４０１（図４参照）を含む。本発明のある代替実施形態において、このシステムは、少なくとも２つのテレセントリックラインスキャンカメラのマルチビューセットアップを含む。３つ以上のカメラのマルチビューセットアップは、たとえば、世界において再構成可能な領域を拡大するのに役立ち得る。したがって、遮られている物体の部分の比率を最小にすることもできる。これに代えてまたはこれに加えて、カメラの数を多くすることにより、３次元再構成の精度を高めることができ、その理由は、物体の特定部分が複数の方向から観察されるからである。本開示の範囲において、「２つ以上のカメラ」は必ずしも２つ以上の物理的カメラを使用しなければならないことを意味する訳ではない。むしろ、２つ以上のカメラは、１つの物理的カメラを用い、このカメラで異なる視野（perspective）から画像を取得することによって実現することもできる。たとえば、１つのテレセントリックラインスキャンカメラを、異なる複数の予め定められた経路を辿るロボットアームに搭載することにより、複数のカメラを実現することができる。
【0041】
さらに、この好ましい実施形態において、本システムは、テレセントリックラインスキャンカメラに対して３次元物体の相対移動を生じさせる装置４０４をさらに含む。ある好ましい実施形態において、この装置は、たとえば、直線移動スライド、ベルトコンベア、またはその他のリニアアクチュエータにより、定速度の直線的な移動を実行する。代替実施形態において、可変速度の直線的な移動を用いてもよい。後者の場合、画像取得をトリガする４０７エンコーダ４０６を用いることにより、等距離画像取得を保証してもよい。これにより、可変速度の移動を、定速度の移動に容易に変換することができる。結果として、エンコーダを用いることにより、定速を想定するカメラモデルを、定速の移動を提供しない、相対移動を実現するための装置を使用する用途にも、適用することができる。
【0042】
ある好ましい実施形態において、本システムは、以下で詳述する７つのステップを含む方法を実行するように構成されたコンピュータをさらに含む。ステップ１～３は、システムの較正を扱い、オフラインで実行される、すなわち、システムを設定した後であって、再構成する３次元物体の画像を取得する前に、実行される。オフライン段階の個々のステップは、図１において視覚化されている。ステップ４～７は、オンラインで実行され、３次元物体の画像取得と、テレセントリック画像の平行化と、視差推定と、実際の３次元再構成とを含む。オンライン段階の個々のステップは、図２において視覚化されている。
【0043】
テレセントリックラインスキャン較正画像のセットの取得
第１のステップ１０１において、各テレセントリックラインスキャンカメラで、１つ以上のテレセントリックラインスキャン較正画像を取得する。本発明のある好ましい実施形態において、較正画像は、較正物体の画像である。本発明のある代替実施形態において、較正画像が較正物体を必ずしも含む必要がない非較正ステレオの方法が適用される。較正物体を使用するとき、較正物体の姿勢は、複数の較正画像で異なる。較正物体は、世界単位（世界座標）の既知の３次元座標の複数のコントロールポイントを有する。ある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体が使用される（Steger et al. 2018, Chapter 3.9.4.1）。ある代替実施形態において、チェッカー盤のデザインの平坦な較正物体が使用される。較正物体のその他のデザインは、本発明の範囲から逸脱することなく容易に使用できる。平坦な較正物体を使用する場合、一般的に、すべてのカメラパラメータ（以下を参照）を明確に求めるためには、少なくとも２つのテレセントリックラインスキャン較正画像が必要である。ある代替実施形態において、カメラパラメータのサブセットを求めるために１つのテレセントリックラインスキャン較正画像を使用しつつ、残りのカメラパラメータを固定値に保つ。別の代替実施形態において、３次元較正物体が使用される。平坦な較正物体とは異なり、３次元較正物体のコントロールポイントは共通平面に存在しない。３次元較正物体のデザインに応じて、すべてのカメラパラメータを１つの較正画像で求めることも可能であろう。
第１のステップ１０１において、各テレセントリックラインスキャンカメラで、１つ以上のテレセントリックラインスキャン較正画像を取得する。本発明のある好ましい実施形態において、較正画像は、較正物体の画像である。本発明のある代替実施形態において、較正画像が較正物体を必ずしも含む必要がない非較正ステレオの方法が適用される。較正物体を使用するとき、較正物体の姿勢は、複数の較正画像で異なる。較正物体は、世界単位（世界座標）の既知の３次元座標の複数のコントロールポイントを有する。ある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体が使用される（Steger et al. 2018, Chapter 3.9.4.1）。ある代替実施形態において、チェッカー盤のデザインの平坦な較正物体が使用される。較正物体のその他のデザインは、本発明の範囲から逸脱することなく容易に使用できる。平坦な較正物体を使用する場合、一般的に、すべてのカメラパラメータ（以下を参照）を明確に求めるためには、少なくとも２つのテレセントリックラインスキャン較正画像が必要である。ある代替実施形態において、カメラパラメータのサブセットを求めるために１つのテレセントリックラインスキャン較正画像を使用しつつ、残りのカメラパラメータを固定値に保つ。別の代替実施形態において、３次元較正物体が使用される。平坦な較正物体とは異なり、３次元較正物体のコントロールポイントは共通平面に存在しない。３次元較正物体のデザインに応じて、すべてのカメラパラメータを１つの較正画像で求めることも可能であろう。
【0044】
テレセントリックラインスキャン較正画像を、テレセントリックラインスキャンカメラに対して較正物体を相対移動させることにより、取得する。較正物体の各姿勢およびカメラごとに、取得した１次元画像を積み重ねることにより、テレセントリックラインスキャン較正画像を生成する。ある好ましい実施形態において、平坦な較正物体の複数のテレセントリックラインスキャン画像を、各テレセントリックラインスキャンカメラで取得する。ある代替実施形態において、１つのテレセントリックラインスキャン画像を、各テレセントリックラインスキャンカメラで取得する。結果として、ステップ１０２において、カメラごとに１セットのテレセントリックラインスキャン較正画像が得られ、このセットは少なくとも１つの画像を含む。意義のある較正のためには、すべての画像を、同一の相対移動によって取得することが重要である。
【0045】
カメラ較正
第２のステップ（１０３）において、テレセントリックラインスキャン較正画像に基づいてカメラ較正を実行する。そのために、画像生成プロセスおよびカメラ間の相対姿勢（複数の相対姿勢）を正確に記述することができる適切なカメラモデルを定める。ある好ましい実施形態において、較正物体の目に見えるコントロールポイントの２次元位置が、テレセントリックラインスキャン較正画像（画像座標）において自動的に測定される。さらに、較正物体の、測定した２次元画像の点と、３次元の点との対応関係が、自動的に求められる（Steger et al. 2018, Chapter 3.9.4.1）。ある代替実施形態において、較正画像内で２次元画像の点をユーザが手作業で測定し、ユーザは対応関係も特定する。カメラモデルのパラメータ（カメラパラメータ）を、テレセントリックラインスキャン較正画像における抽出されたコントロールポイントの画像点の２次元座標を、較正物体の対応する点の３次元座標に関連付ける誤差を最小にすることにより、求める。
第２のステップ（１０３）において、テレセントリックラインスキャン較正画像に基づいてカメラ較正を実行する。そのために、画像生成プロセスおよびカメラ間の相対姿勢（複数の相対姿勢）を正確に記述することができる適切なカメラモデルを定める。ある好ましい実施形態において、較正物体の目に見えるコントロールポイントの２次元位置が、テレセントリックラインスキャン較正画像（画像座標）において自動的に測定される。さらに、較正物体の、測定した２次元画像の点と、３次元の点との対応関係が、自動的に求められる（Steger et al. 2018, Chapter 3.9.4.1）。ある代替実施形態において、較正画像内で２次元画像の点をユーザが手作業で測定し、ユーザは対応関係も特定する。カメラモデルのパラメータ（カメラパラメータ）を、テレセントリックラインスキャン較正画像における抽出されたコントロールポイントの画像点の２次元座標を、較正物体の対応する点の３次元座標に関連付ける誤差を最小にすることにより、求める。
【0046】
以下、任意の数のテレセントリックラインスキャンカメラのシステム（マルチビューセットアップ）を詳細に説明する。
【0047】
テレセントリックラインスキャンカメラのマルチビューセットアップのカメラモデルは、エリアスキャンカメラのマルチビューセットアップのカメラモデルに基づく。したがって、最初に、エリアスキャンカメラのマルチビューセットアップのカメラモデルを再考する。
【0048】
エリアスキャンカメラのマルチビューセットアップのカメラモデル
エリアスキャンカメラのカメラモデルは（Steger 2017, Section 6.1）における記載に基づく。これは、ｎｃ個のカメラでマルチビューセットアップをモデル化することができる。カメラを較正するために、較正物体の、姿勢が異なるｎｏ個の画像を使用する。較正物体の各姿勢ｌ（ｌ＝１，…，ｎｏ）は、較正物体の座標系から基準カメラｒのカメラ座標系への点変換を定める。以下、一般性を失うことなくｒ＝１であると仮定する。なぜなら、カメラの番号は任意に付け直すことができるからである。ｐｏ＝（ｘｏ，ｙｏ，ｚｏ）Ｔは較正物体の座標系における点を表すものとする。この点の較正物体座標系から基準カメラ座標系への変換は以下のように記述することができる。
エリアスキャンカメラのカメラモデルは（Steger 2017, Section 6.1）における記載に基づく。これは、ｎｃ個のカメラでマルチビューセットアップをモデル化することができる。カメラを較正するために、較正物体の、姿勢が異なるｎｏ個の画像を使用する。較正物体の各姿勢ｌ（ｌ＝１，…，ｎｏ）は、較正物体の座標系から基準カメラｒのカメラ座標系への点変換を定める。以下、一般性を失うことなくｒ＝１であると仮定する。なぜなら、カメラの番号は任意に付け直すことができるからである。ｐｏ＝（ｘｏ，ｙｏ，ｚｏ）Ｔは較正物体の座標系における点を表すものとする。この点の較正物体座標系から基準カメラ座標系への変換は以下のように記述することができる。
【0049】
【数1】
【0050】
ここで、ｔｌ＝（ｔｌ，ｘ，ｔｌ，ｙ，ｔｌ，ｚ）Ｔは並進ベクトルであり、Ｒｌは回転行列である。Ｒｌは、オイラー角により、Ｒｌ＝Ｒｘ（αｌ）Ｒｙ（βｌ）Ｒｚ（γｌ）としてパラメータ表記される。この変換を外部オリエンテーションと呼ぶ。
次に、点ｐｌをカメラκ（κ＝ｌ，…，ｎｃ）のカメラ座標系に変換する。
次に、点ｐｌをカメラκ（κ＝ｌ，…，ｎｃ）のカメラ座標系に変換する。
【0051】
【数2】
【0052】
式中、Ｒκ＝Ｒｘ（ακ）Ｒｙ（βκ）Ｒｚ（γκ）およびｔκ＝（ｔκ，ｘ，ｔκ，ｙ，ｔκ，ｚ）Ｔは、カメラｌに対するカメラκの相対姿勢を記述している。よって、上記取り決めでは、κ＝１の場合Ｒκ＝Ｉおよびｔκ＝０となる。したがって、１つのカメラのみを較正する場合、（２）の変換は冗長であり省略することができる。
【0053】
軸－角度パラメータ表記、四元数その他のような、変換のまたは回転のその他のパラメータ表記を、本発明の範囲から逸脱することなく使用することができる。
【0054】
次に、点ｐκ＝（ｘκ，ｙκ，ｚκ）Ｔを、画像面（画像面座標系）に投影する。エントセントリックレンズの場合、投影は以下によって与えられる。
【0055】
【数3】
【0056】
式中、ｃはレンズの主点距離である。テレセントリックレンズの場合、投影は以下によって与えられる。
【0057】
【数4】
【0058】
式中、ｍはレンズの倍率である。
続いて、歪み補正後の点（undistorted point）（ｘｕ，ｙｕ）Ｔを歪ませて点（ｘｄ，ｙｄ）Ｔにする。本発明のある好ましい実施形態において、以下の２つの歪みモデルのうちの一方が適用され（Steger 2017, Section 6.1; Steger et al 2018, Chapter 3.9.1.3）、これらのモデルは、分割モデル（Lenz and Fritsch 1990; Lanser 1997; Blahusch et al. 1999; Fitzgibbon 2001; Steger 2012）および多項式モデル（Brown 1966, 1971）である。
続いて、歪み補正後の点（undistorted point）（ｘｕ，ｙｕ）Ｔを歪ませて点（ｘｄ，ｙｄ）Ｔにする。本発明のある好ましい実施形態において、以下の２つの歪みモデルのうちの一方が適用され（Steger 2017, Section 6.1; Steger et al 2018, Chapter 3.9.1.3）、これらのモデルは、分割モデル（Lenz and Fritsch 1990; Lanser 1997; Blahusch et al. 1999; Fitzgibbon 2001; Steger 2012）および多項式モデル（Brown 1966, 1971）である。
【0059】
分割モデルにおいて、歪み補正後の点（ｘｕ，ｙｕ）Ｔは、歪んだ点から、以下によって計算される。
【0060】
【数5】
【0061】
分割モデルは解析的に次のように反転させることができる。
【0062】
【数6】
【0063】
分割モデルは放射状歪み（radial distortion）のみをサポートする。
多項式モデルは放射状歪みおよび偏心歪み（decentering distortion）をサポートする。歪み補正後の点は以下によって計算される。
多項式モデルは放射状歪みおよび偏心歪み（decentering distortion）をサポートする。歪み補正後の点は以下によって計算される。
【0064】
【数7】
【0065】
この多項式モデルは解析的に反転させることはできない。歪み補正後の点からの、歪んでいる点の計算は、数値求根アルゴリズムによって実行されなければならない。
【0066】
異なる歪みモデルを、たとえば、分割または多項式モデルよりも使用されるレンズの歪みに良く適合するという理由で、本発明の範囲から逸脱することなく適用することができる。
【0067】
最後に、歪んでいる点（ｘｄ，ｙｄ）Ｔを画像座標系に変換する。
【0068】
【数8】
【0069】
ここで、ｓｘおよびｓｙは、センサ上の画素ピッチを表し、（ｃｘ，ｃｙ）Ｔは主点である。ｘ座標は、画像内の横軸（右に向かって増加）を意味し、ｙ座標は縦軸（下に向かって増加）を意味する。
【0070】
結果として、テレセントリックエリアスキャンカメラのカメラモデルは、以下のカメラパラメータからなる。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラｌに対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション（簡略化のためにここでは上付き文字κを省略する）：ｃまたはｍ；κまたはΚ１，Κ２，Κ３，Ｐ１，Ｐ２；ｓｘ，ｓｙ，ｃｘ，ｃｙ。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラｌに対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション（簡略化のためにここでは上付き文字κを省略する）：ｃまたはｍ；κまたはΚ１，Κ２，Κ３，Ｐ１，Ｐ２；ｓｘ，ｓｙ，ｃｘ，ｃｙ。
【0071】
カメラモデルの較正は（Steger 2017, Sections 9 and 10）において詳述されている。
上記パラメータ表記は、マシンビジョンユーザにとって非常に直観的である（Steger 2017, Section 6.1）。すべてのパラメータには、理解し易い物理的意味がある。内部オリエンテーションパラメータのおおよその初期値は、カメラ（ｓｘおよびｓｘ）およびレンズ（ｃまたはｍ）のデータシートから簡単に読取ることができる、または他のやり方で容易に取得できる（主点の初期値は画像の中心に設定することができ、歪み係数は典型的に０に設定することができる）。さらに、較正結果の妥当性は調べるのが簡単である。
上記パラメータ表記は、マシンビジョンユーザにとって非常に直観的である（Steger 2017, Section 6.1）。すべてのパラメータには、理解し易い物理的意味がある。内部オリエンテーションパラメータのおおよその初期値は、カメラ（ｓｘおよびｓｘ）およびレンズ（ｃまたはｍ）のデータシートから簡単に読取ることができる、または他のやり方で容易に取得できる（主点の初期値は画像の中心に設定することができ、歪み係数は典型的に０に設定することができる）。さらに、較正結果の妥当性は調べるのが簡単である。
【0072】
単一のエントセントリックラインスキャンカメラのカメラモデル
テレセントリックラインスキャンカメラのカメラモデルは、（MVTec Software GmbH 2005a, b）に最初に記載されたエントセントリックラインスキャンカメラのカメラモデルに基づく。したがって、このセクションでは、単一のエントセントリックラインスキャンカメラのカメラモデルについて再考する。エントセントリックラインスキャンカメラのカメラモデルの詳細は、（Steger et al. 2018, Chapter 3.9.3）においても見出すことができる。このカメラモデルは、単一のエントセントリックラインスキャンカメラを想定する。次に、このモデルを単一のテレセントリックラインスキャンカメラに拡張し、続いてテレセントリックラインスキャンカメラのマルチビューセットアップに拡張する。
テレセントリックラインスキャンカメラのカメラモデルは、（MVTec Software GmbH 2005a, b）に最初に記載されたエントセントリックラインスキャンカメラのカメラモデルに基づく。したがって、このセクションでは、単一のエントセントリックラインスキャンカメラのカメラモデルについて再考する。エントセントリックラインスキャンカメラのカメラモデルの詳細は、（Steger et al. 2018, Chapter 3.9.3）においても見出すことができる。このカメラモデルは、単一のエントセントリックラインスキャンカメラを想定する。次に、このモデルを単一のテレセントリックラインスキャンカメラに拡張し、続いてテレセントリックラインスキャンカメラのマルチビューセットアップに拡張する。
【0073】
単一のエントセントリックラインスキャンカメラのモデルは、図３において視覚化されている。このモデルは、ラインスキャンカメラ３０１と物体３０７との相対移動は、定速度で直線状であると仮定する。したがって、カメラの動きは、カメラ座標系の動きベクトルν＝（νｘ，νｙ，νｚ）Ｔで説明することができる。ベクトルνは、（基準）カメラ座標系におけるスキャンライン当たりのメートルの単位で記述される（すなわち単位はｍＰｉｘｅｌ－１）。このνの定義は、動いているカメラと固定された物体を想定している。カメラが静止し、物体がたとえばベルトコンベア上で動いている場合、負の動きベクトル－νを使用することができる。
【0074】
カメラ座標系３０３の原点は、レンズの入射瞳の中心にある。ｘ軸はセンサラインに対して平行、ｚ軸に対して垂直である。ｙ軸は、センサラインおよびｚ軸に対して垂直である。これは、動きベクトルが正のｙ成分を有する向きにされる、すなわち、固定された物体を想定する場合、ｙ軸は、カメラが動いている方向に向いている。
【0075】
エリアスキャンカメラの場合と同様、較正物体の座標系３０２からカメラの座標系３０３への変換は、（１）によって与えられる。エリアスキャンカメラとは異なり、外部オリエンテーションは、画像の第１のラインのみを指す。カメラは物体に対して相対的に動くので、外部オリエンテーションは、ラインごとに異なる。しかしながら、直線的な移動を想定するので、動きベクトルνを用いることにより、すべてのラインの外部オリエンテーションを計算することができる。したがって、１つの外部オリエンテーションで十分である。
【0076】
最大の測定精度のために、カメラモデルは、センサラインが光軸に対して完全に位置合わせされていないラインスキャンカメラをサポートする必要がある。したがって、センサラインは、仮想エリアスキャンカメラの１つの特定のラインとしてモデル化される。主点（ｃｘ，ｃｙ）Ｔを用いてこの位置ずれをモデル化する（３０４）。ｃｙの意味は、エリアスキャンカメラの場合とはわずかに異なっており、ｃｙ＝０は、センサラインがｙ方向の光軸に対して完全に位置合わせされていることを意味する。主点は、画像面座標系の原点を定める。
【0077】
カメラモデルの残りのパラメータは、エリアスキャンカメラのものと同一であり（上記参照）、ｃは主点距離３０８であり、レンズの歪みは（５）および（７）によって記述され、ｓｘ３０９およびｓｙ３１０は、センサ上の画素ピッチを記述する。
【0078】
カメラ座標系に与えられた点ｐκの投影を計算するために、ｐκは直線ｐκ－ｔνに沿って移動するという事実を利用することができ、ｔは第１のスキャンライン以降に取得されたスキャンラインの数である。この点は、移動すると、ある点で、画像点の光線と、これがセンサライン上の点ｐｓ（ｘｓ，０）Ｔに投影された場合、交差する。主点の上記定義は、センサライン上の点のｙ座標が０であることを暗に示している。エントセントリックカメラの光線（３１１）を得るために、（８）を反転させる。
【0079】
【数9】
【0080】
次に、レンズ歪みを、（５）または（７）を適用して平行化することで、画像面座標系（３０４）における歪み補正後の座標を得る。エントセントリックレンズの場合、光線は以下によって与えられる。
【0081】
【数10】
【0082】
点ｐｓを、（９）により、歪んだ画像点ｐｄに変換した、すなわち、（ｘｄ，ｙｄ）Ｔ＝（ｓｘ（ｘｓ－ｃｘ），－ｓｙｃｙ）Ｔと仮定する。さらに、（５）または（７）の歪み補正関数ｕ（ｐ）＝（ｕｘ（ｘｄ，ｙｄ），ｕｙ（ｘｄ，ｙｄ））Ｔを呼び出す。次に、動いている点と光線の交点は、結果として以下の方程式系となる。
【0083】
【数11】
【0084】
分割モデル（５）の場合、方程式系は、以下に特化される。
【0085】
【数12】
【0086】
分割および多項式歪みモデルの場合多項式系である、方程式系（１１）を、λ、ｔ、およびｘｄについて解かねばならない。分割モデルの方程式系（１２）は、解析的に解くことができ、多項式系のものは数値的に解くことができる。ｔおよびｘｄが決まると、この点は以下によって画像座標系に変換される。
【0087】
【数13】
【0088】
エントセントリックレンズを有するラインスキャンカメラの内部オリエンテーションは、したがって、パラメータｃ；κまたはΚ１，Κ２，Κ３，Ｐ１，Ｐ２；ｓｘ，ｓｙ，ｃｘ，ｃｙ，νｘ，νｙ，およびνｚによって与えられる。よって、本発明のある好ましい実施形態において、動きベクトルνは、内部オリエンテーションの一部である。なぜなら、これは、カメラ座標系に与えられた点の投影に影響するからである（（１１）参照）。本発明のある代替実施形態において、動きベクトルは、外部オリエンテーションの一部である。
【0089】
エントセントリックラインスキャンカメラの場合、ｃ≠０であれば、レンズの歪みを完全に取り除くことは不可能であることに注目することが重要である。この場合、画像点の光線は、１つの点を平行化後の画像に投影するのではない。したがって、レンズの歪みを完全に取り除くには、３次元再構成が利用可能でなければならない。なぜなら、そうすれば、平行化後の画像に投影できる固有の３次元の点を再構成できるからである。
【0090】
単一のテレセントリックラインスキャンカメラのカメラモデル
単一のテレセントリックラインスキャンカメラのカメラモデルの第１の部分は、単一のエントセントリックラインスキャンカメラのカメラモデルの第１の部分と同一である、すなわち、較正物体座標系からの点を（１）および（２）によってカメラ座標系に変換する。点ｐκを画像に投影するために、エントセントリックラインスキャンカメラと同一の手法を用いる、すなわち、その上で点が移動するラインを、それを投影する点の光線と交差させる。テレセントリックレンズの光線の方程式は以下によって与えられる。
単一のテレセントリックラインスキャンカメラのカメラモデルの第１の部分は、単一のエントセントリックラインスキャンカメラのカメラモデルの第１の部分と同一である、すなわち、較正物体座標系からの点を（１）および（２）によってカメラ座標系に変換する。点ｐκを画像に投影するために、エントセントリックラインスキャンカメラと同一の手法を用いる、すなわち、その上で点が移動するラインを、それを投影する点の光線と交差させる。テレセントリックレンズの光線の方程式は以下によって与えられる。
【0091】
【数14】
【0092】
結果として以下の方程式系になる。
【0093】
【数15】
【0094】
この場合、ｕ（ｐ）＝（ｕｘ（ｘｄ，ｙｄ），ｕｙ（ｘｄ，ｙｄ））Ｔは、エントセントリックの場合と同じ方法で定められる。λが（１５）および（１６）にはないことがわかる。したがって、ｚκもνｚも投影に影響を与えず、（１７）は省略できる。結果として、テレセントリックレンズを有するラインスキャンカメラは、テレセントリックレンズを有するエリアスキャンカメラと同様に、直交投影を実行する。
【0095】
多項式モデルの場合、（１５）および（１６）は、未知のｘｄおよびｔの７次の多項式系を定める。このため、これらの式は解析的に解くことができない、すなわち、数値求根アルゴリズムを用いることによってこれらを解かねばならない。しかしながら、分割モデルの場合は解析的に解くことが可能である。（１５）および（１６）を分割モデルに特化させると、結果として以下の方程式系が得られる。
【0096】
【数16】
【0097】
（２０）を（１８）に代入しｘｄの累乗に従って項をソートすると次のようになる。
【0098】
【数17】
【0099】
【数18】
【0100】
よって、κ≠０およびｘ０≠０の場合、次のようになる。
【0101】
【数19】
【0102】
κ＝０またはｘ０＝０の場合、（２２）は線形方程式に縮約される。よって両方のケースについて検討する。ｘ０＝０の場合、次のようになる。
【0103】
【数20】
【0104】
（２３）および（２４）から得られたｘｄの値を（２０）に挿入すると双方のケースのｔの値が得られる。
κ＝０の場合、次のようになる。
κ＝０の場合、次のようになる。
【0105】
【数21】
【0106】
この場合、（２０）は以下のように簡約できる。
【0107】
【数22】
【0108】
κ＝０の場合、ｙｄすなわちｃｙに意味はない。したがって、κ＝０が事前にわかっていれば、ｃｙ（と、したがってｙｄと）を０に設定する必要があり、そうすると式はさらに以下のように簡約される。
【0109】
【数23】
【0110】
レンズ歪みがある場合、（２３）から、画像への投影には２つの解が存在し得ることがわかる。一方、（２４）および（２５）の歪みなしの場合、固有の解がある。（２３）の正しい解は常に以下によって与えられることがわかる。
【0111】
【数24】
【0112】
画像点（ｘｉ，ｙｉ）Ｔの光線は以下のように計算できる。最初に、（１３）を反転させる。
【0113】
【数25】
【0114】
次に、（１５）および（１６）を（ｘκ，ｙκ）Ｔについて解く。
【0115】
【数26】
【0116】
式中、ｙｄ＝－ｓｙｃｙである。そうすると光線は以下によって与えられる。
【0117】
【数27】
【0118】
エントセントリックレンズを有するラインスキャンカメラとは異なり、テレセントリックレンズを有するラインスキャンカメラの場合、レンズの歪みを完全に取り除くことが可能である。なぜなら、（１５）および（１６）はｚκに依存していないからである。画像の点（ｘｉ，ｙｉ）Ｔが与えられると、カメラ座標系における対応する点（ｘκ，ｙκ）Ｔは、（３０）～（３２）で計算することができる。次に、この点を、その歪み係数がすべて０に設定されている平行化されたカメラに投影することができる。加えて、画素のいずれのスキューも、νｘをｍｉｎ（ｓｘ，ｍνｙ）に設定し次にνｙをｓｘ／ｍに設定することによって取り除くことができる。この手法は、画像の平行化時にエイリアシングが生じないことを保証する。
【0119】
単一のテレセントリックラインスキャンカメラの較正
カメラ較正は、カメラパラメータ、すなわち、単一のテレセントリックラインスキャンカメラの場合は内部および外部オリエンテーションのパラメータ、を求めるプロセスである。カメラを、較正物体を用いて較正する。較正物体は、その３次元世界座標がわかっていなければならない、十分な数のコントロールポイントを含む。「発明の背景」のセクションで述べたように、さまざまなタイプの較正物体をこのタスクに使用することができる。本発明のある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体を用いる。この種の較正物体の２つの例が、図５に示されている。以下の記載では、説明のために円形のコントロールポイントを有する平坦な較正物体を使用するが、これに代えて、その他の較正物体を、本発明の範囲から逸脱することなく使用できる。ある代替実施形態において、たとえば、チェッカー盤パターンを有する平坦な較正物体を較正に使用する。別の代替実施形態において、コントロールポイントが１つの面に限定されない３次元較正物体を使用する。
カメラ較正は、カメラパラメータ、すなわち、単一のテレセントリックラインスキャンカメラの場合は内部および外部オリエンテーションのパラメータ、を求めるプロセスである。カメラを、較正物体を用いて較正する。較正物体は、その３次元世界座標がわかっていなければならない、十分な数のコントロールポイントを含む。「発明の背景」のセクションで述べたように、さまざまなタイプの較正物体をこのタスクに使用することができる。本発明のある好ましい実施形態において、円形のコントロールポイントを有する平坦な較正物体を用いる。この種の較正物体の２つの例が、図５に示されている。以下の記載では、説明のために円形のコントロールポイントを有する平坦な較正物体を使用するが、これに代えて、その他の較正物体を、本発明の範囲から逸脱することなく使用できる。ある代替実施形態において、たとえば、チェッカー盤パターンを有する平坦な較正物体を較正に使用する。別の代替実施形態において、コントロールポイントが１つの面に限定されない３次元較正物体を使用する。
【0120】
較正物体のコントロールポイントの中心の、既知の３次元座標をｐｊで表す（ｊ＝１，…ｎｍ、ｎｍは較正物体上のコントロールポイントの数を表す）。ユーザは較正物体のｎｏ個の画像を取得する。画像ｌ内の較正物体の外部オリエンテーションパラメータをｅｌで表し（ｌ＝１，…，ｎｏ）、カメラの内部オリエンテーションパラメータをｉで表し、較正物体の座標系における点の、画像座標系への投影を、πで表す（前のセクションを参照）。加えて、νｊｌが、較正物体の観察ｌのコントロールポイントｊがカメラで見える場合は１でありそうでなければ０である関数を表すものとする。最後に、ｐｊｌが、画像ｌ内のコントロールポイントｊの位置を表すものとする。そうすると、カメラは以下の関数を最小にすることによって較正される。
【0121】
【数28】
【0122】
この最小化は、ガウス・ニュートンアルゴリズム、勾配降下アルゴリズム、レーベンバーグ・マーカートアルゴリズム、または同様の手法のような、適切な最適化アルゴリズムを用いることによって実施される。本発明の好ましい実施形態において、（Hartley and Zisserman, 2003, Appendix A6）に記載されているスパース・レーベンバーグ・マーカートアルゴリズム（sparse Levenberg-Marquardt algorithm）の適切なバージョンが適用される。
【0123】
円形のコントロールポイントを有する平坦な較正物体を使用する場合、点ｐｊｌを、楕円（Fitzgibbon et al., 1999）を、サブピクセル精度エッジ抽出器（Steger 1998, Chapter 3.3; Steger 2000）を用いて抽出したエッジにフィットさせることにより、抽出する。Steger（2017, Section 5.2）ならびにMallonおよびWhelan（2007）に記載されているように、これによって点の位置にバイアスが生じる。テレセントリックラインスキャンカメラは直交投影を実施するので、パースペクティブバイアスは存在しない、すなわち、バイアスは歪バイアスのみからなる。このバイアスは、Steger（2018, Section 10）に記載されているエントセントリックラインスキャンカメラのための手法で取り除くことができる。
【0124】
（３４）の最適化は、既知のカメラパラメータの初期値を必要とする。動きベクトル以外の内部オリエンテーションパラメータの初期値は、「エリアスキャンカメラのマルチビューセットアップのカメラモデル」で述べたように、カメラおよびレンズの仕様から得ることができる。エリアスキャンカメラとは異なり、典型的にはｃｙ＝０を初期値として使用する。νｙの近似値は通常ラインスキャンカメラセットアップに至った考察からわかるであろう。最後に、νｘは典型的には０に設定される。内部オリエンテーションの初期値がわかっているので、画像点ｐｊｌを、（３０）～（３２）を用いてカメラ座標系のメトリック座標に変換することができる。これは、較正物体の外部オリエンテーションの推定を得るための、Steger（2018）に記載されているＯｎＰアルゴリズムの使用を可能にする。
【0125】
モデル縮退
テレセントリックラインスキャンカメラのモデルは、過剰パラメータ化（overparameterize）される。ｍおよびｓｘの値を同時に求めることはできない。これは、ユーザが指定した初期値にｓｘを固定することによって解決できる。さらに、エンセントリックラインスキャンカメラの場合のように、ｓｙは、画素における主点を特定するためにだけ使用されるので、ユーザが指定した初期値に固定された状態に保たれる。
テレセントリックラインスキャンカメラのモデルは、過剰パラメータ化（overparameterize）される。ｍおよびｓｘの値を同時に求めることはできない。これは、ユーザが指定した初期値にｓｘを固定することによって解決できる。さらに、エンセントリックラインスキャンカメラの場合のように、ｓｙは、画素における主点を特定するためにだけ使用されるので、ユーザが指定した初期値に固定された状態に保たれる。
【0126】
テレセントリックエリアスキャンカメラの場合のように、（ｃｘ，ｃｙ）Ｔは、テレセントリックラインスキャンカメラのレンズ歪みによってのみ定められる。レンズ歪みがなければ、（ｃｘ，ｃｙ）Ｔおよび（ｔｌ，ｘ，ｔｌ，ｙ）Ｔは同じ効果を有する。したがって、この場合、（ｃｘ，ｃｙ）Ｔは、ユーザが指定した初期値に固定し続ける必要がある（典型的に、ｃｘは水平画像中心に設定され、ｃｙは０に設定される）。
【0127】
エントセントリックラインスキャンカメラの場合のように、多項式歪みモデルのパラメータＰ１およびＰ２は、とりわけ放射状歪みが小さい場合、テレセントリックラインスキャンカメラモデルのその他のパラメータとの相関性が高い。したがって、一般的にはこれらを確実に求めることはできない。結果として、実際、これらは０に設定する必要があり較正から除外する必要がある。
【0128】
ｔｚもνｚも、投影に何の効果も与えないので、求めることができない（「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクション参照）。これに対処する、可能な１つの方法は、νｚを、ユーザが指定した初期値のままにし、ｔｚを１ｍに設定することである。
【0129】
νｙの符号は不明確である。そのため、ユーザはνｙの初期値を正しい符号で指定することにより、確実に較正が正しい解に収束するようにしなけらばならない。
【0130】
テレセントリックエリアスキャンの場合のように、平坦な較正物体の姿勢の回転は、最大２通りの曖昧さまでのみ求められる可能性がある。２セットの姿勢パラメータ（αｌ，βｌ，γｌ）および（－αｌ，－βｌ，γｌ）（並進ベクトルが同一）は、結果として画像内の同一の点になる。用途において較正物体の正しい外部オリエンテーションが必要である場合、ユーザはこの曖昧さを過去の知識に基づいて正しい姿勢を選択することによって解消しなければならない。
【0131】
平坦な較正物体の、ｘ軸を中心とする回転を、速度νｙおよび並進ｔｙのさまざまな値と交換することができる。さらに、平坦な較正物体の、ｙ軸を中心とする回転を、倍率ｍ、速度νｘ、および並進ｔｘのさまざまな値と交換することができる。
【0132】
テレセントリックラインスキャンカメラは、平坦な較正物体の１つの画像から十分に較正することはできない。このため、すべてのパラメータが曖昧に求められることになる場合は、外部オリエンテーションが異なる平坦な較正物体の複数の画像を用いてカメラを較正しなければならない。
【0133】
マシンビジョン用途において、１つの画像からすべてのカメラパラメータを較正することが重要な場合がある。先の説明が示すように、そうすると、平坦な較正物体を使用する場合は、カメラパラメータはその真の値と異なることになる。しかしながら、較正の残余誤差が十分に小さければ、較正物体の外部オリエンテーションによって定められた平面内で整合したカメラ構成が得られる（すべての平面がこれに平行）。したがって、ある画像、またはある画像から抽出した特徴を、この平面に平行化することができる。一方、内部オリエンテーションのみに依存するアルゴリズム、たとえば、放射状歪みの完全な除去は、有用性が低い。なぜなら、ｍおよびνｙについての曖昧さは、画像の、または、方形画素を得るために画像から抽出した特徴の歪みを確実に補正できないことを示唆する。
【0134】
テレセントリックラインスキャンカメラのマルチビューセットアップのカメラモデル
テレセントリックレンズを有するラインスキャンカメラを用いてステレオ再構成を実施するためには、少なくとも２つのカメラを備えたステレオセットアップが必要である。そのために、「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクションで説明した単一のテレセントリックラインスキャンカメラのカメラモデルを、マルチビューの場合に拡張する。これは、「エリアスキャンカメラのマルチビューセットアップのカメラモデル」のセクションで説明した、エリアスキャンカメラの場合と同様の方法で行うことができる。結果として、テレセントリックラインスキャンカメラのマルチビューセットアップのカメラモデルは、ステップ１０４において以下のカメラパラメータを含む。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラｌに対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション：ｍκ；κκまたはΚκ，１，Κκ，２，Κκ，３，Ｐκ，１，Ｐκ，２；ｓκ，ｘ，ｓκ，ｙ，ｃκ，ｘ，ｃκ，ｙ，νκ，ｘ，νκ，ｙ，およびνκ，ｚ。
テレセントリックレンズを有するラインスキャンカメラを用いてステレオ再構成を実施するためには、少なくとも２つのカメラを備えたステレオセットアップが必要である。そのために、「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクションで説明した単一のテレセントリックラインスキャンカメラのカメラモデルを、マルチビューの場合に拡張する。これは、「エリアスキャンカメラのマルチビューセットアップのカメラモデル」のセクションで説明した、エリアスキャンカメラの場合と同様の方法で行うことができる。結果として、テレセントリックラインスキャンカメラのマルチビューセットアップのカメラモデルは、ステップ１０４において以下のカメラパラメータを含む。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラｌに対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション：ｍκ；κκまたはΚκ，１，Κκ，２，Κκ，３，Ｐκ，１，Ｐκ，２；ｓκ，ｘ，ｓκ，ｙ，ｃκ，ｘ，ｃκ，ｙ，νκ，ｘ，νκ，ｙ，およびνκ，ｚ。
【0135】
このカメラモデルは、固定された物体に対して独立して移動するカメラをモデル化することができる。したがって、各カメラは個々の動きベクトルνκ＝（νκ，ｘ，νκ，ｙ，νκ，ｚ）Ｔを有する。
【0136】
代わりに、カメラが相互に固定されて載置され物体がカメラに対して相対的に移動する場合、個々のカメラの動きベクトルは、対応する相対オリエンテーションによって互いに関連付けられる。この場合、カメラモデルは、たとえば基準カメラ（たとえばカメラ１）のカメラ座標系に記述される１つのグローバル動きベクトルν＝（νｘ，νｙ，νｚ）Ｔのみを有する。この場合、カメラモデルは以下のカメラパラメータからなる（ステップ１０４）。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラ１に対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション：ｍκ；κκまたはΚκ，１，Κκ，２，Κκ，３，Ｐκ，１，Ｐκ，２；ｓκ，ｘ，ｓκ，ｙ，ｃκ，ｘ，ｃκ，ｙ。
・基準カメラ１の動きベクトル：νｘ，νｙ，およびνｚ。
・外部オリエンテーション（ｎｏ個の画像における較正物体の姿勢のモデル化）の６つのパラメータ：αｌ，βｌ，γｌ，ｔｌ，ｘ，ｔｌ，ｙ，およびｔｌ，ｚ。
・カメラ１に対するｎｃ個のカメラの相対オリエンテーションの６つのパラメータ：ακ，βκ，γκ，ｔκ，ｘ，ｔκ，ｙ，およびｔκ，ｚ。
・各カメラの内部オリエンテーション：ｍκ；κκまたはΚκ，１，Κκ，２，Κκ，３，Ｐκ，１，Ｐκ，２；ｓκ，ｘ，ｓκ，ｙ，ｃκ，ｘ，ｃκ，ｙ。
・基準カメラ１の動きベクトル：νｘ，νｙ，およびνｚ。
【0137】
「エリアスキャンカメラのマルチビューセットアップのカメラモデル」のセクションで述べたように、基準カメラのカメラ座標系における点ｐｌを、（２）を適用することにより、カメラκ（κ＝１，…,ｎｃ）のカメラ座標系に変換する。これにより、カメラκの動きベクトルνκは、基準カメラの動きベクトルνを、対応する相対オリエンテーションの回転行列で乗算することによって得られる。
【0138】
【数29】
【0139】
テレセントリックラインスキャンカメラのマルチビューセットアップの較正
テレセントリックラインスキャンカメラのマルチビューセットアップの較正（１０３）は、「単一のテレセントリックラインスキャンカメラの較正」のセクションで述べた、単一のテレセントリックラインスキャンカメラの較正に基づく。固定された物体に対してカメラが独立して移動する場合、すなわち、各カメラに個別の動きベクトルが割り当てられている場合、テレセントリックラインスキャンカメラのマルチビューセットアップは、たとえば以下の関数を最小にすることによって較正できる。
テレセントリックラインスキャンカメラのマルチビューセットアップの較正（１０３）は、「単一のテレセントリックラインスキャンカメラの較正」のセクションで述べた、単一のテレセントリックラインスキャンカメラの較正に基づく。固定された物体に対してカメラが独立して移動する場合、すなわち、各カメラに個別の動きベクトルが割り当てられている場合、テレセントリックラインスキャンカメラのマルチビューセットアップは、たとえば以下の関数を最小にすることによって較正できる。
【0140】
【数30】
【0141】
単一カメラの場合（（３４）参照）とは異なり、カメラの数ｎｃに対して追加の合計計算が行われる。νｊκｌは、較正物体の観察ｌのコントロールポイントｊがカメラκで見える場合は１でありそうでなければ０である関数を表す。さらに、ｐｊκｌは、カメラκの画像ｌのコントロールポイントｊの位置を表す。最後に、ｒκ（κ＝１，…，ｎｃ）は、基準カメラ１に対するカメラκの相対オリエンテーションパラメータを表す。なお、カメラκの内部オリエンテーションｉκも各カメラの動きベクトルνκを含む。
【0142】
カメラが相互に固定されて搭載され物体がカメラに対して相対的に移動する場合、テレセントリックラインスキャンカメラのマルチビューセットアップは、たとえば、以下の関数を最小にすることによって較正できる。
【0143】
【数31】
【0144】
この場合、基準カメラの動きベクトルνは、最適化におけるグローバルパラメータである。これは、相対オリエンテーションの回転部分のパラメータとともに（３５）を適用することにより、カメラκに変換される。
【0145】
ある代替実施形態において、最小化を、観察ｐｊκｌの個々の重みを導入して、たとえば、最適化中の観察の精度に関する知識を考慮することで、実施する。さらに、（３６）および（３７）において、誤差は画像座標系で最小化される。ある代替実施形態において、最小化を、代わりに、エリアスキャンカメラの較正についてSteger（2018, Section 3.9.4.2）に記載されているように、画像面座標系において実施する。
【0146】
較正の結果、カメラパラメータの値（ステップ１０４）が得られる。カメラパラメータは、すべてのカメラの内部および相対オリエンテーションのパラメータと、すべての画像における較正物体の絶対オリエンテーションのパラメータとを含む。さらに、単一の動きベクトルの場合、カメラパラメータはグローバル動きベクトルの３つの成分をさらに含む。なぜなら、この場合の動きベクトルは個々の内部オリエンテーションの一部ではないからである。
【0147】
２つのカメラの較正は、記載されているマルチカメラ較正の特殊なケースであることが容易に理解できるであろう。したがって、詳細な説明な冗長になるであろうから本明細書では省略する。さらに、カメラモデルおよび較正を拡張することにより、個々の動きベクトルおよびグローバル動きベクトルの任意の組み合わせを容易にサポートすることができる。組み合わされた動きベクトルが有用である応用の一例は、３つのカメラのうちの２つのカメラが相互に強固に接続されているため同一の動きベクトルを共有し第３のカメラが個々の動きを実施する、３つのカメラからなるシステムである。
【0148】
テレセントリック平行化マッピングの計算
第３のステップ１０５において、カメラ較正の結果得られたカメラパラメータに基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化する、テレセントリック平行化マッピング（１０６）を計算する。したがって、３つ以上のカメラを備えたマルチビューセットアップの場合、ステレオ再構成のためにテレセントリックラインスキャンカメラのペアを選択する。
第３のステップ１０５において、カメラ較正の結果得られたカメラパラメータに基づいて、テレセントリックラインスキャンカメラのペアのテレセントリックラインスキャン画像ペアを平行化する、テレセントリック平行化マッピング（１０６）を計算する。したがって、３つ以上のカメラを備えたマルチビューセットアップの場合、ステレオ再構成のためにテレセントリックラインスキャンカメラのペアを選択する。
【0149】
テレセントリック平行化マッピングは、テレセントリックラインスキャン画像ペアの、エピポーラ標準幾何学に従う幾何学的変換を説明し、これをステレオ画像平行化とも言う。したがって、このマッピングをテレセントリックラインスキャン画像ペアに適用すると、得られた、平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがなく、対応する画像点は同じ画像行にある。
【0150】
概念上、テレセントリック平行化マッピングの計算の第１の部分は、レンズ歪みがある場合はレンズ歪みの除去である。「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクションで説明したように、テレセントリックレンズを有するラインスキャンカメラの場合、レンズの歪みを完全に取り除くことが可能である。したがって、テレセントリックラインスキャン画像ペアの元の各画像について、平行化後の画像における画素ごとに元の画像における対応する画素を含む、マッピングを計算する。平行化後の画像において、すべての歪み係数は０に設定される。加えて、画素のいかなるスキューも、たとえば、ｓｘをｍｉｎ（ｓｘ，ｍνｙ）に設定し、次にνｙをｓｘ／ｍに設定することによって取り除く。
【0151】
テレセントリック平行化マッピングの計算の第２の部分は、テレセントリックラインスキャン画像ペアの、エピポーラ標準幾何学に従う幾何学的変換である。平行化の第１の部分を説明したばかりなので、テレセントリックラインスキャン画像ペアは既にレンズ歪みおよび画素スキューがなく方形画素を有すると想定することができる。
【0152】
本発明のある重要な側面は、歪みのないテレセントリックラインスキャンカメラを、テレセントリックエリアスキャンカメラとして表すことができることである。より具体的には、パラメータｍｌ＝ｍ，ｓｘ，ｌ＝ｓｘ，ｓｙ，ｌ＝ｓｙ，ｃｘ，ｌ＝ｃｘ，ｃｙ，ｌ＝ｃｙ，νｘ，ｌ＝０，およびνｙ，ｌ＝νｙ＝ｓｘ／ｍを有するテレセントリックラインスキャンカメラ（「単一のテレセントリックラインスキャンカメラのカメラモデル」のセクション参照）を、パラメータｍａ＝ｍ，ｓｘ，ａ＝ｓｘ，ｓｙ，ａ＝ｓｘ，ｃｘ，ａ＝ｃｘ，およびｃｙ，ａ＝ｃｙｓｙ／ｓｘを有するテレセントリックエリアスキャンカメラ（「エリアスキャンカメラのマルチビューセットアップのカメラモデル」のセクション参照）によって表すことができる。そのため、テレセントリックエリアスキャンカメラのための既存のステレオ再構成機能を、テレセントリックラインスキャンカメラにも使用することができる。
【0153】
テレセントリック平行化マッピングに加えて、平行化後のテレセントリックラインスキャンカメラのカメラパラメータがこのステップから返される。これらのカメラパラメータを、平行化されたカメラパラメータとして示す（ステップ１０７）。
【0154】
本発明のある好ましい実施形態において、テレセントリックエリアスキャンカメラのための既存のステレオ再構成機能を用いることにより、テレセントリックラインスキャン画像を、エピポーラ標準構成に平行化する。たとえばソフトウェアＨＡＬＣＯＮ（MVTec Software GmbH, 2019）を使用する場合、オペレータ gen_binocular_rectification_map は、適切な平行化マッピングを計算する。これに代わるものとしては、アフィン基礎行列（affine fundamental matrix）（Hartley and Zisserman, 2003, Chapter 14.2）を計算し、画像を（Hartley and Zisserman, 2003, Chapter 11.12）に記載されている方法でエピポーラ標準構成に変換する。エピポーラ平行化変換を計算するための明確な方法は、たとえばMorgan et al. (2006) および Liu et al. (2016)によって与えられている。
【0155】
これら２つの平行化部分（レンズ歪みの平行化およびエピポーラ標準幾何学に従う平行化）は連続して実行できるが、本発明の好ましい実施形態ではこれらを組み合わせて１つの平行化ステップにする。別々に実行することに対する、この組み合わせの利点は、オンライン段階で適用する必要があるのが（２つではなく）１つのテレセントリック平行化マッピングのみなので、計算時間が短くなることである。
【0156】
本発明のある好ましい実施形態において、先に説明した最初の３つのステップは、システムを設定した後にオフラインで一度実行される。そのため、これら３つのステップは、カメラセットアップが変更されこの変更がカメラ較正中に推定したパラメータに影響する場合に限り、再度実行する必要がある。テレセントリック平行化マッピングを、後にオンライン段階で使用するために格納する。ある好ましい実施形態において、平行化マッピングをルックアップテーブル（ＬＵＴ）として格納することにより、オンライン段階における効率的な平行化を可能にする。ＬＵＴは、平行化後のテレセントリックラインスキャン画像における画素ごとに、元のテレセントリックラインスキャン画像における対応する画素の位置を格納する。任意で、ＬＵＴに、適切なグレー値内挿のための重みを含めることにより、最終的な３次元再構成のより高い精度をもたらすより高い品質の平行化後画像を得てもよい。
【0157】
３次元物体のテレセントリックラインスキャン画像ペアの取得
第４のステップ（２０１）において、最初の３つのステップで説明した方法で先に較正したセットアップを用いて再構成する３次元物体のテレセントリックラインスキャン画像の取得から、オンライン段階が始まる。３次元再構成の場合少なくとも２つのカメラが必要なので、この好ましい実施形態において、テレセントリックラインスキャン画像ペア（２０３）を、テレセントリックラインスキャンカメラのペアを用いて取得する。３次元物体の再構成では１つの画像ペアで十分である。これに代わる実施形態では、テレセントリックラインスキャン画像ペア（２０３）を、３つ以上のテレセントリックラインスキャンカメラのマルチビューセットアップから選択する。各テレセントリックラインスキャン画像を、第１のステップでテレセントリックラインスキャン較正画像の取得中に実行したときと同じやり方で、相対移動を実施することにより、生成する。
第４のステップ（２０１）において、最初の３つのステップで説明した方法で先に較正したセットアップを用いて再構成する３次元物体のテレセントリックラインスキャン画像の取得から、オンライン段階が始まる。３次元再構成の場合少なくとも２つのカメラが必要なので、この好ましい実施形態において、テレセントリックラインスキャン画像ペア（２０３）を、テレセントリックラインスキャンカメラのペアを用いて取得する。３次元物体の再構成では１つの画像ペアで十分である。これに代わる実施形態では、テレセントリックラインスキャン画像ペア（２０３）を、３つ以上のテレセントリックラインスキャンカメラのマルチビューセットアップから選択する。各テレセントリックラインスキャン画像を、第１のステップでテレセントリックラインスキャン較正画像の取得中に実行したときと同じやり方で、相対移動を実施することにより、生成する。
【0158】
テレセントリックラインスキャン画像ペアの平行化
第５のステップ２０４において、再構成する３次元物体の、取得したテレセントリックラインスキャン画像ペアを、テレセントリックラインスキャンカメラのそれぞれのペアについて第３のステップ１０５で計算したテレセントリック平行化マッピング（１０６／２０２）を用いて平行化する。本発明のある好ましい実施形態において、平行化を、第３のステップで計算したＬＵＴを適用することによって効率的に実施する。たとえば、ソフトウェアＨＡＬＣＯＮ（MVTec Software GmbH, 2019）を使用するとき、オペレータ map_image を、テレセントリック平行化マッピングを適用するために使用することができる。結果として、平行化されたテレセントリックラインスキャン画像ペア（２０５）が得られる。平行化後のテレセントリックラインスキャン画像ペアにおける対応する点は、同じ画像行にある。さらに、得られた平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがない。
第５のステップ２０４において、再構成する３次元物体の、取得したテレセントリックラインスキャン画像ペアを、テレセントリックラインスキャンカメラのそれぞれのペアについて第３のステップ１０５で計算したテレセントリック平行化マッピング（１０６／２０２）を用いて平行化する。本発明のある好ましい実施形態において、平行化を、第３のステップで計算したＬＵＴを適用することによって効率的に実施する。たとえば、ソフトウェアＨＡＬＣＯＮ（MVTec Software GmbH, 2019）を使用するとき、オペレータ map_image を、テレセントリック平行化マッピングを適用するために使用することができる。結果として、平行化されたテレセントリックラインスキャン画像ペア（２０５）が得られる。平行化後のテレセントリックラインスキャン画像ペアにおける対応する点は、同じ画像行にある。さらに、得られた平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがない。
【0159】
平行化されたテレセントリックラインスキャン画像ペアから視差を計算
第６のステップ２０６において、結果として得られた平行化後のテレセントリックラインスキャン画像ペア２０５から、エピポーラ標準幾何学を活用する、利用できるさまざまなステレオマッチング手法のうちの１つにより、視差を計算する（「２眼ステレオ－画像平行化」のセクション参照）。本発明のある好ましい実施形態において、稠密視差推定の手法を適用すると、画定された画素ごとに視差値を含む視差画像が得られる。たとえば遮られた場合または低テクスチャ画像部分において、対応する画素を確実に決定できないときは、画定されない画素が発生する可能性がある。ある代替実施形態において、選択された一組の画素について視差を計算する。ある好ましい実施形態において、テンプレートマッチングに基づく稠密視差推定の手法が適用される（Steger et al., 2018, Chapter 3.10）。別の好ましい実施形態において、変分手法に基づく稠密視差推定方法が適用される。これらのような方法は、たとえ低テクスチャの画像領域であっても視差を計算することができる。本発明で説明する方法はモジュール構造なので、本発明の範囲から逸脱することなく他の代替の視差推定手法を簡単に統合することができる。
第６のステップ２０６において、結果として得られた平行化後のテレセントリックラインスキャン画像ペア２０５から、エピポーラ標準幾何学を活用する、利用できるさまざまなステレオマッチング手法のうちの１つにより、視差を計算する（「２眼ステレオ－画像平行化」のセクション参照）。本発明のある好ましい実施形態において、稠密視差推定の手法を適用すると、画定された画素ごとに視差値を含む視差画像が得られる。たとえば遮られた場合または低テクスチャ画像部分において、対応する画素を確実に決定できないときは、画定されない画素が発生する可能性がある。ある代替実施形態において、選択された一組の画素について視差を計算する。ある好ましい実施形態において、テンプレートマッチングに基づく稠密視差推定の手法が適用される（Steger et al., 2018, Chapter 3.10）。別の好ましい実施形態において、変分手法に基づく稠密視差推定方法が適用される。これらのような方法は、たとえ低テクスチャの画像領域であっても視差を計算することができる。本発明で説明する方法はモジュール構造なので、本発明の範囲から逸脱することなく他の代替の視差推定手法を簡単に統合することができる。
【0160】
３次元の点の視差は、平行化後のカメラからのこの点までの距離に、密接に関連する。したがって、本発明のある好ましい実施形態において、計算した視差は３次元物体の再構成を表す。
【0161】
視差から距離への変換
第７のステップ２０９において、第６のステップ２０６で計算した視差２０８を、距離に変換する（ステップ２１０）。この変換のために、第３のステップ１０５で得られた平行化後のカメラパラメータ（ステップ１０７／２０７）を使用する。
第７のステップ２０９において、第６のステップ２０６で計算した視差２０８を、距離に変換する（ステップ２１０）。この変換のために、第３のステップ１０５で得られた平行化後のカメラパラメータ（ステップ１０７／２０７）を使用する。
【0162】
平行化後のテレセントリックラインスキャン画像ペアにはレンズ歪みがないので、平行化後の各ラインスキャン画像は、アフィンカメラの画像として解釈することができる（Hartley and Zisserman, 2003, Chapter 6.3.4）。したがって、三角測量（Hartley and Zisserman, 2003, Chapter 14.4）およびアフィン再構成の標準アルゴリズムは、距離の計算に適用できる（Hartley and Zisserman, 2003, Chapter 14.5）。典型的に、距離は、平行化後のテレセントリックラインスキャン画像ペアの座標系で得られる、すなわち、ある点から、平行化後の２つのカメラのｙ軸およびこれらのベースラインによって画定される平面までの距離を表す。
【0163】
ある好ましい実施形態において、距離は、視差画像の画定された画素ごとに計算され、それによって距離画像が得られる。視差は、平行化後の２つの画像における対応する点を暗に示している。視差値から距離値への変換は、対応する点の２つの視線を交差させることに相当する（Steger et al., 2018, Chapter 3.10.1.5）。第１の視線は、平行化後の第１の画像における点の位置と、平行化後の第１のカメラの光軸の方向とによって画定される。第２の視線は、平行化後の第２の画像における点の位置と、平行化後の第２のカメラの光軸の方向とによって画定される。第２の画像における点の位置は次のようにして得られる。すなわち、エピポーラ標準構成によりその行の座標は第１の画像の行の座標と同一である。第２の画像における列の座標は、視差値によって修正した第１の画像の列座標に相当する（Steger et al., 2018, Chapter 3.10.1.5）。
【0164】
別の好ましい実施形態において、距離画像（ステップ２１０）は、３次元物体の再構成を表す。ある代替実施形態において、距離値を、距離画像におけるその行座標および列座標に基づいて、かつ、平行化後のカメラパラメータ（ステップ１０７／２０７）の内部オリエンテーションに基づいて、３次元座標にさらに変換する（ステップ２１０）。３次元座標は、たとえば、３つのチャネルを有する座標画像に格納する。これに代えて、３次元座標を、３次元物体の適切なモデル表現データ構造に格納してもよい。
【0165】
別の好ましい実施形態において、再構成された距離値または再構成された３次元座標は、それぞれ、元のカメラのうちの１つ、たとえば基準カメラの座標系に戻すように変換される。この剛体３次元変換は、平行化後のカメラパラメータの相対オリエンテーションおよび元のカメラパラメータの相対オリエンテーションから得ることができる。
【0166】
本発明のいくつかの特定の実施形態について詳細に説明してきたが、好ましい実施形態は、本発明の精神および範囲から逸脱することなくさまざまな修正が可能である。したがって、上記説明は、以下の請求項に示されているもの以外、本発明を限定することを意図していない。
【0167】
引用文献
【0168】
【表1】
【図1】
【図2】
【図3】
【図4】
【図5】
