特表 2024-527738 画像処理装置、画像処理方法及び光スキャナシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】画像処理装置、画像処理方法及び光スキャナシステム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20240719BHJP

   G06T 7/521 20170101ALI20240719BHJP

【ＦＩ】

G01B11/00 H

G06T7/521

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024500548

(86)(22)【出願日】2022-07-13

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 EP2022069671

(87)【国際公開番号】W WO2023285565

(87)【国際公開日】2023-01-19

(31)【優先権主張番号】21185878.2

(32)【優先日】2021-07-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】316005926

【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社

(74)【代理人】

【識別番号】110003339

【氏名又は名称】弁理士法人南青山国際特許事務所

(72)【発明者】

【氏名】ハスティン サージ

(72)【発明者】

【氏名】ロベル マーティン

【テーマコード（参考）】

2F065

5L096

【Ｆターム（参考）】

2F065AA59

2F065BB05

2F065BB22

2F065DD04

2F065FF04

2F065FF09

2F065GG04

2F065GG21

2F065JJ05

2F065JJ19

2F065JJ26

2F065MM11

2F065PP15

2F065QQ24

5L096CA17

5L096FA02

(57)【要約】

対象物を走査する光スキャナシステムのための画像処理装置は、照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得し、上記照明された対象物の第2の画像を表す第2の画像データを取得し、かつ、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するように構成された回路を具備しており、上記第1の画像は第1の視点で取得されており、上記第2の画像は、上記第1の視点とは異なる第2の視点で取得されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を走査する光スキャナシステムのための画像処理装置であって、
照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得し、
前記照明された対象物の第2の画像を表す第2の画像データを取得し、かつ、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射する
ように構成された回路
を具備し、
前記第1の画像は第1の視点で取得されており、
前記第2の画像は、前記第1の視点とは異なる第2の視点で取得されている
画像処理装置。

【請求項2】

前記回路は、前記投影された第1の画像及び第2の画像内の同一の部分について、前記投影された第1の画像データ及び第2の画像データの積を計算することにより、マージ画像を表す前記照明平面内に前記第1の画像データ及び第2の画像データをマージするようにさらに構成されている
請求項１に記載の画像処理装置。

【請求項3】

前記回路は、前記照明平面内の複数の参照オブジェクトに基づいて、前記照明平面内の前記第1の画像データおよび前記第2の画像データの投射を較正するようにさらに構成されている
請求項１に記載の画像処理装置。

【請求項4】

前記第1の画像は、前記第1の視点に位置する第1のカメラによって取得され、前記第2の画像は、前記第2の視点に位置する第2のカメラによって取得されている
請求項１に記載の画像処理装置。

【請求項5】

前記第1の画像は、前記第1の視点に位置するカメラにより取得され、前記第2の画像は、前記第1の視点から前記第2の視点に移動するカメラにより取得されている
請求項１に記載の画像処理装置。

【請求項6】

前記回路は、前記照明平面内の対象物の断面を決定するために、前記マージされた画像に対して画像セグメンテーションを行うようにさらに構成されている
請求項２に記載の画像処理装置。

【請求項7】

前記画像セグメンテーションは、一連の所定の断面基準に基づいて行われている
請求項６に記載の画像処理装置。

【請求項8】

対象物は、前記照明平面内又は前記照明平面と異なる第2の照明平面内の第2の光線でさらに照明されている
請求項１に記載の画像処理装置。

【請求項9】

前記第2の光線は、前記光線の中心波長とは異なる中心波長を有する
請求項８に記載の画像処理装置。

【請求項10】

前記回路は、
前記照明された対象物の第3の画像を表す第3の画像データを取得し、かつ、
前記照明平面内で前記第1、第2及び第3の画像データをマージするために投影された第3の画像を表す前記照明平面内に前記第3の画像データを投影する
ように構成されており、
前記第3の画像は、前記第1の視点及び前記第2の視点とは異なる第3の視点で取得されている
請求項１に記載の画像処理装置。

【請求項11】

対象物を走査する光スキャナシステムのための画像処理方法であって、
照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得するステップと、
前記照明された対象物の第2の画像を表す第2の画像データを取得するステップと、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射するステップと
を含み、
前記第1の画像は第1の視点で取得され、
前記第2の画像は、前記第1の視点とは異なる第2の視点で取得される
画像処理方法。

【請求項12】

前記投影された第1の画像及び第2の画像内の同一の部分について、前記投影された第1の画像データ及び第2の画像データの積を計算することにより、マージ画像を表す前記照明平面内に前記第1の画像データ及び第2の画像データをマージすることをさらに含む
請求項１１に記載の画像処理方法。

【請求項13】

前記照明平面内の複数の参照オブジェクトに基づいて、前記照明平面内の前記第1の画像データおよび前記第2の画像データの投射を較正することをさらに含む
請求項１１に記載の画像処理方法。

【請求項14】

前記第1の画像は、前記第1の視点に位置する第1のカメラによって取得され、前記第2の画像は、前記第2の視点に位置する第2のカメラによって取得される
請求項１１に記載の画像処理方法。

【請求項15】

前記第1の画像は、前記第1の視点に位置するカメラにより取得され、前記第2の画像は、前記第1の視点から前記第2の視点に移動するカメラにより取得される
請求項１１に記載の画像処理方法。

【請求項16】

前記照明平面内の対象物の断面を決定するために、前記マージされた画像に対して画像セグメンテーションを行うことをさらに含む
請求項１２に記載の画像処理方法。

【請求項17】

前記画像セグメンテーションは、一連の所定の断面基準に基づいて行われる
請求項１６に記載の画像処理方法。

【請求項18】

対象物を走査する光スキャナシステムであって、
照明平面内の光線で対象物を照明するように構成された光源と、
前記照明された対象物の第1の画像を取得するように構成された第1の視点に配置された第1のカメラと、
前記照明された対象物の第2の画像を取得するように構成された前記第1の視点とは異なる第2の視点に配置された第2のカメラと、
回路を備えた画像処理装置と
を具備し、
前記回路は、
前記第1の画像を表す第1の画像データを取得し、
前記第2の画像を表す第2の画像データを取得し、かつ、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射する
ように構成されている
光スキャナシステム。

【請求項19】

前記照明平面内または前記照明平面とは異なる第2の照明平面内の第2の光線で、対象物を照明するように構成された第2の光源をさらに含む
請求項１８に記載の光スキャナシステム。

【請求項20】

前記第2の光線は、前記光線の中心波長とは異なる中心波長を有する
請求項１９に記載の光スキャナシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、対象物を走査する光スキャナシステムのための画像処理装置及び画像処理方法、並びに対象物を走査する光スキャナシステムに関する。

【背景技術】

【0002】

一般に、例えば、対象物の外形に関する情報を得るために対象物を走査する光スキャナシステムが知られている。典型的には、このような光スキャナシステムは、非トランスペアレントな対象物を走査するために、例えば、コンベヤベルト上の対象物の体積を走査するために使用される。

【0003】

例えば、互いに所定の位置関係を有するレーザ及びカメラを含むレーザ光スキャナシステムが知られている。レーザは対象物を光点または光線で照らし、カメラは対象物の表面から反射する光を検出する。物体までの距離に応じて、所定の位置関係に基づいて、レーザ光スキャナシステムが三角測量によって物体の形態に関する情報を得ることができるように、反射光はカメラで取得した画像の異なる場所に現れる。

【0004】

しかしながら、レーザの波長に対してトランスペアレントである(例えば、ガラスボトルのような可視スペクトルにおいてトランスペアレントである)対象物の走査は、その表面の低い反射率及び複数の反射、並びにそれらが取得された画像の品質に影響を及ぼし得る複数の反射及び屈折のために、ある場合には、一般に知られているように、このようなレーザ光スキャナシステムでは困難である場合がある。従って、照明波長に対してトランスペアレントである対象物を照明することは、場合によっては、対象物のシャープで曖昧さのない画像を取得することを可能にしないことがあり、このようにして、例えば、対象物の外形に関する情報が影響を受けることがある。

【0005】

既知のレーザ光スキャナシステムは、そのような対象物を走査するために使用され得るが、これは、照明波長に対して非トランスペアレントな粉末で覆われることを必要とし得る。

【0006】

対象物を走査するための光スキャナシステムのための技術が存在するが、一般に、既存の技術を改善することが望ましい。

【発明の概要】

【0007】

第1の態様によれば、本開示内容は、対象物を走査する光スキャナシステムのための画像処理装置を提供し、この画像処理装置は、照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得し、上記照明された対象物の第2の画像を表す第2の画像データを取得し、かつ、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するように構成された回路を具備し、上記第1の画像は第1の視点で取得されており、上記第2の画像は、上記第1の視点とは異なる第2の視点で取得されている。

【0008】

第2の態様によれば、本開示内容は、対象物を走査する光スキャナシステムのための画像処理方法を提供し、この画像処理方法は、照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得するステップと、上記照明された対象物の第2の画像を表す第2の画像データを取得するステップと、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するステップとを含み、上記第1の画像は第1の視点で取得され、上記第2の画像は、上記第1の視点とは異なる第2の視点で取得される。

【0009】

第3の態様によれば、本開示内容は、対象物を走査する光スキャナシステムを提供し、この光スキャナシステムは、照明平面内の光線で対象物を照明するように構成された光源と、上記照明された対象物の第1の画像を取得するように構成された第1の視点に配置された第1のカメラと、上記照明された対象物の第2の画像を取得するように構成された上記第1の視点とは異なる第2の視点に配置された第2のカメラと、回路を備えた画像処理装置とを具備し、上記回路は、上記第1の画像を表す第1の画像データを取得し、上記第2の画像を表す第2の画像データを取得し、かつ、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するように構成されている。

【0010】

さらなる複数の態様が、従属請求項、以下の説明及び図面に示されている。

【図面の簡単な説明】

【0011】

本開示における実施形態は、添付の図面を参照して例として説明される。

【図1】対象物を走査するための光スキャナシステムの一実施形態を概略的に示す。

【図2】AおよびBにおいて、ピンホールカメラモデルに基づく画像データ投射の原理を概略的に示す。

【図3】画像処理方法の一実施形態を概略的に示すフロー図である。

【発明を実施するための形態】

【0012】

図1を参照して実施形態を詳細に説明する前に、一般的な説明をする。

【0013】

最初に述べたように、レーザの波長に対してトランスペアレント(例えば、ガラスボトルのような可視スペクトルではトランスペアレント)である対象物の走査は、既知のレーザ光スキャナシステムでは、場合によっては、一般に知られているように、その表面の反射率が低く、多重反射及び屈折が対象物内及びその周囲を引き起こし、取得された画像の品質に影響を及ぼす可能性があるため、困難である場合がある。従って、照明波長に対してトランスペアレントである対象物を照明することは、典型的には、例えば、対象物の形に関する情報が影響を受けるような、対象物のシャープで曖昧でない画像を獲得することを許容しない。

【0014】

照明された対象物の少なくとも2つの画像-照明波長に対してトランスペアレントである-は、対象物内の多重反射及び屈折の画質への影響を低減するために、少なくとも2つの別の視点から取得されるべきであることが認識されている。

【0015】

さらに、画質に対する弱い反射の影響を減らすために、画質を改善するためのイメージングコントラストを増強するために、少なくとも2つの画像をマージすべきであることが認識されている。

【0016】

従って、いくつかの実施形態は、対象物を走査する光スキャナシステムのための画像処理装置に関するものであり、この画像処理装置は、照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得し、上記照明された対象物の第2の画像を表す第2の画像データを取得し、かつ、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するように構成された回路を具備し、上記第1の画像は第1の視点で取得されており、上記第2の画像は、上記第1の視点とは異なる第2の視点で取得されている。

【0017】

回路は、集積回路ロジックに基づいてもよく、または集積回路ロジックとして実装されてもよく、あるいはCPU (中央処理ユニット)、アプリケーションプロセッサ、グラフィカル処理ユニット(GPU)、マイクロコントローラ、FPGA (フィールドプログラマブルゲートアレイ)、ASIC (アプリケーション特定集積回路)などによって実装されてもよい。この機能性は、アプリケーションプロセッサなどのプロセッサによって実行されるソフトウェアによって実現することができる。回路は、本明細書に記載するような機能性を達成するように構成された典型的な電子部品に基づいてもよく、または、これを含んでもよく、またはそれによって実施してもよい。回路は、典型的な電子構成要件及び集積回路ロジックによる部品及びソフトウェアによる部品に基づいてもよいし、またはこれらの部品で実行されてもよい。

【0018】

この回路は、有線または無線接続、例えばWi-Fi（登録商標）、Bluetooth（登録商標）、またはUMTS、LTEなどに基づく(および対応する通信プロトコルを実装する)モバイル電気通信システムを介して、ネットワーク(例えば、インターネット)を介したコンピュータまたはプロセッサ(例えば、アプリケーションプロセッサなど)とデータを通信かつ交換するように構成された通信インタフェースを含むことができる。回路は、データバス(インタフェース)(例えば、MIPI (Mobile Industry Processor Interface)仕様(例えば、MGRII CSI-2など)に従ったカメラシリアルインタフェース(CSI)など)を含んでもよい。回路は、データバスを介してデータを送信(かつ受信)するためのデータバス(インターフェース)を含んでもよい。

【0019】

回路は、半導体記憶技術(例えば、RAM、EPROM等)または磁気記憶技術(例えば、ハードディスクドライブ)等に基づくことができるメモリのようなデータを記憶するデータ記憶能力を含むことができる。

【0020】

いくつかの実施形態は、対象物を走査する光スキャナシステムに関するものであり、この光スキャナシステムは、照明平面内の光線で対象物を照明するように構成された光源と、上記照明された対象物の第1の画像を取得するように構成された第1の視点に配置された第1のカメラと、上記照明された対象物の第2の画像を取得するように構成された上記第1の視点とは異なる第2の視点に配置された第2のカメラと、回路を備えた画像処理装置とを具備し、上記回路は、上記第1の画像を表す第1の画像データを取得し、上記第2の画像を表す第2の画像データを取得し、かつ、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するように構成されている。

【0021】

光源は、例えば、レーザーダイオード等のレーザ、レーザーダイオードアレイ等のレーザーアレイ、発光ダイオード、発光ダイオードアレイ等であってもよい。光源は、レンズ、ミラー、1つ以上の光フィルタ(例えば、光(狭い)バンドパスフィルタ、偏光フィルタ等)等の光学部品を含むことができる。

【0022】

光源は、照明面内の光線で対象物を照らすように構成されており、光線は、照明面の上下ではるかに狭い空間強度分布によって特徴付けることができる。

【0023】

光源は、光線が光の極性線であるように、偏光（直線または円形の偏光）を発してもよい。

【0024】

光線は、この点での開示を制限することなく、例えば、可視スペクトルまたは赤外線スペクトルにおいて、(光源のスペクトル光発光プロファイルの)中心波長を有することができる。中心波長は、照明波長とも呼ばれ得る。

【0025】

対象物は、例えば、可視又は赤外スペクトル等でトランスペアレントであってもよい。

【0026】

対象物は、光源によって放射される光の中心波長に対してトランスペアレントであってもよい。したがって、いくつかの実施形態では、対象物はトランスペアレントな対象物である。対象物は、例えば可視又は赤外スペクトル等で非トランスペアレントであってもよい。対象物は、光源によって放射される光の中心波長に対して非トランスペアレントであってもよい。したがって、いくつかの実施形態では、対象物は非トランスペアレントな対象物である。対象物の一部がトランスペアレントになり、対象物の別の部分が非トランスペアレントになることがある。

【0027】

対象物の走査は、典型的には、対象物に沿った光線の移動であり、例えば、光源は、対象物に関して所定の走査方向に所定のステップで移動されてもよく、対象物を走査するために、対象物は、光源に対して移動されてもよい。

【0028】

照明面は基本的に照明座標系を定義する。照明座標系は、対象物が走査されるとき、所定の走査方向に沿って所定のステップで移動することができる。

【0029】

第1の視点及び第2の視点は、予め決定されてもよく、または照明面内の基準対象物に基づいたキャリブレーション手順で決定されてもよい。視点は、照明座標系に関するカメラの位置及び向きを含む。

【0030】

いくつかの実施形態において、第1の画像は、第1の視点に位置決めされたカメラによって取得され、第2の画像は、第1の視点から第2の視点に移動されたカメラによって取得される。このような実施形態では、第1の画像及び第2の画像は、第1の視点から第2の視点に移動される単一のカメラによって取得される。

【0031】

いくつかの実施形態において、第1の画像は、第1の視点に配置された第1のカメラによって取得され、第2の画像は、第2の視点に配置された第2のカメラによって取得される。このような実施形態では、第1の画像および第2の画像は、異なる視点に位置する2つの異なるカメラによって取得される。

【0032】

各カメラ、第1のカメラおよび第2のカメラは、RGB(「赤緑青」)カメラ、赤外線カメラ等であってもよく、これは、光を検出するように構成された複数の画像ピクセルを有する画像センサを含む。各カメラ、第1のカメラおよび第2のカメラまたは画像センサは、光ロングパスフィルタ、光ショートパスフィルタ、光(狭)バンドパスフィルタなど、1つ以上の光フィルタを含むことができる。光学フィルタは、例えば、(狭)バンドパスフィルタは、光源のスペクトル発光プロファイルの中心波長上に位置合わせされてもよく、または適合されてもよく、例えば、環境光の少なくとも一部を遮断する。1つ以上の光学フィルタは、偏光フィルタを含んでもよい。偏光フィルタは、例えば、環境光の少なくとも一部を遮断するために、光源によって放射される光線の偏光に適合され得る。

【0033】

イメージセンサは、照明された対象物のイメージを取得するための複数のイメージ画素による光検出に応答して、画像データを生成するように構成されている。

【0034】

画像データは、照明された対象物の画像を表す複数の画像画素からの複数の画素値を含み、したがって、複数の画素値の画素値は複数の画像画素の画像画素(ひいては画像画素位置)に関連付けられる。画素値は、例えば、RGB値、CYMK値、またはグレー値(例えば、0から255の間の値など)であってもよい。

【0035】

上述のように、対象物-例えば異なる視点からの照明波長に対してトランスペアレントである対象物-の画像を取得することによって、画像品質に及ぼす対象物内の多重反射及び屈折の影響は低減され得る。さらに、オクルージョンは、例えば、対象物の不透明部分(例えば、照明波長に対する不透明部分)を減少させることができるので、対象物の形状は、より確実に決定され得る。

【0036】

第1の画像データ及び第2の画像データは、照明面内で第1の画像データ及び第2の画像データをマージするために、それぞれ投影された第1の画像及び第2の画像を表す照明面内に投影される。

【0037】

基本的に、照明面内の画像データを投影することは、複数の画像画素からの複数の画素値と照明面の部分との関連付け、換言すれば、照明座標系内の座標との関連付けを含む。

【0038】

説明のために、単純なピンホールカメラモデル(図2の参照下でも説明する)では、カメラ内の画像ピクセルに関連付けられた画素値(したがって画像画素位置)が、カメラの視点に基づいて照明平面内に投影され、ピンホールによって与えられた中心に対して均一な拡大(「中心伸張」)が行われる。これにより、複数の画像画素からの複数の画素値は、照明座標系における座標に関連付けられる。

【0039】

従って、投影された第1の画像データは、複数の第1の画素値を含み、複数の第1の画素値の画素値は、照明平面内にある点から生じる光の検出に応答して生成される。

【0040】

従って、投影された第2の画像データは、複数の第2の画素値を含み、複数の第2の画素値の画素値は、照明面内に存在する点から生じる光の検出に応答して生成される。

【0041】

従って、照明平面内での第1の画像データ及び第2の画像データの投射により、照明平面内に存在する点から生じる光の検出に応答して生成される、複数の第1の画素値の第1の画素値に関連する第1の座標は、照明平面内に存在する同一の点から生じる光の検出に応答して生成される、複数の第2の画素値の第2の画素値に関連する第2の座標と同一である。

【0042】

従って、投影された第1の画像及び第2の画像における同一の部分は、第1の画素値及び第2の画素値に関連する照明面における同一の座標によって決定され、それにより、第1の画像データ及び第2の画像データは、第1の画素値及びこれらの座標に関連する第2の画素値に基づいて、照明面においてマージすることができる。

【0043】

言い換えれば、別の視点で取得された画像(例えば、2つのカメラによって取得された)は、光源の照明面内の異なる画像の投射を計算し、投射された異なる画像内の同じ位置に現れる部分を探すことによってマージされる。典型的には、光源の照明面内にある対象物又はその周囲の点のみが、2つの画像内の同じ位置に現れるが、照明面から離れている対象物又はその周囲の部分は一致しない。

【0044】

従って、いくつかの実施形態において、回路は、マージ画像を表わす照明面内で第1の画像データ及び第2の画像データをマージするようにさらに構成される。

【0045】

いくつかの実施形態において、回路は、投影された第1の画像データ及び第2の画像内の同一部分に関して、投影された第1の画像データ及び第2の画像データの積を計算することにより、マージ画像を表わす照明面内で第1の画像データ及び第2の画像データをマージするようにさらに構成される。

【0046】

当該実施形態において、複数の第1の画素値の第1の画素値と複数の第2の画素値の第2の画素値とが、第1の画素値と第2の画素値とが照明面内の同一の座標に関連付けられている場合に、第1の画素値の第1の画素値と、複数の第2の画素値の第2の画素値とを乗算する。

【0047】

このような実施形態では、マージされた画像は、そのような画素値生成によって表される。

【0048】

これにより、対象物-例えば照明波長に対してトランスペアレントである対象物-の画像の画質を高めることができる。というのは、一方では、異なる視点からの対象物の画像を合体させて、対象物内の多重反射及び屈折の画質への影響を低減することができ、他方では、画像コントラストを高めることができるからである。

【0049】

例えば、第1の視点において取得された第1の画像が、対象物の断面のノイズの多い領域を有し、第2の視点において取得された第2の画像が、対象物の断面の領域におけるノイズがより少ないと仮定する。次いで、高強度領域が増強され、低強度領域が抑制されるので、画像コントラストは、この領域における画素値の積を計算することによって増強され得る。

【0050】

他の実施態様において、第1の画像データ及び第2の画像データは、投影された第1の画像データ及び第2の画像内の同一の部分に関する投影された第1の画像データ及び第2の画像データ間の比又は差を計算することにより、マージされた画像を表す照明面内でマージされる。

【0051】

上述したように、照明平面における画像データの投射は、照明座標系に関してカメラの位置と向きを規定するので、カメラの視点に基づく。

【0052】

さらに上述したように、第1の視点および第2の視点は、予め決定されてもよく、または照明平面内の参照対象物に基づいたキャリブレーション手順で決定されてもよい。

【0053】

従って、いくつかの実施形態において、回路は、照明面内の複数の参照対象物に基づき、照明面内の第1の画像データ及び第2の画像データの投射を較正するようにさらに構成される。

【0054】

一般に、結合画像は、光線を用いて対象物を走査し、結合画像に基づいて各走査位置に対して対象物の断面を決定することによって、対象物の形状を決定するために使用され得る。決定された対象物の形状は、対象物の３次元コンピュータモデルを生成するために使用され得る。マージされた画像は、対象物の材料識別のために使用することができる。なぜならば、マージされた画像内の断面を表す曲線または閉ループの形状は、材料ベースの反射および散乱性のために、対象物の材料に依存する可能性があるからである。

【0055】

従って、いくつかの実施形態に於いて、回路は、照明面内での対象物の断面を決定するために、マージ画像に画像セグメンテーションを実施するようにさらに構成される。

【0056】

いくつかの実施形態では、画像セグメンテーションは、一連の所定の断面基準に基づいて実行される。一連の所定の断面基準は、例えば、曲線または閉ループ、曲線または閉ループの形状および厚さ、マージされた画像の所定の領域における曲線または閉ループの外観などであってもよい。

【0057】

いくつかの実施形態では、対象物はさらに、照明面内または照明面とは異なる第2の照明面内の第2の光線で照明される。例えば、障害物のある領域を回避または縮小する場合である。

【0058】

従って、実施形態では、光スキャナシステムは、照明面内又は照明面とは異なる第2の照明面内の第2の光線で対象物を照明するようにさらに構成された第2の光源を含む。

【0059】

いくつかの実施形態では、第2の光線は、光線の中心波長とは異なる中心波長を有する。例えば、対象物-例えば照明波長に対してトランスペアレントである対象物-の反射及び散乱性は、マージされた画像が、適切な異なる波長が選択されたときに材料識別のために使用され得るように、照明光の波長に依存することができる。

【0060】

いくつかの実施形態では、2つの光源によって異なる中心波長が使用される場合、光のラインは照明面内の対象物を照明し、光の第2のラインは照明面とは異なる第2の照明面内の対象物を照明する。

【0061】

一般に、本開示は、2つの(異なる)光源または任意の特定数の光源に限定されるものではない。いくつかの実施形態では、複数の光源が複数の照明面で物体を照らす。複数の照明面は、同一平面であってもよく、又は異なる照明面であってもよい。

【0062】

一般に、本開示は、2つの画像のみを取得し、投影し、マージすることに限定されない。したがって、いくつかの実施形態では、複数の画像が複数の別の視点で取得される。複数の画像は、複数のカメラによって取得されてもよく、または複数の異なる視点のそれぞれに移動される単一のカメラによって取得されてもよい。

【0063】

上述したように、照明面における第1の画像データ及び第2の画像データのマージは、例えば、画像コントラストを強調することによって、画像品質を改善することができ、従って、任意の追加の画像は、画像品質をさらに改善することができる。

【0064】

従って、いくつかの実施形態において、上記回路は、上記照明された対象物の第3の画像を表す第3の画像データを取得し、かつ、上記照明平面内で上記第1、第2及び第3の画像データをマージするために投影された第3の画像を表す上記照明平面内に上記第3の画像データを投影するように構成されており、上記第3の画像は、上記第1の視点及び上記第2の視点とは異なる第3の視点で取得されている。

【0065】

いくつかの実施形態は、対象物を走査する光スキャナシステムのための画像処理方法に関するものであって、この画像処理方法は、照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得するステップと、上記照明された対象物の第2の画像を表す第2の画像データを取得するステップと、上記照明平面内で上記第1の画像データ及び上記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す上記照明平面内に上記第1の画像データ及び上記第2の画像データを投射するステップとを含み、上記第1の画像は第1の視点で取得され、上記第2の画像は、上記第1の視点とは異なる第2の視点で取得される。

【0066】

この画像処理方法は、本明細書に記載するように画像処理装置によって実行することができる。

【0067】

本明細書に記載する方法はまた、コンピュータおよび/またはプロセッサに方法を実行させるコンピュータプログラムとして、コンピュータおよび/またはプロセッサをコンピュータおよび/またはプロセッサに実行させるいくつかの実施形態において実施される。いくつかの実施形態では、上述のプロセッサによって実行されると、本明細書に記載の方法を実行させるコンピュータプログラム製品を記憶する非一時的なコンピュータ可読記録媒体も提供される。

【0068】

図1に戻ると、対象物6を走査するための光スキャナシステム1の一実施形態が概略的に示されており、以下で説明する。

【0069】

光スキャナシステム1は、光源2と、第1のカメラ3aと、第2のカメラ3bと、制御部4と、画像処理装置5とを備えている。ここで、画像処理装置5は、別個の装置として示されているが、他の実施形態では、画像処理装置5は、制御部4の一部である。

【0070】

対象物6及び複数の参照オブジェクト7a,7b,7cは、テーブル8上に配置されている。対象物6は、例えば、中空ガラス瓶である。なお、複数の参照オブジェクト7a,7b,7cは、不透明なオブジェクトであってもよい。複数の参照物体7a,7b,7cは、制御部4及び画像処理装置5に知られているテーブル8上の所定の位置及び向きを有する。

【0071】

光源2は、照明面9における対象物6の断面10が照明光を反射し、屈折し、散乱するように、照明面9における光のラインで対象物6を照らす。光源2はレーザーダイオードである。光線は可視スペクトルの中心波長を持つ。対象物6は、光源2の照明波長に対してトランスペアレント(可視スペクトルでトランスペアレント)である。

【0072】

また、光源2は、照明面9において、表面反射11a,l1b,11cが複数の参照オブジェクト7a,7b,7c上で視認できるように、照明面9における複数の参照オブジェクト7a,7b,7cを照明する。

【0073】

また、光源2は、光線で対象物6を走査する走査方向12に移動させることができる。

【0074】

第1のカメラ3aは、第1の視点に位置付けされ、照明対象物6の第1の画像を取得する。第1のカメラはRGBカメラである。

【0075】

第2のカメラ3bは、第1の視点とは異なる第2の視点に位置させ、照明対象物6の第2の画像を取得する。第2のカメラはRGBカメラである。

【0076】

制御装置4は、基本的に、例えば、光源2の発光、第1のカメラ3a及び第2のカメラ3bの画像取得、カメラ3a及び3bと画像処理装置5との間の画像データ転送の制御、ならびに走査方向12に沿った対象物6の走査など、光スキャナシステム1の動作全般を制御する。

【0077】

画像処理装置5は、第1の視点において取得された照明対象物6の第1の画像を表す第1の画像データと、第2の視点において取得された照明対象物6の第2の画像を表す第2の画像データとを取得する。

【0078】

第1の画像データは、第1のカメラ3a内のイメージセンサの複数の画像画素からの複数の第1の画素値を含む。複数の第1の画素値は、照明対象物6の第1の画像を表す。複数の第1画素値は、例えば、対象物6の断面10から照明平面9内に存在する点から生じる光の検出に応答して生成される第1の画素値を含む。

【0079】

第2の画像データは、第2のカメラ3b内のイメージセンサの複数の画像画素からの複数の第2の画素値を含む。複数の第2の画素値は、照明対象物6の第2の画像を表す。複数の第2の画素値は、例えば、対象物6の断面10からの照明面9内に存在する点から生じる光の検出に応答して生成される第2の画素値を含む。

【0080】

照明平面9は照明座標系を定義し、第1の視点及び第2の視点は、照明座標系に対する第1のカメラ及び第2のカメラ3a及び3bそれぞれの位置及び向きを含む。

【0081】

光源2は、制御装置4及び画像処理装置5に知られている走査方向12に沿った所定の走査位置を有する。また、光源2は、テーブル8に対する照明面9の配向度が制御装置4及び画像処理装置5に知られるように、テーブル8に対して所定の配向度を有する。

【0082】

画像処理装置5は、第1及び第2の画像における複数の参照オブジェクト7a,7b,7c上の表面反射11a,l1b,11cの位置及び向きに基づいて、それぞれ第1の視点及び第2の視点を決定する。

【0083】

よって、画像処理装置5は、複数の参照オブジェクト7a、7b、7cに基づいて、照明面における第1の画像データおよび第2の画像データの投射を較正する。

【0084】

画像処理装置5は、照明面9において第1の画像データおよび第2の画像データをマージするために、投影された第1の画像データおよび第2の画像をそれぞれ表す照明面9において第1の画像データおよび第2の画像データを投影する。

【0085】

照明面9における第1の画像データ及び第2の画像データの投射により、第1の画素値及び第2の画素値は、照明座標系に関して照明面9における座標に関連づけられる。

【0086】

画像処理装置5は、投影された第1の画像及び第2の画像における同一の部分について、投影された第1の画像データ及び第2の画像データの積を計算することによって、マージ画像を表す照明面9における第1の画像データ及び第2の画像データをマージする。

【0087】

投影された第1の画像及び第2の画像における同一の部分は、第1の画素値及び第2の画素値に関連する照明面9における同一の座標によって決定される。

【0088】

従って、投影された第1の画像及び第2の画像における同一の部分に対する投影された第1の画像データ及び第2の画像データの積の計算において、複数の第1の画素値の第1の画素値のそれぞれの第1の画素値は、第1の画素値及び第2の画素値が照明面9における同一の座標に関連付けられているとき、複数の第2の画素値の第2の画素値の1つの値と乗算される。

【0089】

これにより、対象物6内の多重反射や屈折による画質への影響を軽減するために、対象物6の画質を向上させることができ、一方で、異なる視点からの対象物6の画像をマージさせることができ、他方で、画像コントラストを向上させることができる。

【0090】

従って、断面10は、より正確に決定されてもよく、さらに、対象物6が走査方向12に沿って複数の走査位置に対して走査される場合には、対象物6の形状がより正確に決定され得る。

【0091】

画像処理装置5は、対象物6の断面10を決定するために、マージされた画像上で画像セグメンテーションを実行し、この画像セグメンテーションは、一連の所定の断面基準に基づいて実行される。

【0092】

他の実施形態では、第1の画像及び第2の画像を取得するために、第1の視点から第2の視点に移動されるカメラは1つだけである。

【0093】

他の実施形態では、照明面9内の第2の光線で対象物6を照らすための第2の光源がある。第2の光線は、光源2からの光線の中心波長とは異なる中心波長を有していてもよい。

【0094】

図2は、図2A及び図2Bにおいて、ピンホールカメラモデルに基づく画像データ投射の原理を概略的に示す。この原理は、以下で論じられる。

【0095】

図2Aにおいて、図1の照明面9は、原点における照明座標系(x、y、z)が描かれているものが示されている。

【0096】

イメージセンサ30を含むカメラ3(例えば、図1の第1のカメラ3a又は第2のカメラ3b)が示されている。カメラ3は、図示のために、カメラ3に光が入るピンホールCを有するピンホールカメラとしてモデル化されている。

【0097】

カメラ3はある視点に位置決めされ、視点は照明座標系に対するピンホールCの位置と、照明座標系に対するカメラ3の配向度とによって決定される。

【0098】

カメラ3の配向度は、ピンホールCを通るカメラ3の中心線である点線で図示されており、カメラ3の配向度は、照明面9における点P(照明座標系に対して座標を有する)を決定する。

【0099】

画像ピクセル位置Iは、実線によって図示されているように、照明面9内の対象物点O(照明座標系に関して座標を有する)と関連付けられる。

【0100】

このように、画像画素位置Iにおける画像画素の画素値は、対象物点Oに関連付けられる。つまり、画像画素位置Iにおける画像画素の画素値は、照明座標系における対象物点Oの座標に関連付けられる。ピクセル値は、照明面9内の対象物点Oから発生する光の検出に応答して生成される。

【0101】

この関連付けは、実線と照明面9の交点によって決定される。実線の方向は、画像画素位置IとピンホールCとの間の方向によって決定される。

【0102】

照明面9における画像画素位置Iの投射は、ピンホールCに関する均質な膨張(「中心伸長」)に基づく。

【0103】

したがって、対象物点Oへのベクトルは次のように与えられる。

【数1】

【0104】

ここで、Oは照明座標系の原点から対象物点Oまでのベクトル、Cは照明座標系の原点からピンホールCまでのベクトル、Iは照明座標系の原点から画像画素位置Iまでのベクトル、Pは照明座標系の原点から点Pまでのベクトル、Nは照明面9の法線ベクトルである。

【0105】

図2Bでは、光を発する対象物40が照明面9の上に配置されていることが示されている。

【0106】

第1のカメラ3a及び第2のカメラ3bは、それぞれ、第1の画像及び第2の画像を取得する。この場合、対象物40から発生する光は、短い破線及び長い破線によってそれぞれ示されるように、第1のカメラ3aの第1の画像センサ30a及び第2のカメラ3bの第2の画像センサ30bに到達する。

【0107】

照明面9に向かう短い破線及び長い破線の延長は、それぞれ、第1のイメージセンサ30aからの第1の画素値及び第2のイメージセンサ30bからの第2の画素値が、(他の実施形態において上方に(又は下方に)配置されている)対象物40の1つの点から発生する光に応答して生成されることを示しており、これは、照明面9内に投影されるとき、通常、照明面9内の異なる座標に関連付けられる。

【0108】

従って、典型的には、照明面9内の点に対して、画像コントラストの強調が選択的に達成され得る。

【0109】

図3は、以下で論じる画像処理方法100の一実施形態を概略的にフロー図で示す。

【0110】

符号101において、対象物の第1の画像を表す第1の画像データが得られるが、これは照明平面内の光線で照明されている。ここで、第1の画像は、本明細書で論じられるように、第1の視点において取得される。

【0111】

符号102において、照明された対象物の第2の画像を表す第2の画像データが取得される。ここで、第2の画像は第1の視点とは異なる第2の視点において取得される。これについては本明細書で論じている。

【0112】

符号103においては、第1の画像データ及び第2の画像データの照明平面内での投射が、本明細書で論じられるように、照明平面内の複数の参照オブジェクトに基づいて較正される。

【0113】

符号104においては、第1の画像データ及び第2の画像データは、それぞれ、投射された第1の画像及び第2の画像を表す照明面内で投射され、本明細書で論じられるように、第1の画像データ及び第2の画像データを照明面内でマージする。

【0114】

符号105においては、第1の画像データと第2の画像データは、本明細書で論じられるように、投影された第1の画像と第2の画像内の同一部分に対して、投影された第1の画像と第2の画像データの積を計算することにより、合体画像を表す照明平面内でマージされる。

【0115】

符号106においては、本明細書で論じられるように、照明面内の対象物の断面を決定するために、マージされた画像に対して画像セグメンテーションが実行される。

【0116】

上述した実施形態は、方法ステップの例示的な順序付けを伴う方法を説明していることを理解されたい。しかしながら、方法ステップの特定の順序付けは、例示のみを目的として与えられており、結合力のあるものとして解釈されるべきではない。

【0117】

本明細書に記載され、添付の特許請求の範囲に請求されるすべてのユニットおよびエンティティは別段の記載がない限り、例えばチップ上の集積回路ロジックとして実装することができ、そのようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。

【0118】

上述の本開示の実施形態が少なくとも部分的に、ソフトウェア制御されたデータ処理装置を使用して実施される限り、そのようなソフトウェア制御を提供するコンピュータプログラム、およびそのようなコンピュータプログラムが提供される伝送、記憶、または他の媒体が、本開示の態様として想定されることが理解される。

【0119】

なお、本技術は以下のような構成も取ることができる。
(1) 対象物を走査する光スキャナシステムのための画像処理装置であって、
照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得し、
前記照明された対象物の第2の画像を表す第2の画像データを取得し、かつ、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射する
ように構成された回路
を具備し、
前記第1の画像は第1の視点で取得されており、
前記第2の画像は、前記第1の視点とは異なる第2の視点で取得されている
画像処理装置。
(2) 前記回路は、前記投影された第1の画像及び第2の画像内の同一の部分について、前記投影された第1の画像データ及び第2の画像データの積を計算することにより、マージ画像を表す前記照明平面内に前記第1の画像データ及び第2の画像データをマージするようにさらに構成されている
(1)に記載の画像処理装置。
(3) 前記回路は、前記照明平面内の複数の参照オブジェクトに基づいて、前記照明平面内の前記第1の画像データおよび前記第2の画像データの投射を較正するようにさらに構成されている
(1)または(2)に記載の画像処理装置。
(4) 前記第1の画像は、前記第1の視点に位置する第1のカメラによって取得され、前記第2の画像は、前記第2の視点に位置する第2のカメラによって取得されている
(1)～(3)のいずれか1つに記載の画像処理装置。
(5) 前記第1の画像は、前記第1の視点に位置するカメラにより取得され、前記第2の画像は、前記第1の視点から前記第2の視点に移動するカメラにより取得されている
(1)～(4)のいずれか1つに記載の画像処理装置。
(6) 前記回路は、前記照明平面内の対象物の断面を決定するために、前記マージされた画像に対して画像セグメンテーションを行うようにさらに構成されている
(2)～(5)のいずれか1つに記載の画像処理装置。
(7) 前記画像セグメンテーションは、一連の所定の断面基準に基づいて行われている
(6)に記載の画像処理装置。
(8) 対象物は、前記照明平面内又は前記照明平面と異なる第2の照明平面内の第2の光線でさらに照明されている
(1)～(7)のいずれか1つに記載の画像処理装置。
(9) 前記第2の光線は、前記光線の中心波長とは異なる中心波長を有する
(8)に記載の画像処理装置。
(10) 前記回路は、
前記照明された対象物の第3の画像を表す第3の画像データを取得し、かつ、
前記照明平面内で前記第1、第2及び第3の画像データをマージするために投影された第3の画像を表す前記照明平面内に前記第3の画像データを投影する
ように構成されており、
前記第3の画像は、前記第1の視点及び前記第2の視点とは異なる第3の視点で取得されている
(1)から(9)のいずれか1つに記載の画像処理装置。
(11) 対象物を走査する光スキャナシステムのための画像処理方法であって、
照明平面内において光線で照明された対象物の第1の画像を表す第1の画像データを取得するステップと、
前記照明された対象物の第2の画像を表す第2の画像データを取得するステップと、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射するステップと
を含み、
前記第1の画像は第1の視点で取得され、
前記第2の画像は、前記第1の視点とは異なる第2の視点で取得される
画像処理方法。
(12) 前記投影された第1の画像及び第2の画像内の同一の部分について、前記投影された第1の画像データ及び第2の画像データの積を計算することにより、マージ画像を表す前記照明平面内に前記第1の画像データ及び第2の画像データをマージすることをさらに含む
(11)に記載の画像処理方法。
(13) 前記照明平面内の複数の参照オブジェクトに基づいて、前記照明平面内の前記第1の画像データおよび前記第2の画像データの投射を較正することをさらに含む
(11)または(12)に記載の画像処理方法。
(14) 前記第1の画像は、前記第1の視点に位置する第1のカメラによって取得され、前記第2の画像は、前記第2の視点に位置する第2のカメラによって取得される
(11)～(13)のいずれか1つに記載の画像処理方法。
(15) 前記第1の画像は、前記第1の視点に位置するカメラにより取得され、前記第2の画像は、前記第1の視点から前記第2の視点に移動するカメラにより取得される
(11)～(14)のいずれか1つに記載の画像処理方法。
(16) 前記照明平面内の対象物の断面を決定するために、前記マージされた画像に対して画像セグメンテーションを行うことをさらに含む
(12)～(15)のいずれか1つに記載の画像処理方法。
(17) 前記画像セグメンテーションは、一連の所定の断面基準に基づいて行われる
(16)に記載の画像処理方法。
(18) 対象物を走査する光スキャナシステムであって、
照明平面内の光線で対象物を照明するように構成された光源と、
前記照明された対象物の第1の画像を取得するように構成された第1の視点に配置された第1のカメラと、
前記照明された対象物の第2の画像を取得するように構成された前記第1の視点とは異なる第2の視点に配置された第2のカメラと、
回路を備えた画像処理装置と
を具備し、
前記回路は、
前記第1の画像を表す第1の画像データを取得し、
前記第2の画像を表す第2の画像データを取得し、かつ、
前記照明平面内で前記第1の画像データ及び前記第2の画像データをマージするために、投射された第1の画像及び第2の画像をそれぞれ表す前記照明平面内に前記第1の画像データ及び前記第2の画像データを投射する
ように構成されている
光スキャナシステム。
(19) 前記照明平面内または前記照明平面とは異なる第2の照明平面内の第2の光線で、対象物を照明するように構成された第2の光源をさらに含む
(18)に記載の光スキャナシステム。
(20) 前記第2の光線は、前記光線の中心波長とは異なる中心波長を有する
(19)に記載の光スキャナシステム。
(21) コンピュータで実行されると、(11)～(17)のいずれか1つに記載の方法を、前記コンピュータに実行させるプログラムコードを具備するコンピュータプログラム。
(22) コンピュータプログラム製品を記憶し、プロセッサによって実行されると、(11)～(17)のいずれか1つに記載の方法を実行させる非一時的なコンピュータ読取可能な記録媒体。

【図1】

【図2】

【図3】

【国際調査報告】