特許 7547535 カメラ及び物体検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-30

(45)【発行日】2024-09-09

(54)【発明の名称】カメラ及び物体検出方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240902BHJP

   H04N 23/54 20230101ALI20240902BHJP

   H04N 25/701 20230101ALI20240902BHJP

   G06K 7/10 20060101ALI20240902BHJP

【ＦＩ】

H04N23/60 500

H04N23/54

H04N25/701

G06K7/10 372

G06K7/10 408

G06K7/10 416

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2023044394

(22)【出願日】2023-03-20

(65)【公開番号】P2023164304

(43)【公開日】2023-11-10

【審査請求日】2023-03-22

(31)【優先権主張番号】22170675

(32)【優先日】2022-04-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】591005615

【氏名又は名称】ジック アーゲー

(74)【代理人】

【識別番号】110001069

【氏名又は名称】弁理士法人京都国際特許事務所

(72)【発明者】

【氏名】カタリーナ ブライヒャー

(72)【発明者】

【氏名】ロマン ミューラー

(72)【発明者】

【氏名】リヒャルト ノッパー

(72)【発明者】

【氏名】ヤン マーラー

【審査官】越河 勉

(56)【参考文献】

【文献】特開２００３－２６２７８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／０１６９３６４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００６／０１９６９４３（ＵＳ，Ａ１）

【文献】特開２００４－０３７８６７（ＪＰ，Ａ）

【文献】米国特許出願公開第２００４／００４６１０７（ＵＳ，Ａ１）

【文献】特開２０１６－１４２９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５４

Ｈ０４Ｎ ２５／７０１

Ｇ０６Ｋ ７／１０

(57)【特許請求の範囲】

【請求項1】

検出領域（１４）内の物体（３６）を検出するためのカメラ（１０）であって、前記検出領域（１４）からの受信光（１２）から画像データを生成するための多数の受光素子を有する画像センサ（１８）と、焦点位置を調節するための焦点調節ユニット（２０）を有し、前記焦点位置の変化と共に前記画像センサ（１８）上での前記受信光（１２）の入射角が変化する受光光学系（１６）と、前記物体（３６）の画像データを鮮明に撮影するために前記焦点位置を調節するように構成された制御及び評価ユニット（２６）とを備えるカメラ（１０）において、
前記制御及び評価ユニット（２６）が更に、前記受信光（１２）のその都度の入射角に起因する、前記画像データの取得の感度変化を補償するように構成されていることを特徴とするカメラ（１０）。

【請求項2】

前記制御及び評価ユニット（２６）が、増幅率を計算により及び／又は増幅素子を制御して適合化することによって前記画像データの取得を補償するように構成されている、請求項１に記載のカメラ（１０）。

【請求項3】

前記受光光学系（１６）が揺動式の光学素子（４４）、特に偏向ミラーを備えており、該光学素子（４４）の揺動が前記焦点位置を変化させ、以て前記受信光（１２）の入射角を変化させる、請求項１に記載のカメラ（１０）。

【請求項4】

前記制御及び評価ユニット（２６）が、前記受信光（１２）のその都度の入射角に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項5】

前記制御及び評価ユニット（２６）が、その都度の焦点位置に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項6】

前記焦点調節ユニット（２０）が駆動部を備え、前記制御及び評価ユニット（２６）が、前記駆動部のその都度の位置に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項7】

前記受信光（１２）のその都度の入射角に明度適合化を割り当てる、又はその都度の焦点位置に明度適合化を割り当てる、又は前記焦点調節ユニット（２０）が備える駆動部のその都度の位置に明度適合化を割り当てる補正テーブル又は補正式が、前記画像センサ（１８）を均一に照らして受光素子群にわたる強度分布を前記受信光（１２）の様々な入射角について測定する学習工程において決定されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項8】

前記制御及び評価ユニット（２６）が、前記受信光（１２）のその都度の入射角に起因する前記受光素子の感度変化及び他の様々に変わる感度をそれぞれ独自のステップにおいて補償するように構成されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項9】

前記制御及び評価ユニット（２６）が、前記受信光（１２）のその都度の入射角に起因する感度変化を、全ての受光素子に対して一緒に、又は受光素子のグループ、特にラインに対して一緒に、又は個々の受光素子毎に補償するように構成されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項10】

少なくとも２～３個の受光素子の前に色フィルタが配置されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項11】

前記画像センサ（１８）が、グレースケール画像を撮影するために白色光に感度を持つ受光素子を有する少なくとも１本の白色ラインと、カラー画像を撮影するためにそれぞれ１色だけの光に感度を持つ受光素子を有する少なくとも１本の色付きラインとを含む、２～４本の受光素子のラインを有する多重ラインセンサとして構成されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項12】

少なくとも２～３個の受光素子の前にマイクロレンズが配置されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項13】

前記制御及び評価ユニット（２６）が、前記画像データを用いて、検出された物体（３６）上のコード（４０）のコード内容を読み取るように構成されている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項14】

前記検出領域（１４）を通って検出対象の物体（３６）を搬送方向（３８）に案内する搬送装置（３４）付近に固定的に取り付けられている、請求項１～３のいずれかに記載のカメラ（１０）。

【請求項15】

検出領域（１４）内の物体（３６）の検出方法であって、多数の受光素子を有する画像センサ（１８）が前記検出領域（１４）からの受信光（１２）から画像データを生成し、焦点調節ユニット（２０）が前記物体（３６）の鮮明な画像データを撮影するために受光光学系（１６）の焦点位置を調節し、該焦点位置の変化と共に前記画像センサ（１８）上での前記受信光（１２）の入射角に変化が生じる方法において、
前記受信光（１２）のその都度の入射角に起因する、画像データの取得の感度変化を補償することを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１又は１５のプレアンブルに記載のカメラ及び検出領域内の物体の検出方法に関する。

【背景技術】

【0002】

カメラは、産業上の利用において、例えば物品の検査や測定等の目的で、物品の特性を自動的に捕らえるために多様な方法で用いられる。その場合、物品の画像が撮影され、業務に応じて画像処理により評価される。カメラの別の用途としてコードの読み取りがある。画像センサを用いて、表面にコードが付された物品が撮影され、その画像内でコード領域が識別されて復号が行われる。カメラベースのコードリーダは、１次元バーコード以外に、マトリクスコードのように２次元的に構成され、より多くの情報を利用できる種類のコードも問題なく処理できる。印刷された住所や手書き文書の自動的なテキスト認識（OCR, Optical Character Recognition）も原則的にはコードの読み取りである。コードリーダの典型的な応用分野としては、スーパーマーケットのレジ、荷物の自動識別、郵便物の仕分け、空港での荷物の発送準備、その他の物流での利用が挙げられる。

【0003】

よくある検出状況の１つはカメラをベルトコンベアの上方に取り付けるというものである。カメラはベルトコンベア上で物品の流れが相対移動している間、画像を撮影し、取得された物品特性に応じてその後の処理ステップを開始する。このような処理ステップでは、例えば、搬送中の物品に作用する機械上で具体的な物品に合わせて更なる処理を行ったり、物品の流れの中から品質管理の枠組み内で特定の物品を引き出すこと又は物品の流れを複数の物品の流れに分岐させることにより物品の流れを変化させたりする。そのカメラがカメラベースのコードリーダである場合、各物品が、それに付されたコードに基づき、正しい仕分け等の処理ステップのために識別される。

【0004】

前記カメラは複雑なセンサ系の一部であることが多い。例えば、ベルトコンベアに設けられた読み取りトンネルでは、多数のカメラベースのコードリーダを、一方ではそれより広いベルトコンベアの幅をカバーするために並べて取り付け、他方では複数の側から物品を撮影するために様々な視点から取り付けるのが通例である。更に、搬送される物品の形状を別個のスキャナ、例えばレーザスキャナで事前に測定し、そこから焦点情報、撮影実行時点、物品を含む画像領域等を特定することがよくある。

【0005】

高解像度の画像を取得するために、ライン走査カメラを使用し、その画像ラインを相対移動の間に全体画像に合成することが知られている。このようなライン走査カメラは典型的にはモノクロ画像（グレースケール画像又は白黒画像とも呼ばれる）を撮影する。特許文献１は、白色ラインと色付きラインがそれぞれ少なくとも１本ある複数のライン配列を有するカメラベースのコードリーダを開示している。白色ラインでグレースケール画像が撮影され、同時に色付きラインでカラー画像が撮影される。特許文献１の特徴は、色付きラインが２つの原色（例えば赤と青）に対応する画素しか備えておらず、第３の原色（いまの例では緑）は白色ラインを利用して再構成されるということである。

【0006】

個々の画素の特性の違いによって生じる画像センサ固有のノイズパターンは固定パターンノイズ（Fixed-Pattern-Noise）と呼ばれる。これは光入射の際の成分（PRNU, Photo Response Non-Uniformity）と暗信号の寄与分（DSNU, Dark Signal Non-Uniformity）に分けられる。画素特性の違いはＣＣＤ画像センサ及びＣＭＯＳ画像センサの場合に現れ、特にＣＭＯＳ画像センサにとっては大きな妨害源である。

【0007】

画素の感度の違いは測定した後、補償することができる。そのために、光入射の際の成分（PRNU）については、画像センサを均一な光で照らし、そのときに生じる画像を評価する。補償のために、最初の測定値を正規化して逆数をとった値をそれぞれ用いて増幅を行うことができる。前段階でオフセット補償を行うことも考えられる。

【0008】

ところが、従来のＰＲＮＵ補償は垂直方向の光入射しか考慮していない。横からの光入射の場合は画素の感度が変わる可能性があり、とりわけ画像センサの幾何学的な効果と半導体の検出量子効率が斜め入射光の場合には重要である。しかしこの効果にはこれまで十分に注意が払われておらず、とりわけ運転時に入射角が動的に変化する場合にそうであった。そしてこれは、例えば揺動式の偏向ミラーにより幾何学的に変更される受光路を基礎とする特定の焦点調節装置の場合に特に当てはまる。このような焦点調節装置は例えば特許文献２又は３から知られているが、これらの文献でもまた、明度分布に対する作用に対して、或いは単にＰＲＮＵ全般に対してさえ、全く関心が示されていない。

【0009】

特許文献４は固定パターンノイズの補償について説明しているが、そこでは斜めの光入射については論じられていない。特許文献５では、元の固定パターンノイズの補償がまだ妥当であるかどうかが運転時に検査され、場合によっては補償を適合化するために新たな暗画像が撮影される。

【0010】

特許文献６では、明度補償マップを生成し、それを超解像法の前処理段階として撮影画像に適用する。該文献では、ＰＲＮＵ、口径食、及び、垂直な光入射と斜めの光入射の場合の強度差が論じられている。特許文献７では画像データにおいて不均一性と色収差が同時に補償される。不均一性の原因として同様に固定パターンノイズ、口径食、及び、斜めの光入射よりも垂直な光入射の方が信号が強いことが挙げられている。しかしここでは光が全体として斜めの角度で入射することは問題ではない。なぜなら、カメラは普通、それが起きないように構成されているからである。何より、例えば既に挙げた特許文献２及び３に記載の偏向ミラーの揺動による焦点合わせの場合のように、斜めの光入射の角度が運転中に動的に変化するという場合が考慮されていない。

【先行技術文献】

【特許文献】

【0011】

【文献】EP 3 822 844 B1

【文献】EP 1 698 995 B1

【文献】EP 1 698 996 B1

【文献】US 3 949 162 A

【文献】US 8 622 302 B2

【文献】US 9 007 490 B1

【文献】WO 2010/131210 A1

【発明の概要】

【発明が解決しようとする課題】

【0012】

故に本発明の課題はカメラを用いた画像の取得を更に改善することである。

【課題を解決するための手段】

【0013】

この課題は請求項１又は１５に記載のカメラ及び検出領域内の物体の検出方法により解決される。多数の受光素子又は画素を有する画像センサに検出領域からの受信光が当たり、それにより画像センサが検出領域及び該領域にある物体の画像若しくは画像データを取得する。鮮明な画像を生成するため、焦点調節ユニットを有する受光光学系、即ち受光対物レンズが設けられており、これは品質要求に応じて一又は複数のレンズ及び他の光学素子を備えている。焦点位置の変更と同時に画像センサへの受信光の入射角が変わるように組立てられた焦点調節ユニットが用いられる。制御及び評価ユニットが、物体の鮮明な撮影画像を撮影するために、焦点調節ユニットを用いてその都度適切な焦点位置を設定する。制御及び評価ユニットは焦点調節ユニットと共に特に自動焦点装置を構成する。そのために、例えば、内部又は外部の距離センサを用いて物体までの距離を測定し、測定された距離に応じて焦点位置を設定することができる。制御及び評価ユニットは、画像データの読み出し、前処理、評価等を行うため、更に画像センサと接続されていることが好ましい。代案ではそれぞれに専用の部品があり、それらが一方で焦点合わせを担い、他方で画像データの処理等、カメラ内の他の任務に関わる。

【0014】

本発明の出発点となる基本思想は、受信光の入射角に対する焦点調節の影響を動的に補償することにある。画像センサの受光素子により記録される強度はこの入射角への従属を拒否し、その都度の入射角に起因する感度変化がある。これを角度依存性ＰＲＮＵと呼ぶことができる。制御及び評価ユニットは、角度依存性ＰＲＮＵをその都度の入射角に応じて補償するように構成されている。

【0015】

本発明には、明度の再現性を改善し、好ましくは正確にすることができるという利点がある。これにより画像品質が向上し、カラーカメラの場合は色の再現性も向上する。後段の画像処理では、例えば特徴抽出の際により良い結果が得られる。標準的なＰＲＮＵ補償は、入射角が動的に変化する場合にはもはや十分ではない。そしてそうすると、例えば特許文献２又は３に記載のような、焦点調節とともに入射角が変わるという、いくつかの非常に効率的な焦点合わせ方法が排除されてしまう。本発明によれば、入射角が変化する場合でもＰＲＮＵ補償が可能であり、従って前記のような焦点合わせ方法も利用可能になる。

【0016】

制御及び評価ユニットは、増幅率を計算により及び／又は物理的に適合化することによって画像データの取得を補償するように構成されていることが好ましい。適合化された増幅率は最新の入射角に基づいてその都度の強度変化に抗するように作用する。そのために、例えば画像センサ内又は後段の読み出し回路において、物理的に増幅素子を制御してその増幅率（ゲイン）を適合化することができる。代わりに又は追加的に画像解析の形で増幅率を計算により適合化することも考えられる。この場合、読み出された画像データを増幅率に応じて適合化する。特にその際は増幅率を用いて画像データの明度値のスケールを変更する。ここで、明度値はグレースケール値と色付き画素の明度値のいずれでもあり得る。

【0017】

受光光学系が揺動式の光学素子、特に偏向ミラーを備えており、該光学素子の揺動が焦点位置を変化させ、以て受信光の入射角を変化させることが好ましい。このような実施形態では揺動式の光学素子が、受信光の入射角が変化する理由の一つ又は唯一の理由である。これにより、受光路における光路の変更によって非常に簡単且つ迅速な焦点調節を行うことが可能となり、その場合、入射角の変化は目的ではなく副次的な作用であるのが普通である。このような焦点調節は例えば冒頭に挙げた特許文献２又は３に紹介されており、詳細はこれらの文献を参照されたい。本発明は、このような焦点調節の利点を利用するとともに、受信光の入射角の変化により画像データが損なわれることを回避する又は少なくとも低減することを可能にする。

【0018】

制御及び評価ユニットは、受信光のその都度の入射角に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えていることが好ましい。これは制御及び評価ユニットの内部又は外部のメモリとすることができる。補正テーブル（LUT, Lookup Table）によれば、その都度の入射角に対して必要な明度適合化を見つけ出すことを非常に高速に行うことができる。補正テーブルの代替としては補正式が保存される。これは入射角に従属した明度適合化の関数と理解することができる。この関数はモデル化、シミュレーション等により抽象的に見つけ出すことができる。非常に好ましくは、補正式を補正テーブルから導き出し、該テーブルを例えば関数フィッティング、特に多項式フィッティングによってコンパクトにまとめることで、メモリを節約する。

【0019】

制御及び評価ユニットは、その都度の焦点位置に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えていることが好ましい。これは前の段落のメモリと同じメモリでも、別のメモリでもよく、後者の場合、２つのメモリが設けられているなら、それらを第１メモリ及び第２メモリと呼ぶことができる。入射角の変化は焦点調節により生じる。故に角度依存性ＰＲＮＵの補償を焦点調節と直接関連付けることが可能である。そうすると今度は焦点位置に明度適合化が直接割り当てられる。その場合、入射角は、焦点位置、入射角、明度適合化という繋がりの中でなおも考慮されるが、もはや明示的に指定したり知っておいたりする必要は全くない。なぜならそれは補正テーブル又は補正式に既に取り込まれているからである。補正テーブル又は補正式の形態については前の段落の記載が意味の上で当てはまる。

【0020】

焦点調節ユニットが駆動部を備え、制御及び評価ユニットが、駆動部のその都度の位置に明度適合化を割り当てる補正テーブル又は補正式を保存したメモリを備えていることが好ましい。これは実施形態に応じてここでもまた同じメモリ、第２メモリ又は第３メモリとすることができる。事象の繋がりはここでもう一度延長される。即ち、駆動部が焦点調節装置に作用し、該装置が入射角を変化させ、それに対して明度適合化が見つけ出される。補正テーブル又は補正式は今度は駆動部に始まり、焦点位置と入射角を潜在的に考慮に入れる。駆動部の入力値は例えばモータ位置、回転位置又はモータ増分の形で与えられる。補正テーブル又は補正式の形態については先の説明が意味の上で当てはまる。

【0021】

補正テーブル又は補正式は、画像センサを均一に照らして受光素子群にわたる強度分布を受信光の様々な入射角について測定する学習工程において決定されていることが好ましい。このような学習又は較正は例えば製造時又は運転開始中に行うことができる。学習プロセスを運転開始中に初めて行う場合、均一な照明を得ることは経験的にはより難しい。その場合は追加の計算ステップにおいて不均一性の影響を算出して補償することができるが、そのコストは、より良好に制御できる条件下にある製造時に学習する場合よりも高い。均一な照明下で画像が撮影され、受光素子の各々の明度が測定される。照明が均一であるから、受光素子間の変動はＰＲＮＵに起因するものとなる。入射角の変化により生じる変動は角度依存性ＰＲＮＵに帰属すべきものである。既に触れたように、従来のＰＲＮＵと角度依存性ＰＲＮＵは個別に又は一緒に処理することができ、画像センサの従来のＰＲＮＵは可能であれば既に工場出荷時に調整済みである。制御及び評価ユニットは、焦点位置と入射角を走査してその際に画像を撮影して評価することにより、学習モードにおいて学習工程を自動的に実行するように構成することができる。その後、それらの画像から補正テーブル又は補正式を得ることができる。詰まるところそれは角度位置毎に、均一な照明の下で撮影された画像上の強度分布をそれぞれ反転させたものである。カメラは学習工程の間に均一な照明を生成するために専用の照明を備えていてもよい。

【0022】

制御及び評価ユニットは、受信光のその都度の入射角に起因する受光素子の感度変化及び他の様々に変わる感度をそれぞれ独自のステップにおいて補償するように構成されていることが好ましい。角度依存性ＰＲＮＵは画像センサの感度若しくは画像センサの受光素子群にわたる感度分布に影響を及ぼす作用の一部にすぎない。本実施形態では、他の補償、例えば従来のＤＳＮＵ又はＰＲＮＵが更に別途行われ、本発明による補償が独自のステップとして追加される。代案では、本発明による角度依存性ＰＲＮＵの補償が、受光素子の感度の補償のために少なくとも１つの別のそのようなステップを含んでいる。これは例えば、補正テーブル又は補正式の学習中に従来のＤＳＮＵ又はＰＲＮＵのような他の組み合わせを入れること又は除外することにより、該学習のやり方を通じて影響を及ぼすことができる。前者の場合、補正テーブル又は補正式は他の補償を一緒に含み、後者の場合、角度依存性ＰＲＮＵの補償のみを単独で含む。

【0023】

制御及び評価ユニットは、受信光のその都度の入射角に起因する感度変化を、全ての受光素子に対して一緒に、又は受光素子のグループ、特にラインに対して一緒に、又は個々の受光素子毎に補償するように構成されていることが好ましい。これによれば、角度依存性ＰＲＮＵの補償が個々の画素のレベルで個別に、又はやや粗めに画素のグループのレベルで、又はまとめて画像センサ全体に対して行われる。それに応じて補正テーブル又は補正式の書き込みは画素毎に、グループ毎に、又は画像センサ全体に対して一度に成される。非常に好ましいグループは画素の１ラインにわたる。

【0024】

少なくとも２～３個の受光素子の前に色フィルタが配置されていることが好ましい。これによりカラー画像の撮影が可能になる。しかし色フィルタはより強い角度依存性ＰＲＮＵを生み、しかもそれが特に隣接画素に寄生したものとなる。従って、色フィルタを用いる場合、本発明による角度依存性ＰＲＮＵの補償の利点がとりわけ顕著となる。

【0025】

画像センサは、グレースケール画像を撮影するために白色光に感度を持つ受光素子を有する少なくとも１本の白色ラインと、カラー画像を撮影するためにそれぞれ１色だけの光に感度を持つ受光素子を有する少なくとも１本の色付きラインとを含む、２～４本の受光素子のラインを有する多重ラインセンサとして構成されていることが好ましい。これによれば、白色ラインの受光素子は光の全スペクトルを知覚するものであり、例えば色フィルタを備えていない。当然ながら、使用する受光素子が持つ不可避のハードウェア的な制限により受信光には限界がある。原理的には色付きラインに更に白色画素を散りばめることが可能ではあるが、そのような画像情報はそもそも白色ラインの担当である。多重ラインセンサを用いれば、高いコントラストと可能な限り高い信号雑音比でグレースケール画像又は白黒画像を最大の解像度で撮影できると同時に、様々な追加の評価に利用できる色情報を取得できる。この追加的な色検出は、白色ラインのおかげで、解像度又は信号雑音比を犠牲にせずに行うことができる。

【0026】

ラインセンサの利点は、マトリクスセンサと比べて相対的に少ない画素でカメラと物体の間の相対運動中に非常に高い解像度の画像を撮影できるということである。多重ラインセンサは、高解像度のマトリクスセンサと比べれば画素が少ないにすぎず、好ましくは数千画素、それどころか数万画素の解像度がある。色付きラインにより、ラインセンサ又は多重ラインセンサでカラー画像を追加的に取得できる。先に挙げた２～４本のライン配列という数は正確に述べたものであり、最小数ではない。少数のライン配列により画像センサが非常にコンパクトな構造になる。最小の実施形態は１本の白色ラインと１本の色付きラインを持つ２重ラインである。ライン方向におけるカラー画像の解像度をより高くするために、少なくとも２本の色付きラインを設けることが好ましい。

【0027】

１本の色付きライン内の受光画素は同じ色に感度を持っていることが好ましい。言い換えれば、その色付きライン全体が均一に例えば赤色、青色又は緑色のラインである。これにより、対応する色情報が最大の解像度で得られる。１本の色付きライン内の受光画素が異なる色に感度を持ち、特に赤青赤青のように交互に配列されていてもよい。更に、均一色のラインと混成色のラインを組み合わせることも考えられる。色付きラインは、それぞれ２つの原色の１つに感度を持つ複数の受光画素を備える一方、第３の原色に感度を持つ受光画素を備えていないことが特に好ましい。原色とは、赤、緑及び青の加法原色、若しくは青緑（シアン）、深紅（マゼンタ）及び黄の減法混色である。そのうち２つだけを設けることにより受光画素とライン配列が節約される。或いはそれぞれの３原色を全て設けること（ＲＧＢＷ、ＣＭＹＷ）も考えられる。制御及び評価ユニットは、白色ラインの助けを借りて２つの原色から第３の原色を再構成するように構成されていることが好ましい。白色ラインは全ての原色が重なったものを撮影するため、２つの原色が撮影されれば第３の原色を分離することができる。好ましくは、撮影される原色は赤と青であり、緑が再構成される。カラーの多重ラインセンサと原色の再構成に関して考えられる他の形態については冒頭に挙げた特許文献１を参照されたい。

【0028】

多重ラインセンサにおいては、色付き画素の色及び配列に応じて各ラインの角度依存性ＰＲＮＵが非常に異なるものとなり得る。複数のラインの情報は通例、統合されて例えば白黒画像及びカラー画像（特に原色を再構成したもの）となる。従って、実際には多重ラインセンサはその都度１本の画像ラインだけを撮影することになり、ラインと交差する方向の追加の解像は関係ない。これは相対移動中に画像ラインを繰り返し撮影することにより初めて徐々に達成される。本発明による補償がなければこのラインの結合は非常に不利な組み合わせとなり得る。なぜなら、異なるラインからの入力データは単に角度依存性ＰＲＮＵにより質が低下しているだけでなく、その低下の度合いが違っているため、補償なしでは色の忠実性はほとんど達成不可能だからである。

【0029】

少なくとも２～３個の受光素子の前にマイクロレンズが配置されていることが好ましい。好ましくは各受光素子の前にマイクロレンズが配置され、その結果、マイクロレンズアレイが設けられる。１対１に割り当てることができるが、１つのマイクロレンズが複数の受光素子に対応することもできる。マイクロレンズは受光光学系の一部である。このレンズは角度依存性ＰＲＮＵを部分的に著しく高める。

【0030】

制御及び評価ユニットは、画像データを用いて、検出された物体上のコードのコード内容を読み取るように構成されていることが好ましい。これにより本カメラは様々な規格に準拠したバーコード及び／又は２次元コード用のカメラベースのコードリーダとなり、場合によってはテキスト認識（OCR, Optical Character Reading）にも利用される。コードを読み取る前に、関心領域（ROI, Region of Interest）をコード候補として識別するセグメント化を行うことが更に好ましい。本発明により角度依存性ＰＲＮＵを補償した後の高い画像品質により、コードの読み取りに成功する確率が高まり、以てコードリーダにとって決定的に重要な読み取り率が高まる。

【0031】

本カメラは、検出領域を通って検出対象の物体を搬送方向に案内する搬送装置付近に固定的に取り付けられていることが好ましい。このようにカメラを産業上利用することはよくあり、搬送装置は物体が検出領域を通り抜って移動する状況を作り出す。これにより、画像センサをラインセンサ又は多重ラインセンサとした実施形態において、何度も言及したように徐々にライン毎に検出を行うことが可能になる。搬送運動の進行中に物体の各部分及び複数の物体が絶えず入れ替わるため、焦点位置を絶えず適合化しなければならず、それにより受信光の入射角が変わるが、そのときに本発明により、その都度生じる角度依存性ＰＲＮＵが動的に補償される。搬送装置の速度及び移動する物体の速度を搬送制御装置若しくは搬送装置付近のセンサ（エンコーダ等）により又は搬送装置のパラメータ設定から取得することで、物体が撮影位置にあるのはいつか等を特定することができる。

【0032】

本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。

【0033】

以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。

【図面の簡単な説明】

【0034】

【図1】カメラの概略断面図。

【図2】カメラをベルトコンベア付近に取り付けた模範的な応用例の３次元図。

【図3】カメラ用焦点調節装置の概略図であって、揺動式の光学素子が第１の焦点位置にあり、画像センサ上の受信光が第１の入射角にある状態を示す図。

【図4】図３に相当する図であって、今度は画像センサ上の受信光の入射角が垂直である状態を示す図。

【図5】図３に相当する図であって、画像センサ上の受信光が別の入射角にある状態を示す図。

【図6】画像センサ上の受信光の入射角に依存した、画像センサの２つの画素の模範的な強度推移。

【図7】画像センサの別の２つの画素についての、図６に相当する模範的な強度推移。

【発明を実施するための形態】

【0035】

図１はカメラ１０の概略断面図である。本カメラは例えば、品質管理又は特定の特徴の自動検出等のためのカメラベースのコードリーダ又は産業用カメラ（Machine Vision Camera）である。検出領域１４からの受信光１２が受光光学系１６に入射し、該光学系が受信光１２を、１列、複数列又は行列状に配置された多数の受光素子又は画素を有する画像センサ１８へ導く。受光光学系１６の光学素子は、複数のレンズ並びに絞り及びプリズムといった他の光学素子から成る対物レンズとして構成されていることが好ましいが、ここでは簡略に１個のレンズだけで表されている。受光光学系１６は、異なる距離にある物体を鮮明に撮影するために、焦点調節装置２０で様々な焦点位置へ調節することができる。それには、例えばステップモータや可動コイル型アクチュエータによる画像焦点距離の変更等、多種多様な機能原理が考えられる。焦点調節装置２０は図１では単に概略的に示している。後で図３～５を参照して更に説明するように、焦点位置と同時に画像センサ１８上の受信光１２の入射角が変化する。図示しないが、任意選択で内部又は外部に距離センサを設けて、撮影対象の物体までの距離を測定し、その距離から必要な焦点位置を導き出すことができる。

【0036】

カメラ１０の撮像中に検出領域１４を発射光２２でくまなく照らすため、カメラ１０は任意選択の内部又は外部の照明ユニット２４を含んでいる。これは図１では発光光学系のない単純な光源の形で描かれている。別の実施形態ではＬＥＤやレーザダイオード等の複数の光源が例えば円環状に受光路の周りに配置される。それらは、色、強度及び方向といった照明ユニット２４のパラメータを適合化するために、多色型でグループ毎に又は個別に制御可能とすることもできる。

【0037】

制御及び評価ユニット２６が焦点調節装置２０、照明ユニット２４及び画像センサ１８と接続されており、カメラ１０内での制御、評価及び他の調整の任務を担う。即ち、該ユニットは、焦点調節装置２０を、特に撮影対象の物体までの距離の測定値に応じて適切な焦点位置で制御するとともに、画像センサ１８から画像データを読み出し、それを保存したり、インターフェイス２８に出力したりする。好ましくは、この制御及び評価ユニット２６が画像データ内のコード領域を見つけ出して復号することができる。これによりカメラ１０はカメラベースのコードリーダとなる。様々な制御及び評価の作業のために複数の部品を設けて、例えば焦点の適合化を独立した部品内で実行したり、画像データの前処理を独立したＦＰＧＡ上で実行したりすることができる。カメラ１０はケーシング３０により保護されている。該ケーシングは受信光１２が入射する前面領域において前面パネル３２により閉鎖されている。

【0038】

図２はカメラ１０をベルトコンベア３４付近に設置して利用できることを示している。ベルトコンベア３４は、矢印３８で示したように、物体３６をカメラ１０の検出領域１４を通過するように搬送する。物体３６は表面にコード領域４０を持つことができる。カメラ１０の任務は物体３６の特性を捕らえることであり、更にコードリーダとしての好ましい使用においては、コード領域４０を認識し、そこに付されたコードを読み取り、復号して、その都度対応する物体３６に割り当てることである。物体の側面、特にその側面に付されたコード領域４２をも捕らえるために、好ましくは追加のカメラ１０（図示せず）を異なる視点から使用する。また、より幅の広い検出領域１４を共同でカバーするために複数のカメラ１０を並べて配置することができる。

【0039】

図３～５は光学素子４４（特に偏向ミラー）の揺動を基礎とする焦点調節装置２０を非常に概略的に示している。なお、ここでは模範的に画像センサ１８が、受光素子又は画素の４本のライン配列Ａ～Ｄから成る多重ラインセンサである。このような多重ラインセンサは、冒頭に挙げた特許文献１に記載されているように、特に白黒画像とカラー画像の同時取得に用いることができる。

【0040】

図３は光学素子４４の第１の揺動位置とそれに伴う入射角αの第１の焦点位置を示し、図４は光学素子の第２の揺動位置とそれに伴う垂直な光入射の第２の焦点位置を示し、図５は光学素子の第３の揺動位置とそれに伴う入射角βの第３の焦点位置を示している。光学素子４４が他の角度位置にあるときには他の焦点位置を取り、それに伴い画像センサ１８上での受信光１２の入射角が他の角度になる。このような焦点調節装置２０は例えば冒頭に挙げた特許文献２及び３に詳しく説明されており、それらを補足的に参照されたい。光学素子４４の角度位置に応じて受光光学系１６と画像センサ１８の間の光路が伸縮し、それと共に焦点位置が変わる。別の入射角においてもなお画像センサ１８に受信光１２が当たるように、画像センサ１８を一緒に揺動させることが考えられる。図示した焦点調節装置２０は模範的なものと理解すべきであり、他の焦点調節原理でも画像センサ１８上での受信光１２の入射角が焦点位置とともに変化することができる。

【0041】

図６は画像センサ１８上での受信光の入射角に依存した、画像センサ１８の２つの受光素子又は画素の模範的な強度推移を示している。受光素子の感度は入射角と共に変化し、それは部分的に個々に非常に異なっている。その理由は幾何学的な関係と量子効率である可能性があるが、受光素子の前にあるマイクロレンズ又は色フィルタの可能性もある。図６に示した作用は角度依存性ＰＲＮＵと呼ぶことができる。最新の入射角と角度依存性ＰＲＮＵとが分かれば、該当する受光素子のアナログ又はデジタルの増幅を逆比例的に適合させること及び／又は画像データ内で適切な差し引き計算を行うことにより、角度依存性ＰＲＮＵの作用を補償することができる。

【0042】

図７は別の２つの受光素子の模範的な強度推移を示している。図６と違ってここではＹ軸の位置に対応する入射角での垂直な光入射についても違いがある。従って、画素の感度に影響を及ぼす別の作用が角度依存性ＰＲＮＵに重なっている可能性があるが、この作用は実施形態に応じて角度依存性ＰＲＮＵと一緒に又は別々に補償することができる。

【0043】

入射角と必要な明度適合化との間の依存性は補償テーブル（LUT, LookUp Table）又は補償式、即ち関数的な関係又は式として保存することができる。補償式は関数フィッティング又は多項式により補償テーブルからコンパクトにまとめた形で作り出すことができる。

【0044】

補償テーブル又は補償式は、例えばカメラ１０のモデル又はシミュレーションの形で理論的な考察により得ることができる。代わりに又は追加的に補償テーブル又は補償式を、例えば製造調整の間に、学習工程又は較正工程において得ることができる。その場合、受信光１２の入射角を、画像センサ１８を均一に照明した状態で例えば１°ずつ又は他の所望の精度で変化させ、その際に画像センサ１８の受光素子による受光の強度を測定する。その結果から必要な明度適合化を計算することができる。制御及び評価ユニット２６はそのために、入射角の変更及びそれに対応する測定並びに補正テーブル又は補正式を得るための計算を自動的に行う学習モードを用意することができる。

【0045】

確かに、角度依存性ＰＲＮＵを生じさせるのは詰まるところ入射角である。しかし、カメラ１０が直接アクセスするのは自らの焦点位置であり、これに入射角がそれぞれ対応する。それ故、補正テーブル又は補正式においてその都度の明度適合化を入射角ではなく焦点位置に割り当てることが考えられる。また、補正テーブル又は補正式を焦点調節装置２０のモータ制御に関連付けてその都度の明度適合化をモータ位置に割り当てることにより、処理の繋がりを更に１ステップ、延長することができる。なぜなら、焦点位置を調節し、以て光学素子４４の角度と、最終的には画像センサ１８上での受信光１２の入射角を調節するために制御されるのはアクチュエータだからである。

【0046】

モータ位置は特に、モータの各回転位置にそれぞれ対応するモータ増分で表現することができる。そのために整えられた学習工程においては、モータ増分を走査し、均一な照明の下での画像撮影後にその画素の強度を測定する。インクリメンタルエンコーダにより、モータ運動の調整という意味で、モータが実際にその都度制御された回転位置にあるかどうか検査することができる。通例、制御及び評価ユニット２６にはモータ位置又はモータ増分と焦点位置との間の割り当ても分かっているため、補正テーブル又は補正式をモータ位置又は焦点位置と結びつけるという選択もできる。モータの回転位置の代わりに直線運動のモータ位置を基礎とすることができる。

【0047】

運転時には補正テーブル又は補正式を参照することで、実施形態に応じてモータ位置、焦点位置、若しくは光学素子４４の角度位置、又は画像センサ上での受信光１２の入射角に明度適合化を割り当てる。補正テーブル又は補正式は、例えば補償に必要な増幅率等の補償値を直接保持していてもよいし、まずは角度依存性ＰＲＮＵによる強度のずれだけを保持しておき、そのずれからリアルタイムで所要の補償を特定してもよい。補償は可能な限りリアルタイムで行うべきであるから、それに相当する制御及び評価ユニット２６の機能はＦＰＧＡ（Field Programmable Gate Array）上に、又はＡＳＩＣ（Application-Specific Integrated Circuit）内に実装することが有利である。本来の調整は運転中にはもう行わないことが好ましく、その場合、補償はむしろ事前に学習した関係に完全に基づく。補償は調整（Regelung）としてではなく制御（Steuerung）として行うことができる。なぜなら、ここで関係する擾乱量は分かっている、即ちその都度の焦点位置だからである。

【0048】

角度依存性ＰＲＮＵの補償は様々な精細さで行うことができる。画像センサ１８の個々の受光素子のレベルで個別に補償することができる。あるいは、単に画像センサ１８全体に対してまとめて一度に適合化を行う。中間的な解決策として、補償対象の画素をグループ毎にまとめ、その画素をグループ内で同じように、例えば該グループについて求められた平均値に基づいて補償する。このようなグループの特に有利な特殊事例は、特に多重ラインセンサについて図３～５に模範的に示したような、ライン内での統合である。グループへの統合が有意義であるためには、グループ内の角度依存性ＰＲＮＵが過度に異なっていないことが必要である。多重ラインセンサの白色ライン又は色付きラインの場合にはそれが当てはまる。

【0049】

好ましい実施形態では画像センサ１８が色感度を持っている。そのために該センサの受光素子の前に少なくとも部分的に色フィルタが例えばベイヤー型に配置され、多重ラインセンサの色付きラインにはライン全体に及ぶ均一な色フィルタ又は例えば複数の色が交互に続く色フィルタが用いられる。その間にモノクロの受光素子又は少なくとも１本の完全にモノクロのラインがあってもよい。角度依存性ＰＲＮＵはこのような色フィルタがある場合に特に大きく変化し、それが色に応じて異なる。更に、専用の色フィルタがない受光素子においても、色フィルタ付きの受光素子の近傍においては寄生効果が生じ得る。多重ラインセンサの場合、複数のラインの情報が好ましくはまとめられ、それにより特にそれぞれ単一の白黒画像ライン又は原色から集計されたカラー画像ラインを得る。このような組み合わせでは角度依存性ＰＲＮＵの各々の影響が累積されるため、本発明による補償は非常に有利である。なぜなら、それがなければ全体で非常に顕著な誤差が生じてしまうからである。ＰＲＮＵの強め合う作用は、画像センサ１８の前に配置され、受光光学系１６の一部として該光学系の焦点調節可能な素子とともに作用する別の素子（例えばマイクロレンズ）によっても生じ得る。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】