(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-08
(45)【発行日】2023-12-18
(54)【発明の名称】カメラ及び画像データ取得方法
(51)【国際特許分類】
G06T 5/00 20060101AFI20231211BHJP
G06K 7/10 20060101ALI20231211BHJP
G06K 7/12 20060101ALI20231211BHJP
G06K 7/14 20060101ALI20231211BHJP
H04N 23/60 20230101ALI20231211BHJP
【ＦＩ】
G06T5/00 705
G06K7/10 372
G06K7/10 420
G06K7/12
G06K7/14 078
H04N23/60
【請求項の数】
16
【外国語出願】
(21)【出願番号】P 2022072964
(22)【出願日】2022-04-27
(65)【公開番号】P2022173099
(43)【公開日】2022-11-17
【審査請求日】2022-05-31
(31)【優先権主張番号】10 2021 111 639.2
(32)【優先日】2021-05-05
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】591005615
【氏名又は名称】ジック アーゲー
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】ロマン ミューラー
(72)【発明者】
【氏名】ハンネス ルフ
【審査官】三沢 岳志
(56)【参考文献】
【文献】特開２００８－２８８８５１（ＪＰ，Ａ）
【文献】特開２００２－２５９９６２（ＪＰ，Ａ）
【文献】特開２０１０－００４５３３（ＪＰ，Ａ）
【文献】特開２００７－３１０６７５（ＪＰ，Ａ）
【文献】特開２０１１－２０９９８４（ＪＰ，Ａ）
【文献】原島博他，ε-分離型非線形ディジタルフィルタとその応用，電子情報通信学会誌(A)，電子情報通信学会，1982年04月，Vol. J65-A、No.4，p.297-304
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ５／００
Ｇ０６Ｋ ７／１０
Ｇ０６Ｋ ７／１２
Ｇ０６Ｋ ７／１４
Ｈ０４Ｎ ２３／６０
(57)【特許請求の範囲】
【請求項1】
カメラ（１０）であって、第１画素を用いて第１画像データを取得するための第１感度を持つ第１撮影チャネルと第２画素を用いて第２画像データを取得するための前記第１感度より低い第２感度を持つ第２撮影チャネルとを備え、第１画素と第２画素が同じ物体領域の撮影により互いに割り当てられている、画像センサ（１８）と、前記第２画像データにおけるノイズの作用をノイズ低減フィルタで低減するように構成された画像データ処理用の制御及び評価ユニット（２４）とを備え、前記ノイズ低減フィルタがその都度の観察対象の第２画素に対して該観察対象の第２画素の近傍の第２画素に基づいて新たな値を割り振る、というカメラ（１０）において、前記ノイズ低減フィルタが前記近傍の第２画素を重み付きで考慮し、該重みが、該第２画素に割り当てられた第１画素が前記その都度の観察対象の第２画素に割り当てられた第１画素（４４）にどの程度類似しているかに依存しており、類似している第１画素を割り当てられた第２画素は、ノイズ低減フィルタでの処理においてその都度の観察対象の第２画素の新たな値により強く流れ込み、全く又はあまり類似していない第１画素を割り当てられた第２画素は、ノイズ低減フィルタでの処理においてその都度の観察対象の第２画素の新たな値にあまり強く流れ込まないことを特徴とするカメラ（１０）。
【請求項2】
前記カメラ（１０）が、光学コード（４０）を読み取るためのコードリーダある、請求項１に記載のカメラ（１０）。
【請求項3】
前記制御及び評価ユニット（２４）が、前記近傍の第２画素のうち、前記その都度の観察対象の第２画素に割り当てられた第１画素（４４）に対する類似性基準を満たす第１画素を割り当てられた第２画素だけを前記ノイズ低減フィルタのために考慮するように構成されている、請求項１に記載のカメラ（１０）。
【請求項4】
前記類似性基準が、前記近傍にある１つの第１画素と前記その都度の観察対象の第２画素に割り当てられた第１画素（４４）との間の差を評価するために用いられる少なくとも１つの閾値を備えている、請求項３に記載のカメラ（１０）。
【請求項5】
前記ノイズ低減フィルタが平均化フィルタである、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項6】
前記ノイズ低減フィルタが、その都度の観察対象の画素を中心とする近傍を定義するフィルタカーネルであって、その値が中心の第１画素（４４）に対する近傍（４６）の第１画素の類似性に応じて設定されているフィルタカーネルを備えている、請求項１に記載のカメラ（１０）。
【請求項7】
前記制御及び評価ユニット（２４）が、前記類似性基準が満たされていない箇所では前記フィルタカーネルにゼロを配置するように、及び／又は、前記類似性基準が満たされている箇所では前記フィルタカーネルに互いに同じ大きさの非僅少値を配置するように構成されている、請求項６に記載のカメラ（１０）。
【請求項8】
前記制御及び評価ユニット（２４）が、前記フィルタカーネルにゼロと等しくない値が幾つ現れるかを計数し、その数（ｍ）で該フィルタカーネルを正規化するように構成されている、請求項６又は７に記載のカメラ（１０）。
【請求項9】
前記制御及び評価ユニット（２４）が前記第１画像データと前記第２画像データの解像度を互いに合わせるように構成されている、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項10】
前記第１撮影チャネルが、グレースケール画像の画像データを取得するために白色光に感度を持つモノクロチャネルとして構成されている、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項11】
前記第２撮影チャネルが、特定の色の画像データを取得するために該色の光に感度を持つ少なくとも１つのカラーチャネルとして構成されている、請求項１に記載のカメラ（１０）。
【請求項12】
前記第２撮影チャネルが、色の異なる複数のカラーチャネルを備えている、請求項１１に記載のカメラ（１０）。
【請求項13】
前記画像センサ（１８）が、少なくとも２本の受光素子（２２）のライン（２０ａ～ｂ）を有するラインセンサとして構成され、各ライン（２０ａ～ｂ）がそれぞれ完全に前記第１撮影チャネル又は前記第２撮影チャネルに割り当てられている、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項14】
撮影対象の物体（３６）の流れの上方に固定的に取り付けられている、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項15】
前記制御及び評価ユニット（２４）が、前記第１撮影チャネルからグレースケール画像を生成し、前記第２撮影チャネルからカラー画像を生成するように構成されている、請求項１～４のいずれかに記載のカメラ（１０）。
【請求項16】
画像センサ（１８）の、第１感度を持つ第１撮影チャネルにおいて第１画素を用いて第１画像データを取得するとともに、前記画像センサ（１８）の、前記第１感度より低い第２感度を持つ第２撮影チャネルにおいて第２画素を用いて第２画像データを取得するための方法であって、第１画素と第２画素が同じ物体領域の撮影により互いに割り当てられており、前記第２画像データにおけるノイズの作用がノイズ低減フィルタで低減され、前記ノイズ低減フィルタがその都度の観察対象の第２画素に対し、該観察対象の第２画素の近傍の第２画素に基づいて新たな値を割り振るという方法において、前記ノイズ低減フィルタが前記近傍の第２画素を重み付きで考慮し、該重みが、該第２画素に割り当てられた第１画素が前記その都度の観察対象の第２画素に割り当てられた第１画素（４４）にどの程度類似しているかに依存しており、類似している第１画素を割り当てられた第２画素は、ノイズ低減フィルタでの処理においてその都度の観察対象の第２画素の新たな値により強く流れ込み、全く又はあまり類似していない第１画素を割り当てられた第２画素は、ノイズ低減フィルタでの処理においてその都度の観察対象の第２画素の新たな値にあまり強く流れ込まないことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項１又は１５のプレアンブルに記載のカメラ及び画像データ取得方法に関する。
【背景技術】
【0002】
カメラの画像データは多くの工業及び物流の用途において利用されている。それを用いて様々な工程を自動化することができる。様々な測定、操作及び検査業務の他、画像データを用いて読み取られたコードに基づく物品の自動的な仕分けが知られている。そのために、バーコード、マキシコード（Ｍａｘｉｃｏｄｅ）若しくはＡｚｔｅｃコード等の様々な２次元コード、又はテキスト認識（ＯＣＲ）で解読される文字が読み取られる。
【0003】
製造ライン、空港における手荷物の発送、物流センターにおける荷物の自動仕分けといった典型的な利用状況では、物品がカメラの傍を通り過ぎるように搬送され、該物品の画像データが取得される。物品とカメラの間のこの相対運動においては、非常に高い解像度と速度を達成できるラインカメラが特に適している。連続的に撮影された個々の画像ラインが既知の又は測定されたベルト速度に基づいて結合される。これはまさに高速のベルトに応用する場合に有利である。なぜなら、それには高いフレームレートが必要である上、画像ラインを単純に隙間なく並べることはマトリクスカメラの個々の画像を結合すること（スティッチング）と違ってあまり高い計算コストをかけずに行うことができるからである。
【0004】
従来のラインカメラは大抵、モノクロ画像しか撮影しない。これはグレースケール画像又は白黒画像とも呼ばれる。これにより最大の光子収量が達成され、以て最大の信号雑音比が得られる。色付きの画像を撮影する際にはむしろマトリクスカメラに頼る。最も広く用いられる色取得法は、画素毎に２種類の緑フィルタ、１種類の赤フィルタ及び１種類の青フィルタをベイヤー型で設けるというものである。もっとも、例えば白のチャネルの追加（ＲＧＢＷ）や、赤、黄及び青（ＲＹＢＹ）といった減法混色の原色の使用等、他の色パターンもある。
【0005】
カラーラインカメラも知られている。これには例えば、赤、緑及び青（ＲＧＢ）の３つのラインを持つもの、これらの原色が交互に現れる単一のラインを持つもの、又は、ベイヤー型にならって赤と青が交互に現れる１つのラインと緑だけの第２のラインとを持つものがある。これらのカラー画像センサにはいずれも色フィルタにより受信光に損失が生じるという欠点があり、解像度に対する要求が高いコード読み取り等への応用には依然として白黒画像の方が優れている。つまり、色情報を得るには白黒評価に関する性能の低下という犠牲を払わざるを得ない。
【0006】
画像データの品質とユーザ用の視覚化にとって重要な量として信号雑音比（SNR, Signal-to-Noise-Ratio）がある。カラー撮影では、検出可能な光子の数が色フィルタにより減少するため信号雑音比が低下する。原理的には、照明を強くする、露光時間を長くする若しくは口径を大きくする、又はより高感度の画像センサを用いることにより、信号雑音比の低下に対処することができる。しかしそのような対策はそうでなくても既に最適化されている上、例えば照明には目の安全のために厳しい制限がある。従って白黒撮影と比べたカラー撮影の前述の具体的な欠点はこれでは解消されない。別の方法として例えばノイズフィルタやニューラルネットワークによる後処理が考えられる。しかしこれも、そうでなくても既に利用されていることが多いため、モノクロ画像データとカラー画像データの間の品質の差は縮まらない。加えて、従来のノイズフィルタを用いるとカラー画像のエッジや他の望ましい構造がぼやけてしまう。
【0007】
特許文献１は光学コードを読み取るためのコードリーダを開示している。該コードリーダは画像センサとして少なくとも２重のラインを用いており、そのうち少なくとも１ラインの受光画素は白色光に感度を持ち、残りのラインの受光画素は１色にのみ感度を持つ。これによりグレースケール画像とカラー画像が撮影できる。いくつかの実施形態では１つの原色が前記グレースケール画像及び他の２つの原色から再構成される。しかし、カラー画像の信号雑音比が低いという前述の問題は同文献では扱われていない。
【0008】
特許文献２及び３からそれぞれ、画素マトリクスを用いて画像を撮影するコード読み取り機器が知られている。大部分の画素はモノクロであり、カラー画素が格子状の配置でちりばめられている。これらのカラー画素はベイヤー型となっている。特許文献３では画像を後処理するためのフィルタについても論じられているが、カラー画像と白黒画像の違いが考慮されておらず、そのフィルタを用いると、カラー画像の信号雑音比が明らかに低い場合には前記違いが残る。
【先行技術文献】
【特許文献】
【0009】
【文献】DE 20 2019 106 363 U1
【文献】US 2010/0316291 A1
【文献】US 2012/0002066 A1
【発明の概要】
【発明が解決しようとする課題】
【0010】
故に本発明の課題は、品質の異なる撮影チャネルを用いた画像撮影、特に白黒及びカラーの画像データの取得を改善することである。
【課題を解決するための手段】
【0011】
この課題は請求項１又は１５に記載のカメラ及び画像データ取得方法により解決される。カメラの画像センサが、感度の異なる２つの撮影チャネルを用いて、第１画素で第１画像データを取得し、第２画素で第２画像データを取得する。これらの画像データは重なっており、それ故、少なくとも部分的に、好ましくは完全に、同じ物体領域に対応している。第１画素と第２画素は、それらの視界をカメラの視野の同じ部分に対応させることにより互いに割り当てられている。従って、互いに割り当てられた第１画素と第２画素は同じ物体構造を撮影する。その際、２つの撮影チャネルは異なっているため、前記互いに割り当てられた第１画素と第２画素は何らかの様態において、特にスペクトル的に互いに異なっている。２つの撮影チャネルの感度の違いと、その結果として第１及び第２画像データに生じる信号雑音比の違いは、望ましい効果というよりむしろ我慢すべき結果であり、ここで本発明にとって重要なのは感度が違う理由ではなく、その違いが存在するということである。
【0012】
制御及び評価ユニットが画像処理法を用いて画像データを処理する。好ましくは、本カメラは光学コードを読み取るためのコードリーダであり、その制御及び評価ユニットは画像データ内で読み出し対象のコードを見出してその中に符号化された内容を読み出すように構成されている。前処理ステップとしてノイズ低減フィルタで第２画像データのノイズの作用が低減される。そのために第２画素が好ましくは個々に処理されるが、それは順次に行ってもよいし、並列アーキテクチャ内で少なくとも部分的に同時に行ってもよい。その都度の観察対象の第２画素は、好ましくは該画素の元の値を考慮しつつ、その近傍にある近隣領域の第２画素に基づいて適合化された新たな値を受け取る。そして観察対象の第２画素は、フィルタを用いた画像処理で普通に行われるように、全ての第２画素又は所望の一部乃至は所望の画像部分が処理されるまで入れ替わる。
【0013】
本発明の出発点となる基本思想は、第２画像データのノイズ低減を第１画像データの類似性に結びつけることである。その都度の観察対象の第２画素の近傍の第２画素が前記類似性に応じて新たに重み付けされる。そのために、観察対象の第２画素に割り当てられた第１画素とその近傍の第１画素が考慮される。言い換えるとそれは、第１画像データのうち、第２画像データにおけるノイズ低減フィルタの処理対象となる画像部分と同じ物体領域に関連付けられた画像部分である。第１画像データにおける前記近傍の第１画素のうちどの第１画素が観察対象の第２画素に割り当てられた第１画素に類似しているかが検査される。類似している第１画素に割り当てられた第２画素はノイズ低減フィルタでの処理においてその都度の観察対象の第２画素の新たな値により強く流れ込む。従って、ノイズ低減フィルタにおいて、観察対象の第２画素の近傍の第２画素のうち、観察対象の第２画素に割り当てられた第１画素に全く又はあまり類似していない第１画素を割り当てられた第２画素の寄与は小さくなる。その背後にあるのは、より感度が高いためより正確である第１撮影チャネルにおける類似性を通じて、より感度の低い第２撮影チャネルにおいて、前記近傍の第２画素のうち観察対象の第２画素と同じ物体構造に属する第２画素を見つけ出すという考え方である。
【0014】
本発明には、ある意味で、第１撮影チャネルが持つより高い感度とより良好な信号雑音比が第２撮影チャネルに転写されるという利点がある。第２画像データにおいてノイズが低減され、それにより該データは品質と信号雑音比が高まり、しかも空間解像度の損失は全くない又はごく僅かしかない。これに対し、第２画像データ内でのみ作用する従来のノイズ低減フィルタではエッジが不鮮明になることが避けられない。本発明に係る方法は依然として簡単であり、適度の計算能力及び記憶能力でリアルタイムでも実施できる。
【0015】
制御及び評価ユニットは、前記近傍の第２画素のうち、その都度の観察対象の第２画素に割り当てられた第１画素に対する類似性基準を満たす第１画素を割り当てられた第２画素だけをノイズ低減フィルタのために考慮するように構成されていることが好ましい。これは言わば類似性のデジタル化又は二値化である。即ち、類似性基準を満たさない第１画素を割り当てられた第２画素は全く考慮されない。類似性基準を満たす第１画素を割り当てられた第２画素は好ましくは互いに等しく重み付けされる。デジタル式の類似性基準に代えて、類似性に依存した重み付けを選択することもできる。その場合、観察対象の第２画素の近傍の各第２画素の重みを決めるために、観察対象の第２画素に割り当てられた第１画素と前記近傍の第２画素に割り当てられた第１画素との差を引数とする重み付け関数を定義することができる。いずれの場合も、例えば観察対象の第２画素からの距離の増大とともに減少する重み等、位置に依存した追加の重み付けを重ねることができる。
【0016】
類似性基準は、前記近傍にある１つの第１画素とその都度の観察対象の第２画素に割り当てられた第１画素との間の差を評価するために用いられる少なくとも１つの閾値を備えていることが好ましい。閾値は、その都度の観察対象の第２画素に割り当てられた第１画素の値に対して対称的に設定することができる。あるいは上方及び下方に閾値を異ならせることも考えられる。このように形成された狭い範囲内に存在する前記近傍内の第１画素は類似性基準を満たし、その範囲外にある前記近傍内の第１画素はそれを満たさない。
【0017】
ノイズ低減フィルタは平均化フィルタであることが好ましい。これにより、観察対象の第２画素の近傍にわたり平滑化又は平均化が行われる。もちろん、本発明では、前記近傍の第２画素が、該画素に割り当てられた第１画素と観察対象の第２画素に割り当てられた第１画素との類似性に依存する関係になる。重み付けは上述のように二値的にすること、即ち、対応する第１画素が十分な類似性を持つ第２画素は寄与し、そうでなければ寄与しないものとすることや、類似性に量的に依存したものとすることができる。ここでもまた、どちらの場合でも、例えば観察対象の第２画素からの距離の増大とともに減少する重み等、追加の重みを更に加えることができる。
【0018】
ノイズ低減フィルタは、その都度の観察対象の画素を中心とする近傍を定義するフィルタカーネルであって、その値が特に中心の第１画素に対する近傍の第１画素の類似性に応じて設定されているフィルタカーネルを備えていることが好ましい。フィルタカーネルを用いた畳み込みそのものは普通の措置である。本発明には観察対象の第２画素毎にフィルタカーネルが定義されているという特徴がある。そのフィルタカーネルは、その都度の観察対象の第２画素に割り当てられた特別な第１画素における近傍に依存している。従ってそれはグローバルではなくローカルに定義されたフィルタカーネルであるが、当然ながら、そのフィルタカーネルを作り出す基準となる規則は逆にグローバルであることが全く好ましい。フィルタカーネルの個々の値又は重みは、近傍の各第２画素がどの程度の貢献度でその都度の観察対象の第２画素の新たな画素値に流れ込むべきかを決定する。これらの重みは第１画像データ中の割り当て画素における類似性に基づいて設定される。
【0019】
１つのフィルタカーネルは観察対象の第２画素を中心として全方向にｎ個の画素を有するマトリクスとして定義されることが好ましい。故に、観察対象の第２画素は各フィルタステップの中心の第２画素と呼ぶことができる。このように中心の合ったマトリクスが第２画素の近傍上に配置され、畳み込み（合成積）が、特にフィルタカーネルと近傍の第２画素の点毎の積の合計として計算される。観察対象の第２画素が中心にあるのは好ましいことに過ぎず、フィルタカーネル内にゼロを配置することにより中心を外した配置にすることもできる。同じ理由からマトリクスも実際的な限定ではなく、任意の近傍又は近隣領域に対する簡単な実装に過ぎない。なぜなら、周縁部にはゼロを任意の幾何学的な形状に合わせて設定できるからである。
【0020】
制御及び評価ユニットは、類似性基準が満たされていない箇所ではフィルタカーネルにゼロを配置するように、及び／又は、類似性基準が満たされている箇所ではフィルタカーネルに互いに同じ大きさの非僅少値を配置するように構成されていることが好ましい。これは前述のフィルタカーネルのデジタル的又は二値的な実施形態であり、観察対象の第２画素に割り当てられた第１画素に十分類似している第１画素を割り当てられた第２画素のみを考慮するものである。具体的には、このフィルタカーネルは観察対象の第２画素を中心としており、対応する部分が、割り当てられた第１画素を中心として第１画像データ内に設定されている。中心の第１画素に十分に類似していない第１画素の箇所においてはフィルタカーネルにゼロを設定することで、前記近傍のその部分がノイズ低減フィルタにおいて考慮されないようにする。フィルタカーネルの他の部分では前記近傍の第２画素が考慮され、しかも好ましくは同じ重みで考慮される。フィルタカーネルの要素を二値的にする代わりに、上述したように重み付け関数に従って重みに依存した要素を設定することができる。ここでもまた、観察対象の第２画素からの距離の増大とともに重みを小さくする等の調節を行うことが考えられる。
【0021】
制御及び評価ユニットは、フィルタカーネルにゼロと等しくない値が幾つ現れるかを計数し、特にその数でフィルタカーネルを正規化するように構成されていることが好ましい。フィルタカーネルに類似性基準を満たしたゼロと等しくない要素がｍ個あるとする。このｍは、平均化又は他の計算の際に流れ込む値の個数を正しく参照するために特定される。フィルタカーネル内の非僅少の要素が互いに同じ大きさで特に「１」に設定されている場合、ｍはそれらの合計に等しい（場合によっては倍率まで含める）。そしてこのフィルタカーネルは全ての要素をｍで割ることによりなお正規化することができる。
【0022】
制御及び評価ユニットは第１画像データと第２画像データの解像度を互いに合わせるように構成されていることが好ましい。画像センサによっては第１画像データと第２画像データが最初は異なる解像度を持っていることがある。これは、例えば解像度が低い方の画像データを内挿すること又は解像度が高い方の画像データの画素をまとめること（ビニング）により解消できる。そうすると、第１画像データと第２画像データの重畳領域では各第１画素に対して正確に１つの第２画素が割り当てられる。繰り返しになるが、重畳領域は両方の撮影チャネルにおいて共通に観察される物体領域に対応しており、好ましくは完全な重畳である。このようにすれば第１及び第２画素がどこでも１対１の関係になる。解像度を合わせずに多重に割り当てを行ってもよい。本発明に係る条件付きのノイズ低減処理はそれでも機能するが、実装においてより多くの特殊事例や境界事例を考慮しなければならない。
【0023】
第１撮影チャネルは、グレースケール画像（白黒画像又はモノクロ画像とも呼ぶ）の画像データを取得するために白色光に感度を持つモノクロチャネルとして構成されていることが好ましい。これによれば、第１撮影チャネルは白色光に感度を持つ受光画素を備えており、それは、該受光画素が光学スペクトル全体を捕らえるものであり、例えば色フィルタを備えていないということを意味している。当然ながら受信光には、用いられるカメラ画素が持つ不可避のハードウェア制限による限界がある。
【0024】
第２撮影チャネルは、特定の色の画像データを取得するために該色の光に感度を持つ少なくとも１つのカラーチャネルとして構成されていることが好ましい。これによれば、第２撮影チャネルは、例えば適宜の色フィルタを通して前記カラーチャネルの色の光にのみ感度を持つ受光画素を備えている。カラーチャネルの受光画素の分布は様々なパターンにすることができるが、それは実施形態によって異なる。
【0025】
第２撮影チャネルは、色の異なる複数のカラーチャネルを備えていることが好ましい。このようにすれば、第２画像データ自身が更に多重的に、好ましくはＲＧＢ（赤、緑、青）又はＣＭＹ（シアン、マゼンタ、黄）の原色で生成される。各々の単色画像、即ち例えば赤色、緑色及び青色画像はそれ自身で又は一緒に本発明に係るやり方でフィルタをかけることができる。特に好ましくは第２撮影チャネルが３原色のうちの２色に対応する２つのカラーチャネルだけを備えるようにする。これによれば、３番目の原色に感度を持つカラーチャネル及び受光画素は存在しない。制御及び評価ユニットは、第１画像データ（即ち白色画像データ）を利用して２つの原色から３番目の原色を再構成するように構成されていることが特に好ましい。白色は全ての原色を重畳したものであるから、他の２つの原色が撮影されれば３番目の原色を分離することができる。前記２つの原色は赤及び青であることが好ましい。一般には加法原色の色の方がより良い結果につながる。まさにベイヤー型において２重に設けられる緑色がこの好ましい実施形態では撮影されないから、そのために受光画素及びカラーチャネルを設ける必要がない。必要な場合には緑色が白色、赤色及び青色の画像情報から作り出される。具体的にはＧ＝３＊αＷ－βＲ－γＢから緑色が再構成される。ここで、α、β及びγは正規化係数であり、好ましくは更に色補正が行われる。
【0026】
画像センサは、少なくとも２本の受光素子のラインを有するラインセンサとして構成され、特に各ラインがそれぞれ完全に第１撮影チャネル又は第２撮影チャネルに割り当てられていることが好ましい。従ってこのカメラはラインカメラである。撮影チャネルは完全なラインから成ること、例えば第１ラインが第１撮影チャネルであり、第２ラインが第２撮影チャネルであることが好ましい。このようにすればライン方向に最大の解像度が得られる。特にカラーチャネルにおいては、ライン全体を１色にする代わりに、例えば異なる色に対応する受光画素が交互に現れるといったパターンを設けたり、均一色のラインと混合色のラインを組み合わせたりすることもできる。原理的には１つのカラーチャネルのラインに白色に感度を持つ受光素子をちりばめることも可能であるが、そのような画像情報はそもそも別のモノクロチャネルのラインが担当する。
【0027】
好ましくは２つ、３つ又は４つのライン配列が設けられる。ここに挙げた数字は正確な数であり、最小数ではない。ラインを少数にすれば画像センサの構造が非常にコンパクトになる。ラインを２本にすれば２重ラインとなり、１～２本のラインを追加すれば、特に色パターンのために一定の冗長性が生まれる。ここでも好ましくは各ラインがそれぞれ全体として１つの特定の撮影チャネルに属する。
【0028】
本カメラは撮影対象の物体の流れの上方に固定的に取り付けられていることが好ましい。そうすると好ましくは画像ラインが次々に撮影され,隙間なく並べられて１つの画像になる。バーコードの場合は代わりに単一のライン状撮影画像からコードを読み取ることが考えられるが、バーコードも前記のように合成された平面的な全体画像から読み取ることが好ましい。異なるラインの画像情報を読み取る際に時間的な遅れを導入することにより、特に画像情報を重ね合わせて、物体の同じ部分の第１画像データと第２画像データが対応するようにすることができる。
【0029】
制御及び評価ユニットは、第１撮影チャネルからグレースケール画像を生成し、第２撮影チャネルからカラー画像を生成するように構成されていることが好ましい。グレースケール画像又は白黒画像は高いコントラストと可能な限り高い信号雑音比で最大の解像度で取得される。同時にカラー画像も得られ、それを様々な追加の又は代替の評価に利用することができる。この追加的な色検出はグレースケール画像における解像度又は信号雑音比を犠牲にせずに行うことができる。それどころか、本発明に係るノイズ低減フィルタのおかげでグレースケール画像の品質が少なくとも部分的にカラー画像に転写される。
【0030】
グレースケール画像はコードの読み取りに用いられること、即ちコード内に符号化された内容が読み取られることが好ましい。コードの読み取りはここでは従来のモノクロカメラ、特にラインカメラと同じ品質で行うことができる。追加の色情報が復号の結果を損なうことはない。グレースケール画像を補足的に又は代替的にコードの読み取りとは別の目的のために利用してもよい。
【0031】
カラー画像とは、ＲＧＢ形式のように人間の目で普通に認識できる色を持つ、通常の語法でいうところの画像であって、例えば赤の色情報しか含まないような単色画像とは区別すべきものである。特に好ましくは、コードの付された物体及び／又はコード領域の認識、分類及び／又は画像背景からの識別を行うために、カラー画像をコードの読み取りと関連付けてその読み取りを支援するために用いる。コードの下地は周囲と色が異なることがよくあり、また、コードの付された物体を認識して背景から分離するために色情報を利用することができる。或いはカラー画像を他の何らかの機能に利用する。特にそれをそのまま出力し、後から視覚化及び診断の機能のため又は全く別の追加の課題に利用する。カラー画像はグレー画像よりも解像度が低いことがあるが、その場合は先に述べたようにそれをアップサンプリング／内挿、又は、ダウンサンプリング／ビニングによって合わせることができる。
【0032】
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
【0033】
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0034】
【図1】ラインカメラの概略断面図。
【図2】物体を載せたベルトコンベアの上方に、特にコードの読み取りのために固定的に取り付けられたラインカメラの使用を示す３次元図。
【図3】赤色、青色及び白色のラインを持つライン状画像センサの概略図。
【図4】赤色、青色及び２本の白色のラインを持つライン状画像センサの概略図。
【図5】赤と青が交互に現れるラインと白色ラインとを持つライン状画像センサの概略図。
【図6】赤と青が交互に現れる２本のラインと２本の白色ラインとを持つライン状画像センサの概略図。
【図7】ノイズ低減処理のために新たな値を割り振られる画素と前記新たな値に寄与する近傍とを含む画像例。
【図11】ノイズ低減処理前の画像例。
【発明を実施するための形態】
【0035】
図１は、ラインカメラとしての実施形態におけるカメラ１０の非常に簡略化したブロック図である。カメラ１０は撮影対物レンズ１６を通して検出領域１４からの受信光１２を捕らえる。対物レンズはここでは単に簡単なレンズで表されている。ライン状画像センサ１８が検出領域１４並びに場合によってはそこにある物体及びコード領域の画像データを生成する。画像センサ１８は感光性を有する受光画素２２から成る少なくとも２本のライン２０ａ～ｂを備えており、ライン方向には数百、数千又はそれ以上の多数の受光画素２２が設けられている。
【0036】
画像センサ１８の画像データは制御及び評価ユニット２４により読み出される。制御及び評価ユニット２４はマイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ等の一又は複数のデジタル部品上に実装されており、その全体又は一部をカメラ１０の外部に設けることもできる。評価のうち優先される部分は、取得した画像ラインを隙間なく並べて１つの全体画像にすることである。その他、評価の際に画像データを準備的にフィルタリングしたり、平滑化したり、特定の領域に切り詰めたり、二値化したりできる。ノイズ低減について後で図７～１２と関連付けてより詳しく説明する。コードリーダというカメラ１０の好ましい実施形態では個々の物体及びコード領域を見出すセグメント化を行うことが典型的である。それからそのコード領域内のコードが復号される。即ち、コードに含まれている情報が読み出される。
【0037】
検出領域１４を発射光２６で十分に明るくくまなく照らすため、発光光学系３０を有する照明装置２８が設けられている。これは図から離れて外部にあってもよい。カメラ１０のインターフェイス３２にはデータが出力可能であり、しかも読み取ったコード情報と同様に、生画像データ、前処理された画像データ、識別された物体、又はまだ復号されていないコード画像データ等、様々な処理段階における他のデータも出力できる。逆にインターフェイス３２又は他のインターフェイスを通じてカメラ１０のパラメータ設定を行うことができる。
【0038】
図２は、カメラ１０をベルトコンベア３４付近に取り付けて使用できることを示している。ベルトコンベア３４は矢印で示したようにカメラ１０の検出領域１４を通って物体３６を搬送方向３８に搬送する。物体３６は表面にコード領域４０を持っていることがある。カメラ１０の任務は、コード領域４０を認識し、そこに付されたコードを読み取り、復号して、それぞれ該当する物体３６に割り当てることである。側面に付されたコード領域４２も認識するため、好ましくは複数のカメラ１０が異なる視点から用いられる。また、例えば物体３６の形状を捕らえるための前段のレーザスキャナやベルトコンベア３４の速さを検出するためのインクリメンタルエンコーダといった追加のセンサがあってもよい。
【0039】
カメラ１０の検出領域１４はライン状画像センサ１８に対応するライン状の読み取り野を持つ平面である。物体３６が搬送方向３８に１ラインずつ撮影されることにより、コード領域４０を含めた搬送中の物体３６の全体画像が次第に作り出される。なお、ライン２０ａ～ｂは非常に近接しているため、実質的に同じ物体断片を捕らえる。あるいは、ずれを計算で補ったり、各ラインを時間的に若干ずらして読み取ることにより補ったりする。
【0040】
カメラ１０はまず画像センサ１８でコードの読み取りのために用いられるグレースケール画像又は白黒画像を取得する。それに加えて色情報又はカラー画像も取得される。色情報は多くの追加機能に利用できる。一例として、物体３６が例えば荷物であるか、封筒であるか、あるいは紙袋であるかを見出すための分類作業がある。ベルトコンベアの容器（例えば深皿コンベアの深皿、又は箱）が空かどうかを確認することができる。物体３６又はコード領域４０における画像データのセグメント化を色情報に基づいて行う又はそれにより支援することができる。また、例えば危険物表示用の特定の刷り込み又はステッカーの認識等、追加的な画像認識の課題を解決したり、文字を読み取ったりできる（ＯＣＲ、光学文字認識）。
【0041】
図３～６はこのように白黒画像と色情報を取得するための画像センサ１８の実施形態のいくつかの例を示している。これらの実施形態に共通しているのは、ライン２０ａ～ｄのうち少なくとも１つが、ハードウェアの限界内でスペクトル全体の光を捕らえる受光画素２２を有するモノクロ又は白色ラインであるということである。少なくとも別の１つライン２０ａ～ｄが、特定の色だけに感度を持つ受光画素２２を有する有色ラインであり、これは特に適宜の色フィルタによる。有色ラインの各々の受光画素２２にわたる各色の配分は実施形態によって異なる。完全な白色ラインが少なくとも１つ設けられていることは、それによりグレースケール画像が最大の解像度で撮影されるため、好ましい。また、白色と有色のラインの区別がより分かりやすくなる。もっとも、原理的にはそのパターンから逸脱し、ライン２０ａ～ｄ内で白色と有色の受光画素２２を混在させることも考えられる。同じスペクトル感度を持つ受光画素２２がモノクロチャネルにおいてはグレースケール画像用にまとめられ、各カラーチャネルにおいては、例えば赤色に感度を持つ赤色のカラーチャネル内の受光画素２２は赤色画像用に、青色に感度を持つ青色のカラーチャネル内の受光画素２２は青色画像用にというように、単色画像用にまとめられる。
【0042】
図３は赤色ライン２０ａ、青色ライン２０ｂ及び白色ライン２０ｃをそれぞれ有する実施形態を示している。即ち、ライン２０ａ～ｃはそれぞれ均一であり、１つのライン２０ａ～ｃ内の受光画素２２は同じ光スペクトルに感度を持つ。図４は白色ライン２０ｄを追加した変形を示している。
【0043】
図５の実施形態では赤色と青色に感度を持つ受光画素２２が有色ライン２０ａ内で交互に現れるように混在している。このようにすれば、白色ライン２０ｂと組み合わせて全部で２本のラインだけを持つ構成が可能である。図６はその変形であって、こちらは有色ライン２０ａ～ｂと白色ライン２０ｃ～ｄが共に２重になっている。
【0044】
図５及び６の実施形態では個々のカラーチャネルにおける解像度がモノクロチャネルの解像度と異なっている。内挿又はビニング等により解像度を合わせることが考えられる。図示した例は原色の赤及び青と白（ＲＢＷ）に基づいた１つの選択に過ぎない。他の実施形態では別の色フィルタと色が用いられる。例えば、緑と赤又は青（ＲＧＷ、ＢＧＷ）や３原色全て（ＲＧＢＷ）を用いることも考えられるであろう。更には減法混色の原色である青緑（シアン）、紫（マゼンタ）及び黄を同様に組み合わせること（ＣＭＷ、ＣＹＷ、ＭＹＷ又はＣＭＹＷ）も考慮の対象になる。欠けている原色は白色から再構成できる。より忠実な色の撮影画像を得るために明度及び／又は色の調整を行うことが有利である。
【0045】
ここまで説明してきた、モノクロチャネルとカラーチャネルを持つラインカメラは好ましい実施形態である。しかし本発明はこれに限定されない。画像センサ１８は他の形態を持つものでもよく、特に、マトリクスカメラにおいて画素のマトリクス配列を有するものとすることができる。１つのモノクロチャネルと一又は複数のカラーチャネルの代わりに任意の２つの撮影チャネルを設けた場合でも、それらの感度が異なっており、その結果、信号雑音比の異なる画像データが生じるのであれば十分である。その際、各時点で、同じ物体領域が両方の撮影チャネルにより２重に撮影される。両方の撮影領域は少なくとも重なっているはずであり、以下のノイズ低減処理はその重畳領域に関係する。非重畳領域においてはノイズ低減処理を行わなくてもよいし、別のノイズ低減処理を行ってもよい。後者は特に、非重畳領域の各画素に対するフィルタカーネルの値を固定的な規準値に設定することによる。ノイズ低減処理は制御及び評価ユニット２４のＦＰＧＡ内で実行することが好ましい。
【0046】
図７はモノクロチャネルから得られる画像データの画像例である。図１～６と関連付けて説明したように、２つの撮影チャネルから得られる２つの画像がある。即ち、図のような、第１撮影チャネルの、より高い感度で撮影した画像と、第２撮影チャネルの、より低い感度で撮影した同じ物体領域の画像（図示せず）である。第１撮影チャネルの画像は好ましくは白黒画像であり、第２撮影チャネルの画像はカラー画像であるが、後者の方は例えば原色で撮影された複数の画像から成るものとすることもできる。そこで以下では一般性を制限することなく２つの画像と呼ぶ。
【0047】
ノイズ低減処理はカラー画像に作用してその信号雑音比を改善するものである。ただし、それに対応するノイズ低減フィルタは白黒画像に基づいて生成又はパラメータ設定される。そのために、近隣領域又は近傍４６の中心にある画素４４がそれぞれ観察される。画素を中心から外すことも同様に考えられる。ただしこれを別々に論じることはしない。なぜなら、それは中心の合ったノイズ低減フィルタの周縁部にゼロを配置すれば達成されるからである。同じようにして近傍４６を実質的に矩形とは異なる形にすることも可能であり、従って矩形と前提したのはそれに限定するものではない。ノイズ低減処理の間、各画素は入れ替わりながら１回ずつ観察対象の画素４４になる、又は、少なくとも関心対象の画像部分にある全画素がそうなる。
【0048】
図８は観察対象の画素４４を中心とする近傍４６を、形式を整えた画素ラスタ上に示している。近傍４６に対応して観察対象の画素４４のためのフィルタカーネルを見出す必要がある。観察対象の画素４４は位置(i,j)にある。近傍４６としてｎ×ｎ画素の部分が想定される。ここでは純粋な例としてｎ＝５である。そうすると図示した近傍４６は位置(i-2:i+2, j-2:j+2)になる。既に述べたが、中心の合ったマトリクスとは異なる形態が可能であり、それは求めるフィルタカーネルにゼロを配置することで非常に容易に実装できる。フィルタカーネルはローカルなものである。即ち、処理の続行中、特にｉ及びｊを用いた繰り返しの間に、観察対象の画素４４が入れ替わるとフィルタカーネルも変わる。なお、繰り返しは順次処理を含意するものであるが、複数の観察対象の画素４４を同時に処理する並列化も可能である。
【0049】
観察対象の画素４４のグレースケール値Ｇ(i,j)は既知である。そこで、近傍４６において観察対象の画素４４に類似した画素を探す。そのために対称的な閾値ｅが定められる。位置(i-2:i+2,j-2:j+2)にある近傍４６の画素毎に、そのグレースケール値Ｇが閾値ｅで定まる許容差で以て一致するかどうか、即ち、Ｇ(i,j)－ｅ≦Ｇ≦Ｇ(i,j)＋ｅであるかどうかが検査される。この類似性基準が満たされていれば、フィルタカーネル内で対応する要素には１が設定され、そうでなければ０が設定される。
【0050】
図９は図７の画像例を再度示したものであるが、今度は近傍４６のうち、画素が類似性基準を満たしており、従ってフィルタカーネルの要素に１が設定されている類似部分４８が強調されている。グレースケール値が類似していることから、ここには共通の物体構造がある可能性が高い。
【0051】
図１０は、図８の形式を整えた画素ラスタ上に、図９の観察対象の画素４４を中心とする近傍４６と類似部分４８とを示している。類似部分４８の画素は黒、残りの類似していない画素は白で表されている。フィルタカーネルにおいて、類似部分４８の画素に最初は値「１」が割り振られ、残りの類似していない画素には値「０」が割り振られる。そして、有利な態様である正規化ステップではそれから更に類似部分４８の画素の個数ｍが数えられる。そのためにはここまでに求められたフィルタカーネル全体の合計を計算するだけでよい。そしてフィルタカーネルの「１」が個数ｍの逆数１／ｍで置き換えられる。この正規化された形態のフィルタカーネルはカラー画像に直接適用できる。そうでなければ前記数ｍをフィルタリングの際に考慮すべきであろう。
【0052】
フィルタカーネルは白黒画像から生成されるが、それが今度はカラー画像に適用される。そのために、今度はカラー画像の各々の観察対象の画素(i,j)に対して、該カラー画像の近傍に含まれる各画素とそれに対応するフィルタカーネルの要素を点毎に乗算し、これら寄与分の合計を観察対象の画素(i,j)に割り当てる。従ってこれはカラー画像の近傍の平均の計算であって、平滑化又は平均化カーネルを用いた従来の畳み込みを手本にしたものである。ただし決定的な違いがある。それは、フィルタカーネルが予めグローバルに与えられるのではなく、白黒画像の同じ部分における類似性により、観察対象の画素(i,j)毎にローカルに作り出されるということである。カラー画像の近傍のうち、白黒画像において観察対象の画素４４に対して十分な類似性がある部分のみが流れ込む。そして画素(i,j)の元の値が個数ｍに計数されて均一に重み付けされるか、あるいはその値が意図的に高め又は低めに重み付けされる。
【0053】
フィルタカーネルを用いた畳み込みは特に簡単な実装である。しかし本発明は、白黒画像における類似性に基づいてノイズ低減処理の際のカラー画像の近傍の影響をどのように決めるかに関して、特定の方法に限定されない。更に、近傍の各画素が寄与するか否かというデジタル的な類似性基準を用いれば、簡単で且つ良好な結果につながる。あるいは定量的な重み、特に類似性又は非類似性の度合いに依存した重みを定めること、特にグレースケール値Ｇを用いた近傍４６の各画素のグレースケール値の差|Ｇ-Ｇ(i,j)|に従属する重み付け関数を用いることも考えられる。
【0054】
図１１及び１２は本発明に係るノイズ低減処理の適用前と適用後の画像例を示している。単なる描画上の制約により白黒画像となっており、そのためやや乱れがあるが、それはこれらの画像例が第２撮影チャネルから得られたカラー画像だからである。一方、図７及び９の画像例は描画上の制約によるだけでなく実際に第１撮影チャネルの白黒画像であり、それらから予めその都度のローカルなフィルタカーネルを観察対象の画素４４の近傍４６の画素の類似性に基づいて見出したものである。
【0055】
図１１では、ノイズによる黒っぽい斑点がちりばめられているとともに、エッジが不鮮明であることが分かる。本発明に係るノイズ低減処理後は、空間解像度を失うことなく、それらのノイズの作用が一目瞭然に著しく低減されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
