(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-15
(45)【発行日】2023-09-26
(54)【発明の名称】移動する物体の流れの検出
(51)【国際特許分類】
G01B 11/00 20060101AFI20230919BHJP
G01B 11/24 20060101ALI20230919BHJP
【ＦＩ】
G01B11/00 H
G01B11/24 A
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2022044433
(22)【出願日】2022-03-18
(65)【公開番号】P2022162529
(43)【公開日】2022-10-24
【審査請求日】2022-05-02
(31)【優先権主張番号】10 2021 109 078.4
(32)【優先日】2021-04-12
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】591005615
【氏名又は名称】ジック アーゲー
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】ロマン ミューラー
(72)【発明者】
【氏名】ダーク ストローメイヤー
【審査官】山▲崎▼ 和子
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２８１１９９（ＵＳ，Ａ１）
【文献】国際公開第２０１９／０９２１６１（ＷＯ，Ａ１）
【文献】特開２０１５－２１０８２２（ＪＰ，Ａ）
【文献】米国特許出願公開第２００９／００４８７０５（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
(57)【特許請求の範囲】
【請求項1】
カメラ装置（１０）に対して移動する物体（５４）の流れを検出するためのカメラ装置（１０）であって、前記物体（５４）の画像データを取得するための画像センサ（２０）と、前記物体（５４）を測定するための形状把握センサ（２８、６２）と、前記形状把握センサ（２８、６２）の測定データに基づいて少なくとも１つの関心領域（７０、７４）を決定することで前記画像データの評価を前記関心領域（７０、７４）に限定するように構成された制御及び評価ユニット（４２）とを備えるカメラ装置（１０）において、前記画像センサ（２０）が、その都度取得された画像データのうち調節可能な部分だけを読み出すことを可能にするために設定ユニット（２２）を備えること、及び、前記制御及び評価ユニット（４２）が、前記画像データのうち前記関心領域（７０、７４）に基づいて決定された部分だけを前記画像センサ（２０）から読み出すように構成されていること、及び、前記制御及び評価ユニット（４２）が前記画像センサ（２０）から画像データを読み出して前処理するために前処理ユニット（４４）を備えており、該前処理ユニット（４４）が、仮に画像センサ（２０）の１回の撮影による完全な画像データの読み出し及び前処理を行ったとしたら完全な前処理時間を必要とするように設計されており、前記画像センサ（２０）が、２回の撮影の合間に残る時間が前記完全な前処理時間よりも短いような撮影周波数で駆動されていることを特徴とするカメラ装置（１０）。
【請求項2】
前記制御及び評価ユニット（４２）が、前記少なくとも１つの関心領域（７０、７４）及び／又は前記画像データの前記読み出される部分を撮影の合間に適合化するように構成されている請求項１に記載のカメラ装置（１０）。
【請求項3】
前記撮影周波数が可変の撮影周波数である請求項１又は２に記載のカメラ装置（１０）。
【請求項4】
前記設定ユニット（２２）が画像ラインを選択するように構成されている請求項１～３のいずれかに記載のカメラ装置（１０）。
【請求項5】
前記設定ユニット（２２）が矩形状の部分領域を選択するように構成されている請求項１～４のいずれかに記載のカメラ装置（１０）。
【請求項6】
前記制御及び評価ユニット（４２）が、前記画像データのうち、前記画像センサ（２０）の被写界深度範囲（７８、８０）内にある関心領域（７０、７４）に基づいて撮影された部分だけを該画像センサ（２０）から読み出すように構成されている請求項１～５のいずれかに記載のカメラ装置（１０）。
【請求項7】
前記制御及び評価ユニット（４２）が、被写界深度範囲（７８、８０）外の関心領域（８２）のために適切な被写界深度範囲（７８、８０）を特定し、その後の撮影のために該適切な被写界深度範囲（７８、８０）に焦点を再設定するように構成されている請求項１～６のいずれかに記載のカメラ装置（１０）。
【請求項8】
前記制御及び評価ユニット（４２）が、前記少なくとも１つの関心領域（７０、７４）を前記画像センサ（２０）の被写界深度範囲に基づいて決定するように構成されている請求項１～７のいずれかに記載のカメラ装置（１０）。
【請求項9】
前記制御及び評価ユニット（４２）が、前記画像データ内でコード領域（５８、６０）を識別してそのコード内容を読み出すように構成されている請求項１～８のいずれかに記載のカメラ装置（１０）。
【請求項10】
前記形状把握センサ（２８、６２）が距離センサ、特に光伝播時間法の原理による光電式距離センサとして構成されている請求項１～９のいずれかに記載のカメラ装置（１０）。
【請求項11】
前記形状把握センサ（２８）が、前記画像センサ（２０）とともにカメラ（１０）に統合されている、又は、前記画像データの撮影より前に前記物体（５４）を測定するために外部（６２）で前記流れとは逆に前記画像センサ（２０）の上流に配置されている、請求項１～１０のいずれかに記載のカメラ装置（１０）。
【請求項12】
前記流れの速度を測定するための速度センサを備えている、及び／又は、前記制御及び評価ユニット（４２）が前記形状把握センサ（２８、６２）の測定データ及び／又は前記画像データに基づいて前記流れの速度を測定するように構成されている、請求項１～１１のいずれかに記載のカメラ装置（１０）。
【請求項13】
前記物体（５４）を搬送方向（５６）に搬送する搬送装置（５２）付近に固定的に取り付けられている請求項１～１２のいずれかに記載のカメラ装置（１０）。
【請求項14】
前記流れを上から撮影するための少なくとも１つの画像センサ（２０）及び／又は前記流れを横から撮影するための少なくとも１つの画像センサ（２０）を備えている請求項１～１３のいずれかに記載のカメラ装置（１０）。
【請求項15】
移動する物体（５４）の流れを検出する方法であって、画像センサ（２０）を用いて前記物体（５４）の画像データを取得し、形状把握センサ（２８、６２）を用いて前記物体（５４）を測定し、前記形状把握センサ（２８、６２）の測定データに基づいて少なくとも１つの関心領域（７０、７４）を決定することで前記画像データの評価を該関心領域（７０、７４）に限定する方法において、前記画像データのうち前記関心領域（７０、７４）に基づいて決定された部分だけを前記画像センサ（２０）から読み出すために前記画像センサ（２０）を設定すること、及び、前処理ユニット（４４）が前記画像センサ（２０）から画像データを読み出して前処理し、該前処理ユニット（４４）が、仮に画像センサ（２０）の１回の撮影による完全な画像データの読み出し及び前処理を行ったとしたら完全な前処理時間を必要とするように設計されており、前記画像センサ（２０）が、２回の撮影の合間に残る時間が前記完全な前処理時間よりも短いような撮影周波数で駆動されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項１又は１５のプレアンブルに記載のカメラ装置及び移動する物体の流れを検出する方法に関する。
【背景技術】
【0002】
カメラは、産業上の利用において、例えば物品の検査や測定等の目的で、物品の特性を自動的に捕らえるために多様な方法で用いられる。その場合、物品の画像が撮影され、業務に応じて画像処理により評価される。カメラの別の用途としてコードの読み取りがある。画像センサを用いて、表面にコードがある物品が撮影され、その画像内でコード領域が識別されて復号が行われる。カメラベースのコードリーダは、１次元バーコード以外に、マトリクスコードのように２次元的に構成され、より多くの情報を利用できる種類のコードも問題なく処理できる。印刷された住所や手書き文書の自動的なテキスト認識（OCR: Optical Character Recognition）も原則的にはコードの読み取りである。コードリーダの典型的な応用分野としては、スーパーマーケットのレジ、荷物の自動識別、郵便物の仕分け、空港での荷物の発送準備、その他の物流での利用が挙げられる。
【0003】
よくある検出状況の１つはカメラをベルトコンベアの上方に取り付けるというものである。カメラはベルトコンベア上で物品の流れが相対移動している間、画像を撮影し、取得された物品特性に応じてその後の処理ステップを開始する。このような処理ステップでは、例えば、搬送中の物品に作用する機械上で具体的な物品に合わせて更なる処理を行ったり、物品の流れの中から品質管理の枠組み内で特定の物品を引き出すこと又は物品の流れを複数の物品の流れに分岐させることにより物品の流れを変化させたりする。そのカメラがカメラベースのコードリーダである場合、各物品が、それに付されたコードに基づき、正しい仕分け等の処理ステップのために識別される。
【0004】
より高性能の画像センサがますます利用可能になってきたことから、少数のカメラで例えばベルトコンベアの幅のような広い領域をカバーできるようになっている。しかし、物体の高さが様々である場合、被写界深度範囲が十分でないために視野内の全ての物体を十分鮮明に撮影できないという状況が繰り返し生じる。基本的にここでは焦点調節が打開策を提供する。しかしそれには高速の連続撮影が必要である。なぜなら、そうでなければ撮影対象の物体がもはや捕らえられない又は少なくとも正しい視点では捕らえられないからである。それに必要となる高速の撮影周波数は大きな画像センサでは達成できない。なぜなら、２回の撮影の合間に処理できる量よりも多くのデータが生成されるからである。これに関してはより小型の画像センサがなおも役立つであろうが、そうすると、少数（理想的には１台だけ）のカメラで広い領域をカバーするという、目指す利点を放棄することになる。
【0005】
被写界深度範囲は原理的には小さい絞りと追加の照明を用いることで光損失及びそれに伴う信号雑音比の低下を補うことにより広げることができる。しかしそうすると、そうでなくても既に高性能である照明に一層コストがかかってしまう。しかもデータ負荷は低減されない。更に、データ量を過大にすることなくベルトコンベアを覆うことができる幅広のアスペクト比を持つ画像センサの利用が考えられるかもしれない。しかしこのような普通でない画像センサは購入可能ではない、又は、少なくとも画像センサにとって重要な他の因子に関する選択の幅を著しく制限してしまう。しかも、搬送方向にも広い視界があることは何と言っても有利であるが、前記幅広の画像センサではそれが失われてしまう。
【0006】
特許文献１及び２はそれぞれ、ベルトコンベア付近で移動する物体を監視するための装置を開示している。距離測定装置又はレーザスキャナがカメラの前段に配置されており、そのデータを用いて関心領域（ROI: region of interest）が決定され、その後の画像データの評価はこの領域に限定される。ここではラインカメラが用いられ、その画像ラインが１つの画像に結合される。従って、最初は全体の画像データが発生し、後からようやくそれが減縮される。マトリクスカメラはついでに言及されているのみであり、その画像データをどのように扱うのかについての説明はない。この形でマトリクスカメラを用いると、画像ラインが何度も冗長に取得されることにさえなるから、データ量の問題はラインカメラに比べてひどくなるばかりである。
【0007】
特許文献３では、予め測定された形状データを用いて関心領域を決定した後、その領域を非関心領域よりも高い解像度で捕らえる。その差は、一実施形態においては関心領域内の画像データを非関心領域よりも完全に評価することにあるが、そうするとそれは特許文献１及び２の更に別の変形に過ぎない。或いは、非関心領域において例えば３ライン毎又は１０ライン毎にのみ評価を行う。そうするとデータが削減されるのはラインカメラの全視野が一様に非関心領域であるような時点においてのみである。しかもこのやり方はマトリクスカメラに全く転用できない。
【0008】
特許文献４には予め取得した形状データを活用して複数のカメラの焦点を相補的に合わせるカメラシステムが記載されている。これは複数のカメラで冗長に物体を検出することを基本としており、故に、できればカメラ１台だけで検出対象の物体流の全幅をカバーするというシステムには適していない。しかも、冗長性により全データ量が更に何倍にもなる。
【0009】
特許文献５から、光伝播時間法の原理による光電式距離センサが統合されたカメラが知られている。前記センサのデータは数多くの機能に利用され、それには距離値から得られた高さプロファイルに基づく関心領域の確定も含まれている。しかしその関心領域は付加情報として扱われるか、或いは、その画像が何らかの処理ステップにおいて関心領域に切り詰められる。従って、処理対象のデータは全く減縮されないか、その後の処理ステップでようやく減縮される。
【0010】
特許文献６はサブピクチャをエネルギー効率良く読み取ることができる画像センサを紹介している。同文献では冒頭で関心領域（ＲＯＩ）という概念に言及されているが、その文書は画像センサの応用ではなくそのハードウェアレベルの説明に関するものである。
【先行技術文献】
【特許文献】
【0011】
【文献】EP 1 645 838 B1
【文献】EP 1 645 839 B1
【文献】DE 20 2006 020 599 U1
【文献】EP 2 693 363 A1
【文献】EP 3 537 339 A2
【文献】US 9 237 286 B2
【発明の概要】
【発明が解決しようとする課題】
【0012】
故に本発明の課題は、移動する物体の流れの検出を更に改善することである。
【課題を解決するための手段】
【0013】
この課題は請求項１又は１５に記載のカメラ装置及び移動する物体の流れを検出する方法により解決される。本カメラ装置は画像センサに対して相対的に移動する物体の画像データを該画像センサで取得する。画像センサは、上から見たと考えたときの前記流れの幅の大部分若しくは全体、又は側方から見たときの前記流れの高さの大部分若しくは全体、並びに移動方向の一定の長さをカバーしていることが好ましく、従って、典型的には数メガピクセルの解像度を持つマトリクス配列になった多数の受光素子又は画素を備えていることが好ましい。形状把握センサが物体の形状を測定する。それには特に物体までのその都度の距離を測定する距離センサが適している。相対運動の進行中における形状把握センサの位置と姿勢が分かれば、前記距離から移動方向及び好ましくはそれに交差する方向における高さ輪郭を生成することができる。
【0014】
制御及び評価ユニットが、形状把握センサの測定データを利用して、例えば物体、物体表面、又は、カメラ装置にとって重要なその他の構造を含む少なくとも１つの関心領域を決定する。その後、画像データの更なる評価は関心領域に限定される（「トリミング」）。測定データに強度情報又は色情報が含まれていれば、代わりに又は補完的に、明度、色又はコントラスト等の純粋には形状情報ではない情報を関心領域の決定のために考慮することができる。形状データに基づいて画像センサのレベルで関心領域を決定するために、画像センサと形状把握センサが互いに較正されていて、それに応じた変換が行われることが好ましい。
【0015】
本発明の出発点となる基本思想は、画像データを画像センサ内におけるデータ発生源において直ちに少なくとも関心領域にまで限定することにある。画像センサは設定ユニットを備えており、以て画像データのうち調節可能な一部又は一部領域だけを読み出させるための設定手段を提供する。制御及び評価ユニットはこの設定手段を利用して画像データの読み出し対象部分を前記少なくとも１つの関心領域に合わせる。特に、関心領域を構成する画素又は画素ラインが正確に読み出される。ただし、それが画素単位で正確に一致するのは単に好ましいことに過ぎず、バッファゾーンや、関心領域の一部を切り取った領域も考えられるし、ある一定の画素群へのアクセスを単に一緒に許可又は制限するだけの限定的な設定手段も考えられる。関心領域と関係のない画像データは最初は全く読み出す必要はない。
【0016】
本発明には、最初から画像データが重要なデータに減縮されるという利点がある。これは一連の画像処理の多くの箇所において大きな利点をもたらす。データ伝送の帯域幅、記憶及び計算リソース、並びに処理時間が節約される。それに伴う質の低下はない。なぜなら非関心領域はそうでなくても使用上の重要な情報を含んでいないからである。こうして、少数又は単一のカメラで物体の流れの全幅又は全高をカバーする場合の冒頭で説明した欠点が克服される。焦点調節と組み合わせれば、全ての関心領域が少なくとも１回の撮影において鮮明に結像されることを保証することができる。
【0017】
制御及び評価ユニットは、前記少なくとも１つの関心領域及び／又は前記画像データの前記読み出される部分を撮影の合間に適合化するように構成されていることが好ましい。関心の対象となる構造を持つ物体はカメラ装置に対して相対運動しているため、画像センサのレベルにおける関心領域の位置は常に変化している。その上、物体は視界から去り、新たな物体が入ってくる。それを適合化によって顧慮する。故に画像センサ又はその設定ユニットは、好ましくは撮影周期より下の短い応答時間で、動的な再設定を行う手段を提供することが好ましい。適合化は個々の撮影の完了毎に行うことができるが、必須ではない。その上、制御及び評価ユニットは、適合化の際、それまでの設定が次の撮影にもなお適合しているという結論に達する可能性がある。特に、関心領域が２回又は数回の撮影の間の短い時間間隔に対して十分な一定のバッファを持って決定されて読み出される場合にその可能性がある。
【0018】
好ましくは、制御及び評価ユニットが画像センサから画像データを読み出して前処理するために前処理ユニットを備えており、該前処理ユニットが、仮に画像センサの１回の撮影による完全な画像データの読み出し及び前処理を行ったとしたら完全な前処理時間を必要とするように設計されており、画像センサが、２回の撮影の合間に残る時間が前記完全な前処理時間よりも短いような撮影周波数、特に可変の撮影周波数で駆動されている。前処理ユニットは好ましくは少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、少なくとも１つのＤＳＰ（Digital Signal Processor）、少なくとも１つのＡＳＩＣ（Application-Specific Integrated Circuit）、少なくとも１つのＶＰＵ（Video Processing Unit）又は少なくとも１つのニューラルプロセッサを含み、歪み修正、明度適合化、二値化、セグメント化、コード領域の探索等の前処理ステップを実行する。仮に画像センサから完全な画像を読み出して前処理したとすると、前処理ユニットは完全な処理時間を必要とし、その数値例を純粋に理解のために示せば２５ｍｓである。接続法で表現したのはもちろん、本発明では完全な画像データを読み出すことはないからである。それでもこれは、データ伝送の帯域幅、計算能力又はメモリ容量といった前処理ユニットのハードウェア資源を描写してくれる。
【0019】
画像センサの撮影周期は前記完全な前処理時間よりも短く設定されることが好ましい。言い換えれば、撮影周波数が非常に高いため前処理ユニットがもはや完全な画像データを扱うことができないということである。完全な前処理時間が２５ｍｓという例の場合、まだ処理できる撮影周波数はせいぜい４０Ｈｚであるのに対し、画像センサはそれより高い周波数、例えば５０～１００Ｈｚ又はそれ以上で駆動される。この前処理にコード読み取り等の他の画像処理ステップを続けることができるが、これらのステップ自体、パイプライン構造の場合にはもっと長い時間を必要とする。そのため、関心領域に関連した画像データだけを特に読み出すことが一層有利になる。撮影周波数は可変とすることができる。画像データのうち設定された部分が読み出されたらすぐに次の画像を撮影することができるが、それに必要な時間は現在決定されている関心領域の大きさと関連している。その際、可変の撮影周波数は完全な前処理時間に対応する撮影周波数よりも高いままである。
【0020】
設定ユニットは画像ラインを選択するように構成されていることが好ましい。このようにすると、読み出された画像データは、ラインの幅の一部のみを利用する関心領域とは完全には一致しない。その代わり、画像センサ及びその読み取りのための制御が簡単になる。読み出しからの一連の画像処理全体の処理時間は選択されなかった画像ラインとともに直線的に減少する。このとき、画像センサのライン方向が搬送方向と交差するように該センサが配置されていると仮定しても一般性は損なわれない。代わりにカラム（列）がライン（行）の役割を担い、ラインがカラムの役割を担うことも同様に考えられるが、これを言語表現上これ以上わざわざ区別しない。
【0021】
設定ユニットは矩形状の部分領域を選択するように構成されていることが好ましい。これによれば、ライン全体を除外するだけでなく、ライン方向においても関心領域への適正な切り詰めを既に画像センサ内のデータ発生源で直ちに行うことができる。画像センサのハードウェア構造及び制御のコストは多少増大するが、その代わり読み出された処理対象の画像データがより一層ぴったりと減縮される。
【0022】
制御及び評価ユニットは、画像データのうち、画像センサの被写界深度範囲内にある関心領域に基づいて撮影された部分だけを該画像センサから読み出すように構成されていることが好ましい。鮮明に撮影された画像データを用いなければ、その後の一連の画像処理がその役割を果たす見込みはあまりない。被写界深度範囲外にあり、その画像データが最初は全く読み出されないような、少なくとも１つの別の関心領域が存在する可能性がある。この領域でその後の処理ステップ、特にコードの復号を試みても、所望の結果を得ることなく時間を無駄にするだけであろう。好ましくは焦点調節によって関心領域が被写界深度範囲に入るようにする。しかしこれだけでは問題はまだ解決しない。なぜなら、視界内に複数の物体が存在し、その高さの違いにより視野の一部が各々の被写界深度範囲の外に追いやられる可能性があるからである。そうなると、焦点調節を行ったにも関わらず関心領域が不鮮明に撮影されてしまう。
【0023】
制御及び評価ユニットは、被写界深度範囲外の関心領域のために適切な被写界深度範囲を特定し、その後の撮影のために該適切な被写界深度範囲に焦点を再設定するように構成されていることが好ましい。即ち、ある関心領域の画像データが不鮮明であるためにそのデータを無視する又は最初は全く読み出さないようにしなければならなかったとしても、素早く補うことができる可能性はある。そのために、その後の撮影のいずれか、好ましくはすぐ後の撮影で、焦点の再設定後、直前に無視した関心領域を今度は被写界深度範囲内で改めて撮影し、更にそれを読み出す。２つの異なる被写界深度範囲でもまだ全ての関心領域を鮮明に撮影するのに不十分である場合は前記の処置を繰り返せばよい。関心領域、特に鮮明に撮影された関心領域だけに的を絞った読み取りにより画像データが減縮されるおかげで、はるかに高い撮影周波数が可能である。故に、更なる撮影は光景にほとんど変化のない状態で適時に、少なくとも物体が視界を去ってしまう前に行われる。その他の点では、形状把握センサの測定データに基づいて早めに一連の焦点位置の予定を組むことで、各関心領域を十分な頻度で鮮明に撮影することができる。例えば、高さの異なる２つの物体があまり近接せずに続いている場合のように、まだ十分な時間があるときは、他の物体及び該物体に関係する関心領域のために焦点位置を切り替えるよりむしろ、少なくともあと１回の撮影を現在の焦点位置で行うことが考えられる。
【0024】
制御及び評価ユニットは、前記少なくとも１つの関心領域を画像センサの被写界深度範囲に基づいて決定するように構成されていることが好ましい。これはある意味、先に説明したやり方の裏返しである。他の基準によって見出された関心領域のなかから焦点位置に基づいて選択を行うのではなく、焦点位置そのものが非常に簡単なやり方で関心領域を決定する。十分鮮明に撮影できたもの全てが読み取られるため、利用できる画像データが余りに早く破棄されることがない。エッジ、コントラスト又は物体表面といったより複雑な基準に基づくより具体的な関心領域の決定を行う場合はもっと後で初めて実行される。焦点位置を振動させる場合のように、被写界深度範囲がなおも変更される好ましい形態では、各構造が短いサイクルで少なくとも一度は鮮明に撮影されて読み出されていることが常に保証される。
【0025】
制御及び評価ユニットは、画像データ内でコード領域を識別してそのコード内容を読み出すように構成されていることが好ましい。これにより、本カメラ装置は、様々な標準規格に準拠したバーコード及び／又は２次元コードに対応し、場合によってはテキスト認識（OCR：Optical Character Reading）にも対応したカメラベースのコードリーダとなる。コード読み取りへの応用ではコード領域全体が十分鮮明に撮影されることが非常に重要である。しかもコード領域は全表面のうち小さな部分しか占めない。故に、早々に画像データをコード領域又は少なくともコードが付されている可能性がある物体にまで切り詰めることは非常に有効である。
【0026】
形状把握センサは距離センサ、特に光伝播時間法の原理による光電式距離センサとして構成されていることが好ましい。距離センサは、最初は物体から形状センサまでの距離を測定するが、距離センサの位置と姿勢が分かればその距離を例えばベルトコンベアに沿って物体の高さに換算することができる。その結果、少なくとも移動方向に高さ輪郭が得られる。距離センサが位置分解能を有している場合は、移動方向と交差する方向にも高さ輪郭が捕らえられる。「高さ輪郭」という概念は画像センサが上から見ている場合を手本にしたものであり、他の視点からはその意味に即して適宜の輪郭が得られる。カメラシステムにおける距離測定には光学的な原理、特に光伝播時間法が適している。
【0027】
形状把握センサは画像センサとともにカメラに統合されていることが好ましい。これにより非常にコンパクトなシステムとなり、形状把握センサの測定データは画像データと比較できる視点から直接取得される。或いは、形状把握センサは画像データの撮影より前に物体を測定するために外部で前記流れとは逆に画像センサの上流に配置されている。これは例えば距離測定型のレーザスキャナに関係することである。
【0028】
本カメラ装置は前記流れの速度を測定するための速度センサを備えていることが好ましい。これは例えばベルトコンベア付近のエンコーダである。好ましくは制御及び評価ユニットが形状把握センサの測定データ及び／又は画像データに基づいて流れの速度を測定するように構成されている。それには、例えば物体のエッジ等、特定の構造を時系列的に追跡する。速度を見積もるために移動ベクトルを時間差と関連付けてもよい。オプティカルフローは全体の高さ輪郭又は全画像領域まで追加して相関をとることによってより正確に測定できる。そうすれば追加の速度センサが不要になる又は補完される。速度情報を用いて移動方向における流れの位置が換算可能であり、特に前段の形状把握センサの測定データを画像センサの位置に関連付けることができる。
【0029】
本カメラ装置は物体を搬送方向に搬送する搬送装置付近に固定的に取り付けられていることが好ましい。これは産業上非常によくあるカメラの利用法である。物体の流れの枠組みデータは既知であり、画像処理を簡単にする。そのようなデータとしては例えば搬送方向や、少なくとも期待可能な時間区間における速度があり、しばしば検出対象の物体の種類と大まかな形状もそうである。
【0030】
本カメラ装置は、流れを上から撮影するための少なくとも１つの画像センサ及び／又は流れを横から撮影するための少なくとも１つの画像センサを備えていることが好ましい。上からの検出は本明細書において主な前提であることが多いが、横から検出する場合にも同じような状況があり、こちらは物体の距離が物体の高さではなく物体の横方向の配置によって変化する。故に、上からの視点に関連する記載はどれも他の視点に関連させてその意味に即して読まれるべきものである。特に好ましくは、物体を複数の画像センサで複数の視点から検出する。これは特に、コード読み取りにおいて、コードが上面にあることや、そもそも特定の面にあることが必ずしも保証できない場合に好ましい。ここでは上面読み取り、側面読み取り及び底面読み取りという概念が用いられることがある。ただし底面読み取りでは被写界深度範囲に関して何ら問題は起きない。その代わり、そもそも物体を認知できるようにするためにベルトコンベアに例えば窓又は隙間を作る必要がある。それから、視点は混合形式であること、つまり、真上又は真横から見るのではなく、正面側方、後面側方、前面上方又は背面上方というように斜めの成分を含んでいることがよくある。視点によっては適切に物体流の高さ又は幅を単独でカバーする画像センサを１つだけ設けることが好ましい。
【0031】
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
【0032】
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0033】
【図1】統合された距離センサを持つカメラの概略断面図。
【図2】カメラをベルトコンベア付近に取り付けた模範的な応用を示す３次元図。
【図3】カメラと外部の距離センサをベルトコンベア付近に取り付けた別の実施形態を示す３次元図。
【図4】距離センサとカメラの視界の概略断面図。
【図5】関心領域に対応して読み取り用に設定された画像ラインを持つ画像センサの概略図。
【図7】制限された被写界深度範囲で２つの物体を検出する場合を示す概略断面図。
【発明を実施するための形態】
【0034】
図１はカメラ１０の断面図である。検出領域１４からの受信光１２が焦点調節装置１８を持つ受光光学系１６に当たり、該光学系が受信光１２を画像センサ２０へ導く。受光光学系１６の光学素子は複数のレンズから成る対物レンズ並びに絞り及びプリズム等の他の光学素子で構成されていることが好ましいが、ここでは簡略化して単にレンズで表されている。焦点調節装置１８は全く概略的にしか描かれていないが、例えば受光光学系１６若しくは画像センサ２０の各素子の機械的な移動、可動式の方向転換ミラー、又は液体レンズにより実装できる。アクチュエータ系は例えばモータ、可動コイル又はピエゾ素子を基礎としている。画像センサ２０は好ましくはメガピクセルのオーダー（例えば１２メガピクセル）の高解像度を持つ画素マトリクス配列を備えている。設定ユニット２２が画像センサ２０の読み取り論理回路を構成することを可能にしており、これにより、画像センサ２０から読み取られる画素ライン又は画素領域の選択を動的に調節することができる。
【0035】
カメラ１０の撮影中に発射光２４で検出領域１４をくまなく照明するために、カメラ１０は任意選択の照明ユニット２６を含んでいる。これは図１では発光光学系のない単純な光源の形で描かれている。他の実施形態ではＬＥＤやレーザダイオード等の複数の光源が例えば円環状に受光路の周りに配置されている。それらの光源は照明ユニット２６の色、強度及び方向等のパラメータを適合化するために多色でグループ毎に又は単独で制御可能であるものとすることもできる。
【0036】
画像データを取得するための本来の画像センサ２０に加えて、カメラ１０は光伝播時間法（ToF: Time of Flight）で検出領域１４内の物体までの距離を測定する光電式距離センサ２８を備えている。距離センサ２８はＴＯＦ発光光学系３２を持つＴＯＦ発光器３０とＴＯＦ受光光学系３６を持つＴＯＦ受光器３４とを含んでいる。これによりＴＯＦ光信号３８が送出され、再び受信される。光伝播時間測定ユニット４０がＴＯＦ光信号３８の伝播時間を測定し、その時間からＴＯＦ光信号３８を反射した物体までの距離を特定する。
【0037】
ＴＯＦ受光器３４は複数の受光素子３４ａ又は画素を備えていて位置分解型になっていることが好ましい。そうすれば、単一の距離値だけではなく、位置分解された高さプロファイル（深度図、３次元画像）が得られる。その場合、比較的少数の受光素子３４ａだけを設けて高さプロファイルの横方向の解像度を小さくすることが好ましい。２×２画素、それどころか１×２画素でさえ十分であり得る。横方向の解像度がそれより高いｎ×ｍ画素（ｎ，ｍ＞２）の高さプロファイルは当然ながらより複雑でより正確な評価を可能にする。それでもＴＯＦ受光器３４の画素数はやはり比較的少なく、例えば数十、数百又は数千画素、或いはｎ，ｍ≦１０、ｎ，ｍ≦２０、ｎ，ｍ≦５０又はｎ，ｍ≦１００であり、画像センサ２０の通常の解像度であるメガピクセルとはかけ離れている。
【0038】
距離センサ２８の構成及び技術は純粋に模範的なものである。以下の説明では距離センサ２８を形状測定用のカプセル化されたモジュールとして扱い、該モジュールが周期的に、物体の検出時に、又は問い合わせに応じて距離値や高さプロファイル等の測定データを供給するものとする。他にも測定データが考えられ、特に強度の測定が挙げられる。光伝播時間法を用いた光電式の距離測定は公知であるため、詳しくは説明しない。模範的な測定法として、周期的に変調されたＴＯＦ光信号３８を用いる光混合検出法（Photomischdetektion）とパルス変調されたＴＯＦ光信号３８を用いるパルス伝播時間測定法の２つがある。また、ＴＯＦ受光器３４を光伝播時間測定ユニット４０の全体又は少なくとも一部（例えば伝播時間測定用の時間デジタル変換器）と共に共通のチップ上に収めた高度集積型の解決策もある。それにはＳＰＡＤ（Single-Photon Avalanche Diode）受光素子３４ａのマトリクスとして構成されたＴＯＦ受光器３４が特に適している。ＴＯＦ光学系３２、３６は任意の光学系（例えばマイクロレンズアレイ等）を代表してそれぞれ単独レンズとして単に記号的に示されている。
【0039】
制御及び評価ユニット４２が焦点調節装置１８、画像センサ２０及びその設定ユニット２２、照明ユニット２６並びに距離センサ２８と接続されており、カメラ１０内での制御、評価及び他の調整の任務を担っている。制御及び評価ユニット４２は距離センサ２８の測定データに基づいて関心領域を決定し、その関心領域に応じて、画像センサ２０の設定ユニット２２を通じて該画像センサ２０を設定する。制御及び評価ユニット４２はそのように設定された部分領域の画像データを画像センサ２０から読み出し、そのデータを後続の各画像処理ステップに供する。好ましくは制御及び評価ユニット４２は画像データ内のコード領域を見出して復号することができる。これによりカメラ１０はカメラベースのコードリーダとなる。
【0040】
読み取りと最初の前処理ステップ（歪み修正、セグメント化、二値化等）は前処理ユニット４４で実行することが好ましい。このユニットは例えば少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）を含む。或いは、好ましくは少なくとも前処理が済んだ画像データがインターフェイス４６を通じて出力され、その後の画像処理ステップは上位の制御及び評価ユニットにおいて実行される。この場合、ほぼ任意に作業を分配することが考えられる。距離センサ２８の測定データに基づいて他の機能を制御することができ、特に焦点調節装置１８のための所望の焦点位置又は画像撮影のためのシャッター作動時点を導き出すことができる。
【0041】
カメラ１０はケーシング４８により防護される。ケーシング４８は受信光１２が入射する前面領域において前面パネル５０により封鎖されている。
【0042】
図２はカメラ１０をベルトコンベア５２付近に設置して利用できることを示している。この図以降ではカメラ１０が単に記号として示されており、図１に基づいて既に説明した構成はもはや示されておらず、距離センサ２８だけがなお機能ブロックとして描かれている。ベルトコンベア５２は、矢印５６で示したように、物体５４をカメラ１０の検出領域１４を通過するように搬送する。物体５４は表面にコード領域５８を持っている可能性がある。カメラ１０の任務は物体５４の特性を捕らえることであり、コードリーダとしての好ましい使用においては、コード領域５８を認識し、そこに付されたコードを読み取って復号し、その都度該当する物体５４に割り当てることである。
【0043】
カメラ１０の視野は物体５４の流れをその幅全体及び一定の長さにわたってカバーしていることが好ましい。或いは追加のカメラ１０を使用し、それらの視界が互いに補完し合って幅全体に達するようにする。その際、場合によっては若干の重なりを設けることが好ましい。図示した上からの視点は多くの場合に特に好適である。その代わりに、又は、物体側面及び特に側面に付されたコード領域６０をより良好に捕らえるために、異なる視点から追加のカメラ１０（図示せず）を用いることが好ましい。その場合、横からの視点の他、斜め上又は斜め横からの混合形式の視点も考えられる。
【0044】
ベルトコンベア５２には送り量又は速度を測定するためのエンコーダ（図示せず）を設けることができる。或いは、ベルトコンベアが既知の運動プロファイルで確実に動く、又は上位の制御装置から相応の情報が与えられる、又は制御及び評価ユニットが特定の幾何学的な構造若しくは画像の特徴の追跡により自ら速度を測定する。速度情報を用いて、様々な時点且つ様々な搬送位置において記録された形状情報又は画像データを搬送方向に結合して互いに割り当てることができる。特にそれにより、好ましくは、読み取られたコード情報とそれに該当するコード５８、６０を持った物体５４との間の割り当てが行われる。
【0045】
図３はベルトコンベア５２付近にカメラ１０を有する装置の別の実施形態の３次元図を示している。内部の距離センサ２８の代わりに、又はそれを補うために、ここでは搬送方向とは逆に前段に配置された外部の形状把握センサ６２（例えばレーザスキャナ）が設けられている。たった今説明したように、速度情報に基づいて形状把握センサ６２の測定データをカメラ１０の位置に換算することができる。従って、内部の距離センサ２８に基づく以下の説明は外部に形状把握センサ６２がある状況にも転用できる。これについてはもう取り立てて言及しない。
【0046】
図４は物体流の上方のカメラ１０の概略断面図を示している。ここでは物体流が１つの物体５４だけで表されている。距離センサ２８の光軸６４はカメラ１０の光軸６６に対して一定の角度にある。それ故、距離センサ２８の視野６８はカメラ１０の視野又は検出領域１４よりも前に位置している。従って距離センサ２８は物体５４を若干早めに認知し、その測定データは撮影時には既に利用可能である。
【0047】
処理すべき画像データを最初から減縮するため、制御及び評価ユニット４２は距離センサ２８の測定データに基づいてその検出領域１４を重要な部分と重要ではない部分に区分けし、それに対応して画像センサ２０の領域を区分けする。重要な部分が関心領域（ROI: region of interest）に対応する。図４ではそのために異なる陰影をつけた部分視野７０、７２が示されている。暗めの部分は物体５４を含む重要な部分視野７０、明るめの部分は物体５４のない重要ではない部分視野７２であって、後者は更に２つに分かれている。
【0048】
図５はそれに対応する区分けを画像センサ２０の概略平面図で示している。太枠で囲まれた関心領域７４のライン内の画素は重要な部分視野７０に対応し、非関心領域７６にある他の画素は重要ではない部分視野７２に対応している。関心領域７４に属するラインは制御及び評価ユニット４２により設定ユニット２２を通じて選択され、これらの画素の画像データだけが読み出されて更に処理される。
【0049】
距離センサ２８の測定データから関心領域７４の画素を見出す模範的な評価について再び図４を参照して説明する。距離センサ２８が高さｈの物体５４を時点ｔにおいて初めて検出する。画像センサ２０に対する距離センサ２８の相対的な位置及び姿勢と搬送速度に基づいてシャッター作動時点ｔ１を決定する。これは物体５４が既に検出領域１４内に入り込んでいる時点である。時点ｔ１までに距離センサ２８の測定データから物体５４の長さが測定される。例えば距離センサ２８は繰り返し率ｆで駆動される。物体５４の長さはこの繰り返し率での検出回数に対応する。搬送速度を介して搬送方向の位置及び長さを時間に直接換算できるということを思い出されたい。従って、カメラ１０と距離センサ２８又は外部の形状把握センサ６２のその都度の位置及び姿勢が分かれば、距離センサ２８を用いて測定された物体長さを、物体の高さに注意しつつ、三角法によって画像センサ２０上の対応する画像ラインに変換することができる。
【0050】
搬送の進行に従い、図４の重要な部分領域７０は搬送方向に向かってずれ、図５の画像センサ２０上の関心領域７４は下にずれる。最初の撮像は、物体５４の前側エッジが検出領域１４の縁に位置し、よって画像センサ２０の最も上のラインに位置するときに行われるように早めに調整することができる。物体５４又は他の関心の対象となる構造（例えば物体上のコード領域５８、６０）を何度も撮影するために画像センサ２０を繰り返し動的に再設定することができる。
【0051】
図６は画像センサ２０の画素を読み出し対象の領域と読み出し対象ではない領域に区分けする別の方法を示している。図５と違ってここでは、関心領域７４が必ずライン全体を含まなければならないという制約条件がない。これにより、読み取って処理すべき画像データがより一層減縮される。それに対応して設定ユニット２２は可変性がより高く、ライン内での画素の除外も可能である。これは、余りに高いスイッチ切り替えコストが伴う個々の画素の選択ではないがそれでも図のように矩形の部分領域を選択できるということを意味していることが好ましい。ライン内で画素を有効に選択して、物体５４の流れに交差する方向を捕らえることができるように、距離センサ２８は好ましくは横方向の分解能を提供し、その結果、搬送方向とその交差方向に解像された物体５４の輪郭が次々に利用可能になるようにすべきである。
【0052】
図７は高さが異なる２つの物体５４ａ～ｂが検出領域１４内にある状況を概略断面図で示している。焦点調節装置１８で焦点位置７８を調節することにより、上下のＤＯＦ境界８０ａ～ｂ（DOF: Depth of Field）により挟まれた被写界深度範囲をずらすことができる。その都度の焦点位置７８における被写界深度範囲は様々な要因、特に受光光学系１６に依存しているが、例えば復号法にも依存している。なぜなら、コード読み取りの場合に十分な画像の鮮明さを決めるのはコードが読み取り可能かどうかだからである。制御及び評価ユニット４２は例えば予めシミュレーション若しくはモデリングにより又は経験的に決定された被写界深度範囲を保持した参照テーブルにアクセスすることができる。
【0053】
このように、制御及び評価ユニット４２には、距離センサ２８の測定データとある焦点位置７８における被写界深度範囲に関する情報に基づいて、物体５４ａ～ｂの一方を鮮明に撮影するためにその焦点位置７８をどのように変更しなければならないかが分かっている。全ての物体５４ａ～ｂに合った被写界深度範囲を持つ焦点位置７８がある場合は、２つ以上の物体５４のために設定ユニット２２を用いて読み出し対象ラインの数を増やすか、別の関心領域７４を画像センサ２０上に作る。そうすると場合によっては複数の物体５４ａ～ｂに対して１回の撮影で済むことがあり、その場合は繰り返し撮影も可能であるが、物体５４ａ～ｂ毎に分けて撮影することも可能である。
【0054】
しかし、図７の状況では物体５４ａ～ｂの高さが余りに違っており、両方の物体５４ａ～ｂが被写界深度範囲内にあるような焦点位置７８は存在しない。制御及び評価ユニット４２は一方に決めなければならず、まず背の高い物体５４ｂにピントを合わせる。
【0055】
図８はこの状況に対して設定ユニット２２を用いて調整された画像センサ２０を概略平面図で示している。読み出されるのは背の高い、鮮明に撮影された物体５４ｂに対応する関心領域７４だけである。矩形の部分領域の代わりに左右に拡大した完全な画像ラインを設定して読み出すこともできる。もちろん、背の低い物体５４ａに対応するもう一つの関心領域８２があり、そのことは距離センサ２８の測定データの評価によって制御及び評価ユニット４２に分かっている。しかし、このもう一つの関心領域８２においてはいずれにせよ十分に鮮明な画像データは期待できないから、この領域は非関心領域７６のように扱われ、読み出されない。高さの違いがもっと小さく、背の低い物体５４ａがまだ被写界深度範囲内にあれば、２つの関心領域７４、８２を設定して読み出したり（ただし、設定ユニット２２がこの機能を提供している場合）、両方の関心領域７４、８２を１つの共通の関心領域で包含したりすることができるであろう。
【0056】
図９及び１０は図７及び８に対する補完的な状況を示している。焦点位置７８とそれに付随する被写界深度範囲は今度は背の低い物体５４ａに合わせて調節されている。従って、この物体の画像データが読み出される一方、背の高い物体５４ｂの画像データは物体５４ａ～ｂの間及び周囲のデータとともに画像センサ２０内で直ちに破棄される。
【0057】
こうして、まず焦点位置７８を背の高い物体５４ｂに合わせて１枚目の撮影画像を生成し、そのすぐ後、背の低い物体５４ａが少なくともまだ検出領域１４内にあれば、焦点を再設定して背の低い物体５４ａに焦点位置７８を合わせてから２枚目の撮影画像を生成することができる。制御及び評価ユニット４２は、距離センサ２８の測定データに基づき、上述した両立不能な状況について早めに情報を得て先に予定を立てることさえできる。
【0058】
別の実施形態では焦点位置７８を例えばステップ機能又は振動により周期的に変化させる。複数の撮影画像が生成され、その結果、被写界深度範囲が全体として、あり得る距離範囲全体をカバーする。なお、完全に平らな物体５４を待ち受ける必要がなければ、搬送平面そのものは除外することが好ましい。距離センサ２８の測定データに基づいて、現在の焦点位置７８で鮮明に撮影される関心領域７４がその都度設定される。従って焦点位置７８がその都度の関心領域７４を決定する。いずれの構造も鮮明に撮影され、不鮮明な画像データが最初は全く読み出されないことが保証される。
【0059】
こうして、本発明によれば、もはや処理できないほど大量のデータを発生させることなく大きな画像センサ２０の長所を現実化することができる。同時に、高さが大きく異なる複数の連続する物体５４ａ～ｂを単一の大きな画像で撮影すると画像データが不鮮明になるという問題が解決される。従って、１つの画像センサ２０で、少なくともその視点（上から又は横から等）に関して単独で物体５４の流れをカバーすること、又は少なくともそのできるだけ大きな部分をカバーすることができる。
【0060】
これに対して従来は、前処理ユニットがまず全画像データを読み出し、その後、関心領域外の画像データがあればそこで初めて破棄するというようにせざるを得なかった。前処理は既に従来からパイプライン構造において読み取りの間にオンザフライで行われていたため、読み取りと前処理は時間的な要求において実質的に違いはないとみなされる。高解像度の画像センサ２０の場合、これには例えば２５ｍｓという処理時間が必要であり、従って撮影周波数又はフレームレートの上限は４０Ｈｚになる。復号化のようなより複雑な画像処理ステップによってそれは一層厳しくなり、可能な撮影周波数は更に低下する。さて、高さが非常に異なる２つの物体が互いに近接して続くと、焦点を再設定してから２回目の撮影を行っても遅すぎる可能性がある。これに対して本発明では画像データの量が最初から低減され、重要な画像領域だけが読み出される。データ負荷の低減は既にそれ自体が有益である。なぜならそれによりリソースが大切に又は的確に利用されるからである。そのためカメラ１０がより安価に又はより高性能になる。その上、完全な画像のための処理時間に対応した撮影周波数の厳しい制限がなくなる。即ち、撮影周波数を全体的に高めることや、ケースバイケースで可変的に高めることさえできる。これにより、図７～１０について説明したように高さが大きく異なる２つの物体５４ａ～ｂが近接して続く状況でも焦点を再設定してから適時に２回目の撮影を行うことができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】