(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】カメラ及び画像データ取得方法
(51)【国際特許分類】
G02B 7/40 20210101AFI20221212BHJP
G01B 11/00 20060101ALI20221212BHJP
G02B 7/28 20210101ALI20221212BHJP
G03B 13/36 20210101ALI20221212BHJP
G06K 7/10 20060101ALI20221212BHJP
H04N 5/232 20060101ALI20221212BHJP
【FI】
G02B7/40
G01B11/00 Z
G02B7/28 H
G03B13/36
G06K7/10 372
G06K7/10 408
G06K7/10 428
H04N5/232
【外国語出願】
(21)【出願番号】P 2021063257
(22)【出願日】2021-04-02
【審査請求日】2021-07-27
(31)【優先権主張番号】10 2020 109 928.2
(32)【優先日】2020-04-09
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】591005615
【氏名又は名称】ジック アーゲー
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】ロマン ミューラー
(72)【発明者】
【氏名】トビアス ポンティッジャ
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開平07-318792(JP,A)
【文献】特開平07-190756(JP,A)
【文献】特表2011-504247(JP,A)
【文献】特開平08-146286(JP,A)
【文献】特開2005-010515(JP,A)
【文献】特開2016-033784(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28 - 7/40
G03B 3/00 - 3/12
G03B 13/30 -13/36
G03B 21/53
G06K 7/00 - 7/14
H04N 5/222- 5/257
(57)【特許請求の範囲】
【請求項1】
検出領域(14)内の物体(48)を検出するためのカメラ(10)であって、画像データを取得するための画像センサ(18)と、焦点位置を調節するための焦点調節ユニット(17)を有する受光光学系(16)と、前記物体(48)までの距離値を測定するための距離センサ(24)と、前記距離値に依存して焦点位置を調節するために前記距離センサ(24)及び前記焦点調節ユニット(17)と接続された制御及び評価ユニット(38)とを備えるカメラ(10)において、
前記制御及び評価ユニット(38)が、
暫定的な距離値に基づき、要求される画像データの画像鮮明度を得るために許容可能な焦点位置調節の焦点ずれを決定し、
距離値の測定誤差が前記許容可能な焦点ずれを上回らない程度に距離値が正確になるような可変の測定時間を設定し、
前記距離センサ(24)を用いて、
前記可変の測定時間にわたって距離値を測定し、その結果、該距離値の測定誤差、ひいては前記物体(48)の画像データの取得時における調節後の焦点位置と理想的な焦点位置との間の焦点ずれが、要求される画像データの画像鮮明度に対して十分に小さく保たれること
を特徴とするカメラ(10)。
【請求項2】
前記距離センサ(24)が前記カメラ(10)に統合されていること、及び/又は、前記距離センサ(24)が、特に光伝播時間法の原理による、光電式の距離センサ(24)として構成されていることを特徴とする請求項1に記載のカメラ(10)。
【請求項3】
前記制御及び評価ユニット(38)が前記画像データを用いて前記物体(48)上のコード(52)のコード内容を読み取るように構成されていることを特徴とする請求項1又は2に記載のカメラ(10)。
【請求項4】
前記制御及び評価ユニット(38)が、必要な測定時間を用いた距離測定の度に前記距離センサのパラメータ設定を変更するように構成されていることを特徴とする請求項1~3のいずれかに記載のカメラ(10)。
【請求項5】
前記距離センサ(24)が、一定の個別測定時間の後に個別の距離測定値を生成するように構成され、前記制御及び評価ユニット(38)が、必要な測定時間を、複数の個別測定により前記個別測定時間の倍数として設定するように構成されていることされていることを特徴とする請求項1~3のいずれかに記載のカメラ(10)。
【請求項6】
前記制御及び評価ユニット(38)が、前記距離値を複数の個別測定にわたる移動平均として測定するように構成されていることを特徴とする請求項5に記載のカメラ(10)。
【請求項7】
前記制御及び評価ユニット(38)が、個別の距離測定値とそれまでの移動平均値との差が一定の閾値以上になったとき、前記移動平均値をリセットするように構成されていることを特徴とする請求項6に記載のカメラ(10)。
【請求項8】
前記暫定的な距離値が1つの個別の距離測定値又は数回の個別測定にわたるそれまでの移動平均であることを特徴とする請求項5~7のいずれかに記載のカメラ(10)。
【請求項9】
前記制御及び評価ユニット(38)が、要求される画像鮮明度を維持したままなお許容しうる焦点ずれを、特に関係規則又はテーブルに基づいて、距離値に割り当てるように構成されていることを特徴とする請求項1~8のいずれかに記載のカメラ(10)。
【請求項10】
調節後の焦点位置で以て前記物体(48)がなおも被写界深度内で撮影されれば、前記要求される画像鮮明度が達成されていること、そして特に該被写界深度が光学的な特性から及び/又は用途固有の要求から定められていることを特徴とする請求項1~9のいずれかに記載のカメラ(10)。
【請求項11】
前記制御及び評価ユニット(38)が、画像データを用いて前記物体(48)上のコード(52)のコード内容を読み取り、コード(52)を読み取る上で画像鮮明度が十分であれば、焦点ずれが十分に小さいものとするように構成されていることを特徴とする請求項1~10のいずれかに記載のカメラ(10)。
【請求項12】
調節対象の前記測定時間がコードの種類、モジュールサイズ及び/又は復号法に依存していることを特徴とする請求項1~11のいずれかに記載のカメラ(10)。
【請求項13】
前記制御及び評価ユニット(38)が、前記測定時間の間に既に前記焦点位置を変更するように構成されていることを特徴とする請求項1~12のいずれかに記載のカメラ(10)。
【請求項14】
前記検出領域(14)を通って搬送方向に検出対象の前記物体(48)を案内する搬送装置(46)付近に静的に取り付けられていることを特徴とする請求項1~13のいずれかに記載のカメラ(10)。
【請求項15】
検出領域(14)内の物体(48)の画像データを取得する方法であって、距離センサで前記物体(48)までの距離値を測定し、該距離値に依存して受光光学系(16)の焦点位置を調節する方法において、
暫定的な距離値に基づき、要求される画像データの画像鮮明度を得るために許容可能な焦点位置調節の焦点ずれが決定され、
距離値の測定誤差が前記許容可能な焦点ずれを上回らない程度に距離値が正確になるような可変の測定時間が設定され、
前記距離値が、
前記可変の測定時間にわたって測定され、その結果、該距離値の測定誤差、ひいては前記物体(48)の画像データの取得時における調節後の焦点位置と理想的な焦点位置との間の焦点ずれが、要求される画像データの画像鮮明度に対して十分に小さく保たれること
を特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、請求項1又は15のプレアンブルに記載のカメラ及び検出領域内の物体の画像データの取得方法に関する。
【背景技術】
【0002】
カメラは、産業上の利用において、例えば物品の検査や測定等の目的で、物品の特性を自動的に捕らえるために多様な方法で用いられる。その場合、物品の画像が撮影され、業務に応じて画像処理により評価される。カメラの別の用途としてコードの読み取りがある。画像センサを用いて、表面にコードが付された物品が撮影され、その画像内でコード領域が識別されて復号が行われる。カメラベースのコードリーダは、1次元バーコード以外に、マトリックスコードのように2次元的に構成され、より多くの情報を提供する種類のコードも問題なく処理できる。印刷された住所や手書き文書の自動的なテキスト認識(光学式文字認識:OCR)も原則的にはコードの読み取りである。コードリーダの典型的な利用分野としては、スーパーマーケットのレジ、荷物の自動識別、郵便物の仕分け、空港での荷物の発送準備、その他の物流での利用が挙げられる。
【0003】
よくある検出状況の1つはカメラをベルトコンベアの上方に取り付けるというものである。カメラはベルトコンベア上で物品の流れが相対運動している間、画像を撮影し、取得された物品特性に応じてその後の処理ステップを開始する。このような処理ステップでは、例えば、搬送中の物品に作用する機械上で具体的な物品に合わせて更なる処理を行ったり、物品の流れの中から品質管理の枠組み内で特定の物品を引き出すこと又は物品の流れを複数の物品の流れに分岐させることにより物品の流れを変化させたりする。そのカメラがコードリーダである場合、各物品が、それに付されたコードに基づき、正しい仕分け等の処理ステップのために識別される。
【0004】
カメラは複雑なセンサ系の一部であることが多い。例えば、ベルトコンベアに設けられた読み取りトンネルでは、多数のカメラベースのコードリーダが、幅の広いベルトコンベアをカバーするために並べて取り付けられたり、更に物品を複数の側から撮影するために異なる視点から取り付けられたりするのが通例である。更に、搬送される物品の形状を特殊なレーザスキャナで事前に測定し、そこから焦点情報、カメラの作動時点、物品を含む画像領域等を特定することもよくある。
【0005】
物体距離に関するレーザスキャナの事前情報がない場合、ピントがはっきり合った位置で画像が撮影されているかをコントラストに基づいて確認することができる。このような方法で焦点を調節するには多数の画像を撮影しなければならないが、最初は適当な開始点が分からない。これは特に被写界深度が非常に狭い場合に問題となる。なぜなら、被写界深度の外ではコントラストがかなり塗りつぶされた状態になり、従って焦点調節装置をどの方向に動かすべきかを指定するのが難しいからである。
【0006】
別の方法として、物体までの距離をカメラ自身で測定することが考えられる。しかしその場合、距離測定の誤差が被写界深度より大きくなる可能性があり、そうなると、距離測定に基づいて調節された焦点位置でもやはり鮮明な画像が撮影できないことになる。
【0007】
特許文献1では、光伝播時間法(飛行時間:TOF)に基づく距離センサがカメラに統合されている。そのセンサにより高さプロファイルが測定され、それに基づいて様々な機能が実行される。それらの機能の1つに受光光学系の焦点位置の調節がある。同文献では距離測定及び焦点位置調節の精度は検討されていない。
【先行技術文献】
【特許文献】
【0008】
【文献】DE 10 2018 105 301 A1
【発明の概要】
【発明が解決しようとする課題】
【0009】
故に本発明の課題は、ピントがはっきり合った位置で良好に画像を撮影することである。
【課題を解決するための手段】
【0010】
この課題は、請求項1又は15に記載のカメラ及び検出領域内の物体の画像データの取得方法により解決される。画像センサが検出領域、従ってそこにある物体の画像乃至は画像データを記録する。鮮明な画像を生成するため、焦点調節可能な受光光学系、つまり受光対物レンズが設けられる。対物レンズは品質要求に応じて一又は複数のレンズ及び他の光学素子を備えている。距離センサがカメラと撮影対象物との間の距離を表す距離値を測定する。制御及び評価ユニットが焦点調節ユニットとして機能する。該ユニットはそのために距離センサから距離値を受け取り、受光光学系の焦点位置をその距離値に合わせる。制御及び評価ユニットは好ましくは、画像データの読み出し、前処理、評価等を行うために画像センサとも接続される。またはその代わりに、焦点合わせを行う専用の部品と、カメラ内の他の任務(画像データの処理等)に関わる専用の部品とをそれぞれ設ける。
【0011】
本発明の出発点となる基本思想は、距離値を可変の測定時間で測定するということである。それは、距離測定に利用できる測定時間が長くなればなるほど、距離センサによる距離測定がより正確になるからである。他方で、距離測定の精度に関する要求は物体がどの距離にあるかに依存する。なぜなら、被写界深度、ひいては調節後の焦点位置と理想的な焦点位置との間の焦点ずれを容認できる距離区間は、距離依存性を示すからである。両方を考慮するために、暫定的な距離値、特に、測定時間がまだ短いときの距離センサの暫定的な測定に基づき、要求される画像鮮明度を得るために許容可能な焦点位置調節の焦点ずれ又は必要な精度を決定する。そして、少なくとも残りの測定誤差がそのまだ受け入れ可能な焦点ずれを上回らない程度に距離値が正確になるような測定時間をかけて距離が測定される。改めて言い換えれば、距離センサは、測定誤差が確実に十分に小さくなり、以て調節後の焦点位置が被写界深度内に確実に収まるような測定時間をかけて測定を行う。なお、後でまた述べるように、「被写界深度」という概念を過度に狭く解釈してはならない。
【0012】
本発明には正確な焦点合わせが可能であるという利点がある。しかも、具体的な撮影対象物のために実際に要求される精度に合わせて測定時間を動的に適合させることにより、例えば初めから距離と無関係に距離センサのために一定長さの測定時間を選択する場合と違って、焦点調節装置の余計な慣性が全て回避される。距離センサは短い測定時間の後にはもう良好な開始値を自ら供給できる。ある距離範囲内、特に遠方領域で被写界深度が広い場合には、測定誤差が十分に小さいためこの開始値で既に十分である。必要な場合、そしてその場合にのみ、直ちにより長い測定時間を用いることで、焦点ずれのための余地がほとんどない場合(特に、近接領域で被写界深度が狭い場合)でも要求通りに焦点位置が正確に調節される。
【0013】
距離センサはカメラに統合されていることが好ましい。これによりシステムがコンパクトでカプセル化された状態に保たれる。制御及び評価ユニットは内部で容易に距離センサにアクセスできる。
【0014】
距離センサは、特に光伝播時間法の原理による、光電式の距離センサとして構成されていることが好ましい。この種の距離センサは既製のチップ又はモジュールとして入手可能である。特に、距離センサは、それぞれTDC(時間デジタル変換器)を通じて個別の光伝播時間を測定する多数のSPAD(シングルフォトンアバランシェフォトダイオード)を備えていることが好ましい。このようにすれば、その個数分の個別の光伝播時間を統計的な評価により距離値に取り込むことにより、測定誤差を小さくすることができる。測定時間を長くすれば、光パルスの発信と受信を複数回行ってより正確な距離値を得ることができる。
【0015】
制御及び評価ユニットは画像データを用いて物体上のコードのコード内容を読み取るように構成されていることが好ましい。これにより本カメラは、様々な規格に準拠したバーコード及び/又は2次元コード用、場合によってはテキスト認識(光学式文字認識:OCR)用のカメラベースのコードリーダとなる。コードを読み取る前に、コード候補として関心領域(ROI)を特定するセグメント化を行うことがより好ましい。
【0016】
制御及び評価ユニットは、必要な測定時間を用いた距離測定の度に距離センサのパラメータ設定を変更するように構成されていることが好ましい。このようにすれば、距離センサは測定毎にその設定が変更され、その後は適切に選択された測定時間を用いて、測定誤差が十分に小さいことが保証された距離値を出力する。
【0017】
距離センサが、一定の個別測定時間の後に個別の距離測定値を生成するように構成され、制御及び評価ユニットが、必要な測定時間を、複数の個別測定により前記個別測定時間の倍数として設定するように構成されていることが好ましい。この実施形態では距離センサがとりわけ短い個別測定時間の後にもう距離値を出力する。しかしその精度はカバーすべき距離範囲のせいぜい一部に対してしか十分ではない。そうでない場合は測定の繰り返しにより測定時間を延長することで、k個の個別の距離測定値からより正確な距離測定値を計算することができる。
【0018】
制御及び評価ユニットは、距離値を複数の個別測定にわたる移動平均として測定するように構成されていることが好ましい。移動平均の利点は、短時間の振動段階の後、その都度の履歴を通じて、必要なら更なる個別測定を1回行う度に、適宜の統計学を用いた距離測定値が利用可能になることである。
【0019】
制御及び評価ユニットは、個別の距離測定値とそれまでの移動平均値との差が一定の閾値以上になったとき、移動平均値をリセットするように構成されていることが好ましい。検出領域で同じ距離が測定されている間は、移動平均値は有効である。物体が移動した結果、その物体の別の構造部分までの距離が測定されたり、全く別の物体が検出領域に入ってきたりすると、移動平均値は直前の距離により歪められる。そうなれば、履歴を消去して平均化を新たに始める方がよい。これは最新の個別測定の結果とそれまでの移動平均の比較により判定される。なぜなら、最新の個別測定は予想可能なばらつきの範囲内にあるはずだからである。この比較で閾値を超えた場合は移動平均値がリセットされる。即ち、その最新の個別測定から始めて新たな移動平均値が算定される。閾値は最新の距離値に依存させることができる。なぜなら、距離が遠ければ測定誤差も増大すると予想され、故により大きな変動でも許容しうるからである。なお、前記距離値は最新の個別測定値でもよいし、それまでの移動平均値でもよい。
【0020】
前記暫定的な距離値は1つの個別の距離測定値又は数回の個別測定にわたるそれまでの移動平均であることが好ましい。十分に小さな測定誤差で距離を測定するために必要な測定時間は、次の段落以降でより詳しく説明するように、物体距離に依存する。ただ、この物体距離は最初は分からないから、一見すると鶏と卵の問題が生じるように思われる。しかし実際にはこれは測定時間を暫定的な距離値に応じて決めることにより解決できる。暫定的な距離値は測定誤差がまだ大きすぎるが、測定時間を確定するには十分に正確であるし、場合によっては念のために若干の超過見積もりを見込むことができる。暫定的な測定値は1回の個別測定又はわずか数回の個別測定にわたる移動平均に基づくものとすることができる。原理的には、最初に用いた暫定的な距離値があまりに外れていると判明したとき、そして例えば少なくとも1回の測定の繰り返しがまだ残っているときには、更に測定を繰り返した後で移動平均の精度を高めた上で測定時間を更新することができる。
【0021】
制御及び評価ユニットは、要求される画像鮮明度を維持したままなお許容しうる焦点ずれを、特に関係規則又はテーブルに基づいて、距離値に割り当てるように構成されていることが好ましい。ここまではとりわけ、測定時間を調節し、それにより距離測定の測定誤差を十分に小さくする方法について説明してきた。ここではその逆、つまり測定誤差に関してどのような要件を設定すべきかが問題である。そのために制御及び評価ユニットは、距離と、該距離に対してなお許容しうる焦点ずれとの関係を知っている。前の段落で説明した暫定的な距離値の場合に前記関係から求められるなお許容可能な焦点ずれが、許容しうる測定誤差を限定し、以て必要な測定時間を確定する。関係規則は特に解析関数若しくは近似式(例えば全体的又は部分的な線形又は多項式関数)として、又は参照テーブル(Lookup Table: LUT)として定めておくことができる。
【0022】
調節後の焦点位置で以て物体がなおも被写界深度内で撮影されれば、前記要求される画像鮮明度が達成されていることが好ましい。これは前記測定時間と該測定時間で達成される最大の距離値測定誤差とを通じて保証される。ここでは、距離値と許容しうる焦点ずれとの関係を、暫定的な距離値とそれに付随する被写界深度の幅との関係と表現することができる。実施形態によっては、被写界深度を純粋に物理的に定義するのではなく、どの評価目標物を画像データで追跡するかに依存させることができる。
【0023】
制御及び評価ユニットは光学的な特性から被写界深度を特定するように構成されていることが好ましい。この実施形態では被写界深度がより狭義に光学的又は物理的な意味で解釈される。これは特にDOFp(d)~d2Nc/f2という規則により定められる。ここで、DOFpは物理的な被写界深度(Depth of Field: DOF)、dは物体までの距離である。Nは対物レンズの開口数であり、従って絞りに依存する。cは錯乱円(Circle of Confusion)であり、容認される不鮮明さの度合い(例えば画像センサ上の1画素)に相当する。そしてfは受光光学系の焦点距離である。これらのパラメータのほとんどは選択した受光光学系の対物レンズ定数であり、DOFpが距離dの二乗に依存していることから、距離測定の測定誤差は近接領域で特に小さくすべきだということが分かる。
【0024】
制御及び評価ユニットは、用途固有の要求から被写界深度を定めるように構成されていることが好ましい。これは何度も言及した被写界深度の別の理解である。この場合、第1に重要なのは単なる画像鮮明度の基準ではなく、その画像データから目的とする評価を行うことができるかという問題である。この判定は用途毎に非常に異なるものとなり得る。
【0025】
制御及び評価ユニットは、画像データを用いて物体上のコードのコード内容を読み取り、コードを読み取る上で画像鮮明度が十分であれば、焦点ずれが十分に小さいものとするように構成されていることが好ましい。これは被写界深度に関する用途固有の要求の好ましい事例と理解することができる。つまり、コードを読み取ることができる程度に画像を鮮明に撮影せよということである。コードを読み取る上で画像鮮明度がいつ十分になるかは予めシミュレーション又は実験で予想することができる。そのためには、カメラに対して、例えば周囲光と印字品質を考慮して典型的な条件下で様々な距離でコードを提示し、どの程度の焦点ずれまでまだコードが読み取られるか(GoodRead)又はどの程度の焦点ずれからもうコードが読み取られなくなるか(NoRead)を見出す。
【0026】
調節対象の測定時間はコードの種類、モジュールサイズ(例えばモジュール当たりの画素数で表されるもの)及び/又は復号法に依存していることが好ましい。これらは画像鮮明度に関する要求に明らかに影響するパラメータ又は設定項目である。用途固有の被写界深度という用語でいうところの被写界深度はここに挙げた各パラメータに特に依存する。
【0027】
制御及び評価ユニットは、測定時間の間に既に焦点位置を変更するように構成されていることが好ましい。即ち、調節した測定時間が経過して正確な距離値が出るまで焦点調節装置を待たせるのではなく、むしろ距離測定と並行して、例えば暫定的な距離値や、複数の個別の距離値からそれまでに算出した移動平均に基づき、早々に焦点位置を調節するのである。これにより、測定時間の間に既に調節行程の大部分を進んでおくことができる。その後の残りの微調整が焦点調節装置の慣性に及ぼす作用は明らかに少なくなる。
【0028】
カメラは、検出領域を通って搬送方向に検出対象の物体を案内する搬送装置付近に静的に取り付けられていることが好ましい。これは非常によく見られる産業上のカメラの利用法である。物体が絶え間なく入れ替わる上、搬送装置により物体の入れ替わりの予定時間が厳密に決まっているため、焦点調節装置はほぼ絶え間なく、短い持ち時間で反応できなければならない。
【0029】
本発明に係る方法は、前記と同様のやり方で仕上げていくことが可能であり、それにより同様の効果を奏する。そのような効果をもたらす特徴は、例えば本願の独立請求項に続く従属請求項に模範的に記載されているが、それらに限られるものではない。
【0030】
以下、本発明について、更なる特徴及び利点をも考慮しつつ、模範的な実施形態に基づき、添付の図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0031】
【
図2】カメラをベルトコンベア付近に取り付けた模範的な応用例の3次元図。
【
図3】距離測定の測定誤差又は被写界深度の幅を物体距離に依存させて示す図。
【
図4】様々な焦点位置(X軸)及び物体距離(Y軸)での物体上のコードの試行的な読み取りの成功と不成功を示す図。
【
図5】移動平均に取り込まれる個別測定の数に対する距離測定の測定誤差の関係を示す図であって、比較のため、予め定められた被写界深度の幅も記載した図。
【発明を実施するための形態】
【0032】
図1はカメラ10の概略断面図である。検出領域14からの受信光12が受光光学系16に入射し、該光学系が受信光12を画像センサ18へ導く。受光光学系16の光学素子は、複数のレンズ並びに絞り及びプリズムといった他の光学素子から成る対物レンズとして構成されていることが好ましいが、ここでは簡略に1個のレンズだけで表されている。異なる距離にある物体を鮮明に撮影するため、受光光学系16は焦点調節装置17で様々な焦点位置にセットすることができる。それには様々な機能原理が考えられる。例として、ステップモータや可動コイル型アクチュエータによる画像焦点距離の変更の他、液体レンズ又はゲルレンズ等による焦点距離の変更もある。
【0033】
カメラ10の撮像中に検出領域14を発射光20でくまなく照らすため、カメラ10は任意選択の照明ユニット22を含んでいる。これは
図1では発光光学系のない単純な光源の形で描かれている。別の実施形態ではLEDやレーザダイオード等の複数の光源が例えば円環状に受光路の周りに配置される。それらは、色、強度及び方向といった照明ユニット22のパラメータを適合化するために、多色型でグループ毎に又は個別に制御可能とすることもできる。
【0034】
画像データを取得するための本来の画像センサ18に加えて、カメラ10は検出領域14内の物体までの距離を光伝播時間法(飛行時間:TOF)で測定する光電式の距離センサ24を備えている。距離センサ24は、TOF発光光学系28を有するTOF発光器26と、TOF受光光学系32を有するTOF受光器30とを含んでいる。これらを用いてTOF光信号34が発信され、再び受信される。光伝播時間測定ユニット36がTOF光信号34の伝播時間を測定し、その時間からTOF光信号34を反射した物体までの距離を測定する。
【0035】
図示した実施形態では、TOF受光器30は複数の受光素子30a又は画素を備えており、位置分解された高さプロファイルを取得することができる。代わりの形態では、TOF受光器30が受光素子30aを1個だけ備えていたり、複数の受光素子30aの測定値を1つの距離値に換算したりする。距離センサ24の構成は単なる模範例であり、他にも光伝播時間法を用いない光電式の距離測定や、非光学的な距離測定も考えられる。光伝播時間法を用いた光電式の距離測定は公知であるため、詳しい説明は行わない。模範的な測定法として、周期的に変調されたTOF光信号34を用いる光混合検出法(Photomischdetektion)とパルス変調されたTOF光信号34を用いるパルス伝播時間測定法の2つがある。また、TOF受光器30を光伝播時間測定ユニット36の全体又は少なくとも一部(例えば光伝播時間測定用の時間デジタル変換器)と共に共通のチップ上に収めた高度集積型の解決策もある。それにはSPAD(シングルフォトンアバランシェダイオード)受光素子30aのマトリックスとして構成されたTOF受光器30が特に適している。このようなSPADベースの距離測定には、複数の受光素子30aを位置分解型の測定ではなく統計的な多重測定に利用してより正確な距離値を求めることが特に有利である。TOF光学系28、32は任意の光学系(例えばマイクロレンズアレイ等)を代表してそれぞれ単独レンズとして単に記号的に示されている。
【0036】
制御及び評価ユニット38が焦点調節装置17、照明ユニット22、画像センサ18及び距離センサ24と接続されており、カメラ10内での制御、評価及び他の調整の任務を担う。即ち、制御及び評価ユニット38は、距離センサ24の距離値に応じて焦点調節装置17の焦点位置を制御するとともに、画像センサ18から画像データを読み出し、それを保存するか、インターフェイス40へ出力する。制御及び評価ユニット38は画像データ内のコード領域を見出して復号することができることが好ましい。これによりカメラ10はカメラベースのコードリーダとなる。様々な制御及び評価の課題のために複数の部品を設けることで、例えば焦点の適合化を単独の部品内で実行し、画像データの前処理を単独のFPGA上で実行することもできる。
【0037】
カメラ10はケーシング42により保護されている。ケーシング42は受信光12が入射する前面領域において前面パネル44により閉鎖されている。
【0038】
図2はカメラ10をベルトコンベア46付近に設置して利用できることを示している。ここではカメラ10が単に記号として示されており、
図1に基づいて既に説明した構成はもはや示されていない。矢印50で示したように、ベルトコンベア46は物体48をカメラ10の検出領域14を通過するように搬送する。物体48は表面にコード領域52を持つことができる。カメラ10の任務は物体48の特性を捕らえることであり、更にコードリーダとしての好ましい使用においては、コード領域52を認識し、そこに付されたコードを読み取り、復号して、その都度対応する物体48に割り当てることである。物体の側面、特に側面に付されたコード領域54も認識するために、好ましくは、複数の追加のセンサ10(図示せず)を異なる視点から使用する。また、複数のカメラ10を並べて配置し、共同でより幅の広い検出領域14をカバーするようにしてもよい。
【0039】
図3は模範例として、距離センサ24の距離測定の測定誤差を灰色の線56で、また被写界深度の幅を黒色の線58で、それぞれ物体距離に依存させて示している。距離センサ24の測定精度の絶対値はここでは距離とともに直線的に増大する。被写界深度(Depth of Field: DOF)はカメラの画像が利用できるとみなされる距離範囲である。これには様々な基準があり得るが、これについては後述する。被写界深度も同様に距離に依存しているが、距離とともに非直線的に増大する。
【0040】
図3を見れば分かるように、距離測定の誤差よりも被写界深度の方が小さい距離範囲が存在する。この例では約30cm以下の距離がそれに当たる。これは、この距離測定に適合させた焦点位置では十分に焦点が合った画像撮影を保証できないということを意味する。なぜなら、誤差枠をほぼ使い切るような距離測定では焦点位置が被写界深度の外に出てしまうからである。受光光学系16としてより良い対物レンズを用いる等の対策を行えば被写界深度を広げることができる。しかしこの最適化の可能性はいずれにせよ製造コストへの影響を最大限に受け入れて既に利用し尽くされているのが普通であり、それでもこの対策が効かないような距離範囲が残るのである。
【0041】
故に本発明のアプローチは、代わりに距離測定の精度を改善すること、しかもそれを距離に依存させ、その都度の距離に応じて与えられる被写界深度に適応させることである。とりわけ、被写界深度が距離センサ24の誤差のオーダーにあるような距離範囲が関心の対象となる。
【0042】
このアプローチのために2つの問題を解かなければならない。まず、距離センサ24は距離をその都度、最大誤差で測定する必要がある。それから、焦点調節を十分良好に行うには、つまり画像を十分な品質で出力するには、一体どの程度の最大誤差を守るべきかを確定する必要がある。ここで後者の場合は当然、画像の品質が十分になるのはいつかという基準も含意している。これらは全て物体距離に依存させて定義すべきものであるため、距離測定のために少なくとも大まかな開始値が必要となる。それにはまだ精度は重要ではないから、距離の何らかの測定値で足りる。
【0043】
距離センサ24の測定精度は測定時間を様々に変えることにより変更できる。測定時間を長くすると結果がより正確になる理由は、SPADベースのパルス法で考えればうまく説明できる。このようないわゆる直接的な光伝播時間法(direct Time of Flight: dTOF)の場合、各SPADからそれぞれ事象(Ereignis)又はタイムスタンプが得られ、それらの事象がまとめて統計的に(例えばヒストグラムを通じて)評価される。測定時間を長くすればパルスを繰り返し送出でき、その結果、より多くの事象が記録され、それに応じて統計値がより良くなることで、より良い測定結果が得られる。距離センサ24の技術に依らず、測定を反復して平均を出すことはごく一般的に行うことができる。そのときの誤差は反復回数の二乗根に反比例し、測定時間が長くなればそれだけ回数を増やすことができる。
【0044】
測定時間を様々に変えるために距離センサ24のパラメータ設定をその都度変更することもできる。しかしそれは過渡的な作用をもたらす恐れがある上、パラメータ設定の変更そのものが測定に体系的な誤差を生じさせないということを確認するのは簡単ではない。故に、距離センサ24の測定特性には一切手をつけず、適応的移動平均を求めることが好ましい。距離センサ24が、例えばパルス法の場合は1個又は数個のパルスを発信及び受信することにより、短い測定時間で個別測定をそれぞれ実行する。それらの個別測定による個別の距離値の移動平均が計算される。平均化窓、つまり個別の平均値の個数kが、距離に応じて適合化される。即ち、被写界深度が狭い場合、特に近接領域においては、統計的な変動を低減させるために広い平均化窓、つまり大きなkの値を選択する。逆に被写界深度が広い場合、特に遠方領域においては、狭い平均化窓、つまり小さなkの値で十分である。このようにすれば焦点調節装置は常に最小の慣性で反応することができる。なぜなら、広い平均化窓を使って又は一般に長い測定時間をかけて測定結果を待つのは、その精度が実際に要求されるときだけだからである。
【0045】
要求及び達成される距離測定の測定誤差を定めるための基礎となる暫定的な距離値について先に簡単に触れた。今から見るように、それには、測定時間が短い最初の測定の結果、又は小さいkの値若しくはk=1の移動平均が特に適している。
【0046】
可変の測定時間を用いれば、要求される最大誤差での測定を距離センサ24で行うためのツールが利用可能になり、先に提示した2つの問題のうち1番目に対する答えが出る。十分な品質の画像が得られるように焦点位置を調節するには一体どの程度の最大誤差を守るべきかという、2番目の問題については、まず、純粋な光学的又は物理的な要求と用途固有の要求とを区別する必要がある。
【0047】
物理的な被写界深度DOFp(d)は、DOFp(d)~2d2Nc/f2という式で近似できる。ここで、dはカメラ10と物体48の間の距離である。Nは受光光学系16の対物レンズの開口数fNumであり、従って絞りに依存する。cは錯乱円(Circle of Confusion)であり、容認される不鮮明さの度合い(例えば画像センサ18上の1画素)に相当する。そしてfは対物レンズの焦点距離である。故にこれらの多くは、既知であって固定された対物レンズの特徴量である。絞りや露光等、被写界深度に対する他の影響は固定したり最適に調節したりすることにより十分に排除できる。
【0048】
しかし、物理的な被写界深度DOFp(d)には用途上の固有の要求が考慮されていない。それはコード読み取りの例を見れば明らかである。即ち、そこで最終的に重要なのは画像が物理的なコントラスト基準を満たすかではなく、コードを読み取ることができるかである。多くの場合、この用途固有の被写界深度DOFappは、用途固有のパラメータに依存する係数κを用いてDOFapp(d)=κDOFp(d)とモデル化できる。ここで、典型的な用途固有のパラメータには、モジュールサイズ(例えばモジュール当たりの画素数で計測されるもの)、コードの種類、そして何より適用される復号アルゴリズムがある。これらを単純な係数κで模することができなくても、いずれにせよDOFappをシミュレーション又は実験で決めるという方法が残っている。
【0049】
図4は様々な焦点位置及び物体距離での物体48上のコード52の試行的な読み取りを描いた図である。明るい点60は試行的な読み取りの成功(GoodRead)を、暗い点62は不成功(NoRead)を表している。2本の線64は成功と不成功の境界に沿っており、該2本の線の距離区間が焦点位置毎又は物体距離毎に要求される用途固有の被写界深度DOF
app(d)を表している。
【0050】
このような図は、特定の枠組み条件に対して、先に挙げたコードの種類、モジュールサイズ、復号法、露光といったパラメータを考慮しつつ、実測又はシミュレーションにより作成することができる。これにより関数又はテーブル(Lookup Table: LUT)の形で関係規則が得られる。その規則から、制御及び評価ユニット38は、与えられた暫定的な距離値での被写界深度、そしてコードが読み取り可能になることを保証するために要求される距離測定の最大誤差を読み取ることができる。異なる枠組み条件に対して複数の関係規則を設けることで、状況及び用途と関連付けて、例えばコードの種類、モジュールサイズ、露光、使用されるデコーダ等に応じて適切な最大誤差を決めるようにしてもよい。
【0051】
図5は、要求される被写界深度に対して適切な測定時間をどのように見出すことができるかを改めて示している。まず黒色の線66は要求される被写界深度を示している。これは上述した各方法のいずれかにより定められる。また灰色の線68は距離センサ24の距離測定の測定誤差を測定時間に依存させて示している。なお、測定時間はX軸上で平均化深度kとして、つまり移動平均値の個別測定の数として特別に定義されている。平均化に取り込まれる個別測定kが多ければ多いほど測定時間が長くなり、それだけ測定誤差が小さくなる。この特性は
図5では簡略化して一定とみなされ、予め較正されている。この具体的な例ではk>10の平均化深度を選ぶことができる。なお、2本の線66、68の本来の交点はk=6付近であるが、ここではそれに対してまだ若干のバッファを考慮している。
【0052】
最後にまた具体例を考察する。物体48がカメラ10から0.1mの距離に置かれている。
図5と同様に、移動平均の計算に必要となる平均化深度をk=10と求めた。この場合、距離値Distの架空の測定手順は次のようになる。
【0053】
Dist1:0.095m 焦点位置が0.095mに調節される。この位置を時間dTだけ続ける。この時間は個別の距離測定よりもはるかに長くすることができる。
Dist2:0.113m 2つの値から平均値を計算する。
Dist3:0.101m 3つの値から平均値を計算する。
Dist4:0.098m 4つの値から平均値を計算する。この時点では焦点位置が最初の距離Dist1=0.095mに設定されている。その焦点位置を更に新たな平均値に調節する(再焦点合わせ)。移動行程が短いから、これははるかに高速に生じるのが普通である。
Dist5:0.108m 5つの値から平均値を求め、再焦点合わせ。
(中略)
Dist10:0.089m 10個の値から平均値を求め、再焦点合わせ。要求されたk=10に初めて到達。
Dist11:0.106m 最新の10個の値から平均値を求め、再焦点合わせ。
Dist12:0.101m 最新の10個の値から平均値を求め、再焦点合わせ。
(中略)
Dist46:0.099m 最新の10個の値から平均値を求め、再焦点合わせ。
Dist47:0.531m 跳び(SPRUNG)が規定の閾値より大きい。新たな距離のためにkも新たに設定する。今の場合、この距離は非常に大きく、1回の個別測定に対する被写界深度が既に距離測定の測定誤差より大きくなっている(
図3参照)。従ってk=1の平均化窓で十分であり、1回の個別測定だけで済む。焦点位置が0.531mに設定される。この位置を時間dTだけ続ける。この時間は個別の(以下略)。
【0054】
この測定手順については既に十分に説明している。好ましくは各時点において分かっている最良の焦点位置を直ちに使い始めるようにする。最初は粗い設定しかできず、それには若干の調節時間が必要になる可能性があるが、その後のステップで距離測定が徐々に良くなるに従って焦点位置が更新される。その際、その調節行程は短いため速やかにカバーされる。k=10個の個別の距離値が測定された後は、焦点位置が十分に正確になるため、要求される被写界深度内で画像撮影ができる。
【0055】
新たな物体48が検出領域14に入ってくるときや、縁部の後で今度は物体の別の構造部分の距離が測定されるときは特殊な状況になる。前記の模範的な測定手順では最後に述べたDist47の測定の際にそれが起きる。この跳びは、新たな値Dist47がそれまでの移動平均値と大きく違っていることから認識される。より形式的に言えば、そのために最新の個別の距離値(ここではDist47=0.531m)とそれまでの移動平均(ここではほぼ0.1m)の間の差の絶対値が閾値と比較される。その閾値は期待される統計的な変動をもとに例えば標準偏差の倍数として定められるものであり、距離に依存させてもよいし、妥協案として全ての距離にわたって一定にしてもよい。前記差の絶対値が閾値より小さい間は移動平均の計算が継続される。測定値Dist46までそれが当てはまる。閾値を超えたら新たな平均化が開始される。そうしなければ説得力のない混合値になってしまうからである。その際、好ましくはkも選び直す。
【0056】
また、焦点合わせの間にも追加的に画像を撮影し、その画像からコントラスト等の量を算出することが考えられる。