(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022009465
(43)【公開日】2022-01-14
(54)【発明の名称】バーコードにビジョンシステムカメラの自動焦点システム及び方法
(51)【国際特許分類】
G06K 7/10 20060101AFI20220106BHJP
G06K 7/14 20060101ALI20220106BHJP
H04N 5/232 20060101ALI20220106BHJP
G02B 7/28 20210101ALI20220106BHJP
G03B 13/36 20210101ALI20220106BHJP
G03B 15/00 20210101ALI20220106BHJP
【FI】
G06K7/10 408
G06K7/10 372
G06K7/14 043
G06K7/14 017
H04N5/232 120
G02B7/28 H
G03B13/36
G03B15/00 U
【審査請求】未請求
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2021173942
(22)【出願日】2021-10-25
(62)【分割の表示】P 2019134912の分割
【原出願日】2019-07-22
(31)【優先権主張番号】16/043,716
(32)【優先日】2018-07-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】504382671
【氏名又は名称】コグネックス・コーポレイション
(74)【代理人】
【識別番号】100119378
【弁理士】
【氏名又は名称】栗原 弘幸
(72)【発明者】
【氏名】バチェルダー,アイヴァン エイ.
(72)【発明者】
【氏名】ガオ,チェン
(72)【発明者】
【氏名】ゲレーロ,フランシスコ アスコナ
(72)【発明者】
【氏名】ドラド,ホセ フェルナンデス
(72)【発明者】
【氏名】ロサノ,エスター オテオ
(72)【発明者】
【氏名】ウェーバー,アンドレアス
【テーマコード(参考)】
2H011
2H151
5C122
【Fターム(参考)】
2H011BA41
2H011BB03
2H011CA21
2H151AA00
2H151BB27
2H151BB30
2H151DB01
2H151EA08
2H151FA47
5C122FD05
5C122FD10
5C122FH11
5C122HB01
(57)【要約】 (修正有)
【課題】撮像装置の視野内でバーコードの焦点画像を検出及び取得するシステム及び方法を提供する。
【解決手段】ビジョンシステム構成100において、測定プロセスは、バーコード検出の被写界深度を測定する。可変焦点レンズユニット130の複数の公称粗焦点設定は、1以上のバーコード110、114と画像センサSとの間の許容可能な距離に対応するレンズ調整範囲のステップでサンプリングを可能にする。その結果としてサンプリングのステップサイズは、バーコード検出の被写界深度の一部より小さい。取得プロセスは、各公称粗焦点設定に対する公称粗焦点画像を取得する。バーコード検出プロセスは、1以上のバーコード状領域と夫々の尤度を検出する。ファインフォーカスプロセスは、各高尤度バーコードに対して、バーコード状領域の位置に近い可変レンズを微調整する。プロセスは、微調整された設定を使用して復号化のための画像を取得する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1以上のバーコードを含むシーンの1以上の画像を取得する画像センサを有する撮像装置の視野内で前記1以上のバーコードの1以上の焦点画像を検出及び取得するためのシステムであって:
焦点プロセスから焦点調整情報を受け取り、受け取った光を画像センサに向ける可変レンズと;
前記1以上のバーコードを前記焦点プロセスによって確実に検出することができる最大焦点誤差としてバーコードの有効被写界深度を測定する測定プロセスと;
前記1以上のバーコードと前記画像センサとの間の許容距離に対応するレンズ調整範囲のサンプリングステップでサンプリングを可能にし、その結果としてサンプリングステップのステップサイズがバーコード検出被写界深度の一部より小さい可変レンズの複数の公称粗焦点設定と;
前記画像センサによって前記可変レンズの少なくとも1つの粗焦点設定に対する公称粗焦点画像を取得する取得プロセスと;
各公称粗焦点画像内の1以上のバーコード状領域を検出するバーコード検出プロセスと;
粗焦点画像内の少なくとも1つの前記バーコード状領域に対して、前記可変レンズを粗焦点設定から微調整して前記バーコード状領域の位置に近い画像の焦点を最適化し、前記可変レンズの最適化された微調整焦点設定を使用して復号化のための画像を取得するファインフォーカスプロセスと;
を有する上記システム。
【請求項2】
前記バーコード検出プロセスは、それぞれのバーコード状領域の尤度を測定するように構成されており、及び少なくとも1つのバーコード状領域が所定のレベル以上の尤度を定義する、請求項1に記載のシステム。
【請求項3】
前記バーコード検出プロセスは、画像センサによって取得された画像内のバーコード状領域を確実に特定する実質的に最大のフレームレートで作動する、請求項1に記載のシステム。
【請求項4】
バーコード検出被写界深度の前記一部は、バーコード検出被写界深度の約半分以下である請求項3に記載のシステム。
【請求項5】
(a)可変レンズは高速液体レンズを有する、並びに、(b)被写界深度は視度で測定されて、調整情報が視度を定義する、の少なくとも一方である、請求項1項に記載のシステム。
【請求項6】
前記ファインフォーカスプロセスは、1以上の調整された焦点設定で画像を取得し、それぞれのバーコード状領域の周囲の局所領域における画像鮮明度スコアを最大化する1以上の調整された焦点設定を選択することによって、画像の焦点を最適化するように構成されている、請求項5に記載のシステム。
【請求項7】
さらに前記可変レンズと前記画像センサに作動的に接続されて、前記焦点プロセス、バーコード検出プロセス及び取得プロセスのうちの少なくとも1つで作動する処理ユニットを備える、請求項1に記載のシステム。
【請求項8】
前記処理ユニットは、GPU及びFPGAのうちの少なくとも一方を備える、請求項7に記載のシステム。
【請求項9】
前記可変レンズは、粗焦点設定にわたる反復的数値ステップベース検索技術に基づいて調整される、請求項1に記載のシステム。
【請求項10】
前記ファインフォーカスプロセスは、可変レンズを粗い設定から始めて最も高い尤度から最も低い尤度の順に微調整する、請求項1に記載のシステム。
【請求項11】
前記バーコードは、1Dバーコード及び2Dバーコードのうちの少なくとも一方を含む、請求項1に記載のシステム。
【請求項12】
粗焦点設定は、撮像装置に対して相対的な距離センサによって生成される距離測定に基づいている、請求項1に記載のシステム。
【請求項13】
前記距離センサは、飛行時間センサ、LIDAR、レーダ、超音波センサ、立体センサ及びソナーセンサのうちの少なくとも1つを含む、請求項12に記載のシステム。
【請求項14】
撮像システムの焦点を1以上のバーコードに合わせる方法であって:
少なくとも2つの公称粗焦点設定の各々について公称粗焦点画像を取得するステップであって、前記公称粗焦点設定はそれぞれのバーコードと撮像システムとの間の許容距離範囲をサンプリングするように選択される、前記ステップと;
バーコード検出器を採用して、各内公称粗焦点画像内のバーコード状領域を決定し、前記バーコード状領域の位置の各々が実際のバーコードを示すそれぞれの尤度を推定するステップであって、前記バーコード検出器は焦点ぼけの存在下で確実に検出すべき公称粗焦点設定に対応するサンプリングされた距離の間の距離範囲でバーコードを可能にする有効被写界深度内で作動する、前記ステップと;
十分に高い尤度を持つバーコード状領域の各々について、最も高い尤度から最も低い尤度の順に、ファインフォーカス手順を使用して焦点を最適化して、それぞれのバーコード状領域で1以上のバーコードを首尾よく復号化するのに十分鮮明な画像を取得するステップであって、前記ファインフォーカス手順は、それぞれのバーコード状領域がバーコード検出器によって検出される公称粗焦点画像を取得するために使用される公称粗焦点設定に実質的に近い1以上の調整された焦点設定で画像を取得することにより、それぞれのバーコード状領域の周囲の局所領域における鮮明度測定を最大化することによって焦点を最適化する、前記ステップと;
を有する上記方法。
【請求項15】
さらに前記取得された公称粗焦点画像をビジョンシステムプロセッサで受け取るステップと、前記ビジョンシステムプロセッサによってバーコード検出器を作動させるステップとを含む、請求項14に記載の方法。
【請求項16】
前記ビジョンシステムプロセッサで受け取るステップは、GPU及びFPGAのうちの少なくとも一方を含むプロセッサで受け取ることを含む、請求項15に記載の方法。
【請求項17】
さらに選択された焦点距離で前記公称粗焦点画像を撮像する電子制御可変焦点レンズアセンブリを含む、請求項15に記載の方法。
【請求項18】
前記レンズは、その焦点距離を視度値に基づいて設定できる高速液体レンズを含む、請求項17に記載の方法。
【請求項19】
さらに可変焦点レンズアセンブリを粗焦点設定にわたる反復的数値ステップベース検索技術に基づいて調整することを含む、請求項17に記載の方法。
【請求項20】
前記取得するステップ、採用するステップ、及び使用するステップは、複数の優先順位に従って実行される、請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、1D及び2Dバーコード及び他の形式のシンボル又はIDコードを検出して復号化するためのマシンビジョンシステムに関し、より具体的にはバーコード及び/又は他のIDコードを読み取る際に使用するためのカメラ焦点システムに関する。
【背景技術】
【0002】
オブジェクトの測定、検査及び/又は位置合わせ及び/又は機械可読記号(「バーコード」、「IDコード」、「コード」及び/又は単に「ID」とも呼ばれる)の形式のシンボルの復号化を実行するビジョンシステム。多くの場合、これらの機械可読シンボルは、2Dデータマトリックスコード、QRコード(登録商標)、DPMコードなどのよく知られている1次元(1D)及び2次元(2D)バーコードの形式をとる。より一般的にはバーコードは光学的な機械可読のデータ表現として定義することができ、データはしばしばバーコードを付けたオブジェクトについて何かを記述する。従来のバーコードは、平行線の幅と間隔を変えることによってデータを体系的に表現しており、線形又は1次元(1D)と呼ばれることがある。後に長方形、ドット、六角形又は他の幾何学的パターンを使用して2次元(2D)バリアントが開発されて、マトリックスコード又は2Dバーコードと呼ばれたが、それらはバーそのものを使用していない。これにはデータマトリックスコード、QRコード(登録商標)及びDPMコードが含まれるが、これらに限定されない。これらはすべて幅広い用途や業界で使用されている。バーコード読み取りシステムは一般に画像センサの使用を基本としており、画像センサは対象又はオブジェクトの画像(通常はグレースケール又はカラー及び1次元、2次元又は3次元)を取得し、これらの取得した画像を車載又は相互接続されたビジョンシステムプロセッサを使用して処理する。プロセッサは一般に、画像の処理された情報に基づく所望の出力を生成するために1以上のビジョンシステム処理を実行する処理ハードウェア及び非一時的コンピュータ可読プログラム命令の両方を含む。この画像情報は、通常それぞれ様々な色及び/又は強度を有する画像ピクセルのアレイ内で提供される。バーコードリーダ(本明細書では「カメラ」とも呼ばれる)の例では、ユーザ又は自動化されたプロセスは1以上のバーコードを含むと考えられるオブジェクトの画像を取得する。画像はバーコード特徴を識別するために処理され、次にバーコード特徴は復号化プロセス及び/又はプロセッサによって復号化されてコードによって表される固有の英数字データを取得する。
【0003】
作動時は、バーコードリーダは典型的には1以上のバーコードを含むシーンを照明するために機能する。この照明は、撮像されたシーン内の関心領域上に着色されたドットを投影するエイマを含むことができ、それによってユーザは撮影されたシーン内のバーコード上でリーダの画像軸をセンタリングできる。この照明されたシーンは次に光学系を通してカメラアセンブリ内の画像センサによって取得される。アレイセンサピクセルは露光され、露光によって各ピクセルについて生成された電子値は、シーンの「画像」と呼ぶことができるメモリセルのアレイに保存される。バーコード読み取り用途の関連では、シーンは適切な寸法と種類の1以上のバーコードを有する関心のあるオブジェクトを含む。バーコード(単数又は複数)は保存された画像の一部である。
【0004】
バーコードリーダの一般的な使用は、製造及び物流業務においてライン(コンベアなど)に沿って移動するオブジェクトを追跡及び分類することである。バーコードリーダ、又はより典型的には複数のリーダ(コンステレーション)は、それぞれ視野を通過する際にそれぞれのオブジェクトの面上の予想されるバーコードを取得するために、ラインに沿って適切な視野角で配置することができる。オブジェクトに対するリーダの焦点距離は、ライン及びオブジェクトのサイズに対するリーダの配置に応じて変わることがある。したがってバーコードリーダと組み合わせて自動焦点機構を使用することは、適切な焦点距離を達成するために望ましい。
【0005】
バーコードリーダに自動焦点機能を提供するための既存の技術は、潜在的に多数の焦点設定を通して掃引し、選択された関心領域に対する画像鮮明度を最大化する設定を選択することを伴う。自動焦点のための手順は、Daniel Vaquero、Natasha Gelfand、Marius Ticol、Kari Pullil及びMatthew Turk著『一般化された自動焦点』、コンピュータビジョンの応用(WACV)、2011 IEEEの有用な背景情報によって記述されている。
【0006】
関心領域は発見的なコントラスト測定を使用して選択されることが多く、これは他の高コントラスト構造(テキストや他のグラフィックなど)をバーコードと取り違えることがよくある。コントラスト測定と鮮明度メトリクスの両方は、焦点がほぼ正しいときにのみ意味があり、その理由で掃引中に多数の焦点設定を考慮することが必要となる。さらに鮮明度メトリクスは照明に敏感であり、これも変化する可能性がある(例えば照明が最適化されている場合でも自動調整操作の過程で)。そのためこのような方法は時間がかかり、シーンの間違ったエリアに焦点を合わせてしまう可能性がある。さらにバーコードを特定するための市販の技術は、自動焦点プロセスループの間に直接使用するには動作が遅すぎた。一般に、最初にある領域への焦点が確定され、次に関心領域の焦点の合った画像でバーコード検出及び復号化手順が作動する。
【発明の概要】
【0007】
本発明は、バーコードを含むシーンの1以上の画像を取得する撮像装置の視野内で1以上のバーコードの1以上の焦点画像を検出及び取得するためのシステム及び方法を提供することによって従来技術の欠点を克服する。可変レンズは、焦点プロセスから焦点調整情報を受け取り、受け取った光を画像センサに向ける。測定プロセスは、バーコード検出の有効被写界深度を、1以上のバーコードを確実に焦点プロセスによって検出することができる最大焦点誤差として測定する。この被写界深度測定プロセスは、全体的に又は部分的に自動化システム又はシステムユーザからの手動入力により予測することができ、それらは(例えば)発見法、観察又はその他の計算に基づく評価であり得る。可変レンズの複数の公称粗焦点設定は、1以上のバーコードと画像センサとの間の許容距離範囲に対応するレンズ調整範囲のサンプリングステップでサンプリングを可能にし、その結果としてサンプリングステップのステップサイズはバーコード検出の被写界深度の一部より小さい。取得プロセスは、画像センサを用いて、可変レンズの少なくとも1つの粗焦点設定に対する公称粗焦点画像を取得する。バーコード検出プロセスは、各公称粗焦点画像内の1以上のバーコード状領域(バーコードパターン全体の一部であってよい)を検出する。ファインフォーカスプロセスは、粗焦点画像の十分高い尤度を有する各バーコード状領域について、可変レンズを粗焦点設定から始めて最も高い尤度から最も低い尤度の順に微調整して、バーコード状領域の位置に近い画像の焦点を最適化する。次に、ファインフォーカスプロセスは、可変レンズの最適化された微調整焦点設定を使用して復号化のための画像を取得する。
【0008】
例示的な実施形態において、1以上のバーコードを含むシーンの1以上の画像を取得する画像センサを有する撮像装置の視野内で、1以上のバーコードの1以上の焦点画像を検出及び取得するためのシステム及び方法が提供される。このシステム及び方法は、焦点プロセスから焦点調整情報を受け取り、受け取った光を画像センサに向ける可変レンズを含む。測定プロセスはバーコード検出の有効被写界深度を、1以上のバーコードが焦点プロセスによって確実に検出され得る最大焦点誤差として測定する。可変レンズの複数の公称粗焦点設定は、1以上のバーコードと画像センサとの間の許容距離範囲に対応するレンズ調整範囲のサンプリングステップでサンプリングを可能にする。サンプリングステップのステップサイズは、通常バーコード検出の被写界深度の一部より小さい。取得プロセスは、画像センサを用いて可変レンズの少なくとも1つの粗焦点設定について公称粗焦点画像を取得した。ファインフォーカスプロセスは、粗焦点画像の十分高い尤度を有する各バーコード状領域について、可変レンズを粗焦点設定から始めて最も高い尤度から最も低い尤度の順に微調整して、バーコード状領域の位置に近い画像の焦点を最適化する。ファインフォーカスプロセスは、可変レンズの最適化された微調整焦点設定を使用して復号化のための画像を取得する。例示的に、バーコード検出プロセスは、バーコード状領域のそれぞれの尤度を測定するように構成されており、バーコード状領域の少なくとも1つは、所定のレベルを上回る尤度を定義する。バーコード検出プロセスは、確実に画像センサによって取得された画像内のバーコード状領域の位置を確実に特定する実質的に最大のフレームレートで作動できる。被写界深度は視度で測定することができ、調整情報が視度を定義する。実施形態では、前記一部はバーコード検出の被写界深度の約半分以下の値を含むことができる。可変レンズは高速液体レンズを含むことができる。例示的に、ファインフォーカスプロセスは1以上の調整された焦点設定で画像を取得することによって画像の焦点を最適化するように構成することができ、1以上の調整焦点設定はそれぞれのバーコード状領域の周囲の局所領域における画像鮮明度スコアを最大にするように構成できる。可変レンズと画像センサに作動的に接続された処理ユニットを設けることができ、この処理ユニットは焦点プロセス、バーコード検出プロセス及び取得プロセスのうちの少なくとも1つで作動できる。例示的に、処理ユニットは、GPU及びFPGAのうちの少なくとも一方を含むことができる。可変レンズは粗焦点設定に対して反復及び/又は数値ステップベースの検索技術に基づいて調整することができる。ファインフォーカスプロセスは可変レンズを粗い設定から始めて最も高い尤度から最も低い尤度の順に微調整する。バーコードは、1Dバーコード及び2次元バーコードの少なくとも1つを含むことができる。粗焦点設定は、撮像装置に対する距離センサによって生成された距離メトリクスに基づくことができる。その距離センサは、飛行時間センサ、LIDAR、レーダ、超音波センサ、立体視センサ及びソナーセンサのうちの少なくとも1つを含むことができる。
【0009】
例示的な実施形態では、撮像システムの焦点を1以上のバーコードに合わせるためのシステム及び方法が提供される。少なくとも2つの公称粗焦点設定の各々について、公称粗焦点画像が取得される。公称粗焦点設定は、それぞれのバーコードと撮像システムとの間の許容距離範囲をサンプリングするように選択される。バーコード検出器は、各公称粗焦点画像内のバーコード状領域を決定し、バーコード状領域の各々が実際のバーコードであるそれぞれの尤度を評価する。バーコード検出器は、公称粗焦点設定に対応するサンプリングされた距離の間の距離範囲でバーコードが焦点ぼけの存在下で確実に検出されることを可能にする有効被写界深度内で作動する。十分高い尤度を有する各バーコード状領域について、ファインフォーカス手順は最も高い尤度から最も低い尤度の順に焦点を最適化し、それぞれのバーコード状領域で1以上のバーコードを首尾よく復号化するのに十分に鮮明な画像を取得する。ファインフォーカス手順はそれぞれのバーコード状領域がバーコード検出器によって検出される公称粗焦点画像を取得するために使用される公称粗焦点設定に実質的に近い1以上の調節された焦点設定で画像を取得することにより、それぞれのバーコード状領域の周囲の局所領域における鮮明度測定を最大化することによって焦点を最適化する。例示的に、ビジョンシステムプロセッサは取得された公称粗焦点画像を受け取り、バーコード検出器を作動させる。ビジョンシステムプロセッサはGPU及びFPGAの少なくとも一方を含むことができる。選択された焦点距離で公称粗焦点画像を撮像するために、電子制御可変焦点レンズアセンブリを使用することができる。レンズはさらに、その焦点距離を視度値に基づいて設定できる高速液体レンズを含むことができる。例示的に、システム及び方法の作動は、複数の優先順位に従って実行することができる。
【0010】
以下の本発明の説明は添付の図面を参照する。
【図面の簡単な説明】
【0011】
【
図1】一実施形態による自動焦点システム及び方法を採用し、固定又は手持ちのビジョンシステムカメラがバーコードを含むオブジェクトを撮像する状態が示されたビジョンシステム構成の図である。
【0012】
【
図2】一実施形態によるバーコード検索及び復号化と同時に粗焦点とファインフォーカスを適用するための一般的な手順を示すフローチャートである。
【0013】
【
図2A】
図1のカメラアセンブリの視野と、バーコード状領域の位置特定に使用するための関心のある中央ターゲット領域とユーザ定義領域を示す図である。
【0014】
【
図3】例示的な実施形態による自動焦点プロセスのためのより詳細な手順である。
【0015】
【
図4】
図2及び
図3の手順が作動する様々な関心領域を示す、バーコードを有するオブジェクトを含んでいるシーンの例示的な取得された画像である。
【発明を実施するための形態】
【0016】
I.システム概要
【0017】
図1は、一実施形態により例示的なオブジェクト及び/又は他の撮像シーン112上に配置された1以上のバーコード(1次元及び2次元(1D及び2D)バーコード、例えばDPM及びQRコード(登録商標)、並びに他の関連するシンボルコード)110及び114を読み取って復号化するための構成100を示す。例示的なオブジェクト112は、ここでは3次元構造を画定する複数の面115、117及び119で示されている。構成100はビジョンシステムカメラアセンブリ120を含んでおり、これは手持ちユニット又は固定ユニットであってよい。代替実施形態ではシーンを撮像するために複数のカメラを採用でき、それぞれが本明細書のシステム及び方法を作動させる。以下にさらに説明するように、本明細書のシステム及び方法はバーコード状特徴110及び114をそれらに隣接する他の幾何学的情報やテキスト情報、例えばテキスト116と比較して効果的に区別することができる。したがって本明細書のシステム及び方法は、同様にプロセスによってバーコード状領域(及び/又はバーコード候補)として迅速に廃棄される他の潜在的交絡特徴の存在にもかかわらず、視野(FOV)内の1以上のバーコードが急速に検出され復号化されることを可能にする。本明細書で使用される用語「バーコード状領域」は、任意の適切なタイプ/フォーマットのバーコードの全部又は一部を表す特徴を含む画像の全部又は一部を指す。したがってバーコード状領域は、そこに発生するバーコード全体の識別可能な部分及び/又は断片に基づいて識別することができる。バーコード114は画像センサを基準にしてオブジェクト面115上のバーコード110とは異なる距離を示すように直立面117上に配置されることに留意されたい。本明細書のシステム及び方法は、本明細書に記載の自動焦点技術を使用して同じ全体視野(FOV)内の有効距離が異なる複数のバーコードも効果的に見つけることができる。
【0018】
カメラアセンブリは、内蔵及び/又は別個の照明/照準器122、画像センサS(CMOS又は他の適切な技術を用いて実装できる)及び光学モジュールOを含む様々な機能要素を含むことができる。センサSは許容可能なフォーマット及びピクセルアレイサイズを定義することができ、画像データ124をカラー又はグレースケール形式のいずれかで供給するように実装できる。
【0019】
光学系Oは、一体型又は取り外し可能(例えばねじ式レンズベースアセンブリ)である任意の許容可能なパッケージであることができる。光学系Oは、センサSの像面とバーコード110を含む面との間の光軸OAに沿った作動距離を受容するように光学系の焦点距離を物理的に変化させる可変焦点レンズユニット130を含む。可変焦点レンズ130は、焦点を変化させるために光軸に沿って移動する機械的電動レンズ、又は電磁場の存在下で磁性流体の動きに基づいてレンズの輪郭形状を変化させる、いわゆる液体レンズなど種々の作動原理に基づくことができる。液体レンズは、フランスのバリオプティック社又はスイスのオプトチューン社など様々な業者から市販されている。可変焦点レンズ130は、レンズ製造業者の仕様に従って生成される信号132を介して制御される。通常そのような信号132は、以下にさらに説明されるビジョンシステムプロセス(プロセッサ)140(又は他のプロセス(プロセッサ))によって生成されたデジタル値に(典型的に)基づいて、可変電流及び/又は電圧レベルとして供給される。可変焦点機能は、プロセス(プロセッサ)140がバーコード特徴を復号化するのに十分な解像度を維持しながら、視野(FOV)がバーコードを完全に撮像するサイズとなるように作動することができる。
【0020】
ビジョンシステムプロセス(プロセッサ)140は、カメラアセンブリ又は任意の付属装置(例えば付属のスマートフォン)のハウジング内に部分的又は完全に収容することができる。代替又は追加で、プロセッサは、適切な有線及び/又は無線データリンク152を介してカメラアセンブリと相互接続されたサーバ、PC、ラップトップ、タブレット又はスマートフォンなどの別個のスタンドアロンコンピューティングデバイス150内で部分的又は完全にインスタンス化することができる。そのようなコンピューティングデバイス150はまた、ビジョンシステムを監視、調整又はセットアップするために必要なときに、カメラアセンブリ120内の搭載プロセッサに着脱可能に取り付けることができる。コンピューティングデバイス150は、ディスプレイ/タッチスクリーン154、キーボード156及び/又はマウス158などの適切なユーザインターフェースコンポーネントを含むことができる。プロセス(プロセッサ)140、コンピューティングデバイス150及び/又は構成100内の他のデバイスは、部品認識、物流、オブジェクト分類などのタスクを実行するためにバーコードから導出された復号データを採用する1以上の下流利用装置及び/又はプロセスとリンクすることができる。
【0021】
実施形態では、プロセッサ140は、本明細書で使用される所望のプログラム命令を実行するフィールドプログラマブルゲートアレイ(FPGA)のグラフィック処理ユニット(GPU)を備えるか又は含むことができる。
【0022】
ビジョンシステムプロセス(プロセッサ)140は、ビジョンシステム配置100の作動を実行するための複数の機能的プロセス(プロセッサ)を含む。ビジョンシステムプロセス(プロセッサ)140はビジョンシステムツールモジュール142を含むことができ、このビジョンシステムツールモジュール142はエッジ検出器、ブロブ分析器、カリパ、アライメント及びパターン認識プロセス(プロセッサ)など、画像特徴の検出と分析に使用される1以上のツールを有することができる。ビジョンシステムプロセス(プロセッサ)140はバーコード検出及び復号化プロセス(プロセッサ)144も含み、これは市販の又はカスタマイズされた(例えばソフトウェア)アプリケーションに基づくことができる。バーコード検出器及び復号器はシーン112の取得された画像内のバーコード候補特徴を位置特定する。ビジョンツール142は、特徴を精緻化及び解析してバーコード候補をより良好に位置特定するために用いることができることに留意されたい。バーコード候補特徴が解像されると、モジュール144内の復号化プロセス(プロセッサ)は、読み取られたバーコード110から適切な情報(例えば英数字データ列)を生成するために使用することができる。
【0023】
画像取得及びバーコード検出プロセスの一部として、カメラ光学系Oは、撮像面とセンサ画像面との間の距離を考慮するように調整することができる。短時間だけ及び/又は相対運動において視野内に現れる可能性がある欠落バーコードを避けるために、バーコードをできるだけ迅速に検出して復号化することが望ましいので、本明細書において焦点プロセス(プロセッサ)146は、以下に説明する所定の手順に従って可変レンズ焦点距離130を調整しようと試みる。
【0024】
任意選択として、1以上の追加の距離測定装置(例えばLIDAR、飛行時間センサ、立体視装置、超音波及び/又はレーダ)170を使用して、距離情報172をビジョンシステムプロセス(プロセッサ)140の適切な機能モジュールに供給することができる。距離情報172は、カメラアセンブリ120と(及びセンサ画像面に対する)撮像オブジェクト112の表面との間の物理的距離(二重破線矢印174)を定義することができる。このデータ172は、本明細書で使用されるピクセルベースの焦点情報を補足するために使用できる。
【0025】
特に、バーコード検出及び復号化プロセス(プロセッサ)144は、市販の又はカスタマイズされた高速バ-コード/シンボル検出器、例えばコグネックス社(マサチューセッツ州ネイティック)から入手可能なホットバーズ(商標)に基づくことができる。そのような検出器は、顕著なブラーにもかかわらず画像内のバーコード特徴の位置/領域を急速に特定し、実際のバーコードである尤度に応じてそれらを順序付けることが可能である。
【0026】
上記のホットバーズ(商標)バーコード検出器の迅速なライン検出能力に加えて、バーコード(例えば2Dバーコード)特徴をより迅速に特定して復号化するために本明細書に記載された適切なプロセッサ構成と組み合わせて使用することができるいくつかの他の技術は、以下のものを含む。
1.コード候補内に平行線を見つけるためにクラスタリングと組み合わせてエッジ検出とハフ変換ベースのライン検出技術を使用すること。背景情報として以下参照:Peter Bodnar及びLaszlo G.Nyul著「簡易検出器とみ合わせたバーコード検出の改善」、信号画像技術とインターネットベースシステムに関する第8回国際会議(2012年);Peter Bodnar著「ビジュアルコードの位置特定のための画像解析方法」、ハンガリー・セゲド科学情報大学画像処理及びコンピュータグラフィックス部門コンピュータサイエンス学部博士課程の博士論文(2015年)、ワールド・ワイド・ウェブ上でURLアドレスhttp://doktori.bibl.u-szeged.hu/2825/8/tezisfuzet.pdfで入手可能。
2.同様の優勢な向きを有する隣接タイルを検出するために候補バーコードを含む取得された画像のタイルで勾配方向ヒストグラム(HOG)機能を使用すること。背景情報として以下参照:Peter Bodnar著「視覚コードの位置特定のための画像解析方法」(前出)。
3.撮像されたバーコード内のバーとスペースを2値化するために適応画像閾値を使用し、バーコード領域にマージする画像形態を使用すること。背景情報として以下参照:、Daw-Tung Lin、Chin-Lin Lin著「マルチシンボル並びに複数の1D及び2Dバーコードのための自動位置特定」、海洋科学技術誌、第21巻第6号663~668頁(2013)年;Savreet Kaur及びRaman Maini著「形態学的操作を使用したバーコード位置特定技術の実装」、国際コンピュータアプリケーション誌(0975-8887)、第97巻第13号、2014年7月;:Peter Bodnar著「視覚コードの位置特定のための画像解析方法」(前出)。
4.テクスチャ分類を実行するためにディープラーニングを使用すること。背景情報として以下参照:Hansen, Daniel Kold、Nasrollahi,Kamal、Rasmussen、Christoffer Bogelund、Moeslund,Thomas B.著「ディープラーニングを使用したリアルタイムバーコードの検出と分類」第9回国際計算知能合同会議IJCCI(2017年)の会報第1巻に掲載:Peter Bodnar著「視覚コードの位置特定のための画像解析方法」(前出)。
【0027】
特定の条件下で選択されたタイプのバーコードをより迅速に検出して復号化するための別の技術が、一例としてYunhua Gu、Weixiang Zhang著「画像処理に基づくQRコード認識」2011年5月10日に公表された、情報科学と技術に関する国際会議IEEEに記載されている。
【0028】
II.一般化された自動焦点操作手順
【0029】
図2は、一実施形態による自動焦点手順200を実行するための一般化された手順を示す。ステップ210において、ユーザ又は他のプロセスは、バーコードの存在下(又はより一般的には「バーコード状領域」の存在下であり、この用語は必要に応じて「バーコード」と互換的に使用されるべきである)で画像取得をトリガする。次に手順200は、ステップ220において粗焦点調整を適用する。この調整は(通常焦点/視度値として言い表される)所定の焦点距離を達成するようにレンズに信号を送ることを伴う。次にステップ222で、この選択された焦点距離でセンサによって少なくとも1つの画像が取得される。次にシステムは適切なビジョンシステムツールを使用してバーコード候補特徴を検索し、バーコード特徴が検出されない及び/又は所定の信頼度スコア/尤度を満たしていない場合は(判定ステップ224)、次の粗焦点値(以下に説明する焦点面編)が選択され(ステップ226)、ステップ220で調整が適用される。バーコードが検出されるまで(又は粗焦点値が使い尽くされるまで)別の画像が取得され、バーコード位置/決定プロセス(決定ステップ224)が繰り返される。(決定ステップ224を介して)バーコードが関心領域に存在しているという存在の高い信頼度及び/又は尤度(所定の閾値を超える信頼度値/スコア)があれば、手順200はステップ230でレンズにファインフォーカス調整手順を適用する。以下に記載する実施形態では、公称焦点面の初期セットを決定することができ、粗焦点合わせプロセスは、ある領域のバーコードが十分な信頼度/尤度で識別されるまでそのような平面をスキャンする。さらに手順は、バーコードの尤度又は他のメトリクス、例えば取得した画像内のバーコードを包含している尤度の高い領域に関するユーザ定義メトリクスに基づいて検索する領域に優先順位を付けることができ、そのような優先順位に基づいて領域は粗焦点について、すべての値が使い尽くされるか、又は十分な信頼度のあるバーコードが見つかるまで、焦点面の間を移動してスキャンされる。
【0030】
ステップ232において、この微調整値で画像が取得される。次にバーコード検出及び復号化手順は、粗焦点ステップからの位置特定されたバーコードが復号化されて適切な情報を提供するかどうかを決定する(決定ステップ234)。提供しない場合は、ステップ236で新しいファインフォーカス値が選択されてレンズに適用され(ステップ230)、次に取得ステップ232と決定ステップ234が、バーコードが復号化されるか又はすべての微調整値が使い尽くされるまで繰り返される。復号化されたバーコード結果/情報(もしあれば)は、次にステップ240において(決定ステップ234を介して)適切な下流プロセスに送られる。
図2Aの例示的な視野250参照して、粗焦点プロセスの間に復号化可能なバーコード/バーコード状領域(断片)を包含する領域が検出されない場合は、視野250の中央4分の1(ほぼ囲まれたボックス260)又はユーザが選択した全関心領域(例示的な破線ボックス270)を以降のバーコード検索のターゲット領域として使用できる。次にこのプロセスは次に新しい領域260又は270内のバーコードを位置特定するために、従来のコントラスト/鮮明度ベースの検索アルゴリズム/手順に移行する。
【0031】
以上に概述し、以下にさらに詳細に説明するように、シーンの任意の取得された画像において、復号化を必要とし得る特徴を包含するいくつかの関心領域が存在する可能性があることに留意されたい。例として
図4は、それぞれ2Dバーコード、1Dバーコード及びテキストを含む少なくとも3つの関心領域410、420及び430が描かれている、基礎となるオブジェクトの取得された撮像シーン400を示す。バーコード特徴が存在しないことが確認されたら、テキストは以降の処理から除外できる。各領域の境界は変化することがあり、デフォルトで設定し、又はその中に位置するバーコード状領域(バーコード及び/又はその断片)を含むように拡大縮小することができる。
【0032】
有利には、作動中に撮像システムの可能な焦点範囲全体にわたる種々の粗視度設定で取得された小数の画像(公称焦点面と呼ばれる)が、読取り光学系のための比較的大きい被写界深度を定義することによって、距離に関係なくシーン内のすべてのバーコード状領域を検出するバーコード検出のために使用される。そのような高被写界深度の光学系は、有用な背景情報として、2017年12月15日に提出された「二重撮像ビジョンシステムカメラとこれを使用する方法」と題する米国特許出願第15/844448号に記載されている。これらの公称焦点面で画像を取得するプロセスは、視度値の変化に迅速に反応できる高速可変レンズ構成、例えば液体レンズを使用すると、特に効率的である。
【0033】
以下に説明するように、手順200はまた利用可能なセンサ(例えば飛行時間及び/又はその他のレンジ検出装置170)から任意選択の距離測定(例えば、レンジデータ172)を使用して、初期値及び値の増分変化が検知範囲内及びその周辺で発生するように粗焦点範囲を制限することができる。
【0034】
実施形態では、各バーコード状領域に対して粗焦点視度値設定を精緻化するためにファインフォーカスステップの使用が採用される。この設定で画像が取得され、次に復号化プロセスを用いてバーコードの復号化が試みられる。バーコード状領域は、バーコード特徴が存在する現在の尤度の最も高い順に処理される。この構成は本質的に(撮像システム/カメラアセンブリの視野内の位置と焦点範囲内の距離の両方に対する)、視覚的注意のためのインテリジェントな機構である。
【0035】
III.自動焦点プロセス
【0036】
自動焦点手順300のより詳細なフローチャートが
図3に示されている。手順300は、カメラ/撮像システムの場合は全距離範囲310を含む入力を受け取り、レンジ検出センサからは任意選択の距離測定値の入力312を受け取り、粗検出モードすなわちバーコード状領域の検索に使用される技術の入力314を受け取り、粗検索が任意選択の距離測定値によって定義された所与の距離を越えて(より近く及び/又はより遠く)見るか、及び(任意選択で)距離を利用可能な距離測定値以外で(画像センサからより近及び/又はより遠く)調べるかどうかの入力316を受け取る。入力要素312、314及び316は全体的な手順300において任意であってよく、
図3にはそのように(すなわち「任意選択」)と示されていることに留意されたい。以下に説明するように、その他の任意選択の手順ステップ/入力も同様にマークされている。そのような任意選択の入力、ステップ及びプロセスは、全体的な手順において省略ができ、及び/又はセットアップ時又は実行時にユーザによって選択することができる。より具体的には、粗検索モード入力314は、さらに後述するように、異なる粗平面距離の優先順位を決定する。一般に、粗面を処理する際の優先順位の使用は、以下にさらに説明するように任意である。「距離測定値を越えて見る」入力316は、距離測定値(もしあれば)を正確なものとして扱い、他の場所にバーコードを探さないことを決定できる。代替的に、入力316は距離測定値(もしあれば)をヒントとして扱うことを決定して、最初にこれらの位置でバーコードを探す可能性があり、しかしプロセスが必要なバーコードの復号化に成功しなかった場合は範囲内の他の距離でバーコードを探す。
【0037】
情報の要素310~316は、粗焦点手順(ステップ320)で使用される粗焦点面のリストを計算するために使用される/使用できる。粗焦点面を計算した後で、ステップ324は粗面リストから距離を抽出する。これはデフォルトとすることができる初期平面値(例えばレンジファインダーによって測定された平面及び/又は距離の範囲内にある中央距離)から始まる(ステップ324)。代替として、距離測定は、センサの指定作動距離内で作動する適切な発見的方法に従って所定の距離分布に基づく(又はこれを含む)ことができる。手順300のこの部分は優先順位に配置することができ、ステップ324で現在の優先順位を有する距離を抽出することに留意されたい。優先順位が提供されていない場合は、単一のセットの焦点プレーンのみが使用される。次にカメラ光学系は現在の(優先順位)焦点面の関連視度値に焦点が合わされて、ステップ326で少なくとも1つの画像が取得される。手順は取得した画像を使用して、画像内にバーコードが存在するか、どこに存在するかを決定し(決定ステップ330)、及び/又はそのようなバーコードが存在する尤度を決定する(ステップ332)。存在する場合はこれらのバーコード/尤度はそれぞれの領域と対応する焦点距離値に加えて保存される(領域のリストに付加される)。バーコードの決定は自動検出機能に基づくことができ、又は画像全体の関心領域の外部で行うことできることに留意されたい(入力336)。次に、ステップ334において焦点領域が計算され、関心領域に対する全体的尤度と共に付加される(入力338)。この関心領域338及び334の入力と指定は、全体手順300において任意であることに留意されたい。そのような任意選択の関心領域は、画像内のバーコードの可能な又はおおよその位置について、例えば以前取得された画像内の位置に基づいて既存の知識がある場合に使用することができる。さらに、自動検出入力336及びプロセスステップ330、332は任意である。任意選択の自動検索プロセス330、332及び338は、手順が関心領域(もしあれば)を正確なものとして扱うことができ、したがってこれらの領域外の別の位置にバーコードを探さない場合に使用できる。自動検出が使用されない場合(決定ステップ330)、関心領域(もしあれば)はヒントとしてのみ扱うことができ、手順300は最初にそれらの領域でバーコードを探すことができるが、要求されたバーコードが復号化されないと、手順300は(例えば)取得した画像全体にわたって関心領域内にバーコード状領域を検索する。
【0038】
手順300は、すべての平面距離が操作されたか問い合わせる(決定ステップ340の際に)。任意選択として、手順300において複数の優先順位が提供される場合、このクエリは現在の優先順位に限定することができる。粗焦点プロセスにおいてより多くの平面距離が操作される場合(任意選択としてもしあれば現在の優先順位内で)、手順300はステップ324に戻り、次の増分距離を抽出する。次に粗検出プロセス(ステップ324、326、330、332及び334)は、決定ステップ340を介して繰り返す。逆に、(任意選択として現在の優先順位で)距離が使い尽くされたら、決定ステップ340はステップ350に分岐して、以前に保存された画像領域のリストから全体粗画像の最も尤度の高い領域が抽出され(取り除かれる)。次にカメラレンズはその領域のための最良の粗焦点に焦点が合わされて、ステップ354で1以上の画像が取得される。この段階でファインフォーカスプロセス(破線のボックス358)が操作され、ステップ356で微鮮明度スコアが計算される。この計算において、鮮明度測定値は、(a)勾配測度、(b)周波数領域測度、(c)自己相関測度、(d)自己相関測度、(e)統計測度、及び/又は(d)エッジベース測度を含むことができる。背景情報として、Yi Yao,Besma Abidi、Narjes Doggaz及びMongi Abidi著「高倍率画像の自動焦点調整のための鮮明度測度及び検索アルゴリズムの評価」SPIE-国際光工学学会の会報6246、2006年6月を参照されたい。焦点が、可読バーコードをもたらすには十分ではないかもしれない鮮明度スコア(所定の閾値を下回る値)を生成する場合は、次のファインフォーカス設定が増分され(ステップ362)、レンズは取得された1以上の新しい画像で再び焦点が合わせされ(ステップ354)、それから新しい鮮明度スコアが計算される(ステップ356)。
【0039】
十分な鮮明度スコアが生成されたら(決定ステップ360)、領域内のバーコード特徴を関連する復号化プロセスによって復号化する試みが行われる(ステップ370)。関心領域を使用することに加えて、粗焦点プロセス及び/又はファインフォーカスプロセス(バーコード検索)は、フルサイズで取得した画像又はサブサンプリング画像で実行できることに留意されたい。焦点プロセスにサブサンプリング画像を使用する場合は、フルサイズ画像は復号化のために所望の焦点面で捕捉されるべきである。必要な(要求された)所定数のバーコードが適当に検出/復号化され、その結果がシステムに提供される(復号化する画像中に他のバーコードが存在しない)場合は、焦点及び復号化プロセスは完了する(決定ステップ372を介してステップ380)。存在しなければ、手順は決定ステップ390に分岐して、さらに保存された領域が残っているかどうか判定する。残っていれば、尤度が最も高い次の領域を抽出した後にファインフォーカスプロセス358が繰り返される(ステップ350)。すべての領域が処理されたら、決定ステップは決定ステップ392に分岐して、さらに粗距離が存在するかどうか判定する。存在しなければ、手順300は完了する(ステップ380)。別の粗距離が存在する場合(例えば異なる距離にある複数のバーコードを読み取る必要があるが、すべての距離がまだ処理されていない撮像対象)、手順300はステップ394に分岐して、優先順位(採用されている場合)が上げられ、元の領域リストは消去される。このプロセスは、例えば優先順位の低い粗焦点面、例えば範囲検出装置からの距離からレンジセンサー(及び/又は他の発見的方法)により入力距離測定値の周りで確定された指定範囲の外にある焦点面を読み取ることを含むことができる。手順300では、ステップ324において再び現在の優先順位で距離が抽出され、すべての粗距離が処理されるまで粗焦点プロセスとファインフォーカスプロセスの両方が上述のように繰り返される。
【0040】
ステップ324、340及び394に従い任意選択の優先順位を設けることは任意であり、それにより手順300は、粗面/距離の優先順位を確定することができ、特定のタイプのコードはどれほど迅速に位置を特定し、焦点を合わせ、そして復号化できるか判定することに留意されたい。基本的な実装では、優先順位は設けられていない。このシナリオでは、ステップ324は次の粗面を選択し、決定ステップ340は単に処理すべき粗面/距離がもうないかどうかを問い合わせ、手順が決定ステップ392から分岐して直接ステップ324に戻ることによりステップ394は省略できる。優先順位を採用することにより、(上述のようにシステムユーザによって提供される粗検索モード及び/又は距離分布に基づいて)各距離に優先順位を割り当てることができる。所与の距離/平面内の領域は、最初により高い優先順位を有する距離/平面に対する領域が処理された後で初めて処理されることになる。
【0041】
復号化プロセスの一環として、手順300は1以上の微検索アルゴリズムを採用できる。非限定的な例として、そのようなアルゴリズムは、(a)固定ステップサイズの検索、(b)補間による固定ステップサイズの検索、(c)反復的検索、(d)バリアントステップサイズの検索、及び(e)その他の許容可能な反復的及び/又は数値ステップベースの検索技術を含むことができる。背景情報として、EP Krotkov著「協調焦点と立体他撮影による能動的コンピュータビジョン」ニューヨーク、シュプリンガー出版(1989年)を参照されたい。
【0042】
IV.結論
【0043】
上述のシステム及び方法は、手持ちバーコードリーダを用いてしばしば遭遇する広範囲の作動距離内で種々のサイズ及び/又はタイプのバーコードを効果的に検出して復号化できることが明らかであろう。このシステム及び方法は、高速可変(例えば液体)レンズ及びより新しい技術プロセッサ、例えばホットバーズ(商標)バーコード検出アルゴリズムや類似のアプローチ/ソフトウェアの有利な性能を効果的に活用する。したがってこのシステム及び方法は、典型的に焦点調整ループで使うには遅すぎるバーコード特定のための先行技術に比べて進歩と利点を提供する。(例えば)FPGAハードウェア(ハードウェア/ファームウェアを使用してプログラム命令を実行)を用いる例示的なシステム及び方法の追加のインスタンスは、撮像装置の焦点調整ループ内でバーコード検出の操作をさらに向上させ、速することができる。
【0044】
上記は本発明の例示的な実施形態の詳細な説明である。本発明の精神及び範囲から逸脱することなく、様々な修正及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組合せを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。さらに、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば、復号化を試みる前に、すべての粗焦点設定で画像を取得する必要があることに留意されたい。すなわち、様々な例示的実施形態では、サブセット(1以上)の粗焦点設定について画像を取得でき、そのサブセットは1以上のバーコードが特定されて復号化されるまで処理できることが想定されている。また、本明細書で使用される用語「プロセス」及び/又は「プロセッサ」は、様々な電子ハードウェア及び/又はソフトウェアベースの機能要素及び構成要素(代替的に機能的「モジュール」又は「要素」とも呼ぶことができる)を含むように広く解釈されるべきである。)さらに、図示のプロセス又はプロセッサは、他のプロセス及び/又はプロセッサと組み合わせることができ、あるいは様々なサブプロセス又はプロセッサに分割することができる。そのようなサブプロセス及び/又はサブプロセッサは、本明細書の実施形態に従って様々に組み合わせることができる。同様に、本明細書の任意の機能、プロセス及び/又はプロセッサは、電子ハードウェア、プログラム命令の非一時的コンピュータ可読媒体からなるソフトウェア、又はハードウェアとソフトウェアの組合せを使用して実装できることが明確に想定されている。さらに、本明細書で使用される様々な方向及び/又は向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」「前方」、「後方」及びこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。また、加えて、与えられた測定値、値又は特徴に関して「実質的に」若しくは「近似的に」という言葉が用いられている場合、それは所期の結果を達成するための通常の操作範囲内にある量を指しているが、システムに許容された誤差の範囲内の固有の不正確さや誤りに起因するある程度のばらつきを含む(例えば1~5パーセント)。
【0045】
以下に特許請求の範囲を記載する。
【外国語明細書】