(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023174550
(43)【公開日】2023-12-07
(54)【発明の名称】物体のマスタデータの取得方法及び装置
(51)【国際特許分類】
G06T 7/11 20170101AFI20231130BHJP
G01B 11/02 20060101ALI20231130BHJP
G06T 7/136 20170101ALI20231130BHJP
【FI】
G06T7/11
G01B11/02 H
G06T7/136
【審査請求】有
【請求項の数】8
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023076600
(22)【出願日】2023-05-08
(31)【優先権主張番号】10 2022 113 259.5
(32)【優先日】2022-05-25
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】591005615
【氏名又は名称】ジック アーゲー
(74)【代理人】
【識別番号】110001069
【氏名又は名称】弁理士法人京都国際特許事務所
(72)【発明者】
【氏名】クリスティアン ムルター
【テーマコード(参考)】
2F065
5L096
【Fターム(参考)】
2F065AA59
2F065AA69
2F065BB05
2F065FF31
2F065HH13
2F065JJ03
2F065JJ09
2F065JJ26
2F065PP22
2F065QQ01
2F065QQ03
2F065QQ31
5L096AA09
5L096BA03
5L096CA02
5L096DA02
5L096FA02
5L096FA35
5L096GA51
(57)【要約】 (修正有)
【課題】より高速且つより信頼できるマスタデータの収集方法及び装置を提供する。
【解決手段】装置10は、秤14と、物体12の画像を記録するためのカメラ16と、物体20の体積を測定するための体積測定ユニット20を有する評価ユニット18と、物体が秤の上に置かれたときに物体12の体積に関するマスタデータを記録するための開始時間を自動的に決定する開始ユニット26と、記録したマスタデータを保存するためのメモリ28と、マスタデータを出力24に出力するための出力ユニット22と、を備える。開始ユニット26は、カメラの記録画像から開始時間を決定するように設計されており、そのために画像評価ユニット30を有し、画像評価ユニット30は、物体12に加えて、無関係の物体も許容可能又は許容不可能な無関係の物体と認識されるような物体分類を実行するように設計されている。
【選択図】
図1
【特許請求の範囲】
【請求項1】
物体(12)のマスタデータを取得するための方法において、
・物体を秤(14)に載せて重さを量るステップと、
・マスタデータを記録するための開始時点を決定するステップであって、
カメラ(16)で前記物体(12)の深度値画像を撮影し、
前記画像内の隣接領域を決定してそれを一次の暫定的物体とし、
画像エッジ(33)に触れることなく該画像の内部に存在する一次の暫定的物体を全て有効クラスに仕分け、エッジとの接触がある一次の暫定的物体を無効クラスに仕分けることで、一次の暫定的物体を有効クラスと無効クラスに分類し、
無効クラス内の一次の暫定的物体を、その深度値を評価し、深度閾値を超える深度値を持つ新たな下位領域を形成することにより分析し、
前記下位領域を走査して隣接領域を探索し、該隣接領域を二次の暫定的物体とし、
前記二次の暫定的物体が前記画像エッジ(33)に触れていなければそれを有効クラスへ移動させ、
有効クラス内の暫定的物体と無効クラス内に残っている暫定的物体との重畳を、該重畳は重畳閾値を超えていなければならないという条件で見つけ出し、
重畳があれば該当の暫定的物体を有効クラスから無効クラスへ移動させ、
有効クラス内の暫定的物体を測定対象の物体と定め、
有効クラス内に物体がなければエラー信号を出力し、そうでなければ前記開始時点を決定するステップと、
・こうして決定された開始時点の後、前記物体(12)の体積検出を開始するステップと、
・マスタデータを記録するステップと、
・記録したマスタデータを保存するステップと、
・マスタデータを出力するステップと
を備える方法。
【請求項2】
深度値の評価及び深度閾値を超える深度値を持つ新たな下位領域の形成のために深度値ヒストグラムを記録して評価することを特徴とする請求項1に記載の方法。
【請求項3】
深度値の欠落した領域があった場合は、前記重畳の探索が有効クラスの暫定的物体と前記深度値の欠落した領域との重畳の探索も含み、重畳があった場合は、該当の暫定的物体を有効クラスから無効クラスに移動させることを特徴とする請求項1に記載の方法。
【請求項4】
請求項1~3のいずれかに記載の方法を実行するための、物体(12)のマスタデータ
を取得するための装置において、
・秤(14)と、
・物体(12)の画像を撮影するためのカメラ(16)と、
・物体(12)の体積を測定するための体積測定ユニット(20)を有する評価ユニット(18)と、
・物体(12)が前記秤(14)の上に置かれたときに物体の体積に関するマスタデータを記録するための開始時点を自動的に決定する開始ユニット(26)と、
・記録したマスタデータを保存するためのメモリ(28)と、
・マスタデータを出力するための出力ユニット(22)と、
を備え、
前記開始ユニット(26)が前記カメラ(16)の記録画像から前記開始時点を決定するように設計されており、そのために該開始ユニット(26)が画像評価ユニット(30)を有し、該画像評価ユニット(30)が、前記物体(12)に加えて、無関係の物体(50)も許容可能な又は許容不可能な無関係の物体(50)に分類されるような物体分類を実行するように設計されている
ことを特徴とする装置。
【請求項5】
前記開始ユニットが前記開始時点をできるだけ早く出力し、許容可能な無関係の物体がまだ画像領域内にあるときに既に該開始時点を出力するように設計されていることを特徴とする請求項4に記載の装置。
【請求項6】
前記カメラが深度値を含む画像を生成するようになっていることを特徴とする請求項4に記載の装置。
【請求項7】
前記画像評価ユニットが前記深度値を参酌して前記物体分類を実行するように設計されていることを特徴とする請求項6に記載の装置。
【請求項8】
前記評価ユニットが、待ち時間の間に開始時点を決定できなかった場合にメッセージを出力するように設計されていることを特徴とする請求項4に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は物体のマスタデータを取得するための方法及び装置に関する。
【背景技術】
【0002】
物体のマスタデータには何よりもまず体積と重さが含まれる。このデータを記録するために、従来技術では物体を秤に載せ、体積検出システムでそれを測定する。正しいマスタデータを記録するには、これまでは物体が秤の上で周囲に無関係の物体がない自由な状態になっていなければならならず、そうなってからその秤の上で光学的な体積検出システムを用いた測定も自動的に行われる。秤の上に物体を置く人の手及び腕等のような無関係の物体がカメラの視野内にあると、体積取得システムはもはや正しく物体を捕らえてそのマスタデータを取得することはできない。これは重さを量る工程にも当てはまり、重さが不正にならないことを確実にするため、秤の上の物体には触れてはならない。
【0003】
このようなマスタデータ取得システムとしてメトリルス有限会社(Metrilus GmbH)製のS110/120という名称のものが知られている。このシステムは、重さを記録するための秤、体積を測定するための3次元カメラ、並びにコードリーダを備えている。3次元カメラは秤の上の物体を認識し、その物体がコードリーダで識別されるとともに体積取得システムにより無関係の物体が検出されなければ、マスタデータの取得を開始する。
【0004】
故に、物体が測定できるためには、それが規定の領域内に自由な状態で置かれている必要がある。ここで「自由な状態で置かれている」とは他の物体との接触があってはならないという意味である。故に、一般に測定中は無関係の物体が測定領域内に全く存在しないようにする必要がある。ここで無関係の物体には、例えば、前記物体に触れることなく外側から測定領域内に突き出ている手等の物体も含まれる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
これの欠点は、測定時の労力が増して速度上の不利が生じること、また無関係の物体が測定されることにより誤測定が生じることである。
【0006】
故に、本発明の目的は、物体のマスタデータを取得するための改良された方法及び新たな装置、特により高速且つより信頼できるマスタデータの取得が可能な方法及び装置を提供することである。
【課題を解決するための手段】
【0007】
この目的は以下の特徴を有する方法により解決される。物体のマスタデータを取得するための本発明に係る方法は、
・物体を秤に載せて重さを量るステップと、
・マスタデータを記録するための開始時点を決定するステップであって、
カメラで前記物体の深度値画像を撮影し、
前記画像内の隣接領域を決定してそれを一次の暫定的物体とし、
画像エッジに触れることなく該画像の内部に存在する一次の暫定的物体を全て有効クラスに仕分け、エッジとの接触がある一次の暫定的物体を無効クラスに仕分けることで、一次の暫定的物体を有効クラスと無効クラスに分類し、
無効クラス内の一次の暫定的物体を、その深度値を評価し、深度閾値を超える深度値を持つ新たな下位領域を形成することにより分析し、
前記下位領域を走査して隣接領域を探索し、該隣接領域を二次の暫定的物体とし、
前記二次の暫定的物体が前記画像エッジに触れていなければそれを有効クラスへ移動させ、
有効クラス内の暫定的物体と無効クラス内に残っている暫定的物体との重畳を、該重畳は重畳閾値を超えていなければならないという条件で見つけ出し、
重畳があれば該当の暫定的物体を有効クラスから無効クラスへ移動させ、
有効クラス内の暫定的物体を測定対象の物体と定め、
有効クラス内に物体がなければエラー信号を出力し、そうでなければ前記開始時点を決定する
というステップと、
・こうして決定された開始時点の後、前記物体の体積検出を開始するステップと、
・マスタデータを記録するステップと、
・記録したマスタデータを保存するステップと、
・マスタデータを出力するステップと
を備える。
【0008】
無関係の物体を許容可能なものと許容不可能なものに分類することにより、無関係の物体(より細かく言えば許容可能な無関係の物体)がカメラの視野内にあるときでもデータ取得を行うことができる。これにより、秤の上に置いた物体を放した手がまだカメラの視野内にあるときでももうデータ取得を開始できるから、スループットが向上する。
【0009】
無関係の物体を分類することにより、より確実なデータ取得も可能になる。エラー解析を行う場合はそれも結果的に改善される。
【0010】
本発明の主題による方法の有利な一実施形態は、深度値の評価及び深度閾値を超える深度値を持つ新たな下位領域の形成のために一次の暫定的物体を分析する間に深度値ヒストグラムを記録して評価するものである。これにより、無関係の物体を許容可能なものと許容不可能なものに分類することが容易になる。
【0011】
3次元カメラにおいては画像の一部領域で深度値が欠落していることが時々あるが、そのような領域があると有意義な評価を行うことができないため、本発明の更なる発展形では、前記重畳の探索が、有効クラス内の暫定的物体と深度値が欠落した領域との重畳の探索も含む。重畳が見つかったら、そのときの暫定的物体を有効クラスから無効クラスへ移動させる。
【0012】
本発明の更に別の実施形態では、評価の終わりに有効クラス内に物体がない場合、マスタデータの取得が不可能であることを意味するエラー信号が出力される。
【0013】
前記課題は、物体のマスタデータを取得するための本発明の主題による装置によっても同様に解決される。該装置は、
・秤と、
・物体の画像を撮影するためのカメラと、
・物体の体積を測定するための体積測定ユニットを有する評価ユニットと、
・物体が秤の上に置かれたときに物体の体積に関するマスタデータを記録するための開始時点を自動的に決定する開始ユニットと、
・記録したマスタデータを保存するためのメモリと、
・マスタデータを出力するための出力ユニットと、
を特徴として有し、
前記開始ユニットは前記カメラの記録画像から前記開始時点を決定するように設計されており、そのために該開始ユニットは画像評価ユニットを有し、該画像評価ユニットは、前記物体に加えて、無関係の物体も許容可能な又は許容不可能な無関係の物体に分類されるような物体分類を実行するように設計されている。
【0014】
一実施例において、前記開始ユニットは前記開始時点をできるだけ早く出力し、許容可能な無関係の物体がまだ画像領域内にあるときに既に該開始時点を出力する。これにより更にスループットを向上させることができる。
【0015】
分類を容易にするため、カメラは深度値を生成する、即ち3次元画像が撮影される。なぜなら、そうすれば画像評価ユニットが物体分類の間に深度値を参酌することができ、それにより分類がより容易になるからである。
【0016】
本発明の別の実施形態では、待ち時間の間に開始時点を決定できなかった場合には前記評価ユニットがメッセージ、即ちエラー信号を出力するという有用な設計になっている。このようにすれば、システムのユーザはマスタデータが記録されなかったことを素早く認識することができる。
【0017】
以下では本発明について実施例を用いて図面を参照しながら詳しく説明する。
【図面の簡単な説明】
【0018】
【
図1】本発明の主題による装置を概略的に表現した図。
【
図2】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。
【
図3】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。
【
図4】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。
【
図5】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。
【
図6】カメラの視野を様々な位置にある無関係の物体とともに示す概略上面図。
【
図7】画像の欠陥を含むカメラの視野を示す概略上面図。
【発明を実施するための形態】
【0019】
本発明の主題による装置10は物体12のマスタデータを記録するために用いられる。機械の構造要素13に加えて、本装置10は秤14、物体12の画像を記録するためのカメラ16、及び評価ユニット18を備えている。評価ユニット18は物体12の体積を測定するための体積測定ユニット20を備えている。これらのユニットは各々の評価作業を遂行するためにプリント回路基板とプログラム可能なIC等の電子部品とを含むものとすることができる。秤14は物体12の重さを検出するために用いられ、体積測定ユニット20は体積を測定するために用いられる。こうして測定されたデータは最終的に出力ユニット22を通じてマスタデータとして又は少なくともマスタデータの一部として出力24に出力することができる。取得したマスタデータを保存又は一時的に記憶するためにメモリ28が設けられている。
【0020】
評価ユニット18は更に開始ユニット26を備えている。これは、物体12がカメラ16の視野32内に置かれたときに、物体の体積に関するマスタデータを記録して決定するための開始時点を自動的に決定するものである。このために開始ユニット26はカメラ16の記録画像から前記開始時点を決定するように設計されているとともに画像評価ユニット30を有しており、該画像評価ユニット30は、物体12に加えて、無関係の物体50も許容可能又は許容不可能と分類されるような物体分類を行うように設計されている。
【0021】
開始ユニット26は前記開始時点をできるだけ早く出力するように設計されており、許容可能と分類された無関係の物体50がまだカメラ16の視野32内にあるときでも開始時点を出力することができる。
【0022】
カメラ16は、画像エッジ33を持つ2次元画像に加えて画素毎に深度値も測定することで全体にわたり3次元画像を取得する3次元カメラとして設計されている。
【0023】
本発明の主題による方法100の少なくとも一部の実施例のフローチャートを
図8に示し、
図3~7を参照しながら以下に説明する。
図3~7はそれぞれカメラ16で見た秤14とその上に置かれた物体12の上面図である。これらの図には視野32のエッジ33も破線で示してある。これは2次元画像中の画像エッジ33である。
【0024】
本方法100は、開始時点において開始信号により物体12の体積の取得とひいてはマスタデータの取得を開始することを目的として、主に開始ユニット26において実行される。
【0025】
最初のステップ110において物体が秤14の上に置かれる。
【0026】
そして、マスタデータを記録し始めるために開始信号を与えることができる開始時点が決定される。開始時点は以下の手順で決定される。
【0027】
ステップ120において、深度値を有する物体12の画像がカメラ16で撮影される。
【0028】
ステップ130において、前記画像から深度値に基づいて該画像中の隣接領域が決定される。本特許の意味における「領域」は画像の個々の画素でも画像のグループでもよい。これらの隣接領域が最初の暫定的物体となる。例えば
図3では物体12がそのような隣接領域となる。
図6では、視野32中に突き出た腕と手、即ち無関係の物体50が、手で部分的に覆い隠された物体12とともに1つの隣接領域となる。画像の評価は全て画像評価ユニット30において行われる。
【0029】
次のステップ140において、一次の暫定的物体が有効クラスと無効クラスに分類される。ここでは、画像エッジ33に触れることなく画像内にある全ての一次の暫定的物体が有効クラスに仕分けられ、エッジとの接触がある一次の暫定的物体が無効クラスに仕分けられる。
【0030】
こうして、例えば、
・
図3の状況では物体12が有効クラスに仕分けられる。
・
図4の状況では物体12が有効クラスに入り、無関係の物体50が無効クラスに入る。
・
図5及び6の状況では、いずれも一次の暫定的物体が1つしかない。なぜなら、無関係の物体50が測定対象の物体12に少なくとも触れており、これら2つが一次の暫定的物体となるからである。この一次の暫定的物体は無効クラスに仕分けられる。
【0031】
図7は、無関係の物体50はないが、視野32内に深度値のない領域52がある状況を示している。この特別なエラー状況については後で考察する。
【0032】
ステップ150において、無効クラスに仕分けられた一次の暫定的物体が分析される。深度値が評価され、それが深度閾値を超えているかどうかが確認される。超えている場合はその領域が新たな下位領域となる。深度値の評価のため及び深度閾値を超える深度値を持つ新たな下位領域の形成のために、好ましくは深度値ヒストグラムが評価ユニット18において記録されて評価される。
【0033】
次のステップにおいて、各下位領域を検査してそれらが隣接しているかどうかが確認され、隣接領域が二次の暫定的物体となる。通常、深度値ヒストグラム中のピークが二次の暫定的物体に対応する。これにより、そして深度値ヒストグラムを用いることで、
図5及び6に示した状況において物体12と無関係の物体50が2つの二次の暫定的物体に分離される。
【0034】
次のステップ170において、これらの二次の暫定的物体が画像エッジ33に触れているかどうかが確認される。画像エッジ33に触れていない二次の暫定的物体があれば、その二次の暫定的物体を無効クラスから有効クラスに移動させる。例えば
図5中の物体12はこうなるであろう。
【0035】
こうして、ここまでに本発明に係る方法により有効クラス180又は無効クラス190に仕分けられた暫定的物体が見つかったことになる。
【0036】
次のステップ200において、有効クラスの暫定的物体と無効クラスに残っている暫定的物体との重畳があるかどうかが確認される。ここでは、重なった面積が十分に大きい場合、即ち重畳閾値を超えている場合にその重畳を重畳と分類することが理に適っている。
図6はそのような重畳を示しており、手が物体12の十分に大きな面積を覆っている。
【0037】
重畳があれば、前に有効クラス(参照番号180)に入っていた該当の暫定的物体を有効クラスから無効クラス(参照番号210)に移動させる。
図6に示した状況では、物体12がこうして無効クラスに移動させられる。
【0038】
重畳がない場合、例えば
図4及び5に示した状況における物体12の場合がそうであるが、物体12は有効クラスに残る。
【0039】
3次元カメラにおいては、例えば欠陥画素や評価エラーに起因して、画像の一部領域で深度値が欠落していることが時々あるが、そのような深度値のない領域52が存在すると有意義な評価を行うことができないため、重畳の探索には有効クラスの暫定的物体と深度値の欠落した領域52との重畳の探索も含めることが好ましい。十分に大きい重畳が見つかったら、該当の暫定的物体を有効クラスから無効クラスへ移動させる。このような状況を
図7に示す。
【0040】
これらのステップの後、ステップ220において、有効クラスに残っている暫定的物体が測定対象の物体と定められる。
【0041】
こうして開始時点が見つかり、開始信号が与えられたら、ステップ230において、物体12の体積検出が開始される(開始時点)。
【0042】
体積データは体積測定ユニット20においてカメラ16の3次元画像から計算され、マスタデータの一部となる。このデータはメモリ28に集められた後、出力ユニット22を介して出力24を越えて出力される。
【0043】
開始時点を決定するときに有効クラスに物体12が残っていない場合、マスタデータの取得が不可能であることを意味するエラー信号を出力することが理に適っている。その場合は開始信号も出されない。
【外国語明細書】