特許 7116162 包装機のための仮想オーバーレイを作成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-01

(45)【発行日】2022-08-09

(54)【発明の名称】包装機のための仮想オーバーレイを作成する方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220802BHJP

   G06F 3/0484 20220101ALI20220802BHJP

【ＦＩ】

G06T19/00 600

G06F3/0484

【請求項の数】 16

(21)【出願番号】P 2020517129

(86)(22)【出願日】2018-09-20

(65)【公表番号】

(43)【公表日】2020-12-03

(86)【国際出願番号】 EP2018075465

(87)【国際公開番号】W WO2019057817

(87)【国際公開日】2019-03-28

【審査請求日】2021-09-09

(31)【優先権主張番号】17192883.1

(32)【優先日】2017-09-25

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】391053799

【氏名又は名称】テトラ ラバル ホールディングス アンド ファイナンス エス エイ

【住所又は居所原語表記】７０ Ａｖｅｎｕｅ Ｇｅｎｅｒａｌ Ｇｕｉｓａｎ，ＣＨ－１００９ Ｐｕｌｌｙ，Ｓｗｉｔｚｅｒｌａｎｄ

(74)【代理人】

【識別番号】100151105

【弁理士】

【氏名又は名称】井戸川 義信

(72)【発明者】

【氏名】アルベルト・カバニ

(72)【発明者】

【氏名】パオロ・スカラベッリ

【審査官】岡本 俊威

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２１７６２０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８－ ３／０４８５５

(57)【特許請求の範囲】

【請求項1】

包装容器を扱う複数の可動オブジェクト（２０１、２０１’）を有する包装機のための仮想オーバーレイ（３０１、３０１’）を作成する方法（１００）であって、
前記可動オブジェクトを、前記包装機において伝達された各オブジェクト識別子データに関連付ける工程（１０１）と、
前記オブジェクト識別子データに基づき、前記包装機の物理座標システム（ｘ、ｙ）において前記可動オブジェクトのうちのターゲットオブジェクト（２０１’）の相対位置を決定する工程（１０２）と、
前記可動オブジェクトの少なくとも一部又は定義された物理的参考物（２０３）を含む画像データを登録する工程（１０３）と、
ユーザによって見られている少なくとも部分的に仮想である環境において、前記ターゲットオブジェクトの前記相対位置を仮想座標システム（ｕ、ｖ）に位置付けする工程（１０４）と、
前記ターゲットオブジェクトの前記相対位置を前記画像データに相関させる工程（１０５）であって、それにより、前記ターゲットオブジェクトは、前記仮想座標システムの仮想ターゲット座標（ｕ’、ｖ’）に割り当てられる（１０６）、工程（１０５）と、
前記仮想オーバーレイを前記仮想座標システムにおいて前記ターゲットオブジェクトの前記仮想ターゲット座標に対して表示する工程（１０７）と
を含む方法。

【請求項2】

前記可動オブジェクトが前記包装機において経路（２０２）に沿って移動しているとき、前記ターゲットオブジェクトが前記経路に沿って追跡されるように前記ターゲットオブジェクトの前記相対位置を前記画像データに相関させる工程（１０５’）を含む、請求項１に記載の方法。

【請求項3】

前記経路に沿って移動しているとき、前記仮想オーバーレイを前記ターゲットオブジェクトの前記仮想ターゲット座標に対して表示する工程（１０７’）を含む、請求項２に記載の方法。

【請求項4】

前記仮想オーバーレイは、前記ターゲットオブジェクトの外形の少なくとも一部の周りに表示された視覚ハイライト（３０１）を含む、請求項１～３のいずれか一項に記載の方法。

【請求項5】

前記仮想オーバーレイは、前記ターゲットオブジェクト及び／又は前記包装機に関連付けられたプロセスパラメータの視覚インジケータ（３０１’）を含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記仮想オーバーレイとのユーザインタラクションからユーザ入力を登録する工程（１０８）を含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記ターゲットオブジェクトと近隣の可動オブジェクト（２０１）との前記物理座標システムにおける相対位置を比較することにより、前記仮想座標システムにおける前記ターゲットオブジェクトの位置を決定する工程（１０９）と、
前記近隣の可動オブジェクトについて登録された画像データに基づいて前記近隣の可動オブジェクトに割り当てられた仮想座標に対して、前記仮想座標システムにおいて前記ターゲットオブジェクトの対応する相対位置を決定する工程（１１０）と
を含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

各仮想座標に割り当てられた前記画像データにおける前記可動オブジェクトの位置を前記ターゲットオブジェクトの前記相対位置と比較することにより、前記仮想ターゲット座標を決定する工程（１０６’）を含む、請求項１～７のいずれか一項に記載の方法。

【請求項9】

プログラムがコンピュータによって実行されるとき、前記コンピュータに、請求項１～８のいずれか一項に記載の方法の工程を実行させる命令を含むコンピュータプログラム製品。

【請求項10】

包装容器を扱う複数の可動オブジェクト（２０１、２０１’）を有する包装機のための仮想オーバーレイ（３０１、３０１’）を作成するシステム（３００）であって、
前記可動オブジェクトを、前記包装機において伝達された各オブジェクト識別子データに関連付けること（１０１）、
前記オブジェクト識別子データに基づき、前記包装機の物理座標システム（ｘ、ｙ）において前記可動オブジェクトのうちのターゲットオブジェクト（２０１’）の相対位置を決定すること（１０２）
を行うように構成された処理装置（３０２）と、
前記可動オブジェクトの少なくとも一部又は定義された物理的参考物（２０３）を含む画像データを登録するように構成された画像装置（３０３）であって、
前記処理装置は、前記ターゲットオブジェクトの前記相対位置を前記画像データに相関させる（１０５）ように構成されることにより、ユーザによって見られている少なくとも部分的に仮想である環境において、前記ターゲットオブジェクトの前記相対位置を仮想座標システム（ｕ、ｖ）に位置付けする（１０４）ように構成され、
それにより、前記ターゲットオブジェクトは、前記仮想座標システムの仮想ターゲット座標（ｕ’、ｖ’）に割り当てられる（１０６）、画像装置（３０３）と、
前記仮想オーバーレイを前記仮想座標システムにおいて前記ターゲットオブジェクトの前記仮想ターゲット座標に対して表示するように構成された表示装置（３０４）と
を含むシステム（３００）。

【請求項11】

前記処理装置は、前記可動オブジェクトが前記包装機において経路（２０２）に沿って移動しているとき、前記ターゲットオブジェクトが前記経路に沿って追跡されるように前記ターゲットオブジェクトの前記相対位置を前記画像データに相関させるように構成される、請求項１０に記載のシステム。

【請求項12】

前記表示装置は、前記ターゲットオブジェクト及び／又は前記包装機に関連付けられたプロセスパラメータの視覚インジケータ（３０１’）を含む前記仮想オーバーレイを表示するように構成される、請求項１０又は１１に記載のシステム。

【請求項13】

前記可動オブジェクトは、略同一の形状を有する、請求項１０～１２のいずれか一項に記載のシステム。

【請求項14】

前記画像装置は、装着可能な眼鏡などの装着可能な表示装置を含む、請求項１０～１３のいずれか一項に記載のシステム。

【請求項15】

請求項１０～１４のいずれか一項に記載のシステム（３００）を含む包装機（２００）。

【請求項16】

包装容器を扱う複数の可動オブジェクト（２０１、２０１’）を有する包装機（２００）であって、システム（３００）であって、その中で仮想オーバーレイ（３０１、３０１’）を作成するシステム（３００）を含み、前記システムは、
前記可動オブジェクトを、前記包装機において伝達された各オブジェクト識別子データに関連付けること（１０１）、
前記オブジェクト識別子データに基づき、前記包装機の物理座標システム（ｘ、ｙ）において前記可動オブジェクトのうちのターゲットオブジェクト（２０１’）の相対位置を決定すること（１０２）
を行うように構成された処理装置（３０２）と、
前記可動オブジェクトの少なくとも一部又は定義された物理的参考物（２０３）を含む画像データを登録するように構成された画像装置（３０３）であって、
前記処理装置は、前記ターゲットオブジェクトの前記相対位置を前記画像データに相関させる（１０５）ように構成されることにより、ユーザによって見られている少なくとも部分的に仮想である環境において、前記ターゲットオブジェクトの前記相対位置を仮想座標システム（ｕ、ｖ）に位置付けする（１０４）ように構成され、
それにより、前記ターゲットオブジェクトは、前記仮想座標システムにおいて仮想ターゲット座標（ｕ’、ｖ’）に割り当てられる（１０６）、画像装置（３０３）と、
前記仮想オーバーレイを前記仮想座標システムにおいて前記ターゲットオブジェクトの前記仮想ターゲット座標に対して表示するように構成された表示装置（３０４）と
を含む、包装機（２００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、拡張現実の分野に関する。さらに特には、本発明は、包装容器を扱う複数の可動オブジェクトを有する包装機のための仮想オーバーレイを作成する方法、仮想オーバーレイを作成する関連するシステム及びこのようなシステムを含む包装機に関する。

【背景技術】

【0002】

拡張現実は、成長分野であり、物理的現実を見て関わり合っている間にユーザに仮想現実要素を提示する。仮想要素は、様々な方法でユーザを案内し、ユーザに情報を提示して、実世界の様々なオブジェクトとのインタラクションを容易にする。拡張現実のアプリケーションは、典型的には、様々な画像認識プロセスを適用して物理オブジェクトを同定し、データベースで適合するものを探して、取得したそのオブジェクトのイメージデータに対応するオブジェクトデータを見つける。唯一のオブジェクトは、続いて、ハイライトされ、ユーザは、その特性に関する情報を提示され、且つ／又はそのオブジェクトと関わり合う方法を案内される。例えば、包装容器を扱う機械における多数のオブジェクトが相互に識別し難く、高速で移動し得るような包装業などの製造業において問題が発生する。これは、画像処理技術に高度な要求を課し、したがって、このような環境における拡張現実の実施は、複雑になり得、十分に信頼し得ない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

このため、そのより高速且つ信頼性のある実施を提供するなど、拡張現実の使用を促進することを含め、特に上述の問題及び妥協をより多く回避できる、包装機のための仮想オーバーレイを作成する改善された方法があれば有利であろう。

【課題を解決するための手段】

【0004】

したがって、本発明の例は、望ましくは、添付の特許請求の範囲に基づく機器を提供することにより、上に明らかにしたような当技術分野における１つ以上の欠陥、不利益又は問題を単独で又は任意の組み合わせによって緩和するか、軽減するか又は取り除こうとするものである。

【0005】

第１の態様に従い、包装容器を扱う複数の可動オブジェクトを有する包装機のための仮想オーバーレイを作成する方法が提供される。方法は、可動オブジェクトを、包装機において伝達された各オブジェクト識別子データに関連付ける工程と、オブジェクト識別子データに基づき、包装機の物理座標システムにおいて可動オブジェクトのうちのターゲットオブジェクトの相対位置を決定する工程と、可動オブジェクトの少なくとも一部又は定義された物理的参考物を含む画像データを登録する工程と、ユーザによって見られている少なくとも部分的に仮想である環境において、ターゲットオブジェクトの相対位置を仮想座標システムに位置付けする工程と、ターゲットオブジェクトの相対位置を画像データに相関させる工程であって、それにより、ターゲットオブジェクトは、仮想座標システムの仮想ターゲット座標に割り当てられる、工程と、仮想オーバーレイを仮想座標システムにおいてターゲットオブジェクトの仮想ターゲット座標に対して表示する工程とを含む。

【0006】

第２の態様に従い、コンピュータプログラム製品は、プログラムがコンピュータによって実行されるとき、コンピュータに、第１の態様に基づく方法の工程を実行させる命令を含む。

【0007】

第３の態様に従い、包装容器を扱う複数の可動オブジェクトを有する包装機のための仮想オーバーレイを作成するシステムが提供される。システムは、可動オブジェクトを、包装機において伝達された各オブジェクト識別子データに関連付けること、オブジェクト識別子データに基づき、包装機の物理座標システムにおいて可動オブジェクトのうちのターゲットオブジェクトの相対位置を決定することを行うように構成された処理装置と、可動オブジェクトの少なくとも一部又は定義された物理的参考物を含む画像データを登録するように構成された画像装置であって、処理装置は、ターゲットオブジェクトの相対位置を画像データに相関させるように構成されることにより、ユーザによって見られている少なくとも部分的に仮想である環境において、ターゲットオブジェクトの相対位置を仮想座標システムに位置付けするように構成され、それにより、ターゲットオブジェクトは、仮想座標システムの仮想ターゲット座標に割り当てられる、画像装置と、仮想オーバーレイを仮想座標システムにおいてターゲットオブジェクトの仮想ターゲット座標に対して表示するように構成された表示装置とを含む。

【0008】

第４の態様に従い、第３の態様によるシステムを含む包装機が提供される。

【0009】

本発明のさらなる例が従属請求項において定義され、ここで、本開示の第２の態様及び後続の態様についての特徴は、必要な変更を加えた第１の態様に関する。

【0010】

本開示の例の一部は、包装機における不具合の場所を突き止めるための改良されたより直感的な方法を提供する。

【0011】

本開示の例の一部は、時間消費のより少ない包装機のトラブルシューティングを提供する。

【0012】

本開示の例の一部は、包装機における移動しているコンポーネントの改良されたリアルタイムモニタリング及びオンザフライ解析を提供する。

【0013】

本開示の例の一部は、包装機における簡易化された状況モニタリング及びプロセスコントロールを提供する。

【0014】

本開示の例の一部は、メンテナンス又はプロセスコントロール中の包装機のコンポーネントとの簡易化されたインタラクションを提供する。

【0015】

本開示の例の一部は、包装機における診断情報の検索の簡易化を提供する。

【0016】

本開示の例の一部は、包装機におけるメンテナンス作業の優先順位付けの補助を提供する。

【0017】

本明細書で使用する際の用語「含む／含んでいる」は、記述した特徴、整数、工程又は構成要素の存在を明確にするために適用されるが、１つ以上の他の特徴、整数、工程、構成要素又はそのグループの存在又は追加を除外するものではないことを強調しておく。

【0018】

添付の図面を参照して、本発明の例によって可能であるこれらの態様、特徴及び利点及び他の態様、特徴及び利点が本発明の例の以下の説明から明らかになり且つ解明される。

【図面の簡単な説明】

【0019】

【図1】本開示の例による、複数の可動オブジェクトを有する包装機のための仮想オーバーレイを作成するシステムの概略図である。

【図2】本開示の例による、複数の可動オブジェクトを有する包装機のための仮想オーバーレイを作成するシステム及び仮想座標システムの概略図である。

【図3a】本開示の例による、包装機のための仮想オーバーレイを作成する方法のフローチャートである。

【図3b】本開示の例による、包装機のための仮想オーバーレイを作成する方法のフローチャートである。

【発明を実施するための形態】

【0020】

ここで、本発明の具体例が添付の図面を参照して説明される。しかし、本発明は、多数の異なる形態に含まれ、本明細書に提示される例に限定されるものとして解釈されるべきではない。むしろ、これらの例は、本開示が完全且つ完璧であるように提供し、本発明の範囲を当業者に十分に伝えるものである。添付の図面に表した例の詳細な説明において使用する専門用語は、本発明を限定することを意図するものではない。図において、同様の符号は、同様の要素を指す。

【0021】

図１は、包装容器を扱うように構成されている、複数の可動オブジェクト２０１、２０１’を有する包装機２００のための仮想オーバーレイ３０１、３０１’を作成するシステム３００の概略図である。対応する包装機２００のための仮想オーバーレイ３０１、３０１’を作成する方法を図３ａ～ｂのフローチャートに表し、以下にさらに言及する。可動オブジェクト２０１、２０１’は、経路２０２に沿って移動するカートであり、例えば前記経路２０２に沿って包装容器又はそのコンポーネントを移動させることにより、様々な方法で包装容器（不図示）と相互作用し得る。経路２０２は、図１に表した楕円形のトラックなどの連続するエンドレスのトラックであってもよく、この場合、可動オブジェクト２０１、２０１’は、種々の包装を適用するために高速でトラックを回り得る。システム３００は、可動オブジェクト２０１、２０１’を、包装機２００内で伝達された各オブジェクト識別子データに関連付けるように構成された処理装置３０２を含む。オブジェクト識別子データは、経路２０２に沿って移動する際の可動オブジェクト２０１、２０１’の位置に関する機械アドレス情報を含んでもよい。オブジェクト識別子データは、包装機２００の現地自動制御システム３０５から伝達され得る。処理装置３０２は、オブジェクト識別子データに基づき、包装機２００の物理座標システム（ｘ、ｙ）内の可動オブジェクトのうちのターゲットオブジェクト２０１’の相対位置を決定するように構成される。このため、特定のターゲットオブジェクト２０１’の相対位置は、例えば、現地自動制御システム３０５によって包装機２００に伝達されたオブジェクト識別子データから決定され得る。図１及び図２は、包装機２００内に位置する他の可動オブジェクト２０１のうちのターゲットオブジェクト２０１’の概略図を示す。経路２０１に沿って移動する可動オブジェクト２０１の数は、任意の複数であり、いくつかのターゲットオブジェクト２０１’の相対位置が各オブジェクト識別子データに基づいて決定され得ることを理解する必要がある。システム３００は、可動オブジェクト２０１、２０１’の少なくとも一部を含む画像データを登録するように構成された画像装置３０３を含む。代わりに又は加えて、画像装置３０３は、定義された物理的参考物２０３を含む画像データを登録するように構成される。定義された物理的参考物は、物理座標システム（ｘ、ｙ）において、任意のオブジェクトを、定義された物理座標と共に含むか、又は複数のオブジェクトを、定義された物理座標と共に含んでもよい。定義された物理的参考物２０３は、固定され得る。画像装置３０３は、可動オブジェクト２０１、２０１’の画像を捉えるように構成された画像センサを含んでもよい。一部の可動オブジェクト２０１、２０１’又はその少なくとも一部は、経路２０１に沿って移動する際に断続的に不明瞭になってもよい。処理装置３０２は、ユーザによって見られている少なくとも部分的に仮想である環境において、言及したターゲットオブジェクト２０１’の相対位置を仮想座標システム（ｕ、ｖ）に位置付けするように構成される。仮想座標システム（ｕ、ｖ）を図２に概略的に示す。処理装置３０２は、このようにして、ターゲットオブジェクト２０１’の相対位置を、画像装置３０３で捉えた画像データに相関させるように構成される。例えば、画像装置３０３は、包装機２００の経路２０２に沿って一定の順序で配置された可動オブジェクト２０１、２０１’の組を含むイメージデータを捉え得る。他の可動オブジェクト２０１に対するターゲットオブジェクト２０１’の相対位置は、包装機２００から伝達されたオブジェクト識別子データから決定される。処理装置３０２は、その後、前記相対位置を可動オブジェクトの組の取得されたイメージデータと比較し、可動オブジェクトの組のうちのターゲットオブジェクト２０１’を同定するように構成される。ターゲットオブジェクトは、このようにして、図２に概略的に示すように、仮想座標システム（ｕ、ｖ）の仮想ターゲット座標（ｕ’、ｖ’）に割り当てられる。代わりに又は加えて、定義された物理的参考物２０３に関連したターゲットオブジェクト２０１’の相対位置が決定され得る。処理装置３０２は、その後、前記相対位置を、取得した定義された物理的参考物２０３のイメージデータと比較し、ターゲットオブジェクト２０１’の対応する仮想ターゲット座標（ｕ’、ｖ’）を同定する。この場合、仮想ターゲット座標（ｕ’、ｖ’）は、可動オブジェクト２０１、２０１’が不明瞭である場合でも決定され得る。同様に、ユーザが、いずれの定義された（固定）物理的参考物２０３も不明瞭であるか又は入手できない位置にいる場合、可動オブジェクト２０１、２０１’の少なくとも一部を含むイメージデータは、上に例示したように仮想ターゲット座標（ｕ’、ｖ’）を決定するように利用され得る。システム３００は、仮想座標システム（ｕ、ｖ）において、言及した仮想オーバーレイ３０１、３０１’をターゲットオブジェクト２０１’の仮想ターゲット座標（ｕ’、ｖ’）に対して表示するように構成された表示装置３０４を含む。

【0022】

図１及び図２は、ターゲットオブジェクト２０１’に対して配置された仮想オーバーレイ３０１、３０１’を示す。このようにして、オブジェクト識別子データから取得したターゲットオブジェクト２０１’の相対位置を画像データに相関させることにより、包装機２００においてターゲットオブジェクト２０１’又は複数のターゲットオブジェクト２０１’を識別することが可能である。ターゲットオブジェクト２０１’は、包装機２００における他の可動オブジェクト２０１と同一であり得るが、仮想オーバーレイ３０１、３０１’をこのようにして仮想ターゲット座標（ｕ’、ｖ’）に対して容易に表示し得る。これは、同様に見ているオブジェクトの画像を識別するのに費やさなければならない計算資源が少なくなるため、画像データのより迅速な画像処理も提供する。さらに、オブジェクトの認識を可能にするために目印等を導入する必要がなく、画像処理の必要条件を軽減もする。このため、ターゲットオブジェクト２０１’のより迅速且つより安定した同定を提供し得る。このように、包装機２００に対して、仮想ターゲット座標（ｕ’、ｖ’）に対して配置した仮想オーバーレイを用いて、信頼性のある拡張現実の適用が実現され得る。これは、プロセスコントロール作業、モニタリング作業及びメンテナンス作業を容易にするなど、包装機２００へのインタラクションの容易化を可能にする。ユーザは、特定のターゲットオブジェクト２０１’に固定された表示装置３０４において、例えばターゲットオブジェクト２０１’に関連する進行中のプロセスパラメータ又は機能不良の状況に注意を引き付ける仮想オーバーレイ３０１、３０１’を提示され得る。包装機２００内の様々なセンサは、各可動オブジェクト２０１、２０１’のこのようなパラメータ又は状況を回収するように構成され、関連するセンサデータを包装機２００の現地自動制御システム３０５に伝達し得る。センサデータの解析に基づき、１つ又は複数の特定の可動オブジェクト（すなわちターゲットオブジェクト２０１’）に対して特定のパラメータが注目を必要とする場合又は機能不良が検出された場合、上述のように関連付けられたオブジェクト識別子データが利用され、その相対位置を捉えてある可動オブジェクト２０１の画像データに相関させ、仮想ターゲット座標（ｕ’、ｖ’）を決定する。その後、仮想オーバーレイ３０１、３０１’がこの座標に対して表示され、迅速且つ直感的なメンテナンス又はプロセスモニタリングができるように、包装機２００内のターゲットオブジェクト２０１’が位置する場所にユーザの注意を引き付け得る。

【0023】

図３ａは、包装容器（不図示）を扱う複数の可動オブジェクト２０１、２０１’を有する包装機２００のための仮想オーバーレイ３０１、３０１’を作成する関連する方法１００のフローチャートを示す。方法１００の工程の説明及び図示の順序は、限定されるものとして解釈されるべきではなく、工程が様々な順序で実行され得ることが考慮される。これにより、方法１００は、可動オブジェクト２０１、２０１’を、包装機２００において伝達された各オブジェクト識別子データに関連付ける工程１０１と、オブジェクト識別子データに基づき、包装機２００の物理座標システム（ｘ、ｙ）において可動オブジェクト２０１、２０１’のうちのターゲットオブジェクト２０１’の相対位置を決定する工程１０２と、可動オブジェクト２０１、２０１’の少なくとも一部及び／又は定義された物理的参考物２０３を含む画像データを登録する工程１０３とを含む。方法１００は、ユーザによって見られている少なくとも部分的に仮想である環境において、ターゲットオブジェクト２０１’の相対位置を仮想座標システム（ｕ、ｖ）に位置付けする工程１０４を含む。位置付けする工程１０４は、ターゲットオブジェクト２０１’の相対位置を画像データに相関させる工程１０５を含むため、ターゲットオブジェクト２０１’は、仮想座標システム（ｕ、ｖ）の仮想ターゲット座標（ｕ’、ｖ’）に割り当てられる１０６。方法１００は、仮想オーバーレイ３０１、３０１’を仮想座標システム（ｕ、ｖ）においてターゲットオブジェクト２０１’の仮想ターゲット座標（ｕ’、ｖ’）に対して表示する工程１０７を含む。方法１００は、このようにして、システム３００及び図１～２について上述したような有利な利益を提供する。

【0024】

処理装置３０２は、可動オブジェクト２０１、２０１’が包装機２００の経路２０２に沿って移動しているとき、ターゲットオブジェクト２０１’が前記経路２０２に沿って追跡されるようにターゲットオブジェクト２０１’の相対位置を画像データに相関させるように構成され得る。仮想ターゲット座標（ｕ’、ｖ’）は、このようにして、ターゲットオブジェクト２０１’の移動と共に連続的に更新され、仮想オーバーレイ３０１、３０１’は、仮想ターゲット座標（ｕ’、ｖ’）に対して表示されるようにこの移動を追ってもよい。オブジェクト識別子データは、包装機２００の運転中、可動オブジェクト２０１が移動しているとき、処理装置３０２に連続的に伝達され、これによりターゲットオブジェクト２０１’の相対位置が更新される。画像装置３０３は、このように、移動しているオブジェクト２０１の画像データを連続して捉えるように構成されるため、一連の画像データは、包装機２００において移動するターゲットオブジェクト２０１’及びその関連する仮想ターゲット座標（ｕ’、ｖ’）を同定するために相対位置のリアルタイム更新と比較される。表示装置３０４は、このため、仮想オーバーレイ３０１、３０１’の位置を、決定した仮想ターゲット座標（ｕ’、ｖ’）の瞬間的な位置に更新するように構成されてもよい。これは、包装機２００のターゲットオブジェクト２０１’の追跡を、ターゲットオブジェクト２０１’を追跡し損なうリスクを最小限にした信頼性のある方法で提供し、これは、さもなければ可動オブジェクトの速度が過度に高く、可動オブジェクト２０１の形状がこのような包装機２００において略同一であり得るため、従来の画像処理技術は、追跡プロセスのために連続的なオブジェクトの認識に依存することから、特別な課題となる。これにより、包装機２００において移動するオブジェクト２０１の改善されたリアルタイムモニタリング、プロセスコントロール及びオンザフライ解析を提供し得る。

【0025】

図３ｂは、包装機２００のための仮想オーバーレイ３０１、３０１’を作成する方法１００のさらなるフローチャートを示す。方法１００の工程の説明及び図示の順序は、限定されるものとして解釈されるべきではなく、工程が様々な順序で実行可能であることが考慮される。これにより、方法１００は、可動オブジェクト２０１が包装機２００の経路２０２に沿って移動しているとき、ターゲットオブジェクト２０１’が前記経路２０２に沿って追跡されるようにターゲットオブジェクト２０１’の相対位置を画像データに相関させる工程１０５’を含んでもよい。

【0026】

方法１００は、このため、前記経路２０２に沿って移動しているとき、仮想オーバーレイ３０１、３０１’をターゲットオブジェクト２０１’の仮想ターゲット座標（ｕ’、ｖ’）に対して表示する工程１０７’も含む。

【0027】

表示装置３０４は、ターゲットオブジェクト２０１’及び／又は包装機２００に関連付けられたプロセスパラメータの視覚インジケータ３０１’を含む仮想オーバーレイを表示するように構成されてもよい。プロセスパラメータの視覚インジケータ３０１’は、例えば、検査が要求される前の包装機２００において完了している循環数、運転時間若しくは様々な診断情報又は電気的パラメータ若しくは機械的パラメータの状況を示し得るか、又は他のセンサデータ等を示し得る。視覚インジケータ３０１’は、例えば、図２に概略的に示すように、ターゲットオブジェクト２０１及びその仮想ターゲット座標（ｕ’、ｖ’）から一定の距離をおいて提示されてもよい。プロセスパラメータ等のいくつかの視覚インジケータ３０１’が表示装置３０４における表示のために仮想座標システム（ｕ、ｖ）に並べられ得る。様々なターゲットオブジェクト２０１’に関連付けられた複数の視覚インジケータ３０１’についても、同時に且つ／又は全体のプロセス又は包装機２００に関連するパラメータを示す視覚インジケータ３０１’と組み合わせて表示されてもよい。

【0028】

仮想オーバーレイ３０１は、図１～２に概略的に示したように、ターゲットオブジェクト２０１’の外形の少なくとも一部の周りに表示された視覚ハイライト３０１を含んでもよい。ターゲットオブジェクト２０１’は、これにより、包装機２００において容易に同定され得る。上述したように、視覚ハイライト３０１は、包装機２００内で移動しているとき、ターゲットオブジェクト２０１’も追跡し得る。包装機２００の複数の可動オブジェクト２０１のいくつかのターゲットオブジェクト２０１’は、同時に視覚ハイライト３０１によってマーク付けされ得る。視覚ハイライトは、例えば、いくつかのターゲットオブジェクト２０１’のうちのユーザの優先順位付けを容易にする目的でこのような例において色分けされ得ることが考えられる。例えば、視覚ハイライト３０１のある色は、ターゲットオブジェクト２０１’に重大な注意を引き付ける必要を連想させ、もう一方の色は、通常の運転状態を示し、さらに別の色は、中間の状態を示してもよい。

【0029】

方法１００は、仮想オーバーレイ３０１、３０１’とのユーザインタラクションからユーザ入力を登録する工程１０８を含み得る。これにより、ユーザは、例えば、様々な表示パラメータをスクロールするか又は包装機２００にコマンドを送るために仮想オーバーレイ３０１、３０１’の仮想要素に入力し得る。後者の場合、画像装置３０３は、仮想オーバーレイ３０１、３０１’の特定の仮想要素の近くでユーザジェスチャを検出し、ユーザ入力を登録し、続いて処理装置３０２を介して包装機２００に入力を伝達するように構成され得る。これは、直感的且つ容易化されたプロセスコントロールを提供する。

【0030】

方法１００は、ターゲットオブジェクト２０１’と近隣の可動オブジェクト２０１との物理座標システム（ｘ、ｙ）における相対位置を比較することにより、仮想座標システム（ｕ、ｖ）におけるターゲットオブジェクト２０１’の位置を決定する工程１０９を含んでもよい。別の可動オブジェクト２０１に対するターゲットオブジェクト２０１’の位置は、このように決定され得る。方法１００は、近隣の可動オブジェクト２０１について登録された画像データに基づき、仮想座標システム（ｕ、ｖ）において近隣の可動オブジェクト２０１に割り当てられた仮想座標に対して、ターゲットオブジェクト２０１’の対応する相対位置を決定する工程１１０をさらに含んでもよい。これにより、ターゲットオブジェクト２０１’が包装機２００において不明瞭であり、画像装置３０３がその画像データ捉えられない場合でも、ターゲットオブジェクトの仮想座標（ｕ’、ｖ’）を決定することが可能である。これは、近隣のオブジェクト２０１の画像データが不明瞭でなく捉えられ得るために可能であり、物理座標システム（ｘ、ｙ）における近隣のオブジェクト２０１の位置は、画像データを近隣のオブジェクト２０１の関連付けられたオブジェクト識別子データに相関させることにより決定され得る。ターゲットオブジェクト２０１’のオブジェクト識別子データに基づき、物理座標システム（ｘ、ｙ）におけるターゲットオブジェクト２０１’と近隣のオブジェクト２０１との間の相対位置が決定可能であるため、仮想座標システム（ｕ、ｖ）における対応する相対位置を決定可能であり、ターゲットオブジェクト２０１’がたとえ不明瞭であってもその仮想ターゲット座標（ｕ’、ｖ’）を付与することができる。関連付けられた仮想オーバーレイ３０１、３０１’は、その後、上述のように提示され、ユーザは、ターゲットオブジェクト２０１’が包装機２００において位置する場所を見ることができる。言及した近隣のオブジェクト２０１は、包装機における可動オブジェクト２０１のいずれかに対応し得る。

【0031】

方法１００は、各仮想座標に割り当てられた画像データにおける可動オブジェクト２０１、２０１’の位置をターゲットオブジェクト２０１’の相対位置と比較することにより、仮想ターゲット座標（ｕ’、ｖ’）を決定する工程１０６’を含んでもよい。画像装置３０３は、複数の可動オブジェクト２０１を検出し、各仮想座標は、その後、物理座標システム（ｘ、ｙ）のオブジェクト識別子データから決定されたターゲットオブジェクト２０１’の相対位置と比較される。ターゲットオブジェクト２０１’の相対位置に最も近く一致する仮想座標は、仮想ターゲット座標（ｕ’、ｖ’）として割り当てられる。これは、包装機２００における仮想オーバーレイ３０１、３０１’の表示をさらに改善し得る。

【0032】

可動オブジェクト２０１、２０１’は、略同一の形状を有してもよい。異なる形状が存在し得るが、その差異は、ユーザが位置する場所で包装機から離れた位置から識別するのが難しい場合があり得る。このため、上に説明したように、方法１００及びシステム３００は、可動オブジェクト２０１、２０１’が、ユーザの位置から認識された同一の形状を有するかどうかに関係なく、仮想オーバーレイ３０１、３０１’の作成を提供する。

【0033】

画像装置３０３は、装着可能な眼鏡などの装着可能な表示装置を含んでもよい。表示装置３０４は、このような装着可能な画像装置３０３に組み込まれ得る。すなわち、装着可能な装置は、画像データを捉え、またユーザに仮想オーバーレイ３０１、３０１’を提示し得る。画像処理の性能への要求が軽減されることについて上に言及した利益は、上述のような安定した拡張現実体験を提供しつつ、それほど複雑でない画像装置を利用し得るため、包装機における拡張現実の実行をより少ない資源で提供する。

【0034】

プログラムがコンピュータによって実行されるとき、コンピュータに、図１～３について上述したような方法１００の工程を実施させる命令を含むコンピュータプログラム製品が提供される。

【0035】

図１～２について上述したようなシステム３００を含む包装機２００も提供される。包装機２００は、これにより、システム３００及び図１～２について上述したような有利な利益を提供する。

【0036】

言及したように、包装機２００は、包装容器を扱う複数の可動オブジェクト２０１、２０１’を有する。包装機２００は、このため、システム３００であって、その中で仮想オーバーレイ３０１、３０１’を作成するシステム３００を含む。システム３００は、可動オブジェクト２０１、２０１’を、包装機２００内で伝達された各オブジェクト識別子データに関連付ける１０１ように構成された処理装置３０２を含む。処理装置３０２は、オブジェクト識別子データに基づき、包装機２００の物理座標システム（ｘ、ｙ）において可動オブジェクトのうちのターゲットオブジェクト２０１’の相対位置を決定する１０２ように構成される。システム３００は、可動オブジェクト２０１、２０１’の少なくとも一部及び／又は定義された物理的参考物２０３を含む画像データを登録するように構成された画像装置３０３を含む。処理装置３０２は、ターゲットオブジェクト２０１’の相対位置を画像データに相関させる１０５ように構成されることにより、ユーザによって見られている少なくとも部分的に仮想である環境において、ターゲットオブジェクト２０１’の相対位置を仮想座標システム（ｕ、ｖ）に位置付けする１０４ように構成される。ターゲットオブジェクト２０１’は、仮想座標システムの仮想ターゲット座標（ｕ’、ｖ’）に割り当てられ１０６、表示装置３０４は、仮想オーバーレイ３０１、３０１’を仮想座標システム（ｕ、ｖ）においてターゲットオブジェクト２０１’の仮想ターゲット座標（ｕ’、ｖ’）に対して表示するように構成される。包装機２００は、このように、システム３００及び図１～２について上述したような有利な利益を提供する。

【0037】

本発明を特定の例を参照して上に説明した。しかし、上述以外の他の例が本発明の範囲内で同様に可能である。本発明の様々な特徴及び工程は、説明したもの以外の他の組み合わせで組み合わされ得る。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。

【0038】

より一般的には、当業者は、本明細書に記載されるすべてのパラメータ、寸法、物質及び構成が例示的なものであることを意味し、実際のパラメータ、寸法、物質及び／又は構成が、本発明の教示が使用される１つ又は複数の具体的な適用によって決まることを容易に理解するであろう。

【図1】

【図2】

【図3a】

【図3b】