(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-26
(45)【発行日】2022-09-05
(54)【発明の名称】拡張現実を用いてチーム作業を支援するためのシステム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220829BHJP
G06Q 50/04 20120101ALI20220829BHJP
【FI】
G06T19/00 600
G06Q50/04
(21)【出願番号】P 2020508073
(86)(22)【出願日】2018-04-20
(86)【国際出願番号】 EP2018060150
(87)【国際公開番号】W WO2018197349
(87)【国際公開日】2018-11-01
【審査請求日】2021-04-01
(31)【優先権主張番号】102017108622.6
(32)【優先日】2017-04-23
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】519378171
【氏名又は名称】グッドリー イノヴェイションズ ゲー・エム・ベー・ハー
【氏名又は名称原語表記】Goodly Innovations GmbH
【住所又は居所原語表記】Gebaeude 49, Bavariafilmplatz 7, 82031 Gruenwald, Germany
(74)【代理人】
【識別番号】100114890
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ローベアト ホフマイスター
【審査官】村松 貴士
(56)【参考文献】
【文献】特開2017-049774(JP,A)
【文献】特開2014-215646(JP,A)
【文献】特開2011-248860(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G06Q 50/04
(57)【特許請求の範囲】
【請求項1】
チーム作業を支援するためのコンピュータ支援によるシステムであって、前記システムは、
1個の機械の少なくとも一部の3次元幾何学形状および複数のタスク(T12,T22,…)を記憶するように構成されており、かつそれぞれのタスクに、各タスク(T12,T22,…)が処理される空間内の位置(P11,P12,…)と前記タスクの処理に関する位置関連情報とが対応づけられている製造サーバ(11)と、
コンピュータネットワークを介して前記製造サーバ(11)に接続されており、かつチームの人員(O3,O4,O5,…)にそれぞれ対応づけられている複数のユーザ端末(41)と、
を有し、
前記製造サーバ(11)は、さらに、前記チームのそれぞれの人員(O3,O4,O5,…)に1個ずつのタスク(T11,T12,…)を割り当て、各前記タスク(T11,T12,…)に対応づけられた位置関連情報(410)を
該当する人員(O3,O4,O5,…)の前記ユーザ端末(41)に表示させるように構成されている、
システム。
【請求項2】
前記ユーザ端末(41)は、各前記タスク(T11,T12,…)に対応づけられた前記位置関連情報(410)を、前記タスクに対応づけられた空間内の位置(P11,P12,…)において表示するように構成されている、
請求項1記載のシステム。
【請求項3】
前記製造サーバ(11)は、さらに、それぞれの人員に個々のタスクまたはタスクグループを割り当て、前記割り当ての際に各人員のスキルレベルを考慮するように構成されている、
請求項1または2記載のシステム。
【請求項4】
前記製造サーバ(11)は、さらに、前記チームが作業すべき1つのプロセスに対してタスクのリスト(L1)を作成し、前記リストから個々のタスクまたはタスクグループをそれぞれの人員(O3,O4,O5,…)に割り当てるように構成されており、
前記タスクの割り当ては、人員(O3,O4,O5,…)の数に依存してダイナミックに行われ、人員(O3,O4,O5,…)の数が変化した際に更新される、
請求項1から3までのいずれか1項記載のシステム。
【請求項5】
前記製造サーバ(11)は、さらに、前記チームのうち、1個のタスク(T41)の割り当てを受けたそれぞれの人員(O5,…)を従事者としてマーキングし、割り当てられたタスクをアクティブであるとマーキングするように構成されている、
請求項1から4までのいずれか1項記載のシステム。
【請求項6】
前記製造サーバ(11)は、さらに、前記タスク(T41)の割り当てを受けた人員(O5)が自身のユーザ端末(41)を介して前記タスク(T41)の処理を確認した場合に、前記タスク(T41)を処理済とマーキングするように構成されている、
請求項5記載のシステム。
【請求項7】
前記製造サーバ(11)は、さらに、前記タスク(T41)の割り当てを受けた人員(O5)の前記ユーザ端末(41)が前記人員(O5)による前記タスク(T41)の処理の確認なしに前記製造サーバ(11)からサインアウトされた場合に、前記タスクを処理済とマーキングすることなくタスクがアクティブであるとのマーキングを除去するように構成されている、
請求項6記載のシステム。
【請求項8】
前記製造サーバ(11)は、さらに、前記複数のタスク(T11,T12,…)がアクティブであるとも処理済ともマーキングされていないタスクを含むかぎり、前記複数のタスクから、新しいタスクを、その時点でタスクの割り当てを受けていない人員(O2,O4,…)に割り当てるように構成されている、
請求項6または7記載のシステム。
【請求項9】
前記製造サーバ(11)は、さらに、付加的なユーザ端末(41)を前記製造サーバに登録することにより、前記付加的なユーザ端末(41)を携行した付加的な人員(O5)を前記チームに追加するように構成されている、
請求項1から8までのいずれか1項記載のシステム。
【請求項10】
前記製造サーバ(11)は、さらに、対応づけられたユーザ端末(41)の識別子に基づいて前記チームの人員(O3,O4,O5,…)を識別するように構成されている、
請求項1から9までのいずれか1項記載のシステム。
【請求項11】
それぞれのタスク(T11,T12,…)に1個ずつのクラスタが対応づけられており、1個のクラスタのそれぞれのタスクが、未処理、アクティブまたは処理済としてマーキングされている、
請求項1から10までのいずれか1項記載のシステム。
【請求項12】
前記製造サーバ(11)は、さらに、人員へのタスクの割り当ての際にまず、未処理タスクを最も多く含みかつアクティブタスクを最も少なく含むクラスタのタスクを考慮するように構成されている、
請求項11記載のシステム。
【請求項13】
前記ユーザ端末(41)は、環境の幾何学形状を3次元で検出するそれぞれ1個の立体ヘッドアップディスプレイおよび1個または複数個のセンサを有する拡張現実(AR)端末である、
請求項1から12までのいずれか1項記載のシステム。
【請求項14】
前記AR端末(41)の少なくとも一部および/または前記製造サーバ(11)は、オーサリングモードにおいてセンサデータから前記タスク(T12,T22,…)に対応づけられた位置(P11,P12,…)を含む環境の3Dモデルを作成するように構成されている、
請求項13記載のシステム。
【請求項15】
前記製造サーバ(11)は、さらに、前記チームが作業すべき1つのプロセスに対して、最初に、前記プロセスの実行に必要なタスクのリスト(L1)を作成するように構成されており、
前記リスト(L1)を作成する際に、先行して実行されたプロセスのプロセスパラメータが考慮される、
請求項1から14までのいずれか1項記載のシステム。
【請求項16】
前記タスクのリスト(L1)は、既に処理されたタスク(T12,T22,…)と場合により変化する人員(O3,O4,O5,…)の数およびそのスキルレベルとを考慮して連続してダイナミックに適応化される、
請求項15記載のシステム。
【請求項17】
チーム作業を支援するためのコンピュータ支援による方法であって、前記方法は、
1個の機械の少なくとも一部の3次元幾何学形状および複数のタスク(T12,T22,…)のデータを製造サーバ(11)上に記憶し、それぞれのタスクに、各タスク(T12,T22,…)が処理される空間内の位置(P11,P12,…)と前記タスクの処理に関する位置関連情報とを対応づけるステップと、
コンピュータネットワークを介して前記製造サーバ(11)に接続されておりかつチームの人員(O3,O4,O5,…)にそれぞれ対応づけられている複数のユーザ端末(41)を前記製造サーバ(11)にサインインさせるステップと、
前記チームのそれぞれの人員(O3,O4,O5,…)に前記複数のタスクから1個ずつのタスク(T11,T12,…)を割り当て、各前記タスク(T11,T12,…)に対応づけられた位置関連情報(410)を
該当する人員(O3,O4,O5,…)の前記ユーザ端末(41)に表示させるステップと、
を含む方法。
【請求項18】
各前記ユーザ端末(41)は、各前記タスク(T11,T12,…)に対応づけられた位置関連情報(410)を、前記タスクに対応づけられた空間内の位置(P11,P12,…)において表示する、
請求項17記載の方法。
【請求項19】
各前記タスク(T11,T12,…)に対応づけられた位置関連情報(410)が各前記タスクに対応づけられた空間内の位置(P11,P12,…)において表示され、前記タスクをユーザが確認した場合、それぞれのユーザ端末(41)は、自身に対応づけられた人員(O3,O4,O5,…)に割り当てられたタスクを表示する、
請求項17または18記載の方法。
【請求項20】
前記複数のタスクからのタスク(T11,T12,…)の割り当ては、
前記複数のタスクからタスクグループ(T11,T12,…)を前記チームの1人または複数人の人員(O3,O4,O5,…)に割り当て、ここで、前記人員(O3,O4,O5,…)のユーザ端末(41)では前記タスクグループ(T11,T12,…)からのタスクの選択が可能であることと、
前記人員(O3,O4,O5,…)が選択したタスク(T11,T12,…)に対応づけられた位置関連情報(410)を、
該当する人員(O3,O4,O5,…)の前記ユーザ端末(41)に表示することと、
を含む、
請求項17から19までのいずれか1項記載の方法。
【請求項21】
前記タスク(T11,T12,…)、前記タスクに対応づけられた空間内の位置、および対応する位置関連情報(410)を、前記製造サーバ(11)のデータベースに記憶する、
請求項17から20までのいずれか1項記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、拡張現実(AR)システムを用いて(例えばセットアップまたはセットアップ変更のための)使用時に人員のチームをダイナミックに支援するためのシステムおよび方法に関する。
【背景技術】
【0002】
拡張現実(複合現実またはホログラフィックコンピューティングとも称される)は、現実環境と仮想要素の重畳として理解可能である。こうした重畳は、例えば立体ヘッドアップディスプレイ(HUD)を用いて可能となる。この種のディスプレイは眼鏡のように着装可能であり、2個の眼鏡レンズがディスプレイの視野での要素の立体(3D)表示を可能とする透明なヘッドアップディスプレイとして用いられるので、AR眼鏡とも称される。ヘッドアップディスプレイ、集積されたプロセッサ(CPU)、グラフィックプロセッサ(GPU)および空間内のAR眼鏡の位置を求めるセンサを有する市販入手可能なシステムは、例えばMicrosoft社のHoloLens(登録商標)である。この種の機器を、以下ではAR端末と称する。
【0003】
製造およびサービスにおけるARシステムの使用は(例えば自動車産業で)それ自体公知である(例えば欧州特許第1295099号明細書を参照)。ARシステムは、例えば品質管理において検査官を支援可能である。この場合、ARシステムは、ユーザ(例えば品質管理における検査官)に対して情報をその視野に組み込み、その知覚を拡張することができる。情報として特に画像データ、ビデオデータまたはテキストデータを組み込み可能である。ユーザは、仮想環境と現実環境との重畳により、目標‐実際補償を簡単に実行可能な手段を取得する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明者らが課題としたのは、製造の際、例えば複数の人員が共同で(チームとして)1個の機械の一工程を実行し、このために作業指示をダイナミックに生成して、同相でダイナミックに適応化する状況において、現行のARシステムの能力を良好に利用することである。
【課題を解決するための手段】
【0005】
言及した課題は、請求項1記載のシステムおよび請求項17記載の方法により解決される。種々の実施例および発展形態は各従属請求項の対象である。
【0006】
拡張現実(AR)を用いてチーム作業を支援するためのコンピュータ支援によるシステムを説明する。一実施例によれば、システムは、1個の機械の少なくとも一部の3次元幾何学形状および複数のタスクを記憶するように構成されており、かつそれぞれのタスクに、各タスクが処理される空間内の位置と当該タスクの処理に関する位置関連情報とが対応づけられている、製造サーバを含む。システムはさらに、コンピュータネットワークを介して製造サーバに接続されており、かつチームの人員にそれぞれ対応づけられている、複数のユーザ端末を含む。製造サーバはさらに、チームのそれぞれの人員に1個ずつのタスクを割り当て、各タスクに対応づけられた位置関連情報を、該当する人員のユーザ端末に表示させるように構成されている。
【0007】
さらに、チーム作業を支援するためのコンピュータ支援による方法を説明する。一実施例によれば、方法は、機械の少なくとも一部の3次元幾何学形状および複数のタスクの各データを製造サーバ上に記憶することを含み、それぞれのタスクに、各タスクが処理される空間内の位置と当該タスクの処理に関する位置関連情報とが対応づけられる。方法はさらに、コンピュータネットワークを介して製造サーバに接続された複数のユーザ端末を製造サーバにサインインさせることを含む。それぞれのユーザ端末はチームの1人の人員に対応づけられる。方法はさらに、チームのそれぞれの人員に複数のタスクから1個ずつのタスクを割り当て、各タスクに対応づけられた位置関連情報を該当する人員のユーザ端末に表示させることを含む。
【0008】
一実施例では、各ユーザ端末は、各タスクに対応づけられた位置関連情報を、タスクに対応づけられた空間内の位置において(例えば拡張現実技術を用いて)表示可能である。1人の人員に(複数のタスクから成る)1個のタスクグループを割り当てることもでき、当該人員のユーザ端末では、タスクグループからの1個のタスクの選択が可能である。この場合、該当する人員のユーザ端末は、当該人員が選択したタスクに対応づけられた位置関連情報を表示可能である。
【0009】
(ユーザ端末が対応づけられている)人員へのタスクまたはタスクグループの割り当ては、ダイナミックに行うことができ、それぞれチームが実行すべきプロセスに合うように適応化可能である。ここで、加入しているユーザ端末の数が変化した場合、タスクの割り当てはダイナミックに更新可能であり、当該タスクの割り当ては、各人員の資格または能力を表す人員のスキルレベルに依存して行うことができる。
【0010】
本発明を以下に図面に示した例に即して詳細に説明する。図示は必ずしも縮尺通りに描かれておらず、また本発明は示した態様のみに限定されない。むしろ、本発明の基礎とする基本方式を示すことに重点が置かれている。図面には以下のことが示されている。
【図面の簡単な説明】
【0011】
【
図1】ネットワーク化されたAR端末を用いて(任意の人数の)サービス人員のチーム(Operators)を支援するためのシステムの一例を概略的に示す図である。
【
図2】機械の制御要素または表示要素についての位置関連情報およびコンテクスト関連情報の表示を伴う機械の一例を示す図である。
【
図3】タスク(Task)が処理される複数の施設モジュールおよび複数の位置における製造ラインの支援を示す概略図である。
【
図4】製造ラインの対応する位置への個々のタスクの対応づけを伴う、プロセスのダイナミックな生成に必要なすべての可能なタスクの合計(Tasks T11,T21,…)を示す概略図である。
【
図5】種々のタスククラスタへのタスクの対応づけを示す概略図である。
【
図6】タスクを処理する際のサービス人員のチーム(Operators)の活動の自動編成を示すための図である。
【
図7】新たにチームに追加されたオペレータにタスクを割り当てるプロシージャを示す3個の概略図(a~c)である。
【
図8】各オペレータにより特定のタスクが処理された際のプロシージャを示す概略図である。
【
図9】オペレータがチームを離脱した際のプロシージャを示す概略図である。
【発明を実施するための形態】
【0012】
図1には、ネットワーク化された端末機器(Terminals)、例えば拡張現実端末機器(AR端末とも称する)を用いて、製造機械の使用時にサービス人員のチーム(Operators)を支援するためのシステムの第1の例が概略的に示されている。チームが実行するプロセスは、例えば製造ラインの1個または複数個の機械のセットアップまたはセットアップ変更であってよい。産業の多数の領域において、例えばパッケージング機械は、種々のパッケージサイズまたは種々のパッケージングバリエーションを有するパッケージング製品を製造するため、しばしばセットアップ変更を行わなければならない。例示の例としてのみであるが、多様な地域および製品に対して多様なパッケージングが必要な医薬品の自動化パッケージングを挙げておく。当該パッケージング機械では規則的なセットアップ変更が必須であり、こうしたセットアップ変更プロセスの効率は重要な要素となりうる。
【0013】
図示の例では、システムは2個の動作モードで動作可能である。第1の動作モードはオーサリングモードと称され、第2の動作モードはクライアントモードと称される。システムは、コンピュータネットワーク内の中央サーバ10に接続可能な1個または複数個の製造サーバ11,12等(例えばそれぞれの製造ライン用のサーバ)を含む。より小さな製造施設では、中央サーバおよび製造サーバ11の各機能を1個の(製造)サーバに集約することができる。図の例では、製造サーバ11は製造ライン31に対応づけられている。コンピュータネットワーク、例えば無線ローカルネットワーク(wireles local area network, WLAN)を介して、製造サーバ11に、複数のユーザ端末、例えばAR端末41および(選択手段としての)アドミニストレータ端末40(例えばパーソナルコンピュータ、タブレットPCまたは他のAR端末)を接続することができる。製造サーバ11,12は独立した(コンピュータ)ハードウェア上で動作する必要はなく、該当するサーバサービスは、ユーザ端末(例えばAR端末または別のモバイル機器)内にも、またはアドミニストレータ端末40内にも構成可能である。
【0014】
AR端末は、環境の空間検出を行うセンサ装置を有するまたは有さない立体ヘッドアップディスプレイ(HUDまたはHMD, Head-mounted displays)であってよい。市販入手可能なシステムとして、例えば、Google社のGlass(登録商標)、Epson社のMoverio(登録商標)(環境の空間検出を行うセンサ装置を有さない)、およびMicrosoft社のHoloLens(登録商標)(環境の空間検出を行うセンサ装置を有する)が挙げられる。ただし、従来のモバイル端末機器、例えばカメラが組み込まれたタブレットPCもAR端末として使用可能である。この場合、組み込まれたカメラは、製造ラインの特定の位置に配置可能ないわゆるARマーカ(marker-based Augmented Reality)を読み込むためにも使用可能である。AR機器がARマーカ(例えばバーコードまたはQRコード)を識別すると、各位置に対応する情報がAR端末において表示可能となる。HUDまたはHMDは、該当する人員の、各位置で必要な作業の処理のため、両手が空くという利点を有する。付加的に、従来のモバイル端末機器、例えばカメラが組み込まれたタブレットPC(AR端末とは称されないことが多い)も使用可能である。この場合、当該機器は、例えばテキスト指示またはオーディオ指示により動作可能である。
【0015】
製造ライン31用のローカル製造サーバ11は、製造ライン31に関する製造特有データ(
図1、参照番号15)を記憶し、これを(必要に応じて)ダイナミックにAR端末41およびアドミニストレータ端末40に供給することができる。このことは、プロセスの開始時に1回しか行われないのではなく、プロセス中、当該プロセスと同相となるようにつねに最新の状況に適応化することができる。適応化は、例えばプロセス中に1人または複数人のサービス人員(Operators)がシステムを離脱(ログアウト)するかたまたは新たに加わる(ログイン)する際に行いうるし、または行わなければならない。この場合、システムは、(コンピュータアルゴリズムを使用して)それぞれのサービス人員に対してダイナミックに、例えばサービス人員の「スキルレベル」を考慮して、その時点のタスク(Task)のリストを作成し、各サービス人員に提供しなければならない。このことは(それぞれのタスクに対して)タスクの処理後、サービス人員によっても行われる。こうして、すべてのタスクが処理され、それぞれ多重に対応づけられず、オペレータステータスの点で許容されるタスクのみがそれぞれのサービス人員に提示されまたは割り当てられることが保証される。ここでの「提示」とは、1人のサービス人員にそのスキルレベル(例えばスキルレベル「専門」)に応じた特定の1個のタスクのみを示すことではなく、例えば別のサービス人員の位置を考慮してクラスタおよびタスク(タスクグループ)の選択が示されることをいう。したがって、最も近接の位置にある者として具体的なタスクを実行するサービス人員(Operator)が、(所定の範囲において)選択可能である。
【0016】
各オペレータへのスキルレベルの対応づけは、例えば、製造サーバ11または中央サーバのデータベースに記憶することができる。オペレータは、例えば、コードまたはパスワードを用いてユーザ端末で認証可能であり、したがって、システムは、ユーザが「ログイン」を行った、ネットワーク化されたユーザ端末に基づき、当該ユーザを識別することができる。
【0017】
中央サーバ10は、複数(またはすべて)の製造ラインの製造特有データにアクセスし、これを規則的に更新することができる。中央サーバ10はさらに、(例えば比較のための)データ分析(
図1、参照番号101)を実行するように構成可能である。中央サーバ10は、ローカルコンピュータネットワークを介してローカル製造サーバ11に接続可能である。中央サーバ10は、自身が別の地点に存在しうる場合、公共のインタネットを介して(例えば仮想プライベートネットワークVPNを介して)ローカル製造サーバ11に接続可能である。言及したデータ分析には、例えばリアルタイム分析(Realtime Analytics)、ベンチマーク法およびこれらに類似のものが含まれうる。
【0018】
製造ライン31は、複数の制御要素312および/またはディスプレイ311を含む少なくとも1個の機械310を含む(
図2も参照)。図の例では、制御要素312がディスプレイ311を有する。AR端末として、環境の空間検出を行うセンサ装置を含むAR端末が使用可能である。これにより、マーカーレスのAR(markerless augmented reality)と各AR端末の位置の正確な追跡とが可能となる。オーサリングモードでは、少なくとも1個のAR端末41およびその内部に含まれるセンサ(および端末上に構成されているソフトウェア)を用いて、環境(ひいては機械310)の幾何学形状が3次元で検出され、対応する3Dモデルが作成され、ローカル製造サーバ11に記憶される。当該工程では、種々のセンサと、例えば同時の位置特定および(3D)マップ設定(Simultaneous Localization and Mapping, SLAM)のためのアルゴリズムと、が使用される。適切なセンサは、例えばカメラ、TOFカメラ(Time-of-Flightカメラ)、慣性測定ユニット(Inertial Measurement Unit, IMU)等である。データ検出および3Dモデル形成のための方法およびアルゴリズムはそれ自体公知であり、市販入手可能な機器、例えばMicrosoft社のHoloLens(登録商標)、Google社のTango、Intel社のRealSense(商標)等によって支援されている。
【0019】
図2には、機械310の3Dモデルの一部が概略的に示されており、ここでは例としてディスプレイ311を有する2個の制御要素312が示されている。当該制御要素は一般にマンマシンインタフェース(Human-Machine Interface, HMI)と称されうる。オーサリングモードでは別の位置を(例えば座標系の形態で)空間内に定義することができ、当該別の位置では、後のクライアントモードにおいて、位置関連情報410に関して、各位置で処理すべきタスク(Task)がダイナミックに割り当て可能かつ表示可能である。つまり、位置関連情報410は、タスク設定を人間に認知可能な形態(例えばテキスト、数値、グラフィック等)で表現可能である。例えば、それぞれのマンマシンインタフェース(制御要素312/ディスプレイ311)のほか、クライアントモードにおいて各マンマシンインタフェースについての情報を表示可能な位置を「マーキング」することができる。当該位置関連情報は、AR端末41によって現実環境に重畳可能である。図の例では、(例えばQRコードによる)位置の特別なマーキングは必要ない。いわゆるマーカーレスARシステムでは、所望の位置は、AR端末から送出されたその時点のセンサ情報と先行して作成された(または他の方式で提供された)環境の3Dモデルとに基づいて再生される。なお、より簡単なシステムとしてマーカを使用してもよい。別の例では、マーカーレスAR端末およびマーカーベースAR端末とAR機能を有さない端末とを1つのシステム内で組み合わせることもできる。ディスプレイ311を有する制御要素312は、タスクを処理可能な機械の位置の一例に過ぎないことに注意されたい。別の例として、機械部分の組み込みまたは組み立て、損耗部分の交換等が挙げられる。
【0020】
図2に示した例では、クライアントモードで、AR端末を携行しているサービス人員(Operator)に対し、先行してオーサリングモードで定義された空間内の点において位置関連情報410が表示される。図の例では、位置関連情報410は、(「C1.1」で表記された)制御要素312の空間的な直接近傍にある点において表示される。情報410は、空間内の対応する点がAR端末41の視野に入ると直ちにAR端末によって各サービス人員に表示され、このことはまた空間内のAR端末41の位置(場所および方向)に依存して行われる。情報410は、各位置(例えば制御要素の場所C1.1、
図2を参照)においてサービス人員が処理すべきタスク(Task)に関連づけ可能である。すなわち、それぞれのタスクには空間内の特定の位置が対応づけられる。
【0021】
特定の位置で示される情報410は、例えば、サービス人員が制御要素312で設定する数値および/または対応するディスプレイ311で検査する数値であってよい。サービス人員がタスクの処理を完了した場合、すなわち制御要素312で所望の数値の設定を完了した(または設定された数値の検査を完了した)場合、AR端末41の視野において例えばジェスチャによって当該タスクの処理を確認し、その時点の作業ステップ(
図2のステップC1.1)を終了させることができる。この場合、AR端末41は、サービス人員に対して選択のために複数の場所(空間内の位置)を提示するかまたは(選択すべき場所が1つしかない場合)特定の場所を提示し、次いで、次のタスクすなわち(例えば次の制御要素/次のHMIにおける)次の作業ステップを処理すべき場所までサービス人員をガイドする。また、タスクの終了時には、例えばAR端末を用いて制御要素312または表示要素311を撮影することにより、有効な処理を検証およびドキュメント化することができる。分析のため(
図1の分析101を参照)、別のデータ、例えば名称、時刻、または人員が特定のタスクに要した時間も検出可能である。当該時間は、製造サーバにおいて人員に関連してまたはアノニマスで記憶可能である。人員関連データの検出は、例えば製薬分野においては安全性監査の観点から法定されていることさえある(Good Manufacturing Practice, GMP)。システムは、当該ステップにおいて既に処理されたタスクを検出可能であり、これを別のサービス人員のタスクリストのダイナミックな作成の際に提示したりまたは割り当てたりすることはもはや不可能である。
【0022】
図1にはシステム全体の構造が示され、
図2にはAR端末41を通したサービス人員(Operator)の視界が示されている。続く
図3から
図9にはシステムの動作方式が示されており、ここでは、個々の機能の一部が製造サーバ11内に、別の一部がAR端末41内またはアドミニストレータ端末40内に構成可能である。上述したように、オーサリングモードでは、製造ライン31(
図1を参照)の1個または複数個の施設モジュールが幾何学的に検出され、サービス人員のチーム(Operators)がタスクセットを処理する複数の位置または領域(spot)が定義される。
図3の概略的な図示では、当該位置は、すべての可能な位置のセットを形成するP11,P12,P13,P21等で表されている。図の例では、製造ライン内の特定の作業領域(例えば機械310の種々の部分)が施設モジュールとして定義されており、定義されたそれぞれの位置を1個のモジュールに対応づけることができる。(施設)モジュールは該当する製造ラインの1個の機械またはその一部に相当する。
図3の図示では、製造ライン31(またはその一部)が3個のモジュールM1,M2,M3に分割されている。モジュールM1は位置P11,P12,P13を含み、モジュールM2は位置P21,P22を含み、モジュールM3は位置P31,P32,P33を含む。それぞれの位置P11,P12,P13,P21,P22,P31,P32,P33には、考察しているプロセスにおいて必要であれば、作業ドキュメントの作成時に、各プロセス(例えば機械のセットアップ変更)に対して、チームのオペレータが処理しなければならない特定のタスクをダイナミックに対応づけることができる。モジュールへの位置の対応づけは必須ではなく、製造ライン特有の条件と、製造ラインでの特定の1ラウンドで処理(例えばパッケージング)される製品についての精密な要求とに応じて行うことができる。それぞれの位置P11,P12,P13,P21,P22,P31,P32,P33は例えば3個の空間座標により定義可能である。それぞれの位置には(1つの位置に対応づけられた、各位置で処理すべきタスクについての位置関連情報の3D表示のために)、配向状態も対応づけ可能である。
【0023】
図4Aには、位置P11,P12,P13,P21,P22,P31,P32,P33へのタスク(Task)の対応づけが示されている。個々のタスクはクラスタC1,C2等(グループ)に統合可能であり、ここで、特定のクラスタに対応づけられたタスクは例えば相互に依存し合っていてもよい(つまり例えば順次に処理しなければならないこともある)。また、空間的に相互にきわめて近接した位置で処理されなければならないタスクは、1個のクラスタに対応づけ可能である。1個のクラスタは、(必須ではないが)モジュールの位置に対応づけられたタスクを含むことができる。
図4(分
図A)の例では、タスクT11,T12,T13がモジュールM1内の位置P11,P12,P13に対応づけられており、タスクT14,T21がモジュールM2内の位置P21,P22に対応づけられている。モジュールのタスクセットはクラスタのタスクセットと同じでないことが見て取れる。図の例では、タスクT11,T12,T13,T14がクラスタC1に対応づけられており、タスクT21が(別のタスクと共に)クラスタC2に対応づけられている。上述したように、モジュールは、製造ラインにおける1個の機械の特定の領域または部分(3次元幾何学形状)を表しており、これに対して、クラスタは、論理シーケンスまたは関係性の観点でタスクをグループ化している。
図4Bには
図2の詳細が示されている。位置P21は制御要素が位置する場所を表し、示される情報410は位置P21に対応づけられたタスクに関する。上述したように、施設モジュールとクラスタとの対応関係は1対1ではない。例えば、
図4Cに示したように、2個の施設モジュールM1,M2は部分的に相互に重なって配置されていることもある。空間的に近接しているため、位置P21,P13でのタスク、位置P22,P14およびP23でのタスクを同じ人員(または同じ複数の人員)に連続して処理させることも有意でありうる。この場合、モジュールM2の上方にあるモジュールM1の右方部分は、モジュールM2と同じクラスタC2に対応づけられる。モジュールM1では左方部分のみがクラスタC1に対応づけられる。タスクT11,T12,T13,T14および位置P11,P12,P13,P21と対応する位置関連情報との対応関係は、例えば該当する製造ラインの製造サーバ11のデータベースに記憶可能である。
【0024】
図5には、クラスタを用いたシステム記述と複数のクラスタへのタスク分配との一例が示されている。図の例では、第1のクラスタC1に4個のタスク(T11,T12,T13,T14)、第2のクラスタに2個のタスク(T21,T22)、第3のクラスタに3個のタスク(T31,T32,T33)が対応づけられている。(製造ライン31に関する)システム全体は、実質的に、ダイナミックに管理される3個のリスト、すなわちチームのオペレータの誰にも割り当てられていない未処理タスクのリストL1、それぞれ1人のオペレータに割り当てられた「アクティブ」タスクのリストL2、および処理済タスクのリストL3によって定義可能である(
図6を参照)。リストL1は、達成すべきプロセス結果(所望の結果の達成に必要なプロセスパラメータ)と可変の境界条件(例えばサービス人員の数およびそのスキルレベル)とに依存してプロセスの開始時にダイナミックに生成されるタスクリストであり、当該タスクリストはプロセス中にも自動的に適応化可能である。リストL1は、先行して実行されたプロセスのプロセスパラメータに依存することもある。したがって、製造ラインでの該当する設定/構成が既に先行のプロセスに対して行われており、その時点のプロセスに対して変更する必要がない場合には、例えば特定のタスクを省略することもできる。
【0025】
リストL1,L2,L3は同様に製造サーバ11のデータベースに記憶可能であり、これによってダイナミックに管理可能である。ここでのダイナミックとは、処理すべきタスクのリストとチームのオペレータへのタスクの割り当てとがプロセスの開始時に静的に(すなわちオペレータが作業を開始する前に)作成されるのでなく、作業の実行中に変更可能/適応化可能であることを意味する。チームのオペレータの数は、プロセス中(チームがプロセスを実行している間)変化しうるし、(例えばスキルレベル「研修中」を有するオペレータがスキルレベル「初級」を有するオペレータによって交替された場合)チーム内のオペレータのスキルレベルも変化しうる。「手動の」プランニングでは不可能なこうしたダイナミクスにより、プロセス実行の効率を著しく改善することができる。
【0026】
図6には、例として、未処理の11個のタスク(リストL1:クラスタC1のタスクT12,T13,T14、クラスタC2のタスクT24,T25、クラスタC3のタスクT32,T33,T34、およびクラスタC4のタスクT41,T42,T43)と、アクティブな3個のタスク(リストL2:タスクT11およびオペレータO1、タスクT23およびオペレータO2、タスクT31およびオペレータO3)と、処理済の5個のタスク(リストL3:タスクT11,T21,T22,T23,T31)とを有する製造ラインの記述が示されている。オペレータO1,O2,O3は、自身が利用しているAR端末に基づいて区別可能である。ここでいまいちど、未処理タスクのリストL1が固定に定義されたリストではなく、プロセスの開始時にダイナミックに作成可能であることに言及しておく。この場合、要素の数はリストの作成に影響する。プロセスの開始時に、例えば(例えばスキルレベル「指導者」を有する)オペレータが、処理すべきタスクのリストL1をまとめる際、製造ラインにおいて先行のプロセスから既知となった設定を考慮するか否かを決定可能である。このようにして生成されたリストL1に基づいて、リストL2(アクティブタスク)がそれぞれのオペレータO1,O2等に対してダイナミックに作成される。この場合、タスクT1,T2等がオペレータO1,O2等に割り当て可能であるかどうか、すなわちオペレータが特定のタスクを実行する権限を有するかどうか、また当該タスクをリストL1としてオペレータに選択のために割り当てるかまたは固定に設定されかつダイナミックに生成された順序で割り当てるかが考慮される。
【0027】
ここで、例えば製造ラインのセットアップ変更(セットアップ変更プロセス)の際に、製造ラインでのすべての可能な設定/適応化をつねに実行/検査しなければならないわけではないことに注意されたい。多くの状況でこのことが所望される。しかし、セットアップ変更プロセスでは、所望の設定/適応化が最後のセットアップ変更プロセスに比較して異なる製造ラインのそれぞれの位置でのみ製造ラインの設定/適応化を実行/検査することがより効率的でありうる。
【0028】
それぞれのAR端末は、コンピュータネットワークにおける各AR端末の一義的な識別子、例えばMACアドレス(媒体アクセス制御アドレス)を有する。ただし、オペレータのAR端末を識別するための任意の別の一義的な識別子を使用することもできる。識別子には、該当するオペレータの個人データおよび/またはタスクの処理に関するデータ(求められた時間、ドキュメンテーション等)を関連づけることができる。
【0029】
多くの製造施設で、機械は、(例えば製造のためのまたは別の製品のパッケージングまたはハンドリングのための機械のセットアップ変更の際に)チームとして作業しなければならない複数の人員(ここではオペレータと称する)による操作が必須である。チームのメンバは、効率的な協働作業のために相互に良好に協力し合わなければならない。実際に、それぞれの機械(または製造ラインの機械群)に対してフローチャートが(例えば紙形式で)チームの人員のために作成され、それぞれのチームメンバは自身のフローチャートを処理する。チームサイズは、特定のプロセス(例えば機械のセットアップ変更)に対して固定であり、作業開始後は容易に変更できない。フローチャートは静的である。チームメンバが離脱すると(または例えばちょうどレイヤ交換が行われたばかりである場合)、プロセス全体が著しく遅延しうる。チームへの別の人員の追加も、協力を要するフローチャートの混乱を招きうるため、プロセス全体(タスクの合計)をさほど加速できない。
【0030】
ここで説明しているシステムにより、チームメンバ(複数のオペレータ)によって利用されるAR端末(
図1を参照)を用いたチームサイズのフレキシブルな適応化が可能となる。以下では、ネットワーク化されたAR端末41を用いて、例えば種々に(すなわち種々のスキルレベル、例えば「研修中」「初級」「上級」「専門」「指導者」等を有するように)構成されておりかつ種々の端末を有するオペレータのチームのサイズと、これに対応する当該チームメンバへのタスクの割り当てとをダイナミックに適応化可能にする方法を説明する。
図7の例には、チームが1人のオペレータ(オペレータO5)分だけ拡張される(1人の人員がチームに新たに加入する)状況が示されている。このために、オペレータO5のAR端末は製造サーバ11に登録される。当該登録は(例えばオペレータO5のAR端末を特定のWLANアクセスポイントに接続した後)自動的に行うことができ、またはオペレータO5が手動で(例えばパスワードの入力により)(例えば自身のAR端末41を用いてまたはアドミニストレータ端末40により)作動させることができる。登録後、オペレータO5は空きオペレータとして(場合によりスキルレベルを考慮して)、空きオペレータ(すなわちタスクがまだ割り当てられていないまたは提示されていないオペレータ/チームメンバ)のリストL0に収容される。当該状況は
図7Aに示されている。
【0031】
図7Bには、例として、どの未処理タスクが(いずれかのクラスタから)どの空きオペレータに割り当てられるかの自動判別がどのように実行されうるかが示されている。低いスキルレベル(例えば「初級」)を有するオペレータに対し、システムは、設定された順序で処理しなければならないタスクリストをダイナミックに割り当て可能である。システムは、既に処理されたタスクも、当該オペレータのスキルレベルに適さないタスクも割り当てない。さらに、システムは、当該「初級」オペレータに対し、好ましくは、製造ラインの可能なかぎり、空いた部分で実行可能なタスクを割り当てることができる。このために、システムは、適切なアルゴリズムを用いて、「初級」オペレータの最良の開始位置を検出し、(プロセス中つねに変化する状況と同相で)当該オペレータに提示されるタスクリストを最初に生成することができる。システムが提示する多数のクラスタおよびタスクから選択を行うことのできる、より高いスキルレベル(例えば「専門」)を有するオペレータが「初級」オペレータに先んじて「割り込む」(これにより「初級」オペレータによって特定のタスクが実行可能となることが阻止される)状況では、システムは(例えば特定の基準にしたがって最適化された)新たなタスクリストを「初級」オペレータのためにダイナミックに生成可能である(オートパイロットモード)。当該プロセスは定常的にプロセスと同相でバックグラウンドにおいて進行し、製造ラインでのオペレータの最適な分配が制御される。オペレータのスキルレベルに応じて、当該オペレータに対し、それぞれ1回につき、オペレータが(自身のユーザ端末を用いて)選択可能な1個のタスクのみまたは1個のタスクグループのみが割り当て可能である。オペレータが特定のタスクを(自身のユーザ端末を用いて)確認すると、ユーザ端末は、各タスクに対応づけられた空間内の位置において、仮想的に、タスクの実行時にオペレータを支援しまたはガイドする対応の(位置関連)情報を表示可能となる。
【0032】
図7Bに示した例では、クラスタが未処理タスクの数に相応に降順に分類される(第1の基準)。ダイナミックな生成の第2の基準として、(昇順での分類における)アクティブタスクの数が使用可能である。すなわち、(例えばスキルレベル「初級」を有する)空きオペレータ(ここではオペレータO5)に対し、未処理タスクを最も多く含むクラスタからタスクが割り当てられる。当該選択基準が(例えば2個のクラスタにおいて未処理タスクの数が等しいために)一義的な結果をもたらさない場合、オペレータO5に対しては、未処理タスクを最も多く含みかつアクティブタスクを最も少なく含むクラスタからタスクが割り当てられる。代替的にまたは付加的に、別の選択基準を考慮してもよい。例えば、1個または複数個のタスクに対応づけられた位置の最も近傍にいる(空き)オペレータに当該タスクが割り当てられまたは提示されるので、システムにとって既知の(規則的に更新されている)すべてのオペレータのその時点の滞在地点を基準として特に考慮することができる。こうしたアプローチにより、オペレータの経路を短縮することができる。また、例えば特定の対応関係から多数のオペレータが同時に特定の1個の空間領域に滞在することになりうる場合、タスクとオペレータとの特定の対応関係を回避することもできる。上述したように、個々のオペレータの位置は例えばAR端末41を用いて追跡可能であり、当該情報も同様にタスクリストL1~L3のダイナミックな適応化の際に考慮可能である。小さな製造ライン(例えば唯一の機械のみ)に対しては、クラスタへのタスクのグループ化も必要ないことを理解されたい。この場合、オペレータへのタスクの割り当ての基準として、例えばオペレータに生じる経路またはこれに類似のものを利用可能である。用途が許す場合には、ランダムな対応づけも可能である。
【0033】
図の例では、クラスタC4が3個の未処理タスクを含み、(例えばちょうどタスクが処理されたばかりであるため、
図8を参照)アクティブタスクを含まず、クラスタC2が1個の未処理タスクと1個のアクティブタスクとを含み、クラスタC3が未処理タスクを含まず、1個のアクティブタスクを含み、クラスタC1が未処理タスクを含まず、2個のアクティブタスクを含む。結果として、空きオペレータO5に(とりわけ)クラスタC4のタスク(例えばタスクT41)が提示される。当該割り当てが
図7Cに概略的に示されている。当該タスクは、未処理タスクのリストL1から消去され、アクティブタスクのリストL2に収容される。オペレータO5は、空きオペレータのリストL0から削除される(
図6を参照)。クラスタ内で、タスクの順序は固定に設定可能である。当該順序は、必須の順序が存在する場合(例えば最初に一部分を組み立て、次いで新たな部分を組み込む場合)、オーサリングモードで設定される。製造ラインを通してタスク(またはタスクのサブセット)の固定の順序が設定されていない場合、特定の選択基準にしたがって(例えばタスクに対応づけられた位置でのオペレータの作業領域の空間的な交差(すなわち衝突)が回避されるように)これを選択することもできる。一変形形態では、処理の順序が重要でない複数のタスクは、同時に1人のオペレータに提示されてもよい。この場合、処理の順序はオペレータに委ねられる。(例えばレイヤ交換の際にオペレータがプロセスを離脱したため)当該オペレータがすべてのタスクを処理しなかった場合、当該オペレータの未処理タスクは、場合により新たな別のオペレータのタスクリストを作成する際にシステムによって考慮される。
【0034】
図8には、オペレータがタスク(課題)の処理または(当該オペレータに複数のタスクが割り当てられている場合)タスクグループの最後のタスクの処理を確認した状況が概略的に示されている。こうした確認は、一般に、オペレータにより例えば手動でAR端末において(例えばAR端末の視野内の仮想のキーの操作、AR端末の実キーの操作、Bluetoothコントローラ、音声制御等によって)行われる。この例では、アクティブタスク(例えばタスク41)は、アクティブタスクのリストL2から消去され、処理済タスクのリストL3に収容され、該当するオペレータ(例えばオペレータO5)が再び空きオペレータのリストL0に収容される。アクティブなオペレータが、割り当てを受けたタスクを終了せずに(または終了できずに)自身の作業場所を離脱する(または離脱しなければならない)状況も存在する。作業場所の離脱の際には、該当するオペレータのAR端末はサーバ11からサインアウト(登録抹消)される。当該サインアウトは、(例えばAR端末とアクセスポイントとの間のWLANコネクションが中断された際に)自動で行うことも、またはオペレータもしくは他の人員が(例えばアドミニストレータ端末40またはAR端末を介して)手動で作動させることもできる。当該状況は
図9Aに示されている。図示の例では、オペレータO5が自身のAR端末をサーバ11からサインアウトした。処理が済んでいないアクティブタスク(例えばタスクT41)と該当するオペレータO5とがアクティブタスクのリストL2から除去され、タスクは再び未処理タスクのリストL1に収容されて、例えば別のオペレータに割り当て可能となる(
図7Cを参照)。空きオペレータ(例えばO4)のAR端末がサインアウトされた場合、当該オペレータは空きオペレータのリストL0から除去される。
【0035】
以下に、ここで説明している実施例の幾つかの態様をまとめる(
図1から
図9を参照)。ただし、これらは完全な列挙ではなく、単なる例示であることに注意されたい。拡張現実(AR)を用いてチーム作業を支援するためのシステムを説明する。ここで説明している例によれば、システムは、機械の少なくとも一部の3次元幾何学形状を記憶する(
図2を参照)ように構成された製造サーバ(
図1を参照)を有する。さらに、複数のタスク(Tasks)が記憶され、ここで、それぞれのタスクには、各タスクが処理される空間内の位置と当該タスクの処理に関する位置関連情報とが対応づけ可能である(
図4A,Bを参照)。システムはさらに、コンピュータネットワークを介して製造サーバに接続された複数のAR端末(
図1を参照)を有する。この場合、それぞれのAR端末はチームの人員に対応づけ可能である。製造サーバは、プロセスの実行のための「処方」をダイナミックに生成する(かつ場合によりこれを適応化する)ように構成されており、ここで、各タスクに対応づけられた空間内の位置において対応する位置関連情報を該当する人員のAR端末に表示する(
図4Bを参照)ことにより、チームのそれぞれの人員に(例えば当該人員のスキルレベルを考慮して)特定のタスクが割り当てられるかまたはタスクグループ(クラスタ)が提示される(
図7を参照)。構成に応じ、AR端末を用いて、個々のオペレータの位置が同相で(すなわちプロセス中に)検出可能であり、(例えば対応する時間およびアクティブタスクと共に)記憶可能である。当該データは、後のデータ分析またはリアルタイムデータ分析(Realtime Analystics)においても使用可能である(
図1を参照)。例えば、当該データを用いて、作業フローを(部分的に)自動で最適化可能である(例えばクラスタへのタスクの対応づけまたはクラスタ内のタスクの順序または2人以上のオペレータの衝突の回避)。
【0036】
製造サーバは、さらに、タスクの割り当てまたは提示を受けたチームのそれぞれの人員を従事者としてマーキングし、割り当てられたタスクをアクティブであるとマーキングするように構成可能である。当該マーキングは、例えば、アクティブタスクのリストL2への人員およびタスクの収容によって行われる(
図6を参照)。さらに、製造サーバは、タスクの割り当てを受けた人員(従事者)がAR端末を介してタスクの処理を確認した場合、当該タスクを処理済とマーキングすることができる。当該マーキングは、例えば、処理済タスクのリストL3に当該タスクを収容することにより行われる(
図6を参照)。
【0037】
タスクがアクティブであるとのマーキングは、タスクの割り当てを受けた人員のAR端末が当該人員による当該タスクの処理の先行の確認なしに製造サーバからサインアウトされた場合に、(当該タスクを処理済とマーキングすることなく)再び消去される。マーキングの消去は、例えば、該当するタスクを再び未処理タスクのリストL1に収容することにより行うことができる(
図6を参照)。製造サーバからサインアウトされたAR端末を携行している人員は、別のタスクの割り当てにはもはや利用されない。
【0038】
製造サーバは、その時点でタスクが割り当てられていない人員(空きオペレータのリストL0、
図7を参照)に対し、アクティブであってまだ処理済とマーキングされておらず、対応づけによっても衝突(空間的に相互に近接して位置するタスクによる2人のオペレータの作業領域の交差)を起こさないタスクが存在するかぎり、新たな(未処理の)タスクを割り当てることができる。付加的なAR端末を携行している付加的な人員は、付加的なAR端末を製造サーバに登録する(
図7Aを参照)ことにより、チームに追加可能である。ここで説明している例では、チームの人員は、対応づけられたAR端末の識別子に基づいて、製造サーバにより識別されまたは区別される。
【0039】
プロセスのそれぞれのタスク(例えば製造ラインまたはその一部のセットアップ変更)は、1個のクラスタに対応づけ可能であり、それぞれのタスクは、未処理、アクティブまたは処理済としてマーキング可能である(
図5、
図6を参照)。人員へのタスクの割り当ての際には、製造サーバは優先順位づけを行うことができる。例えば、別のオペレータとの衝突がそこで予測されないかぎり、まずは未処理タスクを最も多く含みかつアクティブタスクを最も少なく含むクラスタ内のタスクを考慮することができる。このために、プロセスと同相で、定義された境界条件(例えば特定のタスクに必須のスキルレベル、またはタスク(Task)相互の依存関係(論理的依存関係もしくは空間的依存関係))を考慮して、それぞれのオペレータのタスクのリストを生成または更新することができる。