知財求人 - 知財ポータルサイト「IP Force」
▶ インターナショナル・ビジネス・マシーンズ・コーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】知識グラフ駆動型コンテンツ生成
(51)【国際特許分類】
G06F 16/90 20190101AFI20241022BHJP
G06F 16/903 20190101ALI20241022BHJP
G06F 8/35 20180101ALI20241022BHJP
G06N 5/00 20230101ALI20241022BHJP
G06N 20/00 20190101ALI20241022BHJP
【ＦＩ】
G06F16/90 100
G06F16/903
G06F8/35
G06N5/00
G06N20/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024516779
(86)(22)【出願日】2022-10-09
(85)【翻訳文提出日】2024-03-15
(86)【国際出願番号】 CN2022124100
(87)【国際公開番号】W WO2023061293
(87)【国際公開日】2023-04-20
(31)【優先権主張番号】17/502,484
(32)【優先日】2021-10-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】390009531
【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100112690
【弁理士】
【氏名又は名称】太佐 種一
(74)【代理人】
【識別番号】100120710
【弁理士】
【氏名又は名称】片岡 忠彦
(74)【復代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【復代理人】
【識別番号】100118108
【弁理士】
【氏名又は名称】久保 洋之
(72)【発明者】
【氏名】グヴェンカヤ、シネム
(72)【発明者】
【氏名】チョウ、ビン
(72)【発明者】
【氏名】デン、ユ
【テーマコード（参考）】
5B175
5B376
【Ｆターム（参考）】
5B175EA01
5B175KA12
5B376BC31
5B376BC38
(57)【要約】
知識グラフ（ＫＧ）駆動型コンテンツ生成をサポートするインテリジェント・コンピュータ・プラットフォームが提供される。ＫＧは１つ以上の知識アーティクルから作成される。前記作成されたＫＧは、物理オブジェクトを表す個々のノードと、物理オブジェクトのハードウェア状態の特性を表す個々のエッジを含む。訓練されたコンピュータビジョンモデルは、１つ以上の物理コンポーネントを識別し、前記識別された物理コンポーネントのアクティブ状態を局所化するために活用される。コンテンツは前記局所化されたアクティブ状態およびＫＧに表現されたハードウェア状態の特性に応答するように生成され、制御信号が、前記生成されたコンテンツに関連する動作可能に結合されたデバイスに動的に発行される。前記制御信号は、識別された１つ以上の物理コンポーネントと生成されたコンテンツの同期に応答するイベントインジェクションを選択的に制御するように構成される。
【特許請求の範囲】
【請求項1】
メモリに動作可能に結合された処理ユニットと、前記処理ユニットと通信し、知識グラフ（ＫＧ）駆動型コンテンツ生成をサポートする１つ以上のツールを有する人工知能（ＡＩ）プラットフォームとを含み、前記ツールは、
１つ以上の知識アーティクルからＫＧを作成するように構成されたＫＧマネージャであって、前記ＫＧはノードおよびエッジを含み、個々のノードは物理オブジェクトを表し、個々のエッジは前記物理オブジェクトのハードウェア状態の特性を表す、ＫＧマネージャと、
１つ以上の物理コンポーネントを識別するための訓練されたコンピュータビジョンモデルを活用することであって、前記識別された１つ以上の物理コンポーネントのアクティブ状態を局所化することを含む、活用することと、前記局所化されたアクティブ状態および前記ＫＧに表された前記ハードウェア状態の特性に応答するコンテンツを動的に生成することとを行うように構成されたディレクタと、
前記生成されたコンテンツに関連する動作可能に結合されたデバイスに制御信号を動的に発行するように構成された信号マネージャであって、前記制御信号は、前記識別された１つ以上の物理コンポーネントと前記生成されたコンテンツとの同期に応答するイベントインジェクションを選択的に制御するように構成されている、信号マネージャとを含む、
コンピュータシステム。
【請求項2】
前記制御信号の前記動的発行は、前記１つ以上の物理コンポーネントの空間識別を活用するための前記コンピュータビジョンモデルと、同期をサポートする制御アクションを選択的に計算するための前記信号マネージャとをさらに含む、請求項１に記載のコンピュータシステム。
【請求項3】
前記ＫＧの作成は、前記１つ以上の知識アーティクルから１つ以上のフレーズを抽出するために自然言語処理（ＮＬＰ）を採用し、１つ以上の物理オブジェクトを参照して前記抽出された１つ以上のフレーズを分析する、前記ＫＧマネージャをさらに含む、請求項１に記載のコンピュータシステム。
【請求項4】
前記ＮＬＰは、前記抽出されたフレーズの２つ以上の間の１つ以上の関係語を識別するように構成され、前記識別された１つ以上の関係語を前記ハードウェア状態の特性に関連付けるように構成された前記ＫＧマネージャをさらに含む、請求項３に記載のコンピュータシステム。
【請求項5】
前記コンテンツの前記動的生成は、前記局所化されたアクティブ状態および前記ＫＧで表現された前記ハードウェア状態の特性に応答し、さらに、命令に関連する対象物理ハードウェアオブジェクトの名前を抽出し、前記抽出された名前を前記ＫＧで識別し、対象オブジェクトハードウェア状態を抽出するために前記ＫＧを活用することと、
前記コンピュータビジョンモデルを使用して、前記対象オブジェクトの視覚状態を識別することと、
前記ＫＧから取得された前記抽出された対象オブジェクトハードウェア状態を、前記識別された視覚状態と比較することと、
を行うために前記コンピュータビジョンモデルを活用するディレクタ
を含む、
請求項４に記載のコンピュータシステム。
【請求項6】
前記抽出された対象オブジェクトハードウェア状態と前記識別された視覚状態との前記比較は、前記対象オブジェクトの前記ハードウェア状態と前記識別された視覚状態との間の差異を計算するように構成された前記ディレクタをさらに含む、請求項５に記載のコンピュータシステム。
【請求項7】
前記動的に生成されたコンテンツは、前記計算された差異に応答する、請求項６に記載のコンピュータシステム。
【請求項8】
知識グラフ（ＫＧ）駆動型コンテンツ生成をサポートするコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラムコードを実装したコンピュータ可読記憶媒体を含み、前記プログラムコードはプロセッサによって、
１つ以上の知識アーティクルからＫＧを作成することであって、前記ＫＧはノードとエッジを含み、個々のノードは物理オブジェクトを表し、個々のエッジは物理オブジェクトのハードウェア状態の特性を表す、作成することと、
識別された１つ以上の物理コンポーネントのアクティブ状態を局所化することを含む、１つ以上の物理コンポーネントを識別するために、訓練されたコンピュータビジョンモデルを活用することと、
前記局所化されたアクティブ状態および前記ＫＧに表現された前記ハードウェア状態の特性に応答するコンテンツを動的に生成することと、
前記生成されたコンテンツに関連する動作可能に結合されたデバイスに制御信号を動的に発行することであって、前記制御信号は、前記識別された１つ以上の物理コンポーネントと前記生成されたコンテンツの同期に応答するイベントインジェクションを選択的に制御するように構成される、動的に発行することと、
を行うために実行可能である、
コンピュータプログラム製品。
【請求項9】
前記制御信号の前記動的発行は、前記１つ以上の物理コンポーネントの空間識別を活用するための前記コンピュータビジョンモデルと、同期をサポートする制御アクションを選択的に計算するためのプログラムコードとをさらに含む、請求項８に記載のコンピュータプログラム製品。
【請求項10】
前記ＫＧ作成は、前記１つ以上の知識アーティクルから１つ以上のフレーズを抽出するために自然言語処理（ＮＬＰ）を採用し、１つ以上の物理オブジェクトを参照して前記抽出された１つ以上のフレーズを分析するように構成されたプログラムコードをさらに含む、請求項８に記載のコンピュータプログラム製品。
【請求項11】
前記抽出されたフレーズの２つ以上の間の１つ以上の関係語を識別するように構成され、前記識別された１つ以上の関係語を前記ハードウェア状態の特性に関連付けるように構成された前記ＮＬＰをさらに含む、請求項１０に記載のコンピュータプログラム製品。
【請求項12】
前記局所化されたアクティブ状態および前記ＫＧで表現された前記ハードウェア状態の特性に応答するコンテンツを動的に生成する前記プログラムコードは、命令に関連する対象物理ハードウェアオブジェクトの名前を抽出し、前記抽出された名前を前記ＫＧで識別し、対象オブジェクトハードウェア状態を抽出するために前記ＫＧを活用し、
前記コンピュータビジョンモデルを使用して、前記対象オブジェクトの視覚状態を識別し、
前記ＫＧから取得された前記抽出された対象オブジェクトハードウェア状態を、前記識別された視覚状態と比較する、
ように構成されたプログラムコードをさらに含む、
請求項１１に記載のコンピュータプログラム製品。
【請求項13】
前記抽出された対象オブジェクトハードウェア状態と前記識別された視覚状態との前記比較は、前記対象オブジェクトの前記ハードウェア状態と前記識別された視覚状態との間の差異を計算するように構成されたプログラムコードをさらに含む、請求項１２に記載のコンピュータプログラム製品。
【請求項14】
前記動的に生成されたコンテンツは、前記計算された差異に応答する、請求項１３に記載のコンピュータプログラム製品。
【請求項15】
１つ以上の知識アーティクルから知識グラフ（ＫＧ）を作成することであって、前記ＫＧはノードおよびエッジを含み、個々のノードは物理オブジェクトを表し、個々のエッジは前記物理オブジェクトのハードウェア状態の特性を表す、作成することと、１つ以上の物理コンポーネントをリアルタイムで識別するための訓練されたコンピュータビジョンモデルを活用することであって、前記識別された１つ以上の物理コンポーネントのアクティブ状態を局所化することを含む、活用することと、
前記局所化されたアクティブ状態および前記作成されたＫＧに表された前記ハードウェア状態の特性に応答するコンテンツを動的に生成することと、
前記生成されたコンテンツに関連する動作可能に結合されたデバイスに制御信号を動的に発行することであって、前記制御信号は、前記識別された１つ以上の物理コンポーネントと前記生成されたコンテンツの同期に応答するイベントインジェクションを選択的に制御するように構成されている、動的に発行することと、
を含む、
コンピュータ実装方法。
【請求項16】
前記制御信号の前記動的発行は、前記１つ以上の物理コンポーネントの空間認識を活用し、同期をサポートする制御アクションを選択的に計算するコンピュータビジョンモデルをさらに含む、請求項１５に記載のコンピュータ実装方法。
【請求項17】
前記ＫＧの作成は、前記１つ以上の知識アーティクルから１つ以上のフレーズを抽出するために自然言語処理（ＮＬＰ）を採用することと、１つ以上の物理オブジェクトを参照して前記抽出された１つ以上のフレーズを分析することとをさらに含む、請求項１５に記載のコンピュータ実装方法。
【請求項18】
前記ＮＬＰが、前記抽出されたフレーズの２つ以上の間の１つ以上の関係語を識別することと、前記識別された１つ以上の関係語を前記ハードウェア状態の特性に関連付けることとをさらに含む、請求項１７に記載のコンピュータ実装方法。
【請求項19】
前記局所化されたアクティブ状態および前記ＫＧで表現された前記ハードウェア状態の特性に応答する前記コンテンツを動的に生成することは、命令に関連する対象物理ハードウェアオブジェクトの名前を抽出し、前記抽出された名前を前記ＫＧで識別し、対象オブジェクトハードウェア状態を抽出するために前記ＫＧを活用することと、
前記コンピュータビジョンモデルを使用して、前記対象オブジェクトの視覚状態を識別することと、
前記ＫＧから取得された前記抽出された対象オブジェクトハードウェア状態を、前記識別された視覚状態と比較することと、
をさらに含む、
請求項１８に記載のコンピュータ実装方法。
【請求項20】
前記抽出された対象オブジェクトハードウェア状態と前記識別された視覚状態とを比較することは、前記対象オブジェクトの前記ハードウェア状態と前記識別された視覚状態との間の差異を計算することをさらに含む、請求項１９に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態は、動的命令生成のためのコンピュータビジョンおよびオブジェクト検知をサポートする人工知能（ＡＩ）プラットフォームおよび関連する方法論に関する。より具体的には、本実施形態は、コンピュータビジョンおよびオブジェクト検知をサポートするために知識グラフを活用すること、およびコンピュータビジョンおよびオブジェクト検知によってサポートされる動的命令生成とインタフェースするために知識グラフを採用することに関する。
【背景技術】
【0002】
技術サポートサービスプロバイダは通常、顧客のニーズを満たすために大量の製品を保持している。多角的なサービスを提供するためには、広範な製品について訓練を受けた相当の技術力を維持する必要がある。製品ポートフォリオが増加し、技術者が複数の領域を等しく効果的にカバーしなければならないというプレッシャーがあることを考えると、これらの技術者を製品ポートフォリオのすべての製品の専門家になるよう訓練することは困難であり、障害となっている。
【発明の概要】
【0003】
リモートサポートは、しばしばリモート技術サポートと呼ばれる。ソフトウェア分野では、技術者がコンピューティングデバイスにリモート接続された状態で、コンピューティングデバイスをネットワークに接続することで、リモートサポートが可能になることがある。このようなリモートサポートは、技術者にファイル、装置、およびネットワークリソースへのアクセスを提供する場合がある。リモートアクセスを通じて、技術者は、技術サポートの対象であるコンピューティングデバイスのソフトウェアの問題を診断し、解決することができる。例示的な実施形態において、コンピューティングデバイスは、パーソナルコンピュータ、プロセッサ対応装置などを含むがこれらに限定されない、プロセッサ対応デバイスであってもよい。ある実施形態では、コンピューティングデバイスは、ネットワーク接続のためのインターネットプロトコル（ＩＰ）アドレスを有する物理オブジェクトである。したがって、技術サポートやソフトウェア関連の問題は、リモートベースでサポートされる可能性がある。
【0004】
ハードウェアの技術サポートは、製品の１つ以上の物理的な不具合や制限を解決するために、技術者の物理的な存在を必要とする。しかし、技術者のスキルを拡大することは困難であり、物理的なデバイス製品の拡大とともに課題も増加している。このようなスケーリング・アプローチの１つは、拡張現実（ＡＲ）駆動型の自己実現に向けられたもので、技術者は、ステップ・バイ・ステップの修理アクションを実行する方法を説明するテキストベースの知識アーティクルのインタラクティブな３次元表現である仮想手順を通じて、ＡＲシステムから直接命令を受ける。この自己実現は、リモート地の専門家への依存をなくし、専門家による修理指導に伴う遅延を経験する代わりに、関連情報への即時またはほぼ即時のアクセスを提供することによって、サポート・タイムラインを短縮する。しかし、ＡＲをサポートするために使用されるデータは限られており、ＡＲの範囲は事実上制限されている。ＡＲ駆動の自己実現をサポートするために、知識アーティクルとアーティクルコンテンツを効率的に理解し処理するための解決策は、実用レベルでは非常に困難である。
【0005】
本実施形態は、動的コンテンツ生成のためのコンピュータビジョンおよびオブジェクト検知のための、システム、コンピュータプログラム製品、および方法を含む。
【0006】
一態様では、知識グラフ（ＫＧ）駆動型コンテンツ生成のための人工知能（ＡＩ）コンピュータプラットフォームと共に使用するための処理ユニットおよびメモリを備えたコンピュータシステムが提供される。処理ユニットは、メモリに動作可能に結合され、ＡＩプラットフォーム、およびＫＧマネージャ、ディレクタ、および信号マネージャを含む組み込みツールと通信する。ＫＧマネージャは、１つ以上の知識アーティクルからＫＧを作成するように機能する。ＫＧはノードとエッジを含み、ノードは物理オブジェクトを表し、個々のエッジは物理オブジェクトのハードウェア状態の特性を表す。ディレクタは、訓練されたコンピュータビジョンモデルを活用して、１つ以上の物理コンポーネントを認識し、認識された物理コンポーネントのアクティブな状態を局所化する。ディレクタはさらに、局所化されたアクティブ状態と、ＫＧで表現されたハードウェア状態の特性に応答するコンテンツを動的に生成する。信号マネージャは、生成されたコンテンツに関連する動作可能に結合されたデバイスに制御信号を動的に発行するように機能する。制御信号は、認識された１つ以上の物理コンポーネントと生成されたコンテンツとの同期に応答するイベントインジェクションを選択的に制御するように構成される。
【0007】
別の態様では、知識グラフ（ＫＧ）駆動型コンテンツ生成をサポートするためにコンピュータプログラム装置が提供される。プログラムコードは、プロセッサによって実行可能であり、１つ以上の知識アーティクルからＫＧを作成する。ＫＧはノードとエッジを含み、ノードは物理オブジェクトを表し、個々のエッジは物理オブジェクトのハードウェア状態の特性を表す。プログラムコードは、訓練されたコンピュータビジョンモデルを活用して、１つ以上の物理コンポーネントを認識し、認識された物理コンポーネントのアクティブ状態を局所化する。プログラムコードは、局所化されたアクティブ状態と、ＫＧに表現されたハードウェア状態の特性に応答するコンテンツを生成する。プログラムコードは、生成されたコンテンツに関連する動作可能に結合されたデバイスに制御信号を動的に発行する。制御信号は、認識された１つ以上の物理コンポーネントと生成されたコンテンツとの同期に応答するイベントインジェクションを選択的に制御するように構成される。
【0008】
さらに別の態様では、知識グラフ（ＫＧ）駆動型コンテンツ生成をサポートする方法が提供される。ＫＧは、１つ以上の知識アーティクルから作成される。ＫＧはノードとエッジを含み、ノードは物理オブジェクトを表し、個々のエッジは物理オブジェクトのハードウェア状態の特性を表す。訓練されたコンピュータビジョンモデルを活用して、１つ以上の物理コンポーネントを認識し、認識された物理コンポーネントのアクティブな状態を局所化する。局所化されたアクティブ状態と、ＫＧに表現されたハードウェア状態の特性に応答して、コンテンツが生成される。制御信号は、生成されたコンテンツに関連する動作可能に結合されたデバイスに動的に発行される。制御信号は、認識された１つ以上の物理コンポーネントと生成されたコンテンツとの同期に応答するイベントインジェクションを選択的に制御するように構成される。
【0009】
これらの特徴および他の特徴および利点は、添付の図面と併せて考慮される、現在好ましい実施形態（単数または複数）の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0010】
本明細書で参照する図面は、本明細書の一部を構成する。図面に示す特徴は、特に明示しない限り、一部の実施形態のみを例示するものであり、全ての実施形態を例示するものではない。
【図1】知識グラフ駆動型コンテンツ生成をサポートする人工知能プラットフォーム・コンピューティング・システムおよびツールを示すシステム図である。
【図3】包括的でコンテキストに特化したＡＲガイダンスを提供するために知識グラフを作成し、活用するための過程を示すフローチャートである。
【図4】知識アーティクルから知識グラフを作成し、動的に維持するための過程を示すフローチャートである。
【図5】コンピュータシステムおよび関連するコンポーネントのための知識グラフの例を説明するための図である。
【図6】仮想手順および動的命令生成をサポートするために知識グラフを活用することを示すフローチャートである。
【図8】クラウドコンピュータ環境を示すブロック図である。
【図9】クラウドコンピューティング環境によって提供される機能抽象化モデルレイヤの一式を示すブロック図である。
【発明を実施するための形態】
【0011】
本明細書の図に一般的に説明および図示されているように、本実施形態のコンポーネントは、多種多様な異なる構成で配置および設計され得ることが容易に理解されるであろう。したがって、図に示されるような本実施形態の装置、システム、方法、およびコンピュータプログラム製品の実施形態の以下の詳細な説明は、特許請求されるような実施形態の範囲を限定することを意図するものではなく、単に選択された実施形態を代表するものである。
【0012】
本明細書全体を通して「選択された実施形態」、「一実施形態」、または「ある実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書を通じて様々な箇所で「選択された実施形態」、「一実施形態において」、または「ある実施形態において」という表現が現れるが、必ずしも同じ実施形態を指すわけではない。
【0013】
図示された実施形態は、図面を参照することによって最もよく理解され、図面全体を通して、同様の部分は同様の番号で示されているであろう。以下の説明は、例示としてのみ意図され、本明細書で特許請求される実施形態と一致するデバイス、システム、および過程の特定の選択された実施形態を単に例示する。
【0014】
拡張現実（ＡＲ）は、前記技術分野において、デジタル情報を使用者の環境とリアルタイムで統合するものとして理解されている。より具体的には、ＡＲはインタラクティブな現実ベースのディスプレイ環境の一種であり、コンピュータによって生成されたディスプレイ、サウンド、テキスト、エフェクトの機能を利用して、使用者の実世界体験を向上させる。ＡＲは、現実とコンピュータベースのシーンや画像を組み合わせて、統一化および強化された眺望を提供する。人工的な環境を作り出すバーチャルリアリティ（ＶＲ）と比較して、ＡＲは既存の環境を利用し、その上に新しい情報を重ね合わせる。シナリオの例としては、リモート地にいる経験の浅い技術者が不慣れな機械で作業する場合や、一実施形態では、技術者がこれまで遭遇したことのない問題に遭遇する場合などがある。ＡＲは、リモート地の現場技術者をサポートするために実装されつつある新興技術であり、ＡＲは、現場技術者に適切な文脈を伴うその場での視覚的命令を提供する一方で、命令を関連付けなければならないという認知的負担を取り除く。したがって、ＡＲは曖昧さを緩和し、一実施形態では曖昧さをなくし、エラーを減らし、視覚的ガイダンスによって修理過程の効率を高める。
【0015】
本明細書で示され、説明されるように、知識グラフ（ＫＧ）生成を通じてＡＲのためのコンテンツ生成をサポートし、強化するためにシステム、コンピュータプログラム製品、および方法が提供される。ＫＧは、データを統合するためにグラフ構造化データモデルまたはトポロジーを使用する知識ベースの表現であることが当技術分野で理解されている。ＫＧは、知識を、コンテンツおよび概念、ならびにそのようなコンテンツおよび概念間の関係として、グラフ形式で表す。ある実施形態では、ＫＧは、概念またはオブジェクト（本明細書ではコンテンツとも呼ばれる）がノードとして表され、概念またはオブジェクト間の関係がエッジまたはリンクとして表される、人間とコンピュータの両方が読み取り可能なオントロジーを含む。本実施形態は、命令アーティクルなどの１つ以上の知識アーティクルからＫＧを作成し、作成されたＫＧを活用して、ある実施形態では技術者のための包括的かつコンテキストに特化したＡＲガイダンスであるコンテンツを提供することに向けられる。このようなＫＧサポートＡＲガイダンスは、仮想手順命令における曖昧さを解決し、意図されたアクションの正確性を保証するために採用され得る。
【0016】
図１を参照すると、知識エンジンプラットフォームコンピューティングシステム（１００）の概略図が描かれている。図示のように、サーバ（１１０）が、ネットワーク接続（１０５）を越えて複数のコンピューティングデバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）と通信するように設けられている。サーバ（１１０）は、バス（１１４）を越えてメモリ（１１６）と通信するように処理ユニット（１１２）を備えて構成される。サーバ（１１０）は、ＫＧ駆動コンテンツ生成をサポートしかつ可能にする１つ以上のツールを用いて構成された人工知能（ＡＩ）プラットフォーム（１５０）を備えて示され、ある実施形態では、ＡＲに適用されるように構成される。サーバ（１１０）は、ネットワーク（１０５）を越えて、コンピューティングデバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）のうちの１つ以上と通信している。より具体的には、コンピューティングデバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、１つ以上の、有線もしくは無線またはその両方のデータ通信リンクを介して、互いに、および他のデバイスまたはコンポーネントと通信し、各通信リンクは、ワイヤ、ルータ、スイッチ、トランスミッタ、レシーバなどのうちの１つ以上を含む。このネットワーク化された配置において、サーバ（１１０）およびネットワーク接続（１０５）は、通信の検知、認識、および解決を可能にする。サーバ（１１０）の他の実施形態は、ここに描かれている以外のコンポーネント、システム、サブシステム、もしくは装置またはその組み合わせと共に使用することができる。
【0017】
ＡＩプラットフォーム（１５０）は、本明細書では、様々なソースから入力（１０２）を受け取るように構成されているように示されている。例えば、知識エンジン（１５０）は、ネットワーク（１０５）を越えて入力を受け取る、もしくは、本明細書ではコーパスまたは知識ベースとも呼ばれるデータソース（１６０）を活用する、またはその両方を行うことができる。示されているように、データソース（１６０）は、１つ以上のライブラリで構成される。例示的な目的のために、データソース（１６０）は、第１のライブラリであるライブラリ０（１６２０）および第２のライブラリであるライブラリ１（１６２１）と呼ばれる２つのライブラリを有するように本明細書において示される。しかしながら、ライブラリの量は限定的であると考えられるべきではない。第１のライブラリ０（１６２０）は、本明細書においてアーティクルと呼ばれる１つ以上の知識アーティクルを保存するように構成される。例として、第１のライブラリ（１６２０）は、アーティクル０、０（１６４０，０）、アーティクル０，１（１６４０，１）、...およびアーティクル０，Ｎ（１６４０，Ｎ）が示されている。ある実施形態において、第１のライブラリ０（１６２０）は、削減された量のアーティクルまたは拡大された量のアーティクルを含むことができる。同様に、ある実施形態において、データソース（１６０）は、これは要件ではないが、共通の主題もしくはテーマによって組織化されるか、もしくは組織化の対象となる複数のライブラリを含むことができる。
【0018】
ＡＩプラットフォーム（１５０）は、ＫＧの作成と、作成されたＫＧ（単数または複数）と対応するコンピュータビジョンモデルとの統合をサポートし、可能にするツールを備える。ツールは、ネットワーク（１０５）の至るところでＡＲおよびＶＲアプリケーションを最適化するように機能し、デバイスの最適化をサポートしかつ可能にする。ツールには、ＫＧマネージャ（１５２）、コンピュータビジョンマネージャ（１５４）、ディレクタ（１５６）、および信号マネージャ（１５８）が含まれるが、これらに限定されない。ＡＩプラットフォーム（１５０）は、ネットワーク（１０５）からの入力を受信するか、またはデータソース（１６０）を活用して、ＫＧを選択的に作成するか、またはある実施形態では作成されたＫＧを活用して、ある実施形態ではコンテキストに特化したＡＲガイダンスの形態であるコンテンツ生成をサポートすることができる。ＫＧマネージャ（１５２）は、１つ以上の知識または技術アーティクルからＫＧを作成するように構成される。一旦作成されると、ＫＧマネージャ（１５２）は作成されたＫＧを知識ベース（１６０）に保存し、作成されたＫＧを対応する知識アーティクルに関連付ける。例として、ＫＧ０，０(１６６０，０)はアーティクル０，０（１６４０，０）と関連付けられ、ＫＧ０，１(１６６０，１)はアーティクル０，１（１６４０，１）と関連付けられ、...そして、ＫＧ０，Ｎ(１６６０，Ｎ)はアーティクル０，Ｎ（１６４０，Ｎ）に関連付けられており、示されるように、これらのＫＧの各々は知識ベース(１６０)に保存される。したがって、ＫＧマネージャ（１５２）は、ＫＧを作成し、作成されたＫＧと対応する知識アーティクルとの関連付けの形成とともに、作成された各ＫＧを知識ベース（１６０）に格納する。
【0019】
ＫＧはノードとエッジを含み、個々のノードは、アーティクルで参照または識別される物理オブジェクトまたはコンポーネントを表し、個々のエッジは、物理オブジェクトのハードウェア状態の特性を表す。知識アーティクルのためのＫＧの例が、図５に示され、説明されている。各ハードウェアコンポーネントは、状態を有する。ある実施形態では、ハードウェアコンポーネントの状態は、ここではハードウェア状態とも呼ばれ、ハードウェアの電力状況を表すことがある。ハードウェア状態の電力状況の表現の例には、これらに限定されないが、なし、正常、ダウン、オンライン、行方不明、到達不能、重要、警告、ファームウェアのチェック、ファームウェアの更新、および未サポートが含まれる。同様に、ある実施形態では、ＫＧエッジで表現されるハードウェア状態の特性は、接続されたノード間の物理的関係であってもよい。ハードウェア状態の物理的関係の特性の例には、取り付けられている、含む、上にある、などが含まれるが、これらに限定されない。
【0020】
ＫＧマネージャー(１５２)は、対応する知識アーティクルからＫＧを作成するために自然言語処理(ＮＬＰ)を採用する。ＮＬＰとは、コンピュータサイエンスの一分野であり、より具体的には人工知能（ＡＩ）のことであり、人間の言語が書かれたり話されたりしたときにそれを理解するコンピュータプログラムの能力に対処する。ＮＬＰは計算言語学と統計学、機械学習、深レイヤ学習モデルを組み合わせ、テキストや音声データの形で人間の言語を処理し、その完全な意味を理解することを可能にする。ＫＧマネージャ（１５２）は、対応する知識アーティクルから１つ以上のフレーズを抽出および分析するように機能し、抽出および分析された１つ以上のフレーズは、１つ以上の物理オブジェクトを参照する。例示的な実施形態において、ＫＧマネージャ（１５２）は、知識アーティクルにおいて注目または参照される１つ以上の物理オブジェクト、例えばハードウェアオブジェクトを参照する１つ以上のフレーズを識別し、抽出されたフレーズ間の１つ以上の関係語を識別するために、ＮＬＰを活用する。ＫＧマネージャ(１５２)は、識別されたオブジェクトを１つ以上のノードに割り当て、１つ以上の関係語を１つ以上の対応するエッジに割り当てる。ある実施形態では、関係語は、抽出されたフレーズで注目または参照されるオブジェクト間の接続を説明する。ハードウェアデバイスのコンテキストでは、識別された各デバイスは、対応するハードウェア状態を有し、例示的な実施形態では、ハードウェアの電源状態、識別された関係語、またはハードウェアの電源状態と関係語の組み合わせを表す。同様に、ある実施形態では、関係語は、ハードウェアまたはハードウェアコンポーネントの別のハードウェアコンポーネントに対する近接関係を定義する形容詞の形態であってもよい。近位関係を含むＫＧエッジへの関係語の割り当ての例は、図５のＫＧのエッジに表されて示されている。したがって、ＫＧマネージャ（１５２）は、ＮＬＰを活用して、フレーズ内のオブジェクトと、２つ以上の抽出されたフレーズ間の１つ以上の関係語を識別し、さらに、１つ以上の関係語をハードウェア状態の特性と関連付ける。
【0021】
注釈付きデータを使用したリアルタイムのオブジェクト状態検知のために、コンピュータビジョンモデルが活用される。ある実施形態では、適切なコンピュータビジョンモデルが利用できない場合、コンピュータビジョンモデルは、注釈付き画像データもしくは注釈付きビデオデータまたはその両方などの注釈付きデータを使用して訓練されることがある。本明細書に示すように、コンピュータビジョンマネージャ（１５４）が、ＫＧマネージャ（１５２）に動作可能に結合されて示されている。コンピュータビジョンマネージャ（１５４）は、訓練されたコンピュータビジョンモデルを活用するように構成される。コンピュータビジョンモデルは、視覚認識モデルのような人工知能（ＡＩ）モデルである。一旦訓練されると、訓練されたコンピュータビジョンモデルは、物理コンポーネントを認識し、認識されたコンポーネントのアクティブ状態（本明細書では視覚状態とも呼ばれる）を局所化するために活用される。したがって、訓練されたビジョンモデルは、オブジェクトの視覚状態（例えば、開いている、閉じているなど）を識別するために活用され、単にオブジェクトの種類を分類するだけではない。
【0022】
本明細書に示すように、知識ベース（１６０）には第２のライブラリ、ライブラリ１、（１６２１）が示されている。第２のライブラリ、ライブラリ１、（１６２１）は、コンピュータビジョンモデル（以下、モデルと呼ぶ）を記憶する。ある実施形態において、コンピュータビジョンモデルは、生成されたＫＧと同じライブラリ、例えば第１のライブラリ（１６２０）に保存されてもよい。本明細書で例として示すように、第２のライブラリ（１６２１）は、モデル１，０（１６２１，０）、モデル１，１（１６２１，１）、...、モデル１，Ｎ（１６２１，Ｎ）で示される。ある実施形態では、各モデルは、１つ以上の対応するＫＧに関連付けられてもよい。例えば、モデル１，０（１６２１，０）はＫＧ0，0（１６６0，0）と関連付けられてもよく、モデル１，１（１６２１，１）はＫＧ0，１（１６６0，１）と関連付けられてもよく、...、モデル１，Ｎ（１６２１，Ｎ）はＫＧ0，Ｎ（１６６0，Ｎ）と関連付けられてもよい。同様に、ある実施形態において、第２のライブラリ（１６２１）は、別の知識ベース（図示せず）に配置されてもよい。したがって、モデルは、コンピュータビジョンマネージャ（１５４）によって作成および管理されるＡＩモデルである。モデルがどのように利用されるかの詳細は、以下に示され、詳細に説明される。
【0023】
異なるビジネス製品および装置がそれぞれドメインとして分類されてもよいことが理解される。一実施形態では、各ドメインは、それぞれが関連するまたは作成されたＫＧおよび対応するＡＩモデルを有する、１つ以上の対応する製品を有してもよい。例えば、一実施形態において、知識ベース（１６０）は、ドメインごとに組織化されてもよく、各ドメインは、１つ以上の知識アーティクルが集合したライブラリとして機能し、各アーティクルは、対応するＫＧおよび対応するＡＩモデルを有する。知識アーティクルまたは知識アーティクルのライブラリは、知識ベース（１６０）に追加されてもよく、対応するＫＧは、追加されたライブラリのアーティクルのために作成されてもよく、１つ以上の訓練されたＡＩモデルは、ＫＧに関連付けられてもよい。
【0024】
知識アーティクルは、ネットワーク（１０５）を越えて、サーバ（１１０）に動作可能に結合されたコンピューティングマシンのうちの１つ以上によって受信されてもよいことが理解される。知識アーティクルは、データリポジトリ（１６０）内のライブラリに配置または割り当てられてもよく、ある実施形態では、新しいライブラリがデータリポジトリ（１６０）内に作成されてもよい。例えば、新しい製品ラインの場合、新しい製品ラインを以前の製品ラインから分離するためには、データリポジトリ（１６０）内の新しいライブラリが適切な場合がある。本明細書に示すように、知識ベース（１６０）は、ドメインと、モデルおよびＫＧの形態で論理的にグループ化されたアクティビティデータとで構成される。知識アーティクルは、知識ベース（１６０）内に存在してもよいし、ネットワーク（１０５）と通信している様々なコンピューティングデバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）からＫＧマネージャ（１５２）によって勧誘または取得されてもよい。
【0025】
本明細書に示すように、ディレクタ（１５６）は、ＫＧマネージャ（１５２）およびコンピュータビジョンマネージャ（１５４）に動作可能に結合される。ディレクタ（１５６）は、第２のライブラリ（１６２１）に保存されたモデルの１つなどの、訓練されたコンピュータビジョンモデルを活用するように構成される。ある実施形態では、コンピュータビジョンモデルはリモートで訓練され、ネットワーク接続（１０５）を越えてディレクタ（１５６）に通信されることがある。ディレクタ（１５６）は、認識された物理コンポーネント、例えば物理オブジェクトのアクティブ状態を局所化するために、訓練されたコンピュータビジョンモデルをリアルタイムのオブジェクト状態検出に使用する。リアルタイムのオブジェクト状態検知のプロセスが図６に示し、説明されている。ディレクタ（１５６）は、対応するＫＧと連携してコンピュータビジョンモデルを活用し、仮想手順命令を動的に生成し、動的に生成された命令は、局所化され検知された物理オブジェクトの状態と、ＫＧに表現された対応するハードウェア状態の特性データとに基づく。より具体的には、ディレクタ（１５６）は、コンピュータビジョンモデルを活用して、命令に関連する目標物理ハードウェアオブジェクトの名前を抽出し、対応するＫＧにおいて抽出された名前を識別し、ＫＧを活用して目標オブジェクトの状態を抽出する。コンピュータビジョンモデルを使用して、ディレクタ（１５６）は、目標オブジェクトの視覚状態を識別し、次に、ＫＧから抽出された目標オブジェクトの状態とコンピュータビジョンモデルによって識別された視覚状態との比較を実施する。比較は、ディレクタ（１５６）が目標オブジェクトのハードウェア状態と、識別されたオブジェクトの視覚状態との間の差異を計算することを伴う。例示的な実施形態では、類似性は、各状態の確率を予測する訓練されたニューラルネットワークを通じて計算される。コンピュータビジョンモデルは、計算された差異を活用して、仮想手順命令を動的に生成する。ある実施形態において、計算された差異は、設定可能な閾値に関して評価される数値であり、信号は、閾値を満たすことに基づいて生成される。
【0026】
本明細書で示され、説明されるように、ＡＩモデルは、動的に生成された仮想手順命令の形態で出力を作成する。ディレクタ（１５６）は、仮想手順命令を選択的に生成するように構成される。ある本明細書では、信号マネージャ（１５８）がＡＩプラットフォーム（１５０）に動作可能に結合されて示されている。ある実施形態では、信号マネージャ（１５８）は、ＡＩプラットフォーム（１５０）にツールとして組み込まれてもよい。ある実施形態では、仮想手順命令は、技術的製品の修理およびＡＲに向けられ、信号マネージャは、仮想手順命令と製品との間のインタフェースとして機能し、ある実施形態では、生成された手順命令と、対応する物理コンポーネントの状態との同期を含む。例示的な実施形態では、ディレクタ（１５６）および信号マネージャ（１５８）の機能は、生成された命令と、認識された物理オブジェクトの状態とをつなぎ合わせるように向けられる。ある実施形態において、コンピュータビジョンモデルの視覚認識精度は、ＫＧによってサポートされる。信号マネージャ（１５８）は、検知されたオブジェクト状態の評価と、ＫＧでサポートされるように意図されたオブジェクト状態との同期とに基づいて、生成された信号で、ある実施形態では生成されたＫＧを通して識別される、動作可能に結合されたデバイスを制御するように構成される。このネットワーク化された配置において、サーバ（１１０）およびネットワーク接続（１０５）は、コンピューティングデバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）のうちの１つ以上の制御信号の送信を可能にし、またはある実施形態において、評価および同期の対象となる、動作可能に結合された物理的装置を可能にする。
【0027】
命令の生成は、コンピュータビジョン入力を介した先行命令の実施、および製品修理における次のステップが準備できたこと、または必要であることの指標または信号として機能する。同様に、ある実施形態では、ＡＩモデルによる命令の生成は、対象のハードウェア要素の局所化されたアクティブ状態と、ＫＧで表されるハードウェア状態の特性に応答する。モデルは、仮想手順に関連する後続の命令を処理するための出力を作成する。同期評価とともにモデルからの出力は、本明細書では符号化されたアクションとも呼ばれる制御信号の選択的な発行を命令し、制御信号は物理的装置、または物理的装置のコンポーネントに向けられる。例示的な実施形態では、制御信号は、オブジェクトの状態の変化を促進または引き起こし、オブジェクトを第１の状態から第２の状態へ物理的に変換する。したがって、信号マネージャ（１５８）は、ディレクタ（１５６）によるサポートとしてコンピュータビジョンモデルとインタフェースし、生成された命令とコンポーネント認識の同期を確実にする制御信号を選択的に生成し、制御信号は、オブジェクトの状態の変換を促進または引き起こす。
【0028】
本明細書で説明されるように、ＡＩプラットフォーム（１５０）および対応するツール（１５２）～（１５８）は、知識ベース（１６０）に動作可能に結合され、知識ベースは、その中に１つ以上のＫＧおよびモデルを有する、１つ以上のライブラリを含む。ＫＧマネージャ（１５２）はＫＧを作成および管理し、ＫＧは対応する知識アーティクルの表現である。示され、説明されているように、各ＫＧはノードとエッジを備え、ノードには物理デバイスのコンポーネントが集合している。各エッジは２つのノードを接続し、ＫＧマネージャは対応する知識アーティクルで提供される特性データを各エッジに割り当てる。ある実施形態では、知識アーティクルは製品の修理手順を含む製品マニュアルである。製品が進化するにつれて、製品マニュアルは変更される可能性があり、ＫＧマネージャ(１５２)は、更新または修正を反映するために対応するＫＧを更新または修正するように構成される。このような更新の例としては、新しいノードの作成、既存のノードの削除、新しいエッジの作成、エッジの１つ以上に割り当てられたデータの更新などが挙げられるが、これらに限定されない。したがって、ＫＧは、対応する知識アーティクルに対する更新または修正に基づいてＫＧを能動的かつ動的に維持し、さらに、リモートブジェクト状態認識およびオブジェクト状態の選択的変換をサポートするために、コンピュータビジョンモデルと連携して１つ以上の動的に維持されたＫＧを採用する。
【0029】
ＫＧマネージャ（１５２）によって管理されるような知識アーティクルのＫＧ表現への処理は、オンラインまたはある実施形態ではオフラインで、または１つ以上のバックグラウンド処理として実施されてもよい。上述したように、オンライン管理に向けられた実施形態では、ＫＧマネージャ（１５２）は、対応するまたは表現された知識アーティクルの変更または更新に基づいてＫＧを動的に更新する。コンピュータビジョンマネージャ（１５４）、ディレクタ（１５６）、及び信号マネージャ（１５８）の機能は、手順命令の選択的な実施のための信号を動的に制御するためにオンラインで実施される。信号マネージャ（１５８）は、イベントインジェクションを制御するために、選択的に制御信号を１つ以上の装置に生成または発行するように構成される。例えば、信号マネージャ（１５８）は、対応する物理的装置またはそのコンポーネントに対する手順命令の影響を修正、遅延、または他の方法で緩和するための制御信号を発行することができる。同様に、ある実施形態では、信号マネージャ（１５８）は、物理オブジェクトの状態を修正または物理変換するために、対応するモデルによって認識される物理オブジェクトと直接インタフェースしてもよい。別の例示的な実施形態では、装置またはコンポーネントは製品ディスペンサであり、発行された信号は、局所化されたアクティブ状態とハードウェア状態の特性データとを整合させるために、物理的または仮想環境において、製品ディスペンサの機能特性を修正することができる。ある実施形態では、信号マネージャ（１５８）は、製品の対応する機能特性に対する制御動作を計算し、計算された制御動作に基づいて制御信号を選択的に生成する。制御動作は、一実施形態では直接制御できないイベントであるイベントを実現する可能性を最大化するために、イベントインジェクションを直接制御するためのフィードバック信号として適用することができる。したがって、信号マネージャ（１５８）は、作成され、ある実施形態では動的に維持される、ＫＧとコンピュータビジョンモデルを活用して、物理的装置またはコンポーネントと仮想手順命令との同期をサポートするためのインジェクションを制御するために、ＫＧの対象である１つ以上の物理デバイスに制御信号、または、ある実施形態ではフィードバック信号を選択的に発行する。
【0030】
本明細書で説明するシステムおよび関連ツールは、ＡＩを活用してＫＧの生成および保全をコンピュータビジョンと組み合わせ、本明細書では制御信号とも呼ばれる信号を動的に発行し、仮想手順および関連する命令をサポートするためにイベントインジェクションを制御または修正する。コンピュータビジョンモデルは、ＫＧとその構造をイベントシークエンスと対応するトランザクションに活用する。当技術分野では、子イベントは親イベントに依存し、例示的な実施形態では複数の親イベントに依存することが理解されている。このように、例示的な実施形態では、子イベントに向けられた信号の発生は、親の物理オブジェクト状態を制御することによって何らかの形で修正変更される可能性がある。ある実施形態では、信号マネージャ（１５８）は、ＫＧに反映されたデータと抽出された目標オブジェクトハードウェア状態データとの比較に基づいて、イベントインジェクションを選択的に制御する。制御アクションは、イベントを実現する可能性を最大化するためにイベントインジェクションを直接制御するフィードバック信号として適用されてもよく、一実施形態では、直接制御できないイベントであってもよい。したがって、信号マネージャ（１５８）は、コンピュータビジョンモデルおよび生成されたＫＧを活用して、物理装置へのイベントのインジェクションを制御するために、１つ以上の物理デバイスに対して制御信号、またはある実施形態ではフィードバック信号を選択的に実施する。
【0031】
示されているように、ネットワーク（１０５）は、ＡＩプラットフォーム（１５０）が、ローカルおよびグローバル、例えばインターネットを含むあらゆる規模の環境で動作し得るように、様々な実施形態においてローカルネットワーク接続およびリモート接続を含み得る。さらに、ＡＩプラットフォーム（１５０）は、ネットワークアクセス可能なリソースもしくは構造化データソースまたはその両方から抽出された、またはネットワークアクセス可能なもしくは構造化データソースまたはその両方で表された様々な知識を利用可能にすることができるフロントエンドシステムとして機能する。このようなやり方で、いくつかの過程がＡＩプラットフォーム（１５０）に組み込まれ、ＡＩプラットフォーム（１５０）はまた、要求を受け取り、それに応じて応答するための入力インタフェースを含む。
【0032】
ネットワーク（１０５）は、ＡＩプラットフォーム（１５０）がローカルおよびグローバル、例えばインターネットを含むあらゆる規模の環境で動作し得るように、様々な実施形態においてローカルネットワーク接続およびリモート接続を含み得る。さらに、ＡＩプラットフォーム（１５０）は、ネットワークアクセス可能なリソースもしくは構造化データソースまたはその両方から抽出された、またはネットワークアクセス可能なもしくは構造化データソースまたはその両方で表された様々な知識を利用可能にすることができるシステムとして機能する。このようなやり方で、いくつかの過程がＡＩプラットフォーム（１５０）に組み込まれ、ＡＩプラットフォーム（１５０）はまた、要求を受け取り、それに応じて応答するための１つ以上の入力インタフェースまたはポータルを含む。
【0033】
ＡＩプラットフォーム（１５０）および関連ツール（１５２）～（１５８）は、知識ベース（１６０）および関連知識アーティクルを活用して、ＫＧの生成および保守をサポートし、ＫＧを動的に活用して、デバイスおよび通信の最適化に向けられた１つ以上のアクションの組織化を行う。ネットワーク（１０５）を越えて受信されたデバイス処理データは、サーバ（１１０）、例えばＩＢＭ－Ｗａｔｓｏｎ（登録商標）サーバ、および対応するＡＩプラットフォーム（１５０）によって処理され得る。本明細書に示すように、ＡＩプラットフォーム（１５０）は、組み込みツール（１５２）～（１５８）とともに、コンピュータビジョンデータの分析を実行し、検知されたオブジェクト状態の意図されたまたは文書化された製品状態との同期を動的に実施または更新し、また、ＫＧ内のオブジェクト状態と同期するようにオブジェクト状態を物理的に変更するための１つ以上の信号を生成する。したがって、ツールおよび対応する分析および同期の機能は、検知された物理的なオブジェクト状態の動的最適化を組み込むことである。
【0034】
いくつかの例示的な実施形態では、サーバ（１１０）は、ニューヨーク州アーモンクのInternational Business Machines Corporationから入手可能なＩＢＭ－Ｗａｔｓｏｎ（登録商標）システムであってもよく、このシステムは、以下に説明する例示的な実施形態の機構で増強されている。ツール（１５２）～（１５８）（以下、ＡＩツールと総称する）は、サーバ（１１０）のＡＩプラットフォーム（１５０）内に実装されるか、または統合されるものとして示されている。ＡＩツールは、別個のコンピューティングシステム（例えば、１９０）において実装されてもよく、あるいは、一実施形態では、サーバ（１１０）にネットワーク（１０５）を越えて接続された１つ以上のシステムにおいて実装され得る。どのような実施形態であっても、ＡＩツールは、オブジェクト状態の変更および同期化を通じて、デバイス動作を動的に最適化するように機能する。
【0035】
人工知能プラットフォーム（１５０）を利用することができるデバイスおよび対応するシステムの様式は、ハンドヘルドコンピュータ／携帯電話（１８０）のような小型のハンドヘルドデバイスから、メインフレームコンピュータ（１８２）のような大型のメインフレームシステムに及ぶ。ハンドヘルドコンピュータ（１８０）の例としては、パーソナルデジタルアシスタント（ＰＤＡ）、ＭＰ４プレーヤなどのパーソナルエンターテインメントデバイス、ポータブルテレビ、およびコンパクトディスクプレーヤを含む。情報処理システムの他の例としては、ペン、またはタブレットコンピュータ（１８４）、ラップトップ、またはノートブックコンピュータ（１８６）、パーソナルコンピュータシステム（１８８）、およびサーバ（１９０）を含む。示されているように、様々なデバイスおよびシステムは、コンピュータネットワーク（１０５）を使用してネットワーク接続することができる。様々なデバイスおよびシステムを相互接続するために使用できるコンピュータネットワーク（１０５）の種類は、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、インターネット、公衆交換電話網（ＰＳＴＮ）、他のワイヤレスネットワーク、およびデバイスおよびシステムを相互接続するために使用できる他の任意のネットワークトポロジーを含む。装置およびシステムの多くは、ハードドライブもしくは不揮発性メモリまたはその両方などの不揮発性データストアを含む。装置やシステムの中には、個別の不揮発性データストアを使用するものもある（例えば、サーバ（１９０）は不揮発性データストア（１９０Ａ）を利用し、メインフレームコンピュータ（１８２）は不揮発性データストア（１８２Ａ）を利用する）。不揮発性データストア（１８２Ａ）は、様々なデバイスやシステムの外部にあるコンポーネントとすることも、デバイスやシステムの内部にあるコンポーネントとすることもできる。
【0036】
人工知能プラットフォーム（１５０）をサポートするために採用されるデバイス（単数または複数）およびシステム（単数または複数）は、多くの形態をとることができ、そのうちのいくつかは図１に示されている。例えば、情報処理システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、または他のフォームファクタのコンピュータまたはデータ処理システムの形態をとることができる。さらに、デバイス（単数または複数）およびシステム（単数または複数）は、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームデバイス、ＡＴＭ機、携帯電話装置、通信装置、またはプロセッサおよびメモリを含む他の装置などの他のフォームファクタを取ることができる。
【0037】
アプリケーション・プログラム・インタフェース（ＡＰＩ）は、２つ以上のアプリケーション間のソフトウェア仲介として当技術分野で理解されている。図１に示され説明されたＡＩプラットフォーム（１５０）に関して、１つ以上のＡＰＩが、ツール（１５２）～（１５８）およびそれらの関連する機能の１つ以上をサポートするために利用され得る。図２を参照すると、ツール（２５２）～（２５８）およびそれらの関連ＡＰＩを示すブロック図（２００）が提供されている。示されているように、複数のツールがＡＩプラットフォーム（２０５）内に埋め込まれ、ツールは、ＡＰＩ０（２１２）に関連付けられた（２５２）として本明細書に示されるＫＧマネージャ（１５２）、ＡＰＩ１（２２２）に関連付けられた（２５４）として本明細書に示されるコンピュータビジョンマネージャ（１５４）、ＡＰＩ２（２３２）に関連付けられた（２５６）として本明細書に示されるディレクタ（１５６）、およびＡＰＩ３（２４２）に関連付けられた（２５８）として本明細書に示される信号マネージャ（１５８）を含む。ＡＰＩの各々は、１つ以上の言語およびインタフェース仕様で実装され得る。ＡＰＩ０（２１２）は、１つ以上の対応するＫＧを生成し、対応する知識アーティクルへの変更を考慮して生成されたＫＧを動的に維持するために、１つ以上の知識アーティクルとインタフェースするための機能的サポートを提供し、ＡＰＩ１（２２２）は、対応する知識アーティクルからＫＧを生成するための機能的サポートを提供し、ＡＰＩ２（２３２）は、動的に仮想手順命令を生成するために、生成されたＫＧと共に、訓練されたコンピュータビジョンモデルを活用するための機能的サポートを提供し、ＡＰＩ３（２４２）は、生成された仮想手順命令に関連付けられる、動作可能に結合された物理デバイスに動的に制御信号を発行するための機能的サポートを提供する。示されるように、ＡＰＩ（２１２）、（２２２）、（２３２）、および（２４２）の各々は、別名オーケストレーションレイヤとして知られているＡＰＩオーケストレータ（２６０）に動作可能に結合されており、当技術分野では個別のＡＰＩを透過的にスレッド化するための抽象化レイヤとして機能すると理解されている。一実施形態では、個別のＡＰＩの機能を結合または組み合わせることができる。このように、本明細書に示すＡＰＩの構成は、限定的なものと考えられるべきではない。したがって、本明細書で示すように、ツールの機能は、それぞれのＡＰＩによって実装またはサポートされてもよい。
【0038】
図３を参照すると、包括的でコンテキストに特化したＡＲガイダンスを提供するために知識グラフを作成し、活用することを説明するためのフローチャート（３００）が提供されている。最初のステップは、対応する知識アーティクル（３０２）から知識グラフを作成することに向けられる。例示的な実施形態において、知識アーティクルは、製品保全技術文書であってもよい。同様に、ある実施形態では、知識グラフは、以前に作成され、知識ベースに反映されているように知識アーティクルと関連付けられていてもよい。対応する知識アーティクルからの知識グラフ作成の詳細は、図４に示され、説明されている。知識グラフの作成に加えて、リアルタイムのオブジェクト状態検知のための訓練されたコンピュータビジョンモデルが識別される（３０４）。例示的な実施形態では、識別された、訓練されたコンピュータビジョンモデルは、対応するＫＧで表されるような注釈付きデータを活用するように構成される。ある実施形態において、コンピュータビジョンモデルは、視覚認識モデルのような人工知能（ＡＩ）モデルである。訓練されたコンピュータビジョンモデルは、物理コンポーネントを認識し、認識されたコンポーネントの状態（本明細書ではアクティブオブジェクト状態とも呼ぶ）を局所化するために活用される（３０６）。その後、仮想手順命令が、認識されたコンポーネントの局所化されたアクティブ状態と、ＫＧに表現されたハードウェア特性データの両方に基づいて動的に生成される（３０８）。コンポーネント認識と、仮想手順命令の動的生成の詳細が図６に示され、説明されている。生成された命令が正確であることを保証するために、同期評価が行われ、認識されたコンポーネントの局所化されたアクティブ状態と、動的に生成された命令が評価される（３１０）。例えば、ある実施形態では、生成された命令は、異なるコンポーネント、または同じコンポーネントであるが異なるように局所化された状態に向けられる可能性があり、これは非同期の証拠となる。ある実施形態では、同期の証拠は生成されたＫＧでサポートされる。ステップ(３１０)で、同期が存在すると判断された場合、手順命令が発行され(３１２)、同様に、同期が存在しないと判断された場合、信号マネージャ(１５８)によってサポートされ、有効化されるように、制御信号が投入される(３１４)。したがって、コンピュータビジョンモデルの統合とともにＫＧの作成は、ＡＲ駆動型のリモート共同作業をサポートし、可能にする。
【0039】
本明細書で示され、説明されるように、オブジェクト状態の検知と同期は、生成された、一実施形態では動的に維持される、ＫＧを活用する。図４を参照すると、知識アーティクルからＫＧを生成し、動的に維持する過程を説明するためのフローチャート（４００）が提供されている。図１に示され説明されるように、知識アーティクルは知識ベース（１６０）に記憶されてもよいし、ネットワーク接続（１０５）を介して受信されてもよい。例示的な実施形態において、知識アーティクルは、ハードウェアデバイス、例えば物理オブジェクトや機械に関連付けられ、関連するクエリを通じて識別されてもよい。例えば、知識アーティクルは、機械修理マニュアルの形態の技術文書であってもよい。本明細書で示されるように、知識アーティクルは識別されるか、または受信される（４０２）。ある実施形態において、知識アーティクルの識別は、知識アーティクルが特定のハードウェアデバイスまたは装置に関連することを確認することを含む。図１に示され、説明されるように、作成されたＫＧは、知識ベースに記憶され、対応する知識アーティクルに関連付けられる。ステップ(４０２)に続いて、受信または識別された知識アーティクルのために以前に作成されたＫＧがあるかどうかが判断される(４０４)。ステップ(４０４)での決定に対する肯定的な応答は、ＫＧがすでに存在すること、またはある実施形態では、以前に作成されたＫＧのバージョンが終了することを示す。ステップ(４０４)での判断に対する肯定的な応答の後、識別されたＫＧが知識アーティクルと整合するかどうかが判断される(４０６)。例えば、ある実施形態では、知識アーティクルは、ＫＧの前のバージョン以降に修正または更新されている可能性がある。例示的な実施形態では、ＫＧは、知識アーティクルのバージョンに向けられたメタデータを含み、ステップ（４０６）での評価は、ＫＧのメタデータのバージョンが知識アーティクルのメタデータ内のバージョンと一致するかどうかを判断する。ステップ(４０６)での判断に対する肯定的な応答は、識別されたＫＧを知識アーティクルに関連付けることに続き、ＫＧを作成する過程は終了する(４０８)。
【0040】
本明細書で示すように、ステップ(４０４)での判断に対する否定応答は、知識アーティクルの先行ＫＧバージョンが存在しないことを示すものであり、続いて、知識アーティクルに自然言語処理(ＮＬＰ)を活用して適用し、知識アーティクルから１つ以上のフレーズを抽出し(４１０)、抽出されたフレーズを分析して、その中で参照されている物理オブジェクトを識別する(４１２)。識別されたオブジェクトは、形成されつつあるＫＧの個々のノードとして割り当てられるか、指定される(４１４)。ＮＬＰはさらに活用され、知識アーティクルに適用され、２つ以上の抽出されたフレーズ間の１つ以上の関係語を識別し(４１６)、識別された関係語を、識別されたオブジェクトのハードウェア状態の特性と関連付ける(４１８)。関係語の識別に基づいて、作成されたノードの２つの間にエッジが作成され（４２０）、２つのノードを接続する、作成されたエッジにハードウェア状態の特性が割り当てられる（４２２）。したがって、ＫＧの作成は、オブジェクトを識別し、識別されたオブジェクトをノードに割り当て、オブジェクト間の関係語を識別し、識別された関係語に基づいて２つのノード間にエッジを作成し、作成された各ノードにハードウェア特性データを関連付けるために、ＮＬＰを採用する。
【0041】
上記で明確にしたように、知識アーティクルが修正されたり、置き換えられたりする可能性があることは当業者に理解されている。例えば、製品が変更された場合、使用者マニュアルは、製品の変更をサポートし、反映するために、更新または修正の対象となることがある。ある実施形態では、利用者マニュアルの更新は、製品の変更に合わせるために異なるバージョンの識別子を含むことができる。ステップ(４０６)での決定に対する否定的な応答は、整合していないことを示すものであり、識別されたＫＧ（４２４）と知識アーティクルの再整合が続く。例示的な実施形態では、ステップ(４２４)での再整合は、修正されたコンテンツを識別するためにＮＬＰを活用することを含む。例えば、ある実施形態では、識別されたＫＧに対応する知識アーティクルと、ステップ（４０２）で受信または識別された知識アーティクルは、識別され、変更されたコンテンツとの比較の対象となる。この変更されたコンテンツを使用して、ステップ(４２４)の再整合過程は、変更された知識アーティクルのコンテンツを反映し組み込むために、選択的かつ動的にＫＧを修正するために、ステップ(４１０)～(４２２)を組み込む。
【0042】
作成または更新されたＫＧは、知識ベース(１６０)に記憶され、対応する知識アーティクルと関連付けられる。図５を参照すると、コンピュータシステムおよび関連するコンポーネントのためのＫＧの例を説明するための図（５００）が提供されている。図示されているように、ＫＧに表されている物理デバイスは、バッテリ（５０４）とマザーボード（５０６）を含むラップトップコンピュータ（５０２）である。エッジＡ（５０４Ａ）は、ラップトップ（５０２）とバッテリ（５０４）の関係を示し、ハードウェアの収容状態を示している。同様に、エッジＢ（５０４Ｂ）は、ラップトップ（５０２）とマザーボード（５０６）との関係を示し、ハードウェアの収容状態を示している。マザーボード（５０６）は、マザーボードねじ（５１０）、ファンねじ（５１２）、ファン（５１４）、ハードディスク（５１６）、およびＣＰＵ（５１８）を含む４つの関連部品とともに示されている。マザーボードと各関連部品との間には、個別のエッジが設けられている。すなわち、エッジＣ（５１２Ｃ）、エッジＤ（５１２Ｄ）、エッジＥ（５１２Ｅ）、エッジＦ（５１２Ｆ）、エッジＧ（５１２Ｇ）、およびエッジＨ（５１２Ｈ）である。この例では、エッジＣ（５１２Ｃ）、エッジＤ（５１２Ｄ）、エッジＥ（５１２Ｅ）、エッジＦ（５１２Ｆ）、エッジＧ（５１２Ｇ）のそれぞれにおける動作可能ハードウェア状態の特性は「含む」であり、エッジＨ（５１２Ｈ）における動作可能ハードウェア状態特性は「取り付けられている」である。ハードディスクノード（５１６）は、エッジＩ（５１６Ｉ）を介してハードディスクねじ（５２０）に関連して示され、動作可能なハードウェア状態の特性は「取り付けられている」として示されている。同様に、ファンノード（５１４）は、エッジＪ（５３０Ｊ）を介してヒートシンク（５３０）に関連し、動作可能なハードウェア状態の特性が「上にある」として示され、エッジＩ（５４０Ｋ）を介してファンねじ（５１２）に関連し、動作可能なハードウェア状態特性が「取り付けられている」として示されている。ヒートシンクノード（５３０）はまた、「上にある」の動作可能状態特性を有するエッジＬ（５３０Ｌ）を介してＣＰＵ（５１８）に関連することが示されている。図中のエッジ矢印は、コンポーネントと対応する特性との間の依存関係を示す。例えば、ノード（５０２）、例えばラップトップは、エッジＢ（５０４Ｂ）で表されるようにマザーボード（５０６）を含み、ノード（５１２）、例えばファンのネジは、エッジＫ（５４０Ｋ）で表されるようにファン（５１４）に取り付けられている。したがって、ここに示すＫＧは、物理オブジェクト、そのようなオブジェクト間の関係、および対応するハードウェア状態の特性データの例示的な表現である。
【0043】
図５に示すＫＧは、対応する知識アーティクルから作成された例示的なＫＧであり、そこに示すノードとエッジは、例示的な目的のためであり、限定的であると考えられるべきではない。図６を参照すると、仮想手順と動的命令生成をサポートするためにＫＧを活用することを説明するためにフローチャート（６００）が提供されている。本明細書で示され、説明されるように、コンピュータビジョンモデルと組み合わせたＫＧは、技術サポートのコンテキストにおけるＡＲ駆動リモート共同作業および自己実現をサポートし、可能にする。コンピュータビジョンモデルは、ハードウェアコンポーネントを認識するために活用され、機械学習モデルは、認識されたコンポーネントのハードウェア状態を検知するために活用される。ある実施形態では、機械学習モデルは深レイヤ学習モデルである。ＮＬＰ技術は、命令とそのコンテキストを理解するために活用される。示されるように、物理デバイスに対応する知識アーティクルが識別されるか、または他の方法で確認される（６０２）。次に、識別された知識アーティクルが、関連するまたは対応するＫＧを有するかどうかが判断される（６０４）。ステップ(６０４)での判断に対する否定的な応答には、識別された知識アーティクルのＫＧを生成するために図４に戻ること(６０６)が続き、肯定的な応答には、リアルタイムのオブジェクト検知のために、訓練されたコンピュータビジョンモデルを識別すること(６０８６)が続く。訓練されたコンピュータビジョンモデルは、物理コンポーネントおよびコンポーネント状態の認識をサポートし、可能にするために活用される。
【0044】
ＡＲは、様々なハードウェア製品をサポートする技能を技術者に装備させる仮想手順を通じて、製品の修理に対処する。例示的な実施形態では、仮想手順は、製品の修理または保守動作を実行する方法を説明するテキストベースの知識アーティクルの対話型二次元または三次元視覚表現である。ステップ(６０８６)からのコンピュータビジョンモデルは、本明細書では目標オブジェクトとも呼ばれる物理オブジェクトまたはコンポーネントを認識し、認識されたオブジェクトのアクティブ状態または現在の状態を局所化するために活用される(６１０)。目標オブジェクトの名前が抽出される（６１２）。ある実施形態では、ステップ(６１２)で目標オブジェクトの話し言葉の名前を識別し理解するために、音声認識の形式のＮＬＰが使用される。次に、知識アーティクルのＫＧ表現は、目標オブジェクトを表す、対応するノードを識別し（６１４）、対応するエッジを介してＫＧから目標オブジェクト状態を抽出するために活用される（６１６）。ステップ(６１０)で確認された、局所化されたオブジェクト状態と、ステップ(６１６)で確認された、抽出された目標オブジェクト状態の比較が行われる(６１８)。ステップ（６１８）での比較は、ＫＧで定義された関係を活用して、要求されるハードウェア状態と視覚的に認識された状態との差異を計算する、例えば、状態間の差異を計算する。例えば、製品修理及び関連する命令の場合、ステップ（６１８）における状態間の比較は、後続の命令を指示し得る。ある実施形態では、ステップ（６１８）での比較は、ハードウェア状態と視覚的に認識された状態とが互換性があるかどうかの判定であってもよく、または、ある実施形態では互換性がないかどうかの判定であってもよい。ステップ（６１８）での比較および計算に続いて、動的に生成された仮想手順命令が選択的に実施される（６２０）。例えば、比較の結果が、状態に互換性があることを示す場合、修理過程は、次の命令（６２２）に進むことができ、状態に互換性がないと判定された場合、修理過程は、物理的な装置またはコンポーネントに信号を送信して、装置またはコンポーネントの状態を修正し（６２４）、その後、ステップ（６１０）に戻ることができる。したがって、仮想命令は、ハードウェアコンポーネントのＫＧ表現を介して動的かつ選択的にサポートされる。
【0045】
本明細書に図示され、説明される実施形態は、危険を最小化するために１つ以上のドメインにわたる活動の組織化を提供するためのインテリジェントコンピュータプラットフォームと共に使用するためのコンピュータシステムの形態であってもよい。ツール（１５２）～（１５８）の側面およびそれらの関連機能は、単一の場所にあるコンピュータシステムもしくはサーバまたはその両方に実装されてもよく、または一実施形態では、コンピューティング・リソースを共有するクラウドベースのシステムに構成されてもよい。図７を参照すると、図１～６に関して上述したシステム、ツール、および過程を実施するための、クラウドコンピューティング環境（７１０）内のホスト（７０２）と呼ばれるコンピュータシステム／サーバ（７０２）の一例を示すブロック図（７００）が提供される。ホスト（７０２）は、多数の他の汎用または特殊目的のコンピューティングシステム環境または構成で動作可能である。ホスト（７０２）と共に使用するのに適した周知のコンピューティングシステム、環境、もしくは構成またはその組み合わせの例としては、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサに基づいたシステム、セットトップボックス、プログラマブル家電、ネットワークＰＣ、ミニコンピュータシステム、メインフレームコンピュータシステム、および上記のシステム、デバイス、およびそれらの等価物のいずれかを含むファイルシステム（例えば、分散ストレージ環境および分散クラウドコンピューティング環境）を含むが、これらに限定されない。
【0046】
ホスト（７０２）は、コンピュータシステムによって実行されるプログラムモジュールなどのコンピュータシステム実行可能命令の一般的なコンテキストで説明することができる。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含み得る。ホスト（７０２）は、通信ネットワークを通じて結びつけられたリモート処理デバイスによってタスクが実行される分散クラウドコンピューティング環境で実施される場合がある。分散クラウドコンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルおよびリモートのコンピュータシステムの記憶媒体の両方に配置されてもよい。
【0047】
図７に示すように、ホスト（７０２）は、汎用コンピューティングデバイスの形態で示されている。ホスト（７０２）のコンポーネントは、１つ以上のプロセッサまたは処理ユニット（７０４）、例えばハードウェアプロセッサ、システムメモリ（７０６）、およびシステムメモリ（７０６）を含む様々なシステムコンポーネントをプロセッサ（７０４）に結合するバス（７０８）を含み得るが、これらに限定されない。バス（７０８）は、種々のバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート（ＡＧＰ）、およびプロセッサまたはローカルバスを含む複数種類のバス構造のうち１つ以上の任意のものを表す。一例として、かかるアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、およびＰＣＩエクスプレス（ＰＣＩｅ）バスを含む。ホスト（７０２）は、典型的には、様々なコンピュータシステム可読媒体を含む。そのような媒体は、ホスト（７０２）によってアクセス可能な利用可能な媒体であれば何でもよく、揮発性媒体と不揮発性媒体、取外し可能媒体と取外し不可能媒体の両方を含む。バス（７０８）は、種々のバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート（ＡＧＰ）、およびプロセッサまたはローカルバスを含む複数種類のバス構造のうち１つ以上の任意のものを表す。一例として、かかるアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、拡張ＩＳＡ（ＥＩＳＡ）バス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、およびＰＣＩエクスプレス（ＰＣＩｅ）バスを含む。
【0048】
メモリ（７０６）は、ＲＡＭ（７３０）もしくはキャッシュメモリ（７３２）またはその両方など、揮発性メモリとしてのコンピュータシステム可読媒体を含むことができる。一例として、ストレージシステム（７３４）は、取り外し不能な不揮発性磁気媒体もしくはソリッドステートドライブまたはその両方（不図示。一般に「ハードドライブ」と呼ばれる）への読み書きのために設けることができる。また、図示は省略するが、取り外し可能な不揮発性磁気ディスク（例えば、フロッピーディスク）への読み書きのための磁気ディスクドライブ、および取り外し可能な不揮発性光学ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭや他の光学媒体など）への読み書きのための光学ディスクドライブを設けることができる。これらの例において、それぞれを、１つ以上のデータ媒体インタフェースによってバス（７０８）に接続することができる。
【0049】
一例として、プログラムモジュール（７４２）のセット（少なくとも１つ）を有するプログラム／ユーティリティ（７４０）は、例示であって限定するものではないが、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータと同様に、メモリ（７０６）に記憶することができる。オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータ、またはそれらのいくつかの組み合わせの各々は、ネットワーク環境の実装形態を含むことができる。プログラムモジュール（７４２）は一般に、危険を最小化するために１つ以上のドメインにわたる活動の動的に組織化するために、実施形態の機能もしくは方法またはその両方を実行する。例えば、プログラムモジュール（７４２）の一式は、図１で説明したようなツール（１５２）～（１５６）を含むことができる。
【0050】
また、ホスト（７０２）は、キーボード、ポインティングデバイス、ディスプレイなどの１つ以上の外部デバイス（７１４）、ユーザとホスト（７０２）とのインタラクションを可能にする１つ以上のデバイス、もしくはホスト（７０２）と１つ以上の他のコンピューティングデバイスとの通信を可能にする任意のデバイス（例えば、ネットワークカードやモデムなど）またはこれらの組み合わせと通信することができる。このような通信は、入力／出力（Ｉ／Ｏ）インタフェース（単数または複数）（７２２）を介して行うことができる。さらに、ホスト（７０２）は、ネットワークアダプタ（７２０）を介して１つ以上のネットワーク（ローカルエリアネットワーク（ＬＡＮ）、汎用ワイドエリアネットワーク（ＷＡＮ）、もしくはパブリックネットワーク（例えばインターネット）またはこれらの組み合わせなど）と通信することができる。図示するように、ネットワークアダプタ（７２０）は、バスを介してホスト（７０２）の他のコンポーネントと通信する。なお、図示は省略するが、他のハードウェアコンポーネントもしくはソフトウェアコンポーネントまたはその両方を、ホスト（７０２）コンピュータシステム１２と併用することができる。それらの一例としては、特に限定されないが、マイクロコード、デバイスドライバ、冗長化処理ユニット、外付けディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ、データアーカイブストレージシステムなどが挙げられる。
【0051】
本明細書では、「コンピュータプログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ可読媒体」という用語は、一般に、ＲＡＭ（７３０）を含むメインメモリ（７０６）、キャッシュ（７３２）、および、取り外し可能なストレージドライブやハードディスクドライブにインストールされたハードディスクなどのストレージシステム（７３４）などの媒体を指すために使用される。
【0052】
コンピュータプログラム（コンピュータ制御ロジックとも呼ばれる）はメモリ（７０６）に記憶される。コンピュータプログラムは、ネットワークアダプタ（７２０）などの通信インタフェースを介して受信することもできる。このようなコンピュータプログラムは、実行されると、本明細書で論じるように、コンピュータシステムが本実施形態の特徴を実行することを可能にする。特に、コンピュータプログラムは、実行されると、処理ユニット（７０４）がコンピュータシステムの機能を実行することを可能にする。したがって、このようなコンピュータプログラムは、コンピュータシステムのコントローラを表す。
【0053】
コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持し、記憶することができる有形の装置とすることができる。コンピュータ可読記憶媒体は、一例として、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置またはこれらの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ（またはフラッシュメモリ）、ＳＲＡＭ、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、フロッピーディスク、パンチカードまたは溝内の隆起構造などに命令を記録した機械的に符号化された装置、およびこれらの適切な組み合せが含まれる。本明細書で使用されるコンピュータ可読記憶装置は、電波もしくは他の自由に伝播する電磁波、導波管もしくは他の伝送媒体を介して伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号のような、一過性の信号それ自体として解釈されるべきではない。
【0054】
本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理装置に、または、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくはワイヤレスネットワークまたはその組み合わせ）を介して外部コンピュータまたは外部記憶装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバー、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバーまたはその組み合わせで構成される。各コンピューティング／処理装置のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を転送する。
【0055】
本実施形態の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と「Ｃ」プログラミング言語や類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであってよい。コンピュータ可読プログラム命令は、スタンドアロンソフトウェアパッケージとして、完全にユーザのコンピュータ上で、または部分的にユーザのコンピュータ上で実行可能である。あるいは、部分的にユーザのコンピュータ上でかつ部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバまたはサーバのクラスター上で実行可能である。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され、または（例えば、インターネットサービスプロバイダーを使用したインターネット経由で）外部コンピュータに接続されてよい。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してパーソナライズすることにより、コンピュータ可読プログラム命令を実行することができる。
【0056】
一実施形態では、ホスト（７０２）はクラウドコンピューティング環境のノードである。当技術分野で知られているように、クラウドコンピューティングは、設定可能なコンピューティング・リソース（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、記憶装置、アプリケーション、仮想マシンおよびサービス）の共有プールへの簡便かつオンデマンドのネットワークアクセスを可能にするためのサービス提供のモデルであり、リソースは、最小限の管理労力または最小限のサービスプロバイダとのやり取りによって速やかに準備（provision）およびリリースできるものである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つの展開モデルを含むことができる。特性は以下の通りである。
【0057】
オンデマンド・セルフサービス：クラウドの消費者は、サービスプロバイダとの人的な対話を必要することなく、必要に応じて自動的に、サーバ時間やネットワークストレージなどのコンピューティング能力を一方的に準備することができる。
【0058】
ブロード・ネットワークアクセス：コンピューティング能力はネットワーク経由で利用可能であり、また、標準的なメカニズムを介してアクセスできる。それにより、異種のシンまたはシッククライアントプラットフォーム（例えば、携帯電話、ラップトップ、ＰＤＡ）による利用が促進される。
【0059】
リソースプーリング：プロバイダのコンピューティング・リソースはプールされ、マルチテナントモデルを利用して複数の消費者に提供される。様々な物理リソースおよび仮想リソースが、需要に応じて動的に割り当ておよび再割り当てされる。一般に消費者は、提供されたリソースの正確な位置を管理または把握していないため、位置非依存（location independence）の感覚がある。ただし消費者は、より高い抽象レベル（例えば、国、州、データセンタ）では場所を特定可能な場合がある。
【0060】
迅速な柔軟性（elasticity）：コンピューティング能力は、迅速かつ柔軟に準備することができるため、場合によっては自動的に、直ちにスケールアウトし、また、速やかにリリースされて直ちにスケールインすることができる。消費者にとって、準備に利用可能なコンピューティング能力は無制限に見える場合が多く、任意の時間に任意の数量で購入することができる。
【0061】
サービスの測定：クラウドシステムは、サービスの種類（例えば、ストレージ、処理、帯域幅、アクティブユーザアカウント）に適したある程度の抽象化レベルでの計量機能（metering capability）を活用して、リソースの使用を自動的に制御し最適化する。リソース使用量を監視、制御、および報告して、利用されるサービスのプロバイダおよび消費者の両方に透明性を提供することができる。
【0062】
サービスモデルは以下の通りである。
【0063】
サービスとしてのソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上で動作するプロバイダのアプリケーションを利用できることである。当該そのアプリケーションは、ウェブブラウザ（例えばウェブメール）などのシンクライアントインタフェースを介して、各種のクライアント装置からアクセスできる。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージや、個別のアプリケーション機能さえも含めて、基礎となるクラウドインフラストラクチャの管理や制御は行わない。ただし、ユーザ固有の限られたアプリケーション構成の設定はその限りではない。
【0064】
サービスとしてのプラットフォーム（ＰａａＳ）：消費者に提供される機能は、プロバイダによってサポートされるプログラム言語およびツールを用いて、消費者が作成または取得したアプリケーションを、クラウドインフラストラクチャに展開（deploy）することである。消費者は、ネットワーク、サーバ、オペレーティングシステム、ストレージを含む、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、展開されたアプリケーションを制御でき、かつ場合によってはそのホスティング環境の構成も制御できる。
【0065】
サービスとしてのインフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、オペレーティングシステムやアプリケーションを含む任意のソフトウェアを消費者が展開および実行可能な、プロセッサ、ストレージ、ネットワーク、および他の基本的なコンピューティング・リソースを準備することである。消費者は、基礎となるクラウドインフラストラクチャの管理や制御は行わないが、オペレーティングシステム、ストレージ、および展開されたアプリケーションを制御でき、かつ場合によっては一部のネットワークコンポーネント（例えばホストファイアウォール）を部分的に制御できる。
【0066】
展開モデルは以下の通りである。
【0067】
プライベートクラウド：このクラウドインフラストラクチャは、特定の組織専用で運用される。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
【0068】
コミュニティクラウド：このクラウドインフラストラクチャは、複数の組織によって共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス）を持つ特定のコミュニティをサポートする。このクラウドインフラストラクチャは、当該組織または第三者によって管理することができ、オンプレミスまたはオフプレミスで存在することができる。
【0069】
パブリッククラウド：このクラウドインフラストラクチャは、不特定多数の人々や大規模な業界団体に提供され、クラウドサービスを販売する組織によって所有される。
【0070】
ハイブリッドクラウド：このクラウドインフラストラクチャは、２つ以上のクラウドモデル（プライベート、コミュニティまたはパブリック）を組み合わせたものとなる。それぞれのモデル固有の実体は保持するが、標準または個別の技術によってバインドされ、データとアプリケーションの可搬性（例えば、クラウド間の負荷分散のためのクラウドバースティング）を実現する。
【0071】
クラウドコンピューティング環境は、ステートレス性（statelessness）、低結合性（low coupling）、モジュール性（modularity）および意味論的相互運用性（semantic interoperability）に重点を置いたサービス指向型環境である。クラウドコンピューティングの中核にあるのは、相互接続されたノードのネットワークを含むインフラストラクチャである。
【0072】
ここで図８を参照すると、例示的なクラウドコンピューティングネットワーク（８００）が示されている。） 示されるように、クラウドコンピューティングネットワーク（７００）は、クラウドコンシューマによって使用されるローカルコンピューティングデバイスが通信することができる１つ以上のクラウドコンピューティングノード（８１０）を有するクラウドコンピューティング環境（８５０）を含む。これらのローカルコンピューティングデバイスの例としては、パーソナルデジタルアシスタント（ＰＤＡ）または携帯電話（８５４Ａ）、デスクトップコンピュータ（８５４Ｂ）、ラップトップコンピュータ（８５４Ｃ）、および／または自動車コンピュータシステム（８５４Ｎ）が挙げられるが、これらに限定されない。ノード（８１０）内の個々のノードは、さらに互いに通信することができる。それらは、本明細書で上述したように、プライベート、コミュニティ、パブリック、またはハイブリッドクラウドなどの１つ以上のネットワーク、またはそれらの組み合わせにおいて、物理的または仮想的にグループ化（図示せず）されてもよい。これにより、クラウドコンピューティング環境（８００）は、クラウドコンシューマがローカルコンピューティングデバイス上のリソースを維持する必要のないサービスとして、インフラストラクチャ、プラットフォーム、および／またはソフトウェアを提供することができる。図８に示されるコンピューティングデバイス（８５４Ａ～Ｎ）のタイプは、例示のみを意図しており、クラウドコンピューティング環境（８５０）は、任意のタイプのネットワークおよび／またはネットワークアドレス可能接続（例えば、ウェブブラウザを使用する）を介して、任意のタイプのコンピュータ化されたデバイスと通信することができることを理解されたい。
【0073】
ここで、クラウドコンピューティングネットワーク（図８）によって提供される機能的抽象化レイヤのセットを図９に示す。なお、図９に示すコンポーネント、レイヤおよび機能は例示に過ぎず、本発明の実施形態はこれらに限定されないことをあらかじめ理解されたい。図示するように、以下のレイヤおよび対応する機能が提供される：ハードウェアおよびソフトウェアレイヤ（９１０）、仮想化レイヤ（９２０）、管理レイヤ（９３０）、およびワークロードレイヤ（９４０）。
【0074】
ハードウェアおよびソフトウェアレイヤ（９１０）は、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例には、メインフレーム、一例としてＩＢＭpSeries（登録商標）システム、縮小命令セットコンピュータ（ＲＩＳＣ）アーキテクチャベースのサーバ、一例としてＩＢＭpSeries（登録商標）システム、ＩＢＭ xSeries（登録商標）システム、ＩＢＭ BladeCenter（登録商標）システム、記憶装置、ならびにネットワークおよびネットワークコンポーネントが含まれる。ソフトウェアコンポーネントの例には、一例としてＩＢＭ WebSphere（登録商標）アプリケーション・サーバ・ソフトウェアなどのネットワークアプリケーションサーバソフトウェアおよび一例としてＩＢＭ ＤＢ２（登録商標）データベースソフトウェアなどのデータベースソフトウェア６８を含む。(ＩＢＭ、zSeries、pSeries、xSeries、BladeCenter、WebSphere、およびＤＢ２は、世界中の多くの管轄区域で登録されているInternational Business Machines Corporationの商標である。）
【0075】
仮想化レイヤ（９２０）は、抽象化レイヤを提供する。当該レイヤから、例えば、仮想サーバ、仮想ストレージ、仮想プライベート・ネットワークを含む仮想ネットワーク、仮想アプリケーションおよびオペレーティングシステム、ならびに仮想クライアントなどの仮想エンティティを提供することができる。
【0076】
一例では、管理レイヤ（９３０）は、以下の機能を提供し得る：リソースのプロビジョニング、メータリングおよび価格設定、ユーザポータル、サービスレイヤ管理、およびＳＬＡの計画および履行。リソース・プロビジョニングは、クラウドコンピューティング環境内でタスクを実行するために利用されるコンピューティング・リソースおよび他のリソースの動的な調達を提供する。メータリングとプライシングは、リソースがクラウドコンピューティング環境内で利用される際のコスト追跡と、これらのリソースの消費に対する課金または請求書を提供する。一例として、これらのリソースはアプリケーション・ソフトウェア・ライセンスで構成される。セキュリティは、クラウドのコンシューマとタスクの身元確認、およびデータとその他のリソースの保護を提供する。ユーザポータルは、コンシューマとシステム管理者にクラウドコンピューティング環境へのアクセスを提供する。サービスレイヤ管理は、必要なサービスレイヤが満たされるように、クラウド・コンピューティング・リソースの割り当てと管理を提供する。サービスレイヤ・アグリーメント（ＳＬＡ）のプランニングと履行は、ＳＬＡに従って、将来の要件が予想されるクラウド・コンピューティング・リソースの事前手配と調達を提供する。
【0077】
ワークロードレイヤ(９４０)は、クラウドコンピューティング環境の利用が可能な機能の例を提供する。このレイヤから提供可能なワークロードおよび機能の例には、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想教室教育の配信、データ分析処理、取引処理、および拡張現実（ＡＲ）のための知識グラフ（ＫＧ）駆動型コンテンツ生成が挙げられるが、これらに限定されない。
【0078】
本明細書には、自然言語入力を評価し、対応する通信における質問事項を検知し、検知された質問事項を回答もしくはサポートコンテンツまたはその両方で解決するためのシステム、方法、装置、およびコンピュータプログラム製品が開示されていることが理解されよう。
【0079】
本実施形態の特定の実施形態を示し、説明したが、本明細書の教示に基づいて、実施形態およびその広範な態様から逸脱することなく、変更および修正を行うことができることは、当業者には明らかであろう。したがって、添付の請求項は、実施形態の真の範囲内にあるようなすべての変更および修正をその範囲内に包含するものである。さらに、実施形態は、添付の請求項によってのみ定義されることを理解されたい。導入された請求項要素の特定の数が意図される場合、そのような意図は請求項において明示的に記載され、そのような記載がない場合、そのような限定は存在しないことが当業者には理解されよう。非限定的な例として、理解の一助として、以下の添付の請求項には、請求項要素を導入するために「少なくとも１つ」および「１つ以上」という導入句の使用を含んでいる。しかしながら、このような語句の使用は、不定冠詞「a」または「an」による請求項要素の導入が、そのような導入された請求項要素を含む特定の請求項を、そのような要素を１つだけ含む実施形態に限定することを意味するものと解釈されるべきではなく、同じ請求項が導入語句「１つ以上」または「少なくとも１つ」および「a」または「an」のような不定冠詞を含む場合であっても、定冠詞の請求項における使用についても同様である。
【0080】
本実施形態は、システム、方法、もしくはコンピュータプログラム製品またはその組み合わせであってよい。さらに、本実施形態の選択された態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアもしくはハードウェアまたはその両方の態様を組み合わせた実施形態の形態をとることができ、これらはすべて、本明細書において一般に「回路」、「モジュール」または「システム」と呼ばれることがある。さらに、本実施形態の態様は、本実施形態の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または媒体）に実装されたコンピュータプログラム製品の形態をとることができる。このように実装された、開示されたシステム、方法、もしくはコンピュータプログラム製品またはその組み合わせは、ＡＲのためのＫＧ駆動コンテンツ生成によってサポートされるように、人工知能プラットフォームの機能性および動作を改善するように動作可能である。
【0081】
本実施形態の態様は、本明細書において、本実施形態に係る方法、装置（システム）、およびコンピュータプログラム製品のフローチャートもしくはブロック図またはその両方を参照して説明されている。フローチャートもしくはブロック図またはその両方における各ブロック、および、フローチャートもしくはブロック図またはその両方における複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実行可能である。
【0082】
これらのコンピュータ可読プログラム命令は、機械を生産するために、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供することができる。これにより、このようなコンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行されるこれらの命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行するためのツールを創出する。これらのコンピュータ可読プログラム命令はさらに、コンピュータ、プログラマブルデータ処理装置もしくは他のデバイスまたはこれらの組み合わせに対して特定の態様で機能するよう命令可能なコンピュータ可読記憶媒体に記憶することができる。これにより、命令が記憶された当該コンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作の態様を実行するための命令を含む製品を構成する。
【0083】
また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラマブル装置、または他のデバイスにロードし、一連の動作ステップを当該コンピュータ、他のプログラマブル装置、または他のデバイス上で実行させることにより、コンピュータ実行プロセスを生成してもよい。これにより、当該コンピュータ、他のプログラマブル装置、または他のデバイス上で実行される命令が、フローチャートもしくはブロック図またはその両方における１つ以上のブロックにて特定される機能／動作を実行する。
【0084】
図面におけるフローチャートおよびブロック図は、本発明の種々の実施形態に係るシステム、方法およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点に関して、フローチャートまたはブロック図における各ブロックは、特定の論理機能を実行するための１つ以上の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことができる。他の一部の実装形態において、ブロック内に示した機能は、各図に示す順序とは異なる順序で実行されてもよい。例えば、関係する機能に応じて、連続して示される２つのブロックが、実際には、１つの工程として達成されてもよいし、同時もしくは略同時に実行されてもよいし、部分的もしくは全体的に時間的に重複した態様で実行されてもよいし、ブロックが場合により逆順で実行されてもよい。なお、ブロック図もしくはフローチャートまたはその両方における各ブロック、および、ブロック図もしくはフローチャートまたはその両方における複数のブロックの組み合わせは、特定の機能もしくは動作を行う、または専用ハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェアベースのシステムによって実行可能である。
【0085】
本明細書では、例示の目的で特定の実施形態を説明したが、実施形態の範囲から逸脱することなく、様々な変更を行うことができるということが理解されよう。特に、ＫＧの作成、コンピュータビジョンモデルの活用、信号または命令の動的生成、および同期は、異なるコンピューティングプラットフォームによって、または複数のデバイスにわたって実施されてもよい。さらに、データストレージもしくはコーパスまたはその両方は、局所化されていても、リモートであっても、複数のシステムにまたがって広がっていてもよい。したがって、実施形態の保護範囲は、以下の特許請求の範囲およびそれに準じる物によってのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2024-04-17
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【0039】
本明細書で示され、説明されるように、オブジェクト状態の検知と同期は、生成された、一実施形態では動的に維持される、ＫＧを活用する。図４を参照すると、知識アーティクルからＫＧを生成し、動的に維持する過程を説明するためのフローチャート（４００）が提供されている。図１に示され説明されるように、知識アーティクルは知識ベース（１６０）に記憶されてもよいし、ネットワーク接続（１０５）を介して受信されてもよい。例示的な実施形態において、知識アーティクルは、ハードウェアデバイス、例えば物理オブジェクトや機械に関連付けられ、関連するクエリを通じて識別されてもよい。例えば、知識アーティクルは、機械修理マニュアルの形態の技術文書であってもよい。本明細書で示されるように、知識アーティクルは識別されるか、または受信される（４０２）。ある実施形態において、知識アーティクルの識別は、知識アーティクルが特定のハードウェアデバイスまたは装置に関連することを確認することを含む。図１に示され、説明されるように、作成されたＫＧは、知識ベースに記憶され、対応する知識アーティクルに関連付けられる。ステップ(４０２)に続いて、受信または識別された知識アーティクルのために以前に作成されたＫＧがあるかどうかが判断される(４０４)。ステップ(４０４)での決定に対する肯定的な応答は、ＫＧがすでに存在すること、またはある実施形態では、以前に作成されたＫＧのバージョンが存在することを示す。ステップ(４０４)での判断に対する肯定的な応答の後、識別されたＫＧが知識アーティクルと整合するかどうかが判断される(４０６)。例えば、ある実施形態では、知識アーティクルは、ＫＧの前のバージョン以降に修正または更新されている可能性がある。例示的な実施形態では、ＫＧは、知識アーティクルのバージョンに向けられたメタデータを含み、ステップ（４０６）での評価は、ＫＧのメタデータのバージョンが知識アーティクルのメタデータ内のバージョンと一致するかどうかを判断する。ステップ(４０６)での判断に対する肯定的な応答は、識別されたＫＧを知識アーティクルに関連付けることに続き、ＫＧを作成する過程は終了する(４０８)。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【0040】
本明細書で示すように、ステップ(４０４)での判断に対する否定応答は、知識アーティクルの先行ＫＧバージョンが存在しないことを示すものであり、続いて、知識アーティクルに自然言語処理(ＮＬＰ)を活用して適用し、知識アーティクルから１つ以上のフレーズを抽出し(４１０)、抽出されたフレーズを分析して、その中で参照されている物理オブジェクトを識別する(４１２)。識別されたオブジェクトは、形成されつつあるＫＧの個々のノードとして割り当てられるか、指定される(４１４)。ＮＬＰはさらに活用され、知識アーティクルに適用され、２つ以上の抽出されたフレーズ間の１つ以上の関係語を識別し(４１６)、識別された関係語を、識別されたオブジェクトのハードウェア状態の特性と関連付ける(４１８)。関係語の識別に基づいて、作成されたノードの２つの間にエッジが作成され（４２０）、２つのノードを接続する、作成されたエッジにハードウェア状態の特性が割り当てられる（４２２）。したがって、ＫＧの作成は、オブジェクトを識別し、識別されたオブジェクトをノードに割り当て、オブジェクト間の関係語を識別し、識別された関係語に基づいて２つのノード間にエッジを作成し、作成された各エッジにハードウェア特性データを関連付けるために、ＮＬＰを採用する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【0042】
作成または更新されたＫＧは、知識ベース(１６０)に記憶され、対応する知識アーティクルと関連付けられる。図５を参照すると、コンピュータシステムおよび関連するコンポーネントのためのＫＧの例を説明するための図（５００）が提供されている。図示されているように、ＫＧに表されている物理デバイスは、バッテリ（５０４）とマザーボード（５０６）を含むラップトップコンピュータ（５０２）である。エッジＡ（５０４Ａ）は、ラップトップ（５０２）とバッテリ（５０４）の関係を示し、ハードウェアの収容状態を示している。同様に、エッジＢ（５０４Ｂ）は、ラップトップ（５０２）とマザーボード（５０６）との関係を示し、ハードウェアの収容状態を示している。マザーボード（５０６）は、マザーボードねじ（５１０）、ファンねじ（５１２）、ファン（５１４）、ハードディスク（５１６）、およびＣＰＵ（５１８）を含む４つの関連部品とともに示されている。マザーボードと各関連部品との間には、個別のエッジが設けられている。すなわち、エッジＣ（５１２Ｃ）、エッジＤ（５１２Ｄ）、エッジＥ（５１２Ｅ）、エッジＦ（５１２Ｆ）、エッジＧ（５１２Ｇ）、およびエッジＨ（５１２Ｈ）である。この例では、エッジＣ（５１２Ｃ）、エッジＤ（５１２Ｄ）、エッジＥ（５１２Ｅ）、エッジＦ（５１２Ｆ）、エッジＧ（５１２Ｇ）のそれぞれにおける動作可能ハードウェア状態の特性は「含む」であり、エッジＨ（５１２Ｈ）における動作可能ハードウェア状態特性は「取り付けられている」である。ハードディスクノード（５１６）は、エッジＩ（５１６Ｉ）を介してハードディスクねじ（５２０）に関連して示され、動作可能なハードウェア状態の特性は「取り付けられている」として示されている。同様に、ファンノード（５１４）は、エッジＪ（５３０Ｊ）を介してヒートシンク（５３０）に関連し、動作可能なハードウェア状態の特性が「上にある」として示され、エッジ
Ｋ
（５４０Ｋ）を介してファンねじ（５１２）に関連し、動作可能なハードウェア状態特性が「取り付けられている」として示されている。ヒートシンクノード（５３０）はまた、「上にある」の動作可能状態特性を有するエッジＬ（５３０Ｌ）を介してＣＰＵ（５１８）に関連することが示されている。図中のエッジ矢印は、コンポーネントと対応する特性との間の依存関係を示す。例えば、ノード（５０２）、例えばラップトップは、エッジＢ（５０４Ｂ）で表されるようにマザーボード（５０６）を含み、ノード（５１２）、例えばファンのネジは、エッジＫ（５４０Ｋ）で表されるようにファン（５１４）に取り付けられている。したがって、ここに示すＫＧは、物理オブジェクト、そのようなオブジェクト間の関係、および対応するハードウェア状態の特性データの例示的な表現である。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【0043】
図５に示すＫＧは、対応する知識アーティクルから作成された例示的なＫＧであり、そこに示すノードとエッジは、例示的な目的のためであり、限定的であると考えられるべきではない。図６を参照すると、仮想手順と動的命令生成をサポートするためにＫＧを活用することを説明するためにフローチャート（６００）が提供されている。本明細書で示され、説明されるように、コンピュータビジョンモデルと組み合わせたＫＧは、技術サポートのコンテキストにおけるＡＲ駆動リモート共同作業および自己実現をサポートし、可能にする。コンピュータビジョンモデルは、ハードウェアコンポーネントを認識するために活用され、機械学習モデルは、認識されたコンポーネントのハードウェア状態を検知するために活用される。ある実施形態では、機械学習モデルは深レイヤ学習モデルである。ＮＬＰ技術は、命令とそのコンテキストを理解するために活用される。示されるように、物理デバイスに対応する知識アーティクルが識別されるか、または他の方法で確認される（６０２）。次に、識別された知識アーティクルが、関連するまたは対応するＫＧを有するかどうかが判断される（６０４）。ステップ(６０４)での判断に対する否定的な応答には、識別された知識アーティクルのＫＧを生成するために図４に戻ること(６０６)が続き、肯定的な応答には、リアルタイムのオブジェクト検知のために、訓練されたコンピュータビジョンモデルを識別すること（６０８）が続く。訓練されたコンピュータビジョンモデルは、物理コンポーネントおよびコンポーネント状態の認識をサポートし、可能にするために活用される。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【0044】
ＡＲは、様々なハードウェア製品をサポートする技能を技術者に装備させる仮想手順を通じて、製品の修理に対処する。例示的な実施形態では、仮想手順は、製品の修理または保守動作を実行する方法を説明するテキストベースの知識アーティクルの対話型二次元または三次元視覚表現である。ステップ（６０８）からのコンピュータビジョンモデルは、本明細書では目標オブジェクトとも呼ばれる物理オブジェクトまたはコンポーネントを認識し、認識されたオブジェクトのアクティブ状態または現在の状態を局所化するために活用される(６１０)。目標オブジェクトの名前が抽出される（６１２）。ある実施形態では、ステップ(６１２)で目標オブジェクトの話し言葉の名前を識別し理解するために、音声認識の形式のＮＬＰが使用される。次に、知識アーティクルのＫＧ表現は、目標オブジェクトを表す、対応するノードを識別し（６１４）、対応するエッジを介してＫＧから目標オブジェクト状態を抽出するために活用される（６１６）。ステップ(６１０)で確認された、局所化されたオブジェクト状態と、ステップ(６１６)で確認された、抽出された目標オブジェクト状態の比較が行われる(６１８)。ステップ（６１８）での比較は、ＫＧで定義された関係を活用して、要求されるハードウェア状態と視覚的に認識された状態との差異を計算する、例えば、状態間の差異を計算する。例えば、製品修理及び関連する命令の場合、ステップ（６１８）における状態間の比較は、後続の命令を指示し得る。ある実施形態では、ステップ（６１８）での比較は、ハードウェア状態と視覚的に認識された状態とが互換性があるかどうかの判定であってもよく、または、ある実施形態では互換性がないかどうかの判定であってもよい。ステップ（６１８）での比較および計算に続いて、動的に生成された仮想手順命令が選択的に実施される（６２０）。例えば、比較の結果が、状態に互換性があることを示す場合、修理過程は、次の命令（６２２）に進むことができ、状態に互換性がないと判定された場合、修理過程は、物理的な装置またはコンポーネントに信号を送信して、装置またはコンポーネントの状態を修正し（６２４）、その後、ステップ（６１０）に戻ることができる。したがって、仮想命令は、ハードウェアコンポーネントのＫＧ表現を介して動的かつ選択的にサポートされる。
【国際調査報告】