特開 2025-162971 対話型時系列分析システムおよびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025162971

(43)【公開日】2025-10-28

(54)【発明の名称】対話型時系列分析システムおよびその方法

(51)【国際特許分類】

   G06F 16/732 20190101AFI20251021BHJP

【ＦＩ】

G06F16/732

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2025036203

(22)【出願日】2025-03-07

(31)【優先権主張番号】18/636919

(32)【優先日】2024-04-16

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＩＳＵＡＬ ＢＡＳＩＣ

２．ＰＹＴＨＯＮ

３．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】平井 理宇

(72)【発明者】

【氏名】スダンシュ ガウア

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175DA04

(57)【要約】      （修正有）

【課題】時間の経過とともに刻々と変化するイベントの意味を動的に解釈したり、時間に関する抽象的で曖昧さのないクエリのための会話インタフェースを利用する対話型時系列分析のためのシステムおよび方法を提供する。
【解決手段】対話型時系列分析システムは、複数のビデオを管理する大容量データストレージ３００と、クエリを受信すると、クエリに関連する複数のビデオからのビデオの各フレーム上の少なくとも1つのオブジェクトの確率情報を計算し、過去から指定時刻までの確率情報に基づいて指定時刻の少なくとも1つのオブジェクトの状態を計算し、クエリに応答する自然言語出力で分析と予測を出力する大規模言語モデル（ＬＬＭ）に指定時刻の状態を入力する時系列解析コンポーネント１００と、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のビデオを管理するデータベースと、
問い合わせを受信するように構成された処理部と、を有し、
前記処理部は、
複数のビデオからクエリに関連するビデオの各フレームの少なくとも１つのオブジェクトの確率情報を計算し、
過去から指定された時間までの確率情報に基づいて、指定された時間における少なくとも１つのオブジェクトの状態を計算し、
クエリに応答する自然言語出力で分析と予測を出力するように構成された大規模言語モデル（ＬＬＭ）に、指定された時間の状態を入力する
対話型時系列分析システム。

【請求項2】

請求項１に記載の対話型時系列分析システムにおいて、
前記処理部は、過去および現在の確率情報を統合することにより、指定された時刻における前記少なくとも１つの物体の状態を計算するように構成されている、
対話型時系列分析システム。

【請求項3】

請求項１に記載の対話型時系列分析システムにおいて、
前記ＬＬＭは、前記確率情報の入力と、前記指定された時間における前記少なくとも１つのオブジェクトの状態とに基づいて、対話応答を生成する
対話型時系列分析システム。

【請求項4】

請求項１に記載の対話型時系列分析システムにおいて、
前記処理部は、
前記少なくとも１つの物体の動的変化を組み込んだ確率モデルを用いて、前記指定された時間の状態を計算するように構成されている
対話型時系列分析システム。

【請求項5】

請求項１に記載の対話型時系列分析システムにおいて、
前記処理部は、
将来の確率情報を予測することにより、指定された時間の状態を計算し、将来の確率情報をＬＬＭへの入力として使用することから、将来の事象の分析および予測を容易にするように構成されている
対話型時系列分析システム。

【請求項6】

請求項１に記載の対話型時系列分析システムにおいて、
前記ＬＬＭは、
生成された対話応答とユーザからの追加情報要求のコンテキストに応じて、応答を動的に調整するように構成されている
対話型時系列分析システム。

【請求項7】

請求項１に記載の対話型時系列分析システムにおいて、
前記ＬＬＭは、
将来の確率情報に基づく自然言語出力における予測を、警告、提案、または行動指示のうちの1つ以上として出力するように構成されている
対話型時系列分析システム。

【請求項8】

請求項１に記載の対話型時系列分析システムにおいて、
前記処理部は、
前記確率情報を計算する前に、前処理手順によりラベル情報を最適化するように構成されている
対話型時系列分析システム。

【請求項9】

請求項１に記載の対話型時系列分析システムにおいて、
前記ＬＬＭは、
外部知識ベースからの文脈情報を統合するために、入力に応答してRAG（Retriever-Augmented Generation）ベースのアプローチを実行するように構成されている
対話型時系列分析システム。

【請求項10】

請求項１に記載の対話型時系列分析システムにおいて、
前記処理部は、
ユーザとの対話から指定された時間の確率情報および少なくとも１つのオブジェクトの状態の計算に使用されるモデルを改良するためのフィードバック機構を実行する
対話型時系列分析システム。

【請求項11】

複数のビデオを管理するデータベースと、問い合わせを受信するように構成された処理部とを有する対話型時系列分析システムの解析のための対話型時系列分析方法であって、
前記処理部により実行される、
クエリに関連する複数の動画から、動画の各フレーム上の少なくとも１つのオブジェクトの確率情報を計算するステップと、
過去から指定された時間までの確率情報に基づいて、指定された時間における少なくとも１つの物体の状態を計算するステップと、
前記クエリに応答する自然言語出力で分析と予測を出力するように構成された大規模言語モデル（ＬＬＭ）に、指定された時間に状態を入力するステップと、を有する
対話型時系列分析方法。

【請求項12】

請求項１１に記載の対話型時系列分析方法において、
前記処理部は、
指定された時間における少なくとも１つの物体の状態を計算することは、過去および現在の確率情報を統合する
対話型時系列分析方法。

【請求項13】

請求項１１に記載の対話型時系列分析方法において、
前記ＬＬＭは、
前記確率情報の入力と、前記指定された時間における前記少なくとも１つのオブジェクトの状態とに基づいて、対話応答を生成する
対話型時系列分析方法。

【請求項14】

請求項１１に記載の対話型時系列分析方法において、
前記指定された時間の状態を計算することは、前記少なくとも１つの物体の動的変化を組み込んだ確率モデルを使用する
対話型時系列分析方法。

【請求項15】

請求項１１に記載の対話型時系列分析方法において、
前記処理部による前記指定された時間の状態の算出は、将来の確率情報の予測に基づいて行われ、前記ＬＬＭへの入力として将来の確率情報を使用することから、将来の事象の分析および予測を容易にする
対話型時系列分析方法。

【請求項16】

請求項１１に記載の対話型時系列分析方法において、
前記ＬＬＭは、
生成された対話応答および追加情報を求めるユーザ要求のコンテキストに従って、応答を動的に調整するように構成される
対話型時系列分析方法。

【請求項17】

請求項１１に記載の対話型時系列分析方法において、
前記ＬＬＭは、
将来の確率情報に基づいて、前記自然言語出力における予測を、警告、提案、または行動指示のうちの1つ以上として出力するように構成されている
対話型時系列分析方法。

【請求項18】

請求項１１に記載の対話型時系列分析方法において、
前記処理部は、
確率情報を算出する前に、前処理手順によりラベル情報を最適化する
対話型時系列分析方法。

【請求項19】

請求項１１に記載の対話型時系列分析方法において、
前記ＬＬＭは、
前記入力に応答して、外部の知識ベースからの文脈情報を統合するために、RAG（Retriever-Augmented Generation）ベースのアプローチを実行するように構成されている
対話型時系列分析方法。

【請求項20】

請求項１１に記載の対話型時系列分析方法において、
前記処理部は、
ユーザとの対話から指定された時間の確率情報および少なくとも１つのオブジェクトの状態の計算に使用されるモデルを改良するフィードバック機構を実行する
対話型時系列分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に工場システム、より具体的には、大規模言語モデル（ＬＬＭ）の使用によるビデオコンテンツの解釈およびテキストコンテキストに基づく拡張検索に向けられている。特に、本開示はゼロショット推論とテキストコンテキストに基づく拡張検索による映像コンテンツ解釈のための対話型時系列分析システムおよびその方法に向けられている。

【背景技術】

【0002】

製造業では、ヒューマンエラーによる生産停止が頻発し、大きな課題となっている。歴史的に、個々の作業員の行動やパターンの記録は紙で保管され、デジタル化されてこなかったため、このようなヒューマンエラーを効率的に理解し、防止するにはギャップが残っている。

【0003】

製造現場における人間の行動パターンのデジタル化に対する期待は、工場の停止を緩和し、業務効率を向上させることを目的として高まっている。人工知能（ＡＩ）の最近の進歩、特にビデオ解析のための機械学習モデルは、このニーズに対応し始めている。これらの進歩は、単一の画像の分析にとどまらず、ビデオフレームのコンテキスト分析を可能にし、リアルタイムでビジュアルデータのニュアンスに富んだ正確な解釈を提供する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

古くから研究されてきた教師あり学習ＡＩの応用は、こうしたパターンのデジタル化に一定の効果を示し、生産ボトルネックの分析や生産性最大化の可能性につながっている。しかし、このアプローチには、ＡＩモデルの最適化に多大な労力を要することや、異なる拠点間での水平展開の難しさなどの課題がある。

【0005】

さらに、大規模言語モデル（ＬＬＭ）、対照言語画像事前学習（ＣＬＩＰ）などの基礎モデルは、ゼロショット学習のためのエキサイティングな機会を提供し、特定の訓練なしで新しいデータに使用することができる。これらは、分類、物体認識、画像キャプション付けにおいて有望な応用を実証している。これにより、モデルの訓練と展開に必要な時間とリソースを大幅に削減することができる。とはいえ、入力データの品質に依存するため、出力には無関係な情報や不正確な情報が含まれる可能性があり、精度と信頼性に課題がある。特に、検出対象外の物体が含まれるような複雑な背景を持つ映像の解析などでは、精度は高くない。

【0006】

このような背景から、製造業は変革期を迎えており、最適化されたＡＩモデルを通じて人間の行動パターンをデジタル化することで、新たなレベルの生産性と業務上の洞察力を引き出すことができる。現場に最適化されたＡＩの精度の高さと、基礎的なモデルの適用範囲は広いが精度は低いことのバランスは、極めて重要な開発分野である。

【0007】

基礎モデルを使用する既存の技術は、主にオブジェクトの検出と画像の分類に重点を置いており、コンテキストや時間的分析を深く統合していない。例えば、従来の機械学習モデルは、１つのフレーム内のオブジェクトや異常を識別することはできても、シーケンスや経時的な変化の重要性を理解することに苦労している。関連技術の実装には、ビデオ解析や異常検出に対する様々なアプローチが含まれるが、文脈の理解とインタラクティブ性を強化するための自然言語処理（ＮＬＰ）の統合が欠けていることが多い。市場に出回っている製品やサービスは、基本的なビデオ解析を提供しているかもしれないが、ビジュアルデータの解釈と自然言語理解の間の相乗効果を十分に活用していない。

【0008】

関連技術の実施態様では、ビデオデータを照会する方法がある。映像データを、画像フレーム、音声データ、同一キャプションに関連するキャプションデータに基づいて、ショット毎に分割し、各ショットの特徴量をベクトル情報として抽出する。各ショットのベクトル情報を多層ニューラルネットワークでまとめて処理することで、映像データ全体の特徴ベクトルを生成する。比較特徴ベクトルとの類似度に基づいて、映像ストレージから最適な映像データが選択される。このような関連技術の実装では、フレーム単位での時系列分析は行われない。

【0009】

別の関連技術の実装では、ラベル付けされたデータの必要性を回避して、テキスト記述から直接学習するコンピュータビジョンシステムがある。ウェブ上で収集された４億の画像とテキストのペアで事前学習することにより、このような関連技術モデルは、自然言語を使用して視覚的概念を識別および記述し、タスク固有の訓練なしで多様なタスクにわたるゼロショット分類を可能にする。この関連アート手法は、ＩｍａｇｅＮｅｔにおけるＲｅｓＮｅｔ－５０のような従来の完全教師ありモデルの性能に匹敵し、大幅な適応性と効率性を示している。しかし、このアプローチは時系列情報処理を伴わず、代わりに視覚認識のための自然言語の活用に焦点を当てている。

【0010】

本明細書で説明する実装例は、このような課題を解決するものであり、ヒューマンエラーを最小化し、製造効率を向上させるために、両方のアプローチの長所を活用した新規のソリューションを提供するものである。本明細書で説明する実施例は、人間の行動のデジタル化だけでなく、他の装置、材料、自律走行車（ＡＧＶ）などのデジタル化にも適用することができる。理解を容易にするため、本明細書で説明する実施例は、人間の行動のデジタル化に関して説明するが、これに限定されるものではない。

【0011】

関連技術によって解決されていない主要な課題は、ビデオデータ内のイベントのシーケンスの詳細なコンテキストを意識した分析を実行する能力が、限られていることである。既存のソリューションは、ビデオの包括的な意味抽出とシーン分類を行うことはできるが、時間の経過とともに刻々と変化するイベントの意味を動的に解釈したり、時間に関する抽象的で曖昧さのないクエリのための会話インタフェースを提供したりすることはできない。本書で説明する実装例は、ビジュアルデータ解釈のためのＣＬＩＰとコンテキストリッチな自然言語対話のためのＬＬＭを統合することにより、ビデオデータの時系列分析を提供することで、このギャップを埋めることを目的としている。つまり、時間の経過とともに刻々と変化するイベントの意味を動的に解釈したり、時間に関する抽象的で曖昧さのないクエリのための会話インタフェースを利用した対話型時系列分析システムおよびその方法を提供することを目的とする。

【発明の効果】

【0012】

本発明によれば、ヒューマンエラーを最小化し、製造効率を向上させることが可能となる。

【図面の簡単な説明】

【0013】

【図1】図１は、実施例による、対話型時系列分析システムの動作の概略の一例を示す図である。

【図2】図２は、実施例に従って、指定されたプロセスの平均検出時間（ＭＴＴＤ）を分析するために調整された対話型時系列分析システムを示す。

【図3A】図３Ａは、実施例に従って、本明細書で説明するシステムに関連するシーケンス図を示す。

【図3B】図３Ｂは、実施例に従って、関連情報を取得するための質問と回答のツリーの例を示している。

【図4】図４は、実施例による前処理の一例を示す図である。

【図5】図５は、実施例に従って、クエリされるＭＴＴＤ測定を示す。

【図6】図６は、実施例による対話型時系列分析システムのユーザインタフェースの一例を示す図である。

【図7A】図７Ａは、実施例による文脈情報算出部の実行例を示す図である。

【図7B】図７Ｂは、実施例に従い、このシーンを各イベント確率算出部がテキスト化した場合の確率欄を示す。

【図7C】図７Ｃは、実施例による、文脈情報計算ユニットによる計算の例を示す。

【図7D】図７Ｄは、実施例による、文脈情報計算ユニットによる計算の例を示す。

【図8】図８は、ＸＹＺプロセス内の在庫管理のために設計された対話型時系列システムの別の実施例を示している。

【図9】図９は、対話型時系列分析のためのシステムの例示的な実装において、例示的なコンピュータデバイスを有する例示的なコンピューティング環境を示す。

【発明を実施するための形態】

【0014】

以下の詳細な説明は、本出願の図および実施例の詳細を提供する。図間の参照数字および冗長な要素の説明は、明確化のするために省略されている。本明細書を通して使用される用語は、例として提供され、限定することを意図していない。例えば、「自動」という用語の使用は、本願発明の実施態様を実践する当業者の所望の実施態様に応じて、実施態様の特定の側面に対するユーザまたは管理者の制御を伴う完全自動または半自動実施態様を含むことができる。選択は、ユーザインタフェースまたは他の入力手段を通じてユーザによって実施することができ、または所望のアルゴリズムを通じて実施することができる。本明細書で説明する例示的な実装は、単独または組み合わせのいずれかで利用することができ、例示的な実装の機能は、所望の実装に従って任意の方法で実装することができる。

【0015】

図１は、実施例による、対話型時系列解析のための例示的なシステム(対話型時系列分析システム)を示し、対話型時系列分析システムの処理部による動作の概略の一例を示す図である。
本明細書で説明する実施例では、高度な画像解析のためのＣＬＩＰ（各イベント確率計算部１０３）と大規模言語モデル（ＬＬＭ：LLM-based Analysis ＬＬＭベース分析部１０７）とを組み合わせて、対話型時系列解析のためのＲＡＧ（Retriever-Augmented Generation）ベースのチャットシステムを提供する革新的なシステムを含む。例えば、文脈(コンテキスト)情報計算部１０５でビデオフレーム間のイベントの確率のピークと谷を識別し、これらの洞察を製造業の文脈情報で豊かにすることにより、システムは、ユーザが自然言語を使用して対話的にシステムに問い合わせることを可能にする。この二重のアプローチにより、ビデオデータのイベント検出と分類の精度が向上するだけでなく、ユーザが解析と対話し理解する方法が革新され、「機器に問題がある可能性のあるフレームを表示してください」や「部品が存在しなかったのはいつですか」といったクエリに、包括的かつ会話形式で回答できるようになる。

【0016】

図１に示すように、実施例では、映像データの各フレーム上のオブジェクトの確率情報を算出するステップと、過去から現在までの確率情報に基づいて指定時刻のオブジェクトの状態を算出するステップと、指定時刻の状態を自然言語モデル（ＬＬＭ）に入力するステップとを含む対話型時系列分析システムにより、自然言語に基づく分析・予測を可能としている。

【0017】

希望する実装によっては、指定された時間における状態の計算に、過去と現在の確率情報を統合する関数を含めることができる。対話型時系列分析システムの処理部は、過去および現在の確率情報を統合することにより、指定された時刻における前記少なくとも１つの物体の状態を計算するように構成されている。

【0018】

希望する実装に応じて、ＬＬＭは、入力された確率情報と状態情報に基づいて対話応答を生成するように構成することができる。つまり、ＬＬＭは、確率情報の入力と、指定された時間における前記少なくとも１つのオブジェクトの状態とに基づいて、対話応答を生成する。

【0019】

希望する実装に応じて、指定された時間における状態を計算するステップでは、オブジェクトの動的な変化を考慮した確率モデルを使用する。対話型時系列分析システムの処理部は、少なくとも１つの物体の動的変化を組み込んだ確率モデルを用いて、指定された時間の状態を計算するように構成されている。

【0020】

所望の実装に応じて、指定された時刻における状態の計算は、将来の確率情報の計算/予測を含むことができ、この将来の確率情報に基づいて、ＬＬＭを使用することにより、将来のイベントまたは状態の分析および予測を容易にする。対話型時系列分析システムの処理部は、将来の確率情報を予測することにより、指定された時間の状態を計算し、将来の確率情報をＬＬＭへの入力として使用することから、将来の事象の分析および予測を容易にするように構成されている。

【0021】

希望する実装に応じて、ＬＬＭは、生成されたダイアログ応答のコンテキスト(以下、文脈ともいう)と追加情報を求めるユーザの要求に応じて、応答を動的に調整するように構成することができる。

【0022】

所望の実装に応じて、ＬＬＭは、将来の確率情報に基づく予測情報を、警告、提案、または行動指示としてユーザに提示するように構成される。

【0023】

所望の実装によっては、物体確率情報を計算する前にラベル情報を最適化する前処理モジュールが存在し、それによってその後の分析と予測の精度を向上させることができる。対話型時系列分析システムの処理部は、確率情報を計算する前に、前処理手順によりラベル情報を最適化するように構成されている。

【0024】

希望する実装によっては、ＬＬＭは複雑なクエリを処理するためにＲＡＧ（Retriever-Augmented Generation）アプローチを利用することができ、外部知識ベースからの文脈情報を統合して対話応答を豊かにすることができる。

【0025】

希望する実装によっては、システムがユーザとのインタラクションから学習し、時間の経過とともに予測モデルを改良し、それによって出力の関連性と精度を高めることを可能にするフィードバック機構を設けることもできる。

【0026】

画像処理とコンピュータビジョンの文脈では、画像フレーム内のオブジェクトは、分析や分類の対象となる明確なアイテム、図形、または領域を指す。これらのオブジェクトは、人、乗り物、動物から、形状やテキストのようなより抽象的な概念まで、何でもあり得る。一方、ラベルは、これらのオブジェクトが特定のカテゴリやクラスに属することを識別するために割り当てられたタグや名前である。例えば、街頭シーンでは、車、歩行者、信号機などのオブジェクトは、画像内の外観や特徴に基づいてラベル付けされる。

【0027】

分類問題において確率情報とは、与えられたオブジェクトやインスタンスが特定のクラスやカテゴリに属する可能性や確信度のことである。この情報は通常、ニューラルネットワークなどの分類モデルによって出力され、入力データ（画像や特徴のセットなど）を処理し、各オブジェクトのクラスメンバーシップを予測する。確率は０と１の間の値で表されることが多く、値が大きいほど分類に対する信頼度が高いことを示す。例えば、あるモデルは、猫の画像が「猫」カテゴリに属する確率は95％で、「犬」カテゴリに属する確率は５％であると予測するかもしれない。

【0028】

時系列データから得られる状態情報には、過去のデータや現在のデータに基づく、異なる時点におけるシステムやプロセスの状態や属性が含まれる。ビデオ解析や逐次データ処理の文脈では、物体の属性（位置、動き、外観など）が時間とともにどのように変化するかを理解することが含まれる。これらの動的な変化を分析することで、システムの現在の状態を推測し、将来の状態を予測することができる。例えば、映像の連続するフレームにわたって車両の動きを追跡することで、その速度や方向を計算し、将来の位置を予測することができる。ＡＧＶ搭載カメラのような移動カメラを使用する場合、ＡＧＶから抽出した位置を確率的情報と同期させることで、カメラと車両の間のカメラと被写体の関係を補正することもできる。

【0029】

ＲＡＧ（Retriever-Augmented Generation）とは、自然言語処理（ＮＬＰ）の手法の一つで、大規模なテキストコーパスから関連情報を検索し（検索部分）、検索された情報に基づいて人間のようなテキストを生成できる生成モデル（生成部分）を組み合わせるものである。このアプローチにより、モデルは現在のコンテキストやクエリに関連する外部の知識を取り込むことができ、それによって生成される応答の品質と関連性を高めることができる。実用的なアプリケーションでは、ＲＡＧは複雑な質問に答えたり、詳細な説明を生成したり、あるいは多様なソースからの情報にアクセスして合成することによってコンテンツを作成するために使用することができる。例えば、特定の質問をされた場合、ＲＡＧシステムは文書のデータベースを検索して関連情報を見つけ、その情報を使って首尾一貫した有益な回答を構築することができる。

【0030】

図２は、実施例に従って、指定されたプロセスの平均検出時間（ＭＴＴＤ）を分析するために調整された対話型時系列分析システムを示す。図２の例は、「ＡＢＣ」プロセスとして参照される指定プロセスを有し、特に５月の間である。システムは、時系列解析コンポーネント１００、データ通信コンポーネント２００、および大容量データストレージ３００の３つの主要コンポーネントで構成される。

【0031】

ユーザプロンプト(１)の入力が出発点である。最初のデータ入力が不十分な場合、システムはＬＬＭベースのユーザインタフェース（ＵＩ）１０１を介して追加情報を要求することができる。この対話型Ｑ＆Ａ（必要な場合）により、システムは分析を進めるために必要なすべての情報を確実に入手する。ＵＩ１０１は、ＡＢＣプロセスに関連する関連ビデオデータ（３）を大容量データストレージ３００に問い合わせる。大容量データストレージ３００複数のビデオを格納し、管理する。クエリ（２）は、データ通信コンポーネント２００を介してビデオデータストレージ３０１に入力され、大容量データストレージ３００から解析コンポーネント１００へのあらゆるデータの転送を容易にする。

【0032】

ビデオフレーム抽出部１０２は、ビデオデータを個々の画像フレーム（４）に分割する。これらのフレームは、ＭＴＴＤのラベル（５）とともに、各イベントの確率計算部１０３に入る。ここで、各イベント(事象)の確率（６）が決定される。つまり、各フレームの少なくとも１つのオブジェクトの確率が決定される。ＭＴＴＤ分析の場合、ＭＴＴＤ用のラベル（５）は、赤（または緑）の信号と、問題に応答する作業員である可能性がある。

【0033】

システムはさらに、過去から現在までの時系列確率文字列を記憶する時系列確率記憶部１０４を組み込んでいる。この時系列確率記憶部１０４に記憶された時系列確率文字列は、文脈文字列（７）と組み合わされ、文脈情報計算部１０５で処理され、確率と文脈のニュアンスの両方を包含する包括的な情報を作成する。例えば、イベント確率の急激なピークや谷のような重要な瞬間を特定したり、作業員の応答時間を特定したりすることができ、ＭＴＴＤ評価に不可欠な文脈データである。この情報は、文脈情報計算・記憶部１０６に格納される。

【0034】

次に、ＬＬＭベース分析部１０７は、文脈情報計算部・記憶部１０６に格納された、この豊富なコンテキスト情報（８）と、関連情報を含む最初のユーザプロンプト（９）を利用して、詳細な時系列分析を行う。この分析により、ＭＴＴＤ関連の洞察(１０)のような分析データが生成される可能性がある。

【0035】

最終的に、ＬＬＭベースのＵＩ１０１は、解析結果を採用して可視し、ユーザに対する動的対話応答（１１）を生成する。これには、運用コンテキストにおける信号色の重要性を明確にしたり、システム内のＭＴＴＤメトリックを説明したりするような対話型フィードバックが含まれ得る。さらに、このシステムのユーザフレンドリーなインタフェースは、複雑な時系列データを容易に入力し解釈することを可能にし、それによってＡＢＣプロセスに関連する意思決定プロセスの最適化を支援する。説明では省略したが、確率情報に加えて、プログラマブルロジックコントローラ（ＰＬＣ）などの外部データをシステムの入力として使用することもできる。

【0036】

図３Ａは、例示的な実装に従った、本明細書で説明するシステムに関連するシーケンス図を示す。外部から参照されるセクション（「ｒｅｆ」）は、曖昧な表現であるユーザプロンプトに、処理の後段で必要とされる情報を追加するための前処理を記述する。

【0037】

図３Ａのフロー例では、まず、ユーザがユーザプロンプト（１）をＵＩ１０１に提供する。ＵＩ１０１は、提供されたプロンプトに関する情報をさらに収集するために、Ｑ＆Ａ（質疑応答）セッションを実行し、クエリを生成することができる。クエリ（２）は、この例ではＡＢＣプロセスに関連するビデオであり、ビデオデータストレージ３０１に送られる。関連ビデオ（３）は、ビデオデータストレージ３０１から取得され、ビデオフレーム抽出部１０２によって処理され、フレーム（４）が抽出される。抽出された各フレーム（４）は、イベント確率計算部１０３によって処理され、各フレームの少なくとも１つのオブジェクトの確率情報が計算される。また、イベント確率計算部１０３には、ＵＩ１０１によって生成されたＭＴＴＤ（５）用のラベルが入力される。フレームとラベルは、イベント確率計算部１０３によって処理され、各イベントの確率を決定する。このプロセスは、各フレームについて繰り返される。

【0038】

各イベントの確率は、時系列イベントのインデックス付き確率を決定するように構成された文脈情報計算部１０５に提供される(７)。インデックス化された時系列イベントの確率は、文脈情報計算部１０５によって処理され、文脈情報を生成し、このような文脈情報は文脈情報計算・記憶部１０６に記憶され、ＬＬＭベース分析部１０７によって処理されるために入力される（８）。

【0039】

ＬＬＭベース分析部１０７は、ユーザプロンプトと同様にＵＩ１０１から関連情報(９)を、文脈情報計算・記憶部１０６からコンテキスト情報(８)を取り込み、解析されたデータ(１０)を返すように構成されている。
この例では、ユーザプロンプトに含まれる関連情報（９）は、「緑色の光は正常な動作を示し、赤色の光は異常な事象を示す。ＭＴＴＤは、作業者が問題を発見するまでに要した平均時間を示す」。ＬＬＭベース分析部１０７は、分析されたデータ(１０)をＵＩ１０１に返し、このデータはＵＩ１０１からユーザに見えるように可視化(１１)されて提供される。

【0040】

図３Ｂは、実施例に従って、関連情報を取得するための質問と回答のツリーの例を示す図である。図４は、実施例による前処理の例を示す図である。図４の例では、ＬＬＭベースのＵＩのユーザプロンプトに含まれる情報に対して、後段の各処理単位に必要な情報を追加するために、複数の質問が行われる。この例では、図３Ｂの第４列に示すような関連情報を実現するために、ＲＡＧシステムを強化するための図３Ｂに記載のような質問＃１～５が実施される。ＵＩは、予期しないプロンプトがあった場合に、予め固定されたフォーマットでユーザに再質問することができるが、本開示はこれに限定されず、所望の実装を容易にするために他の実装を利用してもよい。

【0041】

図４に示すように、ユーザプロンプト(ステップ４００、以降ステップを単にＳと表記する)が提供され、この例では「５月中のＡＢＣプロセスのＭＴＴＤを分析してください」である。Ｓ４０１では、図３Ｂの前処理が、「ユーザプロンプトに「分析」が含まれていますか」という質問＃１から開始されて実行される。もしそうであれば(ＹＥＳ)、質問♯２はスキップされ、そうでなければ(ＮＯ)、フローは２番目の質問をするためにＳ４０２に進む。Ｓ４０２では、質問＃２が尋ねられる。「ユーザプロンプトには「取得」が含まれていますか？」である。そうであれば（ＹＥＳ）、フローはＳ４０３に進み、そうでなければ（ＮＯ）、フローはＳ４０６に進む。

【0042】

Ｓ４０３では、質問＃３が尋ねられる。「ユーザプロンプトは「ＭＴＴＤ」を含むか？」である。そうであれば(ＹＥＳ)、フローはＳ４０５に進み、そうでなければ(ＮＯ)、フローはＳ４０４に進む。Ｓ４０４では、質問＃４が尋ねられ、それは「ユーザプロンプトは『ＳＯＰ』を含むか？」である。もしそうであれば(ＹＥＳ)、フローはＳ４０５に進み、そうでなければ(ＮＯ)、フローはＳ４０６に進む。

【0043】

Ｓ４０５で、質問＃５が尋ねられる。「ユーザプロンプトには、特定のプロセスと特定の月が含むか？」である。そうであれば(ＹＥＳ)、フローは終了し、そうでなければ(ＮＯ)、フローはＳ４０６に進む。Ｓ４０６で、フローはＬＬＭベースのＵＩ上で「次のように再質問してください」「（１)ＡＺプロセスのＳＯＰ準拠を分析する（２)ＮＭプロセスに関連するビデオを取得する）を生成する。

【0044】

図５は、実施例に従って、ＭＴＴＤ測定が照会される様子を示す図である。具体的には、図５は、文脈情報計算・記憶部１０６において、所定の閾値を超える過去から現在までの確率情報の変化を検出することによって、ユーザによって照会されるＭＴＴＤ測定を示す。

【0045】

図６は、実施例による、対話型時系列解析のためのシステムのユーザインタフェース（ＵＩ）の例を示す図である。図６に示されるように、ＵＩは、ＬＬＭベースのＵＩ１０１がユーザのプロンプト（1）を取り込み、関連するビデオデータ（３）、各イベントの確率（７）、および対話型応答（１１）を表示することもできる。

【0046】

図７Ａは、実施例に係る文脈情報計算部１０５の実行例を示す図である。図７Ａの例は、ＭＴＴＤの場合の実行例であり、Frame-k-1、Frame-k、Frame-k+1の丁度中心時刻ｋで赤信号が点灯し、Frame-m-1、Frame-m、Frame-m+1の中心時刻ｍで赤信号が点灯したことを作業者が確認し、Frame-n-1、Frame-n、Frame-n+1の中心時刻ｎで赤信号が消灯して緑信号に変化する。図７Ｂは、この場面を各イベント確率計算部１０３でテキスト化した場合の確率欄を示し、図７Ｃ及び図７Ｄは、文脈情報計算部１０５による算出例を示す。図７Ｃは、確率の変化が大きいフレームのみを抽出した場合を示し、図７Ｄは、直前のフレームからの確率の変化を算出して表示した場合を示す。

【0047】

図８は、ＸＹＺプロセス内の在庫管理のために設計された対話型時系列分析システムの別の実施例を示している。この使用例は、システムが、分類ラベル「部品」で識別される部品の確率情報をどのように検出し、将来的な在庫切れの警告だけでなく、所望の実装に従った他の提案またはアクション指令と同様に、材料納入タイミングに関するガイダンスを提供できることを示している。

【0048】

このユースケースにおける各コンポーネントの役割の詳細は以下の通りである。

【0049】

ユーザプロンプト(１)：ユーザはシステムに、「いつまでにＸＹＺステーションに部品を提供すべきか？」と質問する。この入力により、分析プロセスが開始される。

【0050】

ＬＬＭベースのＵＩ１０１：大規模言語モデル（ＬＬＭ）によって駆動されるシステムのユーザインタフェースは、ユーザのプロンプトを解釈し、追加情報が必要かどうかを判断する。必要に応じてＱ＆Ａを行い、ユーザの要求を明確にしたり、拡大したりすることができる。

【0051】

関連動画のクエリ(２)：ＵＩは、大容量データストレージ３００から当該パートに関連するビデオデータを取得するためのクエリをビデオフレーム抽出部１０２に送信する。

【0052】

大容量データストレージ３００：大容量データストレージ３００は、ＸＹＺプロセスの経時的な映像を含む広範な映像データなどを保存する。

【0053】

ビデオフレーム抽出部１０２：関連ビデオデータストレージ３０１が特定されると、ビデオフレーム抽出部１０２は分析のためにビデオからフレームを抽出する。

【0054】

フレームとイベントの確率計算と時系列確率記憶部：各イベントの確率計算部１０３は、個々のフレーム（４）と、ＵＩから提供される部品のラベル（５）とに基づいて、各イベントの確率を決定し、時系列確率ストリング（６）を時系列確率記憶部１０４に入力する。時系列確率ストリング（６）は、時系列確率記憶部１０４により、各イベントの確率（７）と時系列イベントの確率（時系列確率）を計算するために処理される。

【0055】

文脈情報計算部１０５と文脈情報記憶部１０６：計算された確率とラベルは、文脈情報文字列と組み合わされて出力され（８）、その運用文脈の中で事象を包括的に理解する。

【0056】

ＬＬＭベース分析部１０７：ＬＬＭは上記のすべての情報を処理し、詳細な分析(９)を実行する。この分析には、グラフに可視化された、時間経過に伴う確率の観点からの部品の近似式を含めることができる。

【0057】

インタラクティブな応答（１０と１１）：分析結果に基づいて、ＬＬＭベースのＵＩはユーザに対してインタラクティブな応答を提供する。例えば、「あなたはフレーム１０よりも遅く部品を提供することを目指すべきです」。

【0058】

各部（コンポーネント）は、システムが現在の在庫状況を検出するだけでなく、将来のニーズを予測し、ＸＹＺプロセスにおける効果的な在庫管理と最適化を可能にするために協調して動作する。フレーム抽出、イベント確率計算、文脈解析の統合を通じてビデオデータを処理・分析し、ＬＬＭベースの予測応答へと結実させるシステムの能力は、産業環境における部品や材料の管理に対する最先端のアプローチを例示している。

【0059】

本明細書で説明する実装例は、説明したように、対話型ビデオ解析のためのＣＬＩＰとＬＬＭ技術のシームレスな統合を基礎としている。関連するオブジェクトやイベントを特定することによってＣＬＩＰでビデオデータを分析するシステムの能力と、文脈に富んだ対話応答を生成するためにＬＬＭに情報を渡す詳細なプロセスは、強固な基盤を提供する。ビジュアルデータ解析と自然言語処理および検索補強との革新的な統合に重点を置くことで、本発明が提供するユニークな対話的で洞察に満ちた解析ツールが強調される。データ品質向上のための前処理、複雑なクエリ処理のためのＲＡＧ、およびモデル改良のためのフィードバック機構の追加により、リアルタイムモニタリング、予知保全、ＳＯＰ遵守、および欠陥検出のためのシステムの機能がさらに拡張される。

【0060】

実装例としては、ＣＬＩＰからのデータ（キーワード検索または類似画像検索）と、ＰＬＣからのデータなど、複数のデータセットに基づく予測ユースケースも考えられる。これは、画像情報だけでは解決できない事象に有効である。

【0061】

ラベルの選択には、ＣＬＩＰでは単語ではなく長い文章を用いることができるため、ＲＡＧシステムを用いることで、画像の中で荷物を整理している「作業員」を「荷物を整理している作業員」とラベル付けすることができる。図４のフローチャートを工夫することで、半自動的にラベリングを最適化することができる。工程名からＰＬＭに登録されている作業手順を参照し、作業手順に書かれている作業手順をベースにラベリングすることが可能である。

【0062】

図９は、対話型時系列分析のためのシステム、複数のビデオを管理するデータベースなどのいくつかの例示的な実装において使用するのに適した例示的なコンピュータデバイスを有する例示的なコンピューティング環境を示す。コンピューティング環境９００のコンピュータ装置９０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ(処理部)９１０、メモリ９１５（例えば、ＲＡＭ、ＲＯＭ、および／または同類）、内部ストレージ９２０（例えば、磁気、光学、ソリッドステートストレージ、および／または有機）、および／またはＩ／Ｏインタフェース９２５を含むことができ、これらのいずれかは、情報を通信するための通信機構またはバス９３０上に結合されるか、またはコンピュータ装置９０５に埋め込まれることができる。Ｉ／Ｏインタフェース９２５はまた、所望の実装に応じて、カメラから画像を受信するか、またはプロジェクタまたはディスプレイに画像を提供するように構成される。

【0063】

コンピュータ装置９０５は、入力／ユーザインタフェース９３５および出力装置／インタフェース９４０に通信可能に結合することができる。入力／ユーザインタフェース９３５および出力デバイス／インタフェース９４０のいずれか一方または両方は、有線または無線インタフェースとすることができ、着脱可能とすることができる。入力／ユーザインタフェース９３５は、物理的または仮想的な、入力を提供するために使用することができる任意のデバイス、コンポーネント、センサー、またはインタフェース（例えば、ボタン、タッチスクリーンインタフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサー、光学リーダー、および／またはこれらに類するもの）を含むことができる。出力デバイス／インタフェース９４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの例示的な実装では、入力／ユーザインタフェース９３５および出力デバイス／インタフェース９４０は、コンピュータ装置９０５に埋め込まれるか、またはコンピュータ装置９０５に物理的に結合され得る。他の例示的な実装では、他のコンピュータデバイスは、コンピュータ装置９０５の入力／ユーザインタフェース９３５および出力デバイス／インタフェース９４０の機能として機能するか、またはその機能を提供することができる。

【0064】

コンピュータ装置９０５の例としては、高度に移動可能なデバイス（例えば、スマートフォン、車両および他の機械に搭載されたデバイス、人間および動物によって運ばれるデバイスなど）、移動可能なデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、そこに埋め込まれたおよび／またはそれに結合された１つまたは複数のプロセッサを有するテレビ、ラジオなど）を挙げることができるが、これらに限定されない。

【0065】

コンピュータ装置９０５は、同じ構成または異なる構成の１つまたは複数のコンピュータデバイスを含む、任意の数のネットワーク接続されたコンポーネント、デバイス、およびシステムと通信するために、外部ストレージ９４５およびネットワーク９５０に（例えば、I／Oインタフェース９２５を介して）通信可能に結合され得る。コンピュータ装置９０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、一般マシン、特殊目的マシン、または別のラベルとして機能する、サービスを提供する、または参照されることができる。

【0066】

Ｉ／Ｏインタフェース９２５は、コンピューティング環境９００内の少なくともすべての接続されたコンポーネント、デバイス、およびネットワークとの間で情報を通信するための任意の通信またはＩ／Ｏプロトコルまたは標準（例えば、イーサネット、802.11x、ユニバーサルシステムバス、WiMAX、モデム、セルラーネットワークプロトコルなど）を使用する有線および／または無線インタフェースを含むことができるが、これらに限定されない。ネットワーク９５０は、任意のネットワークまたはネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。

【0067】

コンピュータ装置９０５は、一過性媒体および非一過性媒体を含む、コンピュータ使用可能媒体またはコンピュータ読み取り可能媒体を使用および／または通信することができる。一過性の媒体には、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などが含まれる。非一過性媒体には、磁気媒体（ディスク、テープなど）、光媒体（CD ROM、デジタルビデオディスク、ブルーレイディスクなど）、ソリッドステート媒体（RAM、ROM、フラッシュメモリ、ソリッドステートストレージなど）、その他の不揮発性ストレージまたはメモリが含まれる。

【0068】

コンピュータ装置９０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用することができる。コンピュータ実行可能命令は、一過性の媒体から取り出すことができ、非一過性の媒体に格納し、そこから取り出すことができる。実行可能な命令は、プログラミング言語、スクリプト言語、および機械言語（例えば、C、C++、C#、Java、Visual Basic、Python、Perl、JavaScriptなど (Javaは登録商標)）の１つまたは複数から発信することができる。

【0069】

プロセッサ（単数または複数）９１０は、ネイティブ環境または仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット９６０、アプリケーションプログラミングインタフェース（ＡＰＩ）ユニット９６５、入力ユニット９７０、出力ユニット９７５、および異なるユニットが互いに、ＯＳと、および他のアプリケーション（図示せず）と通信するためのユニット間通信メカニズム９９５を含む１つまたは複数のアプリケーションを展開することができる。説明されたユニットおよび要素は、設計、機能、構成、または実装において様々であり得、提供された説明に限定されない。プロセッサ（複数可）９１０は、中央処理装置（CPU）のようなハードウェア・プロセッサの形態、またはハードウェア・ユニットとソフトウェア・ユニットの組み合わせの形態とすることができる。

【0070】

いくつかの例示的な実装において、情報または実行命令がＡＰＩユニット９６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット９６０、入力ユニット９７０、出力ユニット９７５）に伝達されてもよい。いくつかの実施例では、論理ユニット９６０は、上述のいくつかの例示的な実装において、ユニット間の情報の流れを制御し、ＡＰＩユニット９６５、入力ユニット９７０、出力ユニット９７５によって提供されるサービスを指示するように構成され得る。例えば、１つ以上のプロセスまたは実装の流れは、論理ユニット９６０単独で、またはＡＰＩユニット９６５と連携して制御されてもよい。入力ユニット９７０は、例示的な実施態様において説明された計算のための入力を得るように構成されてもよく、出力ユニット９７５は、例示的な実施態様において説明された計算に基づいて出力を提供するように構成されてもよい。

【0071】

プロセッサ（複数可）９１０は、問い合わせを受信するように構成されており、（２）に示すようなクエリを受信した場合、（３）～（６）に示すように、クエリに関連する複数の動画から動画の各フレーム上の少なくとも１つのオブジェクトの確率情報を計算するように構成することができる。(７)に示すように、過去から指定された時間までの確率情報に基づいて、指定された時間における少なくとも１つのオブジェクトの状態を計算し、(８)から(１０)に示すように、クエリに応答する自然言語出力で分析および予測を出力するように構成された大規模言語モデル（ＬＬＭ）に、指定された時間における状態を入力する。

【0072】

プロセッサ（複数可）９１０は、図１および図２に関して説明したように、過去および現在の確率情報を統合することによって、指定された時間における少なくとも１つの物体の状態を計算するように構成され得る。

【0073】

所望の実装に応じて、ＬＬＭは、確率情報と指定された時間の少なくとも１つのオブジェクトの状態の入力に基づいて、対話応答を生成するように構成することができる（１１）。

【0074】

プロセッサ（複数可）９１０は、少なくとも１つのオブジェクトの動的変化を組み込んだ確率モデルを使用して、指定された時間の状態を計算するように構成することができる。

【0075】

プロセッサ（複数可）９１０は、図５に示すように、将来の確率情報の予測によって指定された時間の状態を計算し、将来の確率情報をＬＬＭへの入力として使用することから将来の事象の分析および予測を容易にするように構成することができる。

【0076】

所望の実装に応じて、ＬＬＭは、(９)から(１１)に示すように、生成された対話応答と加情報を求めるユーザ要求のコンテキストに従って、応答を動的に調整するように構成することができる。

【0077】

所望の実装に応じて、ＬＬＭは、将来の確率情報に基づく自然言語出力における予測を、図８に示すように、警告、提案、または行動指示の１つ以上として出力するように構成することができる。

【0078】

プロセッサ（複数可）９１０は、（５）に示すように、確率情報を計算する前に、前処理手順を通じてラベル情報を最適化するように構成することができ、それにより、その後の分析および予測の精度を向上させることができる。

【0079】

所望の実装に応じて、ＬＬＭは、本明細書で説明するように、外部知識ベースからの文脈情報を統合するために、入力に応答してレトリーバ-拡張生成（ＲＡＧ）ベースのアプローチを実行するように構成することができる。

【0080】

プロセッサ（単数または複数）９１０は、（１０）および（１１）に示すように、ユーザとの対話から指定された時間の確率情報および少なくとも１つのオブジェクトの状態の計算に使用されるモデルを改良するためのフィードバック機構を実行するように構成することができる。

【0081】

詳細な説明のいくつかの部分は、アルゴリズムおよびコンピュータ内の操作の記号的表現の観点から提示されている。これらのアルゴリズム記述および記号表現は、データ処理技術の当業者が、その技術革新のエッセンスを当業者に伝えるために使用する手段である。アルゴリズムとは、所望の最終状態または結果を導く一連の定義されたステップのことである。実施例では、実行されるステップは、目に見える結果を達成するために、目に見える量の物理的操作を必要とする。

【0082】

特に別段の記載がない限り、議論から明らかなように、本明細書全体を通して、「処理」、「計算」、「計算」、「決定」、「表示」などの用語を使用する議論には、コンピュータシステムのレジスタおよびメモリ内の物理的（電子的）量として表されるデータを、コンピュータシステムのメモリまたはレジスタまたは他の情報記憶、送信または表示デバイス内の物理的量として同様に表される他のデータに操作および変換する、コンピュータシステムまたは他の情報処理デバイスの動作およびプロセスが含まれ得ることが理解される。

【0083】

例示的な実施態様は、本明細書における操作を実行するための装置に関するものでもある。この装置は、必要な目的のために特別に構成されていてもよいし、１つまたは複数のコンピュータプログラムによって選択的に起動または再構成される１つまたは複数の汎用コンピュータを含んでいてもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体やコンピュータ可読信号媒体などのコンピュータ可読媒体に格納することができる。コンピュータ可読記憶媒体は、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイスおよびドライブなどの有形媒体を含むことができるが、これらに限定されない。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書で提示されるアルゴリズムおよび表示は、特定のコンピュータまたは他の装置とは本質的に関係しない。コンピュータプログラムは、所望の実装の動作を実行する命令を含む純粋なソフトウェア実装を含むことができる。

【0084】

様々な汎用システムが、本明細書の実施例に従ったプログラムおよびモジュールと共に使用されてもよいし、所望の方法ステップを実行するためのより特殊な装置を構築することが便利であることが判明してもよい。さらに、実施例は特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が、本明細書に記載される実施例の教示を実施するために使用され得ることが理解されるであろう。プログラミング言語の命令は、１つまたは複数の処理装置、例えば、中央処理装置（CPU）、プロセッサ、またはコントローラによって実行されてもよい。

【0085】

当技術分野で知られているように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。例示的な実装の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装されてもよく、一方、他の態様は、プロセッサによって実行された場合、プロセッサに本出願の実装を実行する方法を実行させるためのソフトウェアを格納した機械可読媒体に記憶された命令を使用して実装されてもよい。さらに、本出願のいくつかの例示的な実装は、ハードウェアのみで実行され得るが、他の例示的な実装は、ソフトウェアのみで実行され得る。さらに、説明した様々な機能は、単一のユニットで実行することもできるし、任意の数の方法で多数の構成要素にまたがることもできる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体上に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行され得る。所望により、命令は、圧縮および／または暗号化されたフォーマットで媒体に格納することができる。

【0086】

さらに、本願の他の実施態様は、本願明細書の考察および本願の教示の実践から当業者には明らかであろう。記載された例示的な実施態様の様々な態様及び／又は構成要素は、単独で又は任意の組み合わせで使用することができる。本明細書および例示的な実施態様は、例示としてのみ考慮されることが意図され、本願の真の範囲および精神は、以下の特許請求の範囲によって示される。

【符号の説明】

【0087】

１００ 時系列解析コンポーネント
１０１ ユーザインタフェース（ＵＩ）
１０２ ビデオフレーム抽出部
１０３ ＣＬＩＰ（各イベント確率計算部）
１０４ 時系列確率記憶部
１０５ 文脈情報計算部
１０６ 文脈情報計算・記憶部
１０７ ＬＬＭベース分析部
２００ データ通信コンポーネント
３００ 大容量データストレージ
３０１ ビデオデータストレージ

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】