特許 6542445 情報提供システム及び情報提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6542445

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】情報提供システム及び情報提供方法

(51)【国際特許分類】

   H04N 21/232 20110101AFI20190628BHJP

   H04N 21/266 20110101ALI20190628BHJP

   H04N 21/442 20110101ALI20190628BHJP

【ＦＩ】

   H04N21/232

   H04N21/266

   H04N21/442

【請求項の数】9

【全頁数】23

(21)【出願番号】特願2018-144513(P2018-144513)

(22)【出願日】2018年7月31日

【審査請求日】2018年8月1日

【早期審査対象出願】

(73)【特許権者】

【識別番号】510050557

【氏名又は名称】株式会社 情報システムエンジニアリング

(74)【代理人】

【識別番号】100120868

【弁理士】

【氏名又は名称】安彦 元

(72)【発明者】

【氏名】黒田 聡

【審査官】 富樫 明

(56)【参考文献】

【文献】 特開２０１８−０９７５８０（ＪＰ，Ａ）

【文献】 特開２０１８−０９７４３７（ＪＰ，Ａ）

【文献】 特開２０１８−０９２２２７（ＪＰ，Ａ）

【文献】 特開２０１７−０９７８５６（ＪＰ，Ａ）

【文献】 特開２０１６−１１５１２５（ＪＰ，Ａ）

【文献】 特開２００７−０１８２９３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供システムであって、
前記ユーザ端末から第１映像情報を取得する第１取得手段と、
予め取得された過去の第１映像情報、前記過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、前記過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度が記憶されたシーンモデルデータベースと、
前記シーンモデルデータベースを参照し、前記第１映像情報と前記シーン情報との間における第１シーン連関度を含むシーンＩＤリストを取得する第１評価手段と、
前記シーンＩＤリストに対応するシーン名リストを生成する第１生成手段と、
前記ユーザ端末から、第２映像情報と、前記シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を、取得する第２取得手段と、
予め取得された過去の第２映像情報とシーンＩＤとを１組とした過去の対象情報、前記過去の対象情報に紐づけられ、前記コンテンツに対応する参照ＩＤ、及び、前記過去の対象情報と前記参照ＩＤとの間における３段階以上のコンテンツ連関度が記憶されたコンテンツモデルデータベースと、
前記コンテンツモデルデータベースを参照し、前記対象情報と、前記参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する第２評価手段と、
前記参照ＩＤリストに対応する参照サマリーリストを生成する第２生成手段と、
前記ユーザ端末を介して前記参照サマリーリストから選択された第１参照ＩＤを取得する第３取得手段と、
取得した前記第１参照ＩＤに対応する前記コンテンツを出力する出力手段と、
を備えることを特徴とする情報提供システム。

【請求項2】

シーンＩＤ生成部をさらに備え、
前記シーンＩＤ生成部は、予め取得した前記過去の第１映像情報及び前記過去の第１映像情報に対応するシーン名を取得するシーン名取得手段と、
前記シーン名より小さい情報量の前記シーンＩＤを、前記取得したシーン名毎に生成するシーンＩＤ生成手段と、
前記シーン情報と、前記過去の第１映像情報とを用いた機械学習により前記シーンモデルデータベースを生成する第１学習手段と
を有することを特徴とする請求項１記載の情報提供システム。

【請求項3】

コンテンツＩＤ生成部をさらに備え、
前記コンテンツＩＤ生成部は、予め取得した前記過去の第２映像情報及び前記過去の第２映像情報に対応する前記コンテンツを取得するコンテンツ取得手段と、
前記コンテンツより小さい情報量のコンテンツＩＤを、前記取得したコンテンツ毎に生成するコンテンツＩＤ生成手段と、
前記コンテンツＩＤを少なくとも含む参照情報と、前記過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する第２学習手段と
を有すること特徴とする請求項１又は２記載の情報提供システム。

【請求項4】

前記コンテンツＩＤは、複数のメタ情報と対応づけられることを特徴とする請求項３記載の情報提供システム。

【請求項5】

前記ユーザ端末は、前記第１評価手段によって取得された前記シーンＩＤリストを受信する受信手段と、
前記シーンＩＤリストの受信の結果に応じて、前記ユーザ端末のキャッシュ領域に受信した前記シーンＩＤリストに含まれるシーンＩＤが存在するか否かを判別する判別手段と、
前記判別の結果に応じて、前記ユーザ端末のキャッシュ領域に存在しない場合は、前記コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段と、
をさらに備えることを特徴とする請求項１〜４の何れか１項記載の情報提供システム。

【請求項6】

前記ユーザ端末は、前記第２取得手段によって取得された前記参照ＩＤリストを受信する受信手段と、
前記参照ＩＤリストの受信の結果に応じて、前記ユーザ端末のキャッシュ領域に受信した前記参照ＩＤリストに含まれる参照ＩＤが存在するか否かを判別する判別手段と、
前記判別の結果に応じて、前記ユーザ端末のキャッシュ領域に存在しない場合は、前記コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段と、
をさらに備えることを特徴とする請求項１〜５の何れか１項記載の情報提供システム。

【請求項7】

前記ユーザ端末は、頭部又は眼鏡に装着され、前記ユーザ端末から取得した第１映像情報に基づいて生成された情報を透過状態で表示する表示部を備えること
を特徴とする請求項１〜６の何れか１項記載の情報提供システム。

【請求項8】

前記コンテンツは、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報の何れかを含むことを特徴とする請求項１〜７の何れか１項記載の情報提供システム。

【請求項9】

ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法であって、
前記ユーザ端末から第１映像情報を取得する第１工程と、
予め取得された過去の第１映像情報、前記過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、前記過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度をシーンモデルデータベースに記憶する第２工程と、
前記シーンモデルデータベースを参照し、前記第１映像情報と前記シーンＩＤとの間におけるシーン連関度を含むシーンＩＤリストを取得する第３工程と、
前記シーンＩＤリストに対応するシーン名リストを生成する第４工程と、
前記ユーザ端末から、第２映像情報と、前記シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を、取得する第５工程と、
予め取得された過去の第２映像情報とシーンＩＤとを１組とした前記過去の対象情報、前記対象情報に紐づけられ、前記コンテンツに対応する参照ＩＤ、及び、前記過去の対象情報と前記参照ＩＤとの間における３段階以上のコンテンツ連関度をコンテンツモデルデータベースに記憶する第６工程と、
前記コンテンツモデルデータベースを参照し、前記対象情報と、前記参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する第７工程と、
前記参照ＩＤリストに対応する参照サマリーリストを生成する第８工程と、
前記ユーザ端末を介して前記参照サマリーリストから選択された第１参照ＩＤを取得する第９工程と、
取得した前記第１参照ＩＤに対応する前記コンテンツを出力する第１０工程と、
を備えることを特徴とする情報提供方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ端末から取得した映像情報に基づきユーザ端末に出力する複数のコンテンツの絞り込みを行う情報提供システム及び情報提供方法に関するものである。

【背景技術】

【0002】

近年、画像認識技術及び仮想現実（VR:Virtual Reality）や拡張現実（AR:Augmented Reality）、複合現実（MR:Mixed Reality）といった技術の発達に伴い、ユーザの頭部に装着される頭部装着型映像表示装置（HMD:Head Mounted Display）と呼ばれる表示部を介して、様々な情報をオーバーラップして参照させる方法が公開されている。例えば、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、予測された収穫時期を拡張現実として表示する方法として、特許文献１のウェアラブル端末表示システムが提案されている。

【0003】

特許文献１のウェアラブル端末表示システムでは、ウェアラブル端末の視界に入った農作物の画像をカメラで撮影し、その画像を解析して、農作物の種類を特定し、農作物の種類に応じた判定基準を選択し、その判定基準に基づいて、画像を解析して色およびサイズを判定する判定し、農作物の収穫時期を予測し、ウェアラブル端末の表示板に、予測された収穫時期を拡張現実として表示する。

【0004】

また、例えば、作業者のウェアラブル端末の表示板に、作業マニュアル等のルールに基づき作業対象を判定し、作業支援情報を拡張現実として表示する方法として、特許文献２の作業支援システムが提案されている。

【0005】

特許文献２の作業支援システムでは、作業の手順、内容、留意点又はその他の事項を記述したマニュアル要素を関連付けて作業対象又は作業状況の判定条件を記述したルールを生成し、模範事例が最高評価となるようにルールを最適化させ学習し、センサで取得したセンサ情報に基づいて作業対象及び作業状況を認識し、生成したルール及び認識手段の認識結果に基づいて作業支援情報を出力する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第６２６７８４１号公報

【特許文献2】特許第６３２１８７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで、フィールド（作業現場）における機器等の保全や修理等の作業において、例えば、ユーザ先等に設置されている機器に異常が発生した場合、異常の発生から対応までの間は機器を停止させる必要がある。これにより、ユーザ先等における業務やサービスに影響を与えてしまう懸念がある。

【0008】

例えば、工場内の生産ラインに設置される機器等の場合は、ラインに設置された時期や複数の機器やモジュールが組み合わさり構成される。そのため、異常個所の特定は、周辺の機器の可動状態や部品構成等を確認する必要がある。

【0009】

また、例えば、駅や商業施設などに設置されるエスカレータやエレベータ、または屋外駐車場等の機器の場合は、機器の構造が複雑な上、設置後に部品交換等がなされ、交換部品の形状や部番が変わっているケースもある。機器を分解してから始めて分かるケースもあり、整備マニュアルに記載されている内容と異なるケースもある。そのため、機器のマニュアルの情報に加え、関連する部品や代替部品の交換手順等についても把握しておく必要がある。

【0010】

しかしながら、実際のフィールドでは、このような経験豊富なエキスパート技術者の存在は年々少なくなる一方であるため、今後は、人材育成を兼ね、経験が浅く、比較的に年齢の若い技術者にも対応させる。あるいは、海外から来日し、機器保全や修理の研修を終えた外国人技術者等が対応していくと予想される。

【0011】

この点、特許文献１に開示技術では、農作物の外観形状等から判断した結果に基づき予測結果を表示する。そのため、様々なフィールド環境や設置された状況、機器の構成等に応じて、提供する情報を順次に絞り込んで提供していくことが難しい。

【0012】

さらに、特許文献２の開示技術では、マニュアルのルールに基づく学習モデルを生成して作業支援を行うに過ぎない。このため、実際のフィールドや機器の構成に変更があり、学習に用いたマニュアルに記載されている内容や手順と異なっている場合、フィールドにおける臨機応変な対応や判断ができない。新たに対応させるためには、その都度学習モデルを生成することになり、時間と費用がかかる。このため、実際のフィールド、作業に適した情報提供や対象情報の更新を効率よく行うことが難しい。

【0013】

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用してその中で現場に最適なものを提供することを可能とする情報提供システムを提供することにある。

【課題を解決するための手段】

【0014】

第１発明に係る情報提供システムは、ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供システムであって、ユーザ端末から第１映像情報を取得する第１取得手段と、予め取得された過去の第１映像情報、過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度が記憶されたシーンモデルデータベースと、シーンモデルデータベースを参照し、第１映像情報とシーン情報との間における第１シーン連関度を含むシーンＩＤリストを取得する第１評価手段と、シーンＩＤリストに対応するシーン名リストを生成する第１生成手段と、ユーザ端末から、第２映像情報と、シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を、取得する第２取得手段と、予め取得された過去の第２映像情報とシーンＩＤとを１組とした過去の対象情報、過去の対象情報に紐づけられ、コンテンツに対応する参照ＩＤ、及び、過去の対象情報と参照ＩＤとの間における３段階以上のコンテンツ連関度が記憶されたコンテンツモデルデータベースと、コンテンツモデルデータベースを参照し、対象情報と、参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する第２評価手段と、参照ＩＤリストに対応する参照サマリーリストを生成する第２生成手段と、ユーザ端末を介して参照サマリーリストから選択された第１参照ＩＤを取得する第３取得手段と、取得した第１参照ＩＤに対応するコンテンツを出力する出力手段とを備えることを特徴とする。

【0015】

第２発明に係る情報提供システムは、第１発明において、シーンＩＤ生成部をさらに備え、シーンＩＤ生成部は、予め取得した過去の第１映像情報及び過去の第１映像情報に対応するシーン名を取得するシーン名取得手段と、シーン名より小さい情報量のシーンＩＤを、取得したシーン名毎に生成するシーンＩＤ生成手段と、シーン情報と、過去の第１映像情報とを用いた機械学習によりシーンモデルデータベースを生成する第１学習手段とを有することを特徴とする。

【0016】

第３発明に係る情報提供システムは、第１発明又は第２発明において、コンテンツＩＤ生成部をさらに備え、コンテンツＩＤ生成部は、予め取得した過去の第２映像情報及び過去の第２映像情報に対応するコンテンツを取得するコンテンツ取得手段と、コンテンツより小さい情報量のコンテンツＩＤを、取得したコンテンツ毎に生成するコンテンツＩＤ生成手段と、参照情報と、過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する第２学習手段を有すること特徴とする。

【0017】

第４発明に係る情報提供システムは、第３発明において、コンテンツＩＤは、複数のメタ情報と対応づけられることを特徴とする。

【0018】

第５発明に係る情報提供システムは、第１発明〜第４発明の何れかにおいて、ユーザ端末は第１評価手段によって取得されたシーンＩＤリストを受信する受信手段と、シーンＩＤリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信したシーンＩＤリストに含まれるシーンＩＤが存在するか否かを判別する判別手段と、判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段をさらに備えることを特徴とする。

【0019】

第６発明に係る情報提供システムは、第１発明〜第５発明の何れかにおいて、ユーザ端末は、第２取得手段によって取得された参照ＩＤリストを受信する受信手段と、参照ＩＤリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信した参照ＩＤリストに含まれる参照ＩＤが存在するか否かを判別する判別手段と、判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段をさらに備えることを特徴とする。

【0020】

第７発明に係る情報提供システムは、第１発明〜第６発明の何れかにおいて、ユーザ端末は、頭部又は眼鏡に装着され、ユーザ端末から取得した第１映像情報に基づいて生成された情報を透過状態で表示する表示部を備えることを特徴とする。

【0021】

第８発明に係る情報提供システムは、第１発明〜第７発明の何れかにおいて、コンテンツは、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報の何れかを含むことを特徴とする。

【0022】

第９発明に係る情報提供方法は、ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法であって、ユーザ端末から第１映像情報を取得する第１工程と、予め取得された過去の第１映像情報、過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、過去の第１映像情報とシーン情報との間における３段階以上のシーン連関度をシーンモデルデータベースに記憶する第２工程と、シーンモデルデータベースを参照し、第１映像情報とシーンＩＤとの間におけるシーン連関度を含むシーンＩＤリストを取得する第３工程と、シーンＩＤリストに対応するシーン名リストを生成する第４工程と、ユーザ端末から、第２映像情報と、シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を、取得する第５工程と、予め取得された過去の第２映像情報とシーンＩＤとを１組とした過去の対象情報、対象情報に紐づけられ、コンテンツに対応する参照ＩＤ、及び、過去の対象情報と参照ＩＤとの間における３段階以上のコンテンツ連関度をコンテンツモデルデータベースに記憶する第６工程と、コンテンツモデルデータベースを参照し、対象情報と、参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する第７工程と、参照ＩＤリストに対応する参照サマリーリストを生成する第８工程と、ユーザ端末を介して参照サマリーリストから選択された第１参照ＩＤを取得する第９工程と、取得した第１参照ＩＤに対応するコンテンツを出力する第１０工程とを備えることを特徴とする。

【発明の効果】

【0023】

第１発明によれば、第１評価手段及び第１生成手段を備える。このため、シーンモデルデータベースを参照し、取得した第１映像情報に基づきシーンＩＤリストを取得でき、シーンＩＤリストに対応するシーン名リストを生成することができる。また、第２評価手段及び第２生成手段を備える。このため、コンテンツモデルデータベースを参照し、取得した対象情報に基づき参照ＩＤリストを取得でき、参照サマリーリストを生成することができる。これらにより、フィールドの状況、作業者の作業の進捗、機器の様態に応じて、適宜に、シーン及び出力するコンテンツの絞込みを行うことが可能となる。

【0024】

また、第１発明によれば、シーンモデルデータベースを備える。このため、予め取得された過去の第１映像情報及びシーン情報との間におけるシーン連関度に基づき、シーンＩＤリストを取得することが可能となる。さらに、コンテンツモデルデータベースを備える。このため、予め取得された過去の対象情報と、参照ＩＤとの間におけるコンテンツ連関度に基づき、参照ＩＤリストを取得することが可能となる。また、シーンモデルデータベース及びコンテンツモデルデータベースは、共通のＩＤを介して管理される。このため、一方のデータベース（シーンモデルデータベース）を更新するとき、他方のデータベース（コンテンツモデルデータベース）を更新する必要がない。そのため、機械学習させるための生成時間や更新時間を大幅に短縮することができる。さらに、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用できる。既存の情報資産の中で、現場に最適なものを提供することが可能となる。

【0025】

また、第１発明によれば、第２取得手段、第３取得手段及び出力手段と、を備える。このため、生成した参照サマリーリストをユーザ端末に送信し、ユーザ端末を介して選択された参照ＩＤを取得し、取得した参照ＩＤに基づいて、対応するコンテンツを出力できる。これらにより、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0026】

また、第２発明によれば、シーンＩＤ生成部を備える。シーンＩＤ生成部は、シーン名取得手段、シーンＩＤ生成手段、及び第１学習手段を有する。このため、シーン名より小さい情報量のシーンＩＤを、取得したシーン名毎に生成する。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、一方のデータベースを更新するとき、対象のＩＤの修正だけでいいので、他方のデータベースを更新する必要がない。

【0027】

また、第３発明によれば、コンテンツＩＤ生成部を備える。コンテンツＩＤ生成部は、コンテンツ取得手段、コンテンツＩＤ生成手段、及び第２学習手段を有する。このため、コンテンツ情報より小さい情報量の第２コンテンツＩＤを、前記取得したコンテンツ情報より生成する。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、一方のデータベースを更新するとき、対象のＩＤの修正だけでいいので、他方のデータベースを更新する必要がない。

【0028】

また、第４発明によれば、コンテンツ情報は、メタ情報を含む。このため、より細かい属性をコンテンツ情報に付与することができる。これにより、正確なコンテンツの割り当てや提供が可能となり、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0029】

また、第５発明によれば、ユーザ端末は、受信手段、判別手段、及び問い合わせ手段を備える。このため、キャッシュ領域に受信したシーンＩＤリストに含まれるシーンＩＤが存在するか否かを判別すことができる。このため、自端末内に対応するシーンＩＤ存在しない場合に限り、他のシーンモデルデータベースから入手する。これにより、フィールドの状況に応じて状態の絞込みを行え、さらに、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0030】

また、第６発明によれば、ユーザ端末は、受信手段、判別手段、及び問い合わせ手段を備える。このため、キャッシュ領域に受信したコンテンツＩＤ含まれるコンテンツＩＤが存在するか否かを判別すことができる。このため、自端末内に対応するシーンＩＤ存在しない場合に限り、他のシーンモデルデータベースから入手する。これにより、フィールドの状況に応じて状態の絞込みを行え、さらに、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0031】

また、第７発明によれば、ユーザ端末は、頭部又は眼鏡に装着され、ユーザ端末から取得した第１映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。このため、フィールドの操作でハンズフリーの操作が可能となる。これにより、適切な情報の取得及び提供を効率的に行えるを自由に使え、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0032】

また、第８発明によれば、参照情報は、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報を含む。このため、さまざまなコンテンツコンテンツを提供が可能となる。これにより、適切な情報の取得及び提供を効率的に行うことが可能となる。

【図面の簡単な説明】

【0033】

【図1】図１は、本実施形態における情報提供システムの構成の一例を示すブロック図である。

【図2】図２は、本実施形態におけるシーンモデルデータベースの一例を示す模式図である。

【図3】図３は、本実施形態におけるコンテンツモデルデータベースの一例を示す模式図である。

【図4】図４（ａ）は、本実施形態における情報提供システムのユーザ装置の構成の一例を示す模式図であり、図４（ｂ）は、本実施形態における情報提供システムの管理サーバの機能の一例を示す模式図である。

【図5】図５（ａ）は、本実施形態におけるシーンモデルテーブルの構成の一例を示す模式図である。図５（ｂ）は、シーン用コンテンツモデルテーブル（OFE用）の構成の一例を示す模式図である。

【図6】図６（ａ）は、本実施形態におけるシーンテーブルの一例を示す模式図である。図６（ｂ）は、本実施形態におけるコンテンツテーブルの一例を示す模式図である。

【図7】図７（ａ）は、本実施形態における名前キャッシュテーブルの構成の一例を示す模式図であり、図７（ｂ）は、本実施形態におけるサマリーキャッシュテーブルの構成の一例を示す模式図である。

【図8】図８（ａ）は、本実施形態におけるメタテーブルの構成の一例を示す模式図であり、図８（ｂ）は、本実施形態におけるメタカテゴリーマスターテーブルの構成の一例を示す模式図であり、図８（ｃ）は、本実施形態におけるメタマスターテーブルの構成の一例を示す模式図である。

【図9】図９は、本実施形態における情報提供システムの動作の一例を示すフローチャートである。

【図10】図１０（ａ）は、本実施形態におけるシーンＩＤ生成部の動作の一例を示すフローチャートである。図１０（ｂ）は、本実施形態におけるコンテンツＩＤ生成部の動作の一例を示すフローチャートである。

【図11】図１１は、本実施形態におけるユーザ端末におけるキャッシュ領域の確認動作の一例を示すフローチャートである。

【図12】図１２（ａ）は、本実施形態における第１取得手段の一例を示す模式図である。図１２（ｂ）は、本実施形態における第２取得手段の一例を示す模式図である。図１２（ｃ）は、本実施形態における第３取得手段の一例を示す模式図である。図１２（ｄ）は、本実施形態における出力手段の一例を示す模式図である。

【発明を実施するための形態】

【0034】

以下、本発明の実施形態における情報提供システム及び情報提供方法の一例について、図面を参照しながら説明する。

【0035】

図１は、本実施形態における発明が適用される情報提供システム１の一例を示す模式図である。

【0036】

（第１実施形態）
図１〜図１２を参照して、第１実施形態における情報提供システム１の構成の一例について説明する。図１は、本実施形態における情報提供システム１の全体の構成を示すブロック図である。

【0037】

図１に示すように、情報提供システム１は、管理サーバ２、シーンモデルデータベース３、コンテンツモデルデータベース４、コンテンツ情報データベース５を備える。管理サーバ２は、例えば、公衆通信網６を介して、フィールド（現場）の作業者に備わるユーザ端末７に接続される。

【0038】

管理サーバ２は、例えば、フィールドに設置されている機器等の保守や保全、修理等の作業を実施するために使用される。管理サーバ２は、例えば、フィールドのユーザ端末７から取得する機器などの映像情報を取得する。管理サーバ２は、シーンモデルデータベース３及びコンテンツモデルデータベース４を参照し、各データの取得、データの評価、情報の出力を行う。

【0039】

シーンモデルデータベース３は、予め取得された過去の第１映像情報、前記過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、前記過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度を記憶する。コンテンツモデルデータベース４は、予め取得された過去の第２映像情報と前記シーンＩＤとを１組とした過去の対象情報、前記過去の対象情報に紐づけられ、前記コンテンツに対応する参照ＩＤ、及び、前記過去の対象情報と前記参照ＩＤとの間における３段階以上のコンテンツ連関度を記憶する。例えば、対象情報と参照ＩＤ（コンテンツＩＤ）に基づき構築された結果を、コンテンツモデルデータベースに記憶する。コンテンツ情報データベース５は、例えば、コンテンツを記録する。コンテンツは、例えば、機器マニュアル、取扱い説明書、カタログ、報告書、リポート等のドキュメント関連の資料の他に、例えば、商品紹介の動画や解決マニュアル動画等であってもよい。コンテンツは、例えば、各コンテンツの管理者等により登録される。登録されるコンテンツは、例えば、音声等のファイルであってもよく、日本語に対応する外国語等の翻訳された音声等のファイルであってもよい。例えば、ある１ヶ国の音声言語が登録されれば、それに合わせて対応する外国語の翻訳音声ファイルが記憶されてもよい。これらコンテンツの登録や更新は、例えば、各メーカーの管理者やマニュアル作成担当による端末の操作で、公衆通信網６（ネットワーク）を介して行ってもよい。また、例えば、管理者やマニュアル作成担当者が行う管理等を代行するような業者が一括して行ってもよい。

【0040】

公衆通信網６は、情報提供システム１及び管理サーバ２等が通信回路を介して接続されるインターネット網等である。公衆通信網６は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網６は、有線通信網には限定されず、無線通信網で実現してもよい。

【0041】

＜ユーザ端末７＞
ユーザ端末７は、作業者の頭部又は眼鏡に一体又は部分的に装着され、ユーザ端末７から取得した第１映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザ端末７は、例えば、ＨＭＤ（ヘッドマウントディスプレイ）の１種類であるホロレンズ（登録商標）であってもよい。作業者は、ユーザ端末７の表示情報をヘッドマウントディスプレイ又はホロレンズ等の透過して表示する表示部を介して、作業エリアや評価対象の機器を透過して確認することができる。これにより作業者は、目の前の状況を見つつ、取得された第１映像情報に基づいて生成されたシーン名リスト、参照サマリーリスト、コンテンツを合わせて確認することが可能となる。

【0042】

さらに、ユーザ端末７は、第１評価手段によって取得されたシーンＩＤリスト又は第２取得手段によって取得された参照ＩＤリストを受信する受信手段、ユーザ端末7のキャッシュ領域に対象のＩＤが存在するかを確認する判別手段、ユーザ端末７のキャッシュ領域内に存在しない場合に対応するコンテンツ情報データベース５に問い合わせる問い合わせ手段を備える。

【0043】

＜シーンモデルデータベース３＞
図２は、本実施形態におけるシーンモデルデータベース３の一例を示す模式図である。シーンモデルデータベース３は、予め取得された過去の第１映像情報、過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度が記憶される。第１映像情報は、例えば、フィールドの作業者が備えるユーザ端末７のカメラ等により撮影された映像である。第１映像情報は、例えば、静止画、動画、何れであっても良く、作業者による撮影、又はユーザ端末７の設定で、自動的に撮像されてもよい。さらに、ユーザ端末７のメモリ等に記録されている映像情報に読み込ませたり、公衆通信網６経由で取得する等してもよい。

【0044】

シーンモデルデータベース３は、機械学習により取得された第１映像情報と過去の第１映像情報とシーンＩＤとの評価結果により構築され、例えば、各々の関係がシーン連関度として記憶する。例えば、過去の第１映像情報の『０１』は、シーンＩＤ『Ａ』とは７０％の連関度であり、シーンＩＤ『Ｄ』とは５０％、シーンＩＤ『Ｃ』とは１０％等として記憶する。ユーザ端末７から取得された第１映像情報は、機械学習により、例えば、予め取得された過去の第１映像情報と類似性等の評価結果が構築される。例えば、深層学習を行うことで、同一ではなく類似の情報に対しても対応可能となる。

【0045】

シーンモデルデータベース３は、予め取得された過去の第１映像情報、過去の第１映像情報に紐づくシーンＩＤを含むシーン情報、及び過去の第１映像情報とシーン情報との間における度合いを示す３段階以上の第１シーン連関度を記憶する。第１評価手段は、シーンモデルデータベース３を参照し、過去の第１映像情報と一致、一部一致、又は類似する過去の第１映像情報を選択し、選択された過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報を選択し、選択された過去の第１映像情報とシーン情報との間における連関度に基づいて第１シーン連関度を算出し、算出された第１シーン連関度を含むシーンＩＤを取得し、シーンＩＤリストに基づいて選択されたシーン名リストを、ユーザ端末７に表示する。

【0046】

シーンモデルデータベース３は、シーンＩＤリストを記憶する。シーンＩＤリストは、後述する第１評価手段２０２によって取得される。シーン名リストは、例えば、機械学習により算出されたシーン連関度により、過去の第１映像情報とシーンＩＤの対が評価されたリストである。シーンモデルデータベース３は、この評価された結果であるリスト化された内容を記憶する。リスト化された内容は、例えば、『シーンＩＤ Ａ：７０％』、『シーンＩＤ Ｄ：５０％』等と、シーン連関度の高い関係性を表すシーンＩＤである。

【0047】

シーンモデルデータベース３は、シーンＩＤリスト、シーン名リストを記憶する。シーン名リストは、後述する第１生成手段２０３により生成される。例えば、シーンＩＤリストには、第１評価手段２０２によってシーンＩＤに対応するシーン名が取得され、それらシーン名リストを記憶する。シーンモデルデータベース３に記憶されたシーン名リストは、その後の処理でユーザ端末７に送信される。ユーザは、ユーザ端末７により受信されたシーン名リストを参照し、第1映像情報に対応するシーンを把握する。

【0048】

なお、シーンモデルデータベースの更新や登録されているデータの修正や追加等のため、シーンモデルデータベース３に第１映像情報に対応するシーン情報、及びシーンＩＤに対応するシーン名が存在しない場合は、例えば、別視野における第１映像情報の取得処理を行う、又は『該当シーン無し』というようなシーン名を加えたシーン名リストを生成し、ユーザ端末７に送信するようにしてもよい。

【0049】

＜コンテンツモデルデータベース４＞
図３は、本実施形態におけるコンテンツモデルデータベース４の一例を示す模式図である。コンテンツモデルデータベース４は、予め取得された過去の第２映像情報とシーンＩＤとを１組とした過去の対象情報、前記過去の対象情報に紐づけられ、コンテンツに対応する参照ＩＤ、及び、過去の対象情報と参照ＩＤとの間における３段階以上のコンテンツ連関度を記憶する。コンテンツモデルデータベース４が記憶する映像情報は、ユーザ端末７によって撮影される。第１取得手段２０１は、フィールドの映像情報である映像情報として、撮影された第２映像情報を取得する。この第２映像情報は、例えば、フィールドの作業者が備えるユーザ端末７のカメラ等により撮影された映像である。第２映像情報は、前述の第１映像情報と同様に、例えば、静止画、動画、何れであっても良く、作業者による撮影、又はユーザ端末７の設定で、自動的に撮像されてもよい。さらに、ユーザ端末７のメモリ等に記録されている映像情報に読み込ませたり、公衆通信網６経由で取得する等してもよい。

【0050】

コンテンツモデルデータベース４は、ユーザ端末７から、取得された第２映像情報とともに第１シーンＩＤを記憶する。第１シーンＩＤとは、シーンモデルデータベース３に記憶されたシーン名リストであり、ユーザによって選択されたシーン名に対応するシーンＩＤである。コンテンツモデルデータベース４は、この第１シーンＩＤと第２映像情報を対象情報として記憶する。なお、繰り返し作業を行ったりする場合は、ここまでの処理が繰り返し行われることとなる。なお、第１シーンＩＤは、複数あってもよく、その場合は、シーン名リストの選択が、ユーザによって複数選択されたことになる。

【0051】

コンテンツモデルデータベース４は、予め取得された過去の第２映像情報、シーンＩＤを１組とした過去の対象情報、過去の対象情報に紐づけられ、コンテンツに対応する参照ＩＤ、及び、過去の対象情報と参照ＩＤとの間における度合いを示す３段階以上のコンテンツ連関度を記憶する。第２評価手段は、コンテンツモデルデータベース４を参照し、過去の第２映像情報、対象情報と一致、一部一致、又は類似する過去の第２映像情報、シーンＩＤを選択し、選択された過去の第２映像情報、対象情報に紐づけられた参照ＩＤを選択し、選択された過去の第２映像情報と対象情報との間における連関度に基づいて第２連関度を算出し、算出された第２シーン連関度を含む参照ＩＤを取得し、参照ＩＤリストに基づいて選択された参照サマリリストを、ユーザ端末７に表示する。

【0052】

類似度が高かった対象情報と参照ＩＤの評価結果は、例えば、対象情報『Ａ×０１』であれば、参照ＩＤ『参照ＩＤ：Ａ』とは７０％の連関度であり、参照ＩＤ『参照ＩＤ：Ｄ』とは５０％、参照ＩＤ『参照ＩＤ：Ｃ』とは１０％であることを示している。第２取得手段が取得した対象情報は、例えば、対象情報と類似性等の評価がされる。この処理は、ＡＩ画像処理等により行われてもよい（図示せず）。ＡＩ画像処理を行うことで、従来の処理に比べ、格段の処理が短時間に行える。

【0053】

次に、コンテンツモデルデータベース４は、参照ＩＤリストを記憶する。参照ＩＤリストの取得は、第２評価手段によって取得される。例えば、機械学習により構築されたコンテンツ連関度により、対象情報と過去の第２映像情報と参照ＩＤに紐づけられる参照情報の対が評価される。その評価結果に基づき、連関度の高い評価結果の参照ＩＤがリスト化される。参照ＩＤのリスト化は、例えば、『参照ＩＤ：Ａ ７０％』、『参照ＩＤ：Ｄ ５０％』等と、コンテンツ連関度の高い関係性の参照ＩＤとして構築され、コンテンツモデルデータベース４に記憶される。

【0054】

次に、コンテンツモデルデータベース４は、第２評価手段により取得された参照ＩＤリストと、第２生成手段により生成された参照サマリーリストを記憶する。参照サマリーリストは、参照ＩＤリストで判別される参照ＩＤに基づき、後述するコンテンツテーブルに記録されている。第２取得手段２０４は、コンテンツモデルデータベース４に記憶されるコンテンツテーブルに登録される『サマリー』を取得する。第２評価手段２０５は、参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する。第２生成手段２０６は、取得されたサマリー情報に基づき参照サマリーリストを生成する。第２生成手段２０６によって生成された参照サマリーリストは、ユーザ端末７に送信する。

【0055】

なお、コンテンツモデルデータベース４の更新や登録されているデータの修正や追加等のため、コンテンツモデルデータベース４にシーンＩＤに対応する参照ＩＤ、コンテンツ、サマリー等のデータが存在しない場合は、例えば、未対応時の代替対応として準備されているシーシーンＩＤを新たに対応付け、対応づけられた代替コンテンツをユーザ端末７に送信するようにしてもよい。

【0056】

＜管理サーバ２＞
図４（ａ）は、情報提供システム１の管理サーバ２の略式図である。管理サーバ２として、管理サーバ２は、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５〜１０７とを備える。各構成１０１〜１０７は、内部バス１１０により接続される。

【0057】

ＣＰＵ１０１は、管理サーバ２全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、測定情報等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（solid state drive）等が用いられる。

【0058】

Ｉ／Ｆ１０５は、公衆通信網６を介してユーザ端末７等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部分１０８との情報の送受信を行うためのインターフェースである。入力部分１０８として、例えばキーボードが用いられ、情報提供システム１を利用する管理者や作業者やコンテンツ管理者等は、入力部分１０８を介して、各種情報又は管理サーバ２の制御コマンド等を入力又は選択する。Ｉ／Ｆ１０７は、出力部分１０９との各種情報の送受信を行うためのインターフェースである。出力部分１０９は、保存部１０４に保存された各種情報、又は管理サーバ２の処理状況等を出力する。出力部分１０９として、ディスプレイが用いられ、例えばタッチパネル式でもよい。この場合、出力部分１０９が入力部分１０８を含む構成としてもよい。

【0059】

図４（ｂ）は、管理サーバ２の機能の一例を示す模式図である。管理サーバ２は、第１取得手段２０１、第１評価手段２０２、第１生成手段２０３、第２取得手段２０４と、第２評価手段２０５と、第２生成手段２０６と、第３取得手段２０７と、出力手段２０８と、シーン名取得手段、シーンＩＤ生成手段、及び第１学習手段を含むシーンＩＤ生成部２０９、コンテンツ取得手段、コンテンツＩＤ生成手段、第２学習手段を含むコンテンツＩＤ生成部２１０とを備える。管理サーバ２は、シーンモデルデータベース３、コンテンツモデルデータベース４、コンテンツ情報データベース５と接続される。なお、図４（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現される。また、各機能は、例えば人工知能により制御されてもよい。ここで、「人工知能」は、いかなる周知の人工知能技術に基づくものであってもよい。

【0060】

＜第１取得手段２０１＞
第１取得手段２０１は、ユーザ端末７から第１映像情報を取得する。第１映像情報は、作業者によって撮影された機器や部品等であり、例えば、ＨＭＤ（ヘッドマウントディスプレイ）やホロレンズ等により撮影される。撮影された映像は、リアルタイムで管理サーバ２に送信されてもよい。また、撮影されている映像が、第１映像情報として取得されてもよい。

【0061】

＜第１評価手段２０２＞
第１評価手段２０２は、シーンモデルデータベース３を参照する。シーンモデルデータベース３には、予め取得された過去の第１映像情報、過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、過去の第１映像情報とシーン情報との間における３段階以上のシーン連関度が記憶されている。第１評価手段２０２は、第１映像情報とシーン情報との間における第１シーン連関度を含むシーンＩＤリストを取得する。

【0062】

＜第１生成手段２０３＞
第１生成手段２０３は、第１評価手段２０２により取得されたシーンＩＤリストに対応するシーン名リストを生成する。生成されるシーンＩＤリストは、例えば、『シーンＩＤ』、『シーンＩＤ連関度』等であり、過去の第１映像情報との連関度の高いシーンＩＤとなる。シーンＩＤは、例えば、図５（ａ）に示すシーンモデルテーブル及び図５（ｂ）に示すシーン用コンテンツモデルテーブル（０ＦＥ）に基づいて生成される。シーンモデルテーブルには、例えば、シーンＩＤ、参照ＩＤ、学習モデル等情報、シーンテーブルにはシーンＩＤ、シーン名等が記録される。第１生成手段２０３は、これらの情報に基づいてシーン名リストが生成する。

【0063】

＜第２取得手段２０４＞
第２取得手段２０４は、ユーザ端末７から第２映像情報と、シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を取得する。

【0064】

＜第２評価手段２０５＞
第２評価手段２０５は、コンテンツモデルデータベース４を参照し、対象情報と、参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する。取得されるシーンＩＤリストは、例えば、『参照ＩＤ』、『コンテンツ連関度』等であり、対象情報との連関度の高いシーンＩＤとなる。

【0065】

＜第２生成手段２０６＞
第２生成手段２０６は、第２評価手段で評価され、取得された参照ＩＤリストに対応した参照サマリーリストを生成する。参照サマリーリストは、後述するコンテンツテーブルに記憶されているサマリー情報に基づき、生成される。

【0066】

＜第３取得手段２０７＞
第３取得手段２０７は、ユーザ端末７を介して、参照サマリーリストから選択された第１参照ＩＤを取得する。

【0067】

＜出力手段２０８＞
出力手段２０８は、取得した第１参照ＩＤに対応するコンテンツを出力する。取得は、コンテンツ情報データベース５から行う。出力されるコンテンツは、例えば、図６に示すコンテンツテーブルにより取得される。コンテンツテーブルは、例えば、コンテンツ情報データベース５に記憶される。コンテンツテーブルには、例えば、シーンＩＤ、参照ＩＤ、コンテンツ、サマリー、ハッシュ値が各々対応づけられて登録される。また、１つの第１参照ＩＤは、複数のメタ情報と対応づけられる。第１参照ＩＤには、例えば、図８に示すメタ情報が付与される。メタ情報は、例えば、メタテーブル、メタカテゴリーマスターテーブル、メタマスターテーブルによって紐づけられる。

【0068】

＜シーンＩＤ生成部２０９＞
シーンＩＤ生成部２０９は、シーン名取得手段とシーンＩＤ生成手段と第１学習手段とを有する。

【0069】

＜シーン名取得手段２０９＞
シーン名取得手段２０９は、シーンモデルデータベース３に記憶されるシーンテーブルを参照し、予め取得した過去の第１映像情報及び過去の第１映像情報に対応するシーン名を取得する。

【0070】

＜シーンＩＤ生成手段＞
シーンＩＤ生成手段は、例えば、取得したシーン名の文字長を判別し、判別した文字長のシーン名より小さい情報量のシーンＩＤを、取得したシーン名毎に生成する。これにより、ここで生成されるシーンＩＤは、シーン名よりも情報量が小さくなる。

【0071】

＜第１学習手段＞
第１学習手段は、生成されたシーンＩＤを少なくとも含むシーン情報と、過去の第１映像情報とを用いた機械学習によりシーンモデルデータベースを生成する。

【0072】

＜コンテンツＩＤ生成部２１０＞
コンテンツＩＤ生成部２１０は、コンテンツ取得手段とコンテンツＩＤ生成手段と第２学習手段とを有する。
＜コンテンツ取得手段＞
コンテンツ取得手段は、コンテンツモデルデータベース４に記憶されるコンテンツテーブルを参照し、予め取得した過去の第２映像情報及び過去の第２映像情報に対応するコンテンツを取得する。

【0073】

＜コンテンツＩＤ生成手段＞
コンテンツＩＤ生成手段は、例えば、取得したコンテンツのファイル名、関連情報、又は本文等の文字長を判別し、判別した文字長のコンテンツのデータ容量より小さい情報量のコンテンツＩＤを、取得したコンテンツ毎に生成する。また、コンテンツより小さい情報量のコンテンツＩＤを、取得したコンテンツ毎に生成する。これにより、ここで生成されるコンテンツＩＤは、コンテンツよりも情報量が小さくなる。

【0074】

＜第２学習手段＞
第２学習手段は、生成されたコンテンツＩＤを少なくとも含む参照情報と、過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する。

【0075】

＜ユーザ端末７：受信手段＞
受信手段は、ユーザ端末７に備わり、第１評価手段によって取得されたシーンＩＤリストを受信する。また、第２取得手段によって取得された参照ＩＤリストを受信する。

【0076】

＜ユーザ端末７：判別手段＞
判別手段は、ユーザ端末７に備わり、シーンＩＤリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信したシーンＩＤリストに含まれるシーンＩＤが存在するか否かを判別する。また、参照ＩＤリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信した参照ＩＤリストに含まれる参照ＩＤが存在するか否かを判別し、キャッシュ領域内にシーンＩＤリスト、又は参照ＩＤリストが存在すれば、そちらのリストを最初に確認する。キャッシュは、例えば図７に示す名前キャッシュテーブル及びサマリーキャッシュテーブルにされる。

【0077】

名前キャッシュテーブルには、例えば、シーンＩＤとシーン名が各々対応づけられて記憶されている。また、サマリーキャッシュテーブルには、例えば、参照ＩＤが各々対応づけられて記憶されており、参照されることになる。

【0078】

＜ユーザ端末７：問い合わせ手段＞
問い合わせ手段は、ユーザ端末７において、判別手段の判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせを行う。

【0079】

次に、図５（ａ）は、シーンモデルテーブルの構成の一例を示す模式図である。図５（ｂ）は、シーン用コンテンツモデルテーブル（OFE用）の構成の一例を示す模式図である。

【0080】

まず、図５（ａ）に示すシーンモデルテーブルは、シーンモデルデータベース３に記憶される。シーンモデルテーブルには、例えば、作業者が行うフィールドで行う各作業を識別するシーンＩＤとそのシーンＩＤに対応する学習モデルが対応づけられて記憶される。シーンＩＤは、複数存在し、その各シーンに対応する映像情報の学習モデルが対応づけられて記憶される。

【0081】

次に、図５（ｂ）に示すシーン用コンテンツモデルテーブルは、各シーンＩＤの参照ＩＤと学習モデルが対応づけられて記憶される。図５（ｂ）に示すシーン用コンテンツモデルテーブルでは、例えば、参照シーンＩＤが『０ＦＥ』の例であり、様々なシーンごとに対応する参照ＩＤが分かれて記憶される。参照ＩＤは、複数存在し、その各シーンに対応する映像情報の学習モデルが対応づけられて記憶される。なお、シーンに対応する映像情報の学習モデルに対し、コンテンツが存在しないこともある。この場合は、例えば、参照ＩＤには『ＮＵＬＬ』が記憶される。

【0082】

次に、図６（ａ）は、シーンテーブルの一例を示す模式図である。図６（ａ）に示すシーンテーブルは、シーンモデルデータベース３に記憶される。シーンテーブルには、例えば、作業者が行うフィールドで行う各作業の映像情報の概略と、その概略の作業を識別するシーンＩＤが対応づけられて記憶される。シーンＩＤは複数存在し、その各シーンＩＤに対応するシーン名が対応づけられて記憶される。

【0083】

次に、図６（ｂ）は、コンテンツテーブルの一例を示す模式図である。図６（ａ）に示すコンテンツテーブルは、コンテンツモデルデータベース４に記憶される。コンテンツテーブルには、例えば、シーンＩＤ、参照ＩＤ、コンテンツ、コンテンツのサマリー、ハッシュ値が各々対応づけられて記憶される。シーンＩＤは複数存在し、その各シーンＩＤに対応するコンテンツサマリーが対応づけられて記憶される。コンテンツテーブルには、ユーザ端末７から取得した映像情報に基づき、ユーザ端末７に出力される複数のコンテンツが記憶される。なお、参照ＩＤは、シーン無指定のコンテンツを含んでもよい。この場合は、シーンＩＤには『ＮＵＬＬ』が記憶される。

【0084】

次に、図７（ａ）は、名前キャッシュテーブルの構成の一例を示す模式図であり、図７（ｂ）は、本実施形態におけるサマリーキャッシュテーブルの構成の一例を示す模式図であり、ユーザ端末７の記憶領域に記憶される。ユーザ端末７は、例えば、管理サーバ２で生成されたシーンＩＤリストを受信し、記憶領域内に記憶する。ユーザ端末７は、ユーザ端末７に記憶されたシーンＩＤリストを参照し、その結果に基づいてシーン名リストの返信を管理サーバ２に行うことで、効率のよい絞込みを行うことが可能となる。

【0085】

また、ユーザ端末７は、例えば、管理サーバ２で生成された参照ＩＤリストを受信し、記憶領域内に記憶する。ユーザ端末７は、ユーザ端末７に記憶された参照ＩＤリストを参照し、その結果に基づいて参照ＩＤリストの返信を管理サーバ２に行うことで、効率のよい絞込みを行うことが可能となる。

【0086】

次に、図８（ａ）は、メタテーブルの構成の一例を示す模式図であり、図８（ｂ）は、メタカテゴリーマスターテーブルの構成の一例を示す模式図であり、図８（ｃ）は、メタマスターテーブルの構成の一例を示す模式図である。

【0087】

まず、図８（ａ）メタテーブルは、参照ＩＤとメタＩＤが各々対応付けられ、コンテンツモデルデータベース４に記憶される。メタテーブルは、例えば、１つのコンテンツに対して、複数のメタＩＤが付与されてもよい。 図８（ｂ）メタカテゴリーマスターテーブ及び図８（ｃ）メタマスターテーブルは、メタ情報の分類を管理するものである。例えば、『機種名』、『シリーズ名』等の情報のように、機種や商品に応じて変化するような情報ではなく、例えば、物の性質自体を表す属性として、『色』、『重量』等のように選定して記憶される。

【0088】

図９は、本実施形態における情報提供システム１の動作の一例を示すフローチャートである。

【0089】

＜情報提供システム１の動作＞
次に、本実施形態における情報提供システム１の動作の一例について説明する。図９は、本実施形態における情報提供システム１の動作の一例を示すフローチャートである。

【0090】

＜第１取得手段Ｓ１００＞
まず、第１取得手段２０１は、ユーザ端末７からから第１映像情報を取得する（第１取得手段Ｓ１００）。例えば、図１２（ａ）に示すように、第１取得手段２０１は、ユーザ端末７により対象の機器の映像情報が撮影された映像情報を取得する。第１取得手段２０１は、例えば、公衆通信網６を介して接続される複数のユーザ端末７であってもよい。第１取得手段は、この場合、各ユーザ端末７の機器識別番号とともに第１映像情報を取得するようにしてもよい。

【0091】

＜第１評価手段Ｓ１０１＞
第１評価手段２０２は、シーンモデルデータベース３を参照する。シーンモデルデータベース３には、予め取得された過去の第１映像情報、前記過去の第１映像情報に紐づけられたシーンＩＤを含むシーン情報、及び、前記過去の第１映像情報と前記シーン情報との間における３段階以上のシーン連関度が記憶されており、取得した第１映像情報とシーン情報との間における第１シーン連関度を含むシーンＩＤリストを取得する。シーンＩＤは、例えば、図６（ａ）シーンテーブルより取得されたデータがリスト化されたものとなる。

【0092】

＜第１生成手段Ｓ１０２＞
第１生成手段２０３は、第１評価手段２０２で取得されたシーンＩＤリストに対応するシーン名リストに基づき、シーン名リスト生成する。第１生成手段２０３は、例えば、図６（ａ）シーンテーブルを参照し、対応するシーン名リストを生成する。例えば、第１評価手段２０２で取得されたシーンＩＤリストに含まれるシーンＩＤが『０ＦＤ』の場合、シーン名として『ABC-999装置の再起動』というシーン名が選択される。例えば、シーンＩＤが『０ＦＥ』の場合、シーン名として『ABC-999装置のメモリを取り外す』というシーン名が選択されることとなる。

【0093】

＜第２取得手段Ｓ１０３＞
次に、第２取得手段２０４は、ユーザ端末７から、第２映像情報と、シーン名リストから選択されたシーン名に対応する第１シーンＩＤとを１組とした対象情報を取得する。例えば、図１２（ｂ）に示すように、第２取得手段２０４は、ユーザ端末７により選択されたシーン名（装置Ｄ）に対応する第１シーンＩＤを１組とした対象情報を取得する。

【0094】

＜Ｓ１０４＞
第２評価手段２０５は、コンテンツモデルデータベース４を参照し、対象情報と、参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得する。参照ＩＤリストは、例えば、例えば、参照ＩＤとコンテンツ連関度等の情報がリスト化される。

【0095】

＜第２生成手段Ｓ１０５＞
第２生成手段２０６は、第２評価手段２０５によって取得された参照ＩＤリストに対応する参照サマリーリストを生成する。参照サマリーリストは、参照ＩＤに基づき、例えば図６（ｂ）に示すコンテンツテーブルより参照ＩＤに対応するサマリーが取得される。例えば、参照ＩＤが『１B８２７−０２』の場合は、対応するサマリーは『step 1 四隅のネジを外してから、両手でしっかり ・・・』となる。さらに、この参照ＩＤサマリーリストは、例えば、ユーザ端末７のキャッシュ領域に記録されるよう構成してもよい。

【0096】

＜第３取得手段Ｓ１０６＞
第３取得手段２０７は、ユーザ端末７を介して、参照サマリーリストから選択された第１参照ＩＤを取得する。第３取得手段２０７は、例えば、対象の参照ＩＤのみを受信する。このような構成とすることで、ユーザ端末７と管理サーバ２の間における情報転送量を圧縮できる。例えば、図１２（ｃ）に示すように、第３取得手段２０７は、ユーザ端末７から、参照サマリーリストから選択された第１参照ＩＤ（『分解手順１ 四隅のネジを外してから、両手…』）を取得する。

【0097】

＜出力手段Ｓ１０７＞
出力手段２０８は、取得した第１参照ＩＤに対応するコンテンツを出力する。コンテンツの出力は、コンテンツ情報データベース５からコンテンツを取得し、ユーザ端末７に出力する。出力されるコンテンツは、例えば、図５に示すように、参照ＩＤが『１Ｂ８２７−０２』の場合は、『１Ｂ８２７−０２/１.ｐｄｆ』となる。このファイルがユーザ端末７に出力する。ユーザ端末７における出力は、例えば、図１２（ｄ）に示すように、第１参照ＩＤに対応する参照サマリーリストから選択されたコンテンツがユーザ端末７に出力される。

【0098】

これにより、本実施形態の情報提供システム１の動作が終了する。

【0099】

図１０（ａ）は、本実施形態におけるシーンＩＤ生成部の動作の一例を示すフローチャートであり、図１０（ｂ）は、本実施形態におけるコンテンツＩＤ生成部の動作の一例を示すフローチャートである。

【0100】

＜シーンＩＤ生成部の動作＞
まず、図１０（ａ）は、本実施形態におけるシーンＩＤ生成部の動作の一例を示すフローチャートである。

【0101】

シーンＩＤ生成部は、シーン名取得手段Ｓ２００、シーンＩＤ生成手段Ｓ２０１、第１学習手段Ｓ２０２により構成される。

【0102】

＜シーン名取得手段Ｓ２００＞
シーン名取得手段２００は、シーンモデルデータベース３から、予め取得した過去の第１映像情報及び過去の第１映像情報に対応するシーン名を取得する。

【0103】

＜シーンＩＤ生成手段Ｓ２０１＞
シーンＩＤ生成手段Ｓ２０１は、シーン名より小さい情報量のシーンＩＤを、シーン名取得手段Ｓ２００で取得したシーン名毎に生成する。

【0104】

＜第１学習手段Ｓ２０２＞
第１学習手段Ｓ２０２は、シーンＩＤを含むシーン情報と、過去の第１映像情報とを用いた機械学習によりシーンモデルデータベース３を生成する。

【0105】

＜コンテンツＩＤ生成部の動作＞
次に、図１０（ｂ）は、本実施形態におけるコンテンツＩＤ生成部の動作の一例を示すフローチャートである。

【0106】

コンテンツＩＤ生成部は、コンテンツ名取得手段Ｓ２０５、コンテンツＩＤ生成手段Ｓ２０６、第２学習手段Ｓ２０７により構成される。

【0107】

＜コンテンツ取得手段Ｓ２０５＞
コンテンツ取得手段Ｓ２０５は、コンテンツモデルデータベース４から、予め取得した過去の第２映像情報及び過去の第２映像情報に対応するコンテンツを取得する。

【0108】

＜コンテンツＩＤ生成手段Ｓ２０６＞
コンテンツＩＤ生成手段Ｓ２０６は、コンテンツより小さい情報量のコンテンツＩＤを、コンテンツ取得手段Ｓ２０５により取得したコンテンツ毎に生成する。

【0109】

＜第２学習手段Ｓ２０７＞
第２学習手段Ｓ２０７は、コンテンツＩＤを少なくとも含む参照ＩＤと、過去の対象情報とを用いた機械学習によりコンテンツモデルデータベースを生成する。

【0110】

図１１は、本本実施形態におけるユーザ端末におけるキャッシュ領域の確認動作の一例を示すフローチャートである。

【0111】

＜受信手段Ｓ３００＞
受信手段Ｓ３００は、第１評価手段Ｓ１００によって取得された前記シーンＩＤリスト、又は第２取得手段によって取得された参照ＩＤリストを受信する。

【0112】

＜判別手段Ｓ３０１＞
判別手段Ｓ３０１は、ユーザ端末７のキャッシュ領域に受信手段Ｓ３００で受信したシーンＩＤリストに含まれるシーンＩＤが存在するか否か、又は受信した参照ＩＤリストに含まれる参照ＩＤが存在するか否かを判別する。

【0113】

＜問い合わせ手段Ｓ３０２＞
問い合わせ手段Ｓ３０２は、判別手段Ｓ３０１の結果、ユーザ端末７のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベース５に問い合わせを行う。

【0114】

これにより、ユーザ端末７とコンテンツ情報データベース５において、適切な情報提供を効率よく行うことが可能となる。

【0115】

また、本実施形態によれば、シーンＩＤ生成手段及びコンテンツＩＤ生成手段は、シーン名及びコンテンツよりも情報量の小さいＩＤを生成することができる。このため、ユーザ端末７と管理サーバ２の間において、情報量を押えることができる。これにより、ユーザ端末７と管理サーバ２の間での絞り込みのレスポンスが向上する。さらに、新たに生成したＩＤでのやり取りを可能とするため、一方のデータベースを更新するとき、対象のＩＤの修正だけでよく、他方のデータベースを更新する必要がない。これにより、更新時間を短縮でき、フィールドにおける機器等の保全や修理等の作業準備にかかる時間、工数を削減できる。

【0116】

また、本実施形態によれば、シーンＩＤ生成部を備え、シーン名取得手段、シーンＩＤ生成手段、及び第１学習手段を有する。このため、シーンモデルデータベース３に記憶されるシーン名を取得し、シーン名より小さい情報量のシーンＩＤをシーン名毎に生成できる。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、生成されたシーンＩＤは、図６（ａ）シーンテーブルに記憶される。シーンＩＤは、図６（ｂ）コンテンツテーブルのコンテンツ関連の情報と対応付けられている。これにより、シーンモデルデータベース３のシーンテーブルを更新するとき、対象のＩＤだけ修正すればよく、他方のコンテンツモデルデータベース４を更新する必要がない。

【0117】

また、本実施形態によれば、コンテンツＩＤ生成部２１０を備え、コンテンツ取得手段、参照ＩＤ生成手段、及び第２学習手段を有する。このため、コンテンツモデルデータベース４に記憶されるコンテンツを取得し、コンテンツより小さい情報量の参照ＩＤをコンテンツ名毎に生成できる。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、生成された参照ＩＤは、図６（ｂ）コンテンツテーブルに記憶される。参照ＩＤは、図８（ａ）メタテーブルのメタ情報と対応付けられている。これにより、コンテンツモデルデータベース４のコンテンツテーブルを更新するとき、対象のＩＤだけ修正すればよく、他方のメタテーブルを更新する必要がない。

【0118】

また、本実施形態によれば、ユーザ端末７は、頭部又は眼鏡に装着され、ユーザ端末から取得した第１映像情報に基づいて生成された情報を透過状態で表示する表示部を備える機器であればよい。このため、撮影した映像情報に基づき、管理サーバ２に取得される第１映像情報による情報の絞込みが可能となる。取得した第１映像情報に対する操作は、ユーザ端末７に備わる操作に準じて、管理サーバ２とのやり取りがなされる。例えば、何かしらのジェスチャー操作や音声指示であってもよく、ユーザ端末７と管理サーバ２との取り決めにより操作が実行されることとなる。これにより、適切な情報の取得及び提供を効率的に行うことが可能となる。

【0119】

また、本実施形態によれば、出力手段２０８によりユーザ端末７に出力するコンテンツは、テキスト、イラスト、動画、音声の一部、又は全部の情報であればよい。このため、既存の情報資産をそのまま活用できる。これにより、さまざまなコンテンツコンテンツを提供が可能となる。これにより、既存の情報資産の中で、現場に最適なものを提供することが可能となる。

【0120】

また、本実施例によれば、ユーザ端末７から取得した映像情報に基づき、管理サーバ２からユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法は、第１取得手段を行う第１工程と、シーンモデルデータベース３に記憶させる第２工程と、第１評価手段を行う第３工程と、第１生成手段を行う第４工程と、第２取得手段を行う第５工程と、コンテンツモデルデータベース４に記憶させる第６工程と、第２評価手段を行う第７工程と、第２生成手段を行う第８工程と、第３生成手段を行う第９工程と、出力手段を行う第１０工程により提供することができる。

【0121】

このため、新たに対応させる場合でも、その都度学習モデルを生成する必要が無く、時間と費用がかからず、適切な情報提供を効率よく行うことができる。これにより、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用できる。さらに、既存の情報資産の中で、現場に最適なものを提供することが可能となる。

【0122】

本発明の実施形態を説明したが、各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0123】

１ ：情報提供システム
２ ：管理サーバ
３ ：シーンモデルデータベース
４ ：コンテンツモデルデータベース
５ ：コンテンツ情報データベース
６ ：公衆通信網
７ ：ユーザ端末
１０１ ：ＣＰＵ
１０２ ：ＲＯＭ
１０３ ：ＲＡＭ
１０４ ：保存部
１０５〜１０７ ：Ｉ／Ｆ
１０８ ：入力部分
１０９ ：出力部分
１１０ ：内部バス
２０１ ：第１取得手段
２０２ ：第１評価手段
２０３ ：第１生成手段
２０４ ：第２取得手段
２０５ ：第２評価手段
２０６ ：第２生成手段
２０７ ：第３取得手段
２０８ ：出力手段
２０９ ：シーンＩＤ生成部
２１０ ：コンテンツＩＤ生成部

【要約】

【課題】 ユーザ端末から取得した映像情報に基づきユーザ端末に出力する複数のコンテンツの絞り込みを行う情報提供システムを提供する。
【解決手段】 ユーザ端末から取得した第１映像情報に基づいて、第１映像情報とシーン情報との間における第１シーン連関度を含むシーンＩＤリストを取得し、シーン名リストを生成する。その後、ユーザ端末から第２映像情報とシーン名リストから選択されたシーン名を取得し、対象情報と、前記参照ＩＤとの間における第１コンテンツ連関度を含む参照ＩＤリストを取得し、参照ＩＤリストに対応する参照サマリーリストを生成し、ユーザ端末を介して参照サマリーリストから選択された第１参照ＩＤを取得し、対応するコンテンツを出力する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】