(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-18
(45)【発行日】2024-09-27
(54)【発明の名称】判定プログラム、情報処理装置及び判定方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240919BHJP
G06T 7/20 20170101ALI20240919BHJP
【FI】
G06Q50/10
G06T7/20 300A
(21)【出願番号】P 2020114292
(22)【出願日】2020-07-01
【審査請求日】2023-04-07
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100094525
【氏名又は名称】土井 健二
(74)【代理人】
【識別番号】100094514
【氏名又は名称】林 恒徳
(72)【発明者】
【氏名】高橋 秀和
【審査官】阿部 圭子
(56)【参考文献】
【文献】特開2020-003952(JP,A)
【文献】特開2017-201479(JP,A)
【文献】特開2012-159886(JP,A)
【文献】特開2011-215951(JP,A)
【文献】特開2009-087073(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
G06T 7/20
(57)【特許請求の範囲】
【請求項1】
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得し、
順序の重要度が高い行動に関連する第1の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す第1単語を抽出し、
順序の重要度が低い行動に関連する第2の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す
第2単語
を抽出し、
前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出し、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の
第2出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する、
処理をコンピュータに実行させることを特徴とする判定プログラム。
【請求項2】
前記判定する処理は、
前記第1出現頻度から前記第1単語と前記第3単語との第1関連度を算出し、
前記第2出現頻度から前記第2単語と前記第3単語との第2関連度を算出し、
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が高いと判定し、前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が低いと判定する、
処理を含む、
ことを特徴とする請求項
1に記載の判定プログラム。
【請求項3】
前記第1関連度を算出する処理は、前記第1単語及び前記第2単語の両方に含まれる単語が前記第3単語に多く含まれるほど前記第1関連度が低くなるように、前記第1関連度を算出する処理を含み、
前記第2関連度を算出する処理は、前記第1単語及び前記第2単語の両方に含まれる単語が前記第3単語に多く含まれるほど前記第2関連度が低くなるように、前記第2関連度を算出する処理を含む、
ことを特徴とする請求項
2に記載の判定プログラム。
【請求項4】
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理として、前記行動シーケンスに対応する前記複数の行動及び前記複数の行動の順序が前記行動シナリオと一致するか否かを判定し、
前記行動シーケンスに対応する前記複数の行動及び前記複数の行動の順序が前記行動シナリオと一致すると判定した場合、前記行動シーケンスと前記行動シナリオとが対応する旨の情報を出力する、
処理をコンピュータに実行させることを特徴とする請求項
2に記載の判定プログラム。
【請求項5】
前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理として、前記行動シーケンスに対応する前記複数の行動が前記行動シナリオと一致するか否かを判定し、
前記行動シーケンスに対応する前記複数の行動が前記行動シナリオと一致すると判定した場合、前記行動シーケンスと前記行動シナリオとが対応する旨の情報を出力する、
処理をコンピュータに実行させることを特徴とする請求項
2に記載の判定プログラム。
【請求項6】
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得する情報取得部と、
順序の重要度が高い行動に関連する第1の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す第1単語を抽出し、順序の重要度が低い行動に関連する第2の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す
第2単語
を抽出し、前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出する単語抽出部と、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の
第2出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する重要度判定部と、を有する、
ことを特徴とする情報処理装置。
【請求項7】
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得し、
順序の重要度が高い行動に関連する第1の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す第1単語を抽出し、
順序の重要度が低い行動に関連する第2の複数の文書
に含まれる単語のうちの前記複数の行動のそれぞれを示す
第2単語
を抽出し、
前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出し、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の
第2出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する、
処理をコンピュータに実行させることを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定技術に関する。
【背景技術】
【0002】
近年、例えば、人の行動認識を行うことを目的として、監視カメラ等のカメラによって撮影された動画データから抽出した人の行動シーケンスと、人による行動の順序を予め定義した行動シナリオとのマッチング(以下、類似性判定処理とも呼ぶ)を行う情報処理システムの導入が行われている。
【0003】
具体的に、このような情報処理システムでは、例えば、カメラによって撮影された動画データから、人が行った各行動(基本行動)とその順序とを特定する。そして、情報処理システムは、特定した情報から行動シーケンスを生成する。その後、情報処理システムは、生成した行動シーケンスと予め記憶装置に蓄積した複数の行動シナリオのそれぞれとのマッチングを行い、生成した行動シーケンスと類似する行動シナリオの特定を行う。
【0004】
これにより、情報処理システムは、特定した行動シナリオが示す行動を、動画データに映る人が行った行動として認識することが可能になる(例えば、特許文献1乃至5参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016-053871号公報
【文献】特開平7-287657号公報
【文献】特開2009-176045号公報
【文献】特開2012-208613号公報
【文献】特開2001-101227号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、上記のような行動シーケンスには、人による行動の属性(時間、場所または動作主体等)によって、行動の順序の重要性が高い行動シーケンスと行動の順序の重要性が低い行動シーケンスとが含まれる。具体的に、例えば、商品等の展示会場における人の行動シーケンスは、行動の順序の重要性が低い行動シーケンスに該当し、完成品の組立作業における人の行動シーケンスは、行動の順序の重要性が高い行動シーケンスに該当する。そして、このような行動シーケンスにおける行動の順序の重要性は、行動シーケンスと行動シナリオとのマッチングの精度に影響を与える場合がある。
【0007】
そこで、一つの側面では、本発明は、行動シーケンスと行動シナリオとのマッチングを行動の順序の重要性に基づいて実行することを可能とする判定プログラム、情報処理装置及び判定方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
実施の形態の一態様では、センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得し、手順を示す第1の複数の文書と第2の複数の文書とのそれぞれにおける前記複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する、処理をコンピュータに実行させる。
【発明の効果】
【0009】
一つの側面によれば、行動シーケンスにおける行動の順序の重要性に基づいて、行動シーケンスと行動シナリオとのマッチングが実行される。
【図面の簡単な説明】
【0010】
【
図1】
図1は、情報処理システム10の構成を示す図である。
【
図2】
図2は、行動シーケンスと行動シナリオとのマッチングを示す図である。
【
図3】
図3は、行動シーケンスと行動シナリオとのマッチングを示す図である。
【
図4】
図4は、行動シーケンスと行動シナリオとのマッチングを示す図である。
【
図5】
図5は、商品等の展示会場における人の行動シーケンス131の具体例を示す図である。
【
図6】
図6は、商品等の展示会場における人の行動シーケンス131の具体例を示す図である。
【
図7】
図7は、完成品の組立作業における人の行動シーケンス131の具体例を示す図である。
【
図8】
図8は、完成品の組立作業における人の行動シーケンス131の具体例を示す図である。
【
図9】
図9は、情報処理装置1のハードウエア構成を示す図である。
【
図10】
図10は、情報処理装置1の機能のブロック図である。
【
図11】
図11は、第1の実施の形態における行動判定処理の概略を示すフローチャート図である。
【
図12】
図12は、第1の実施の形態における行動判定処理の詳細を示すフローチャート図である。
【
図13】
図13は、第1の実施の形態における行動判定処理の詳細を示すフローチャート図である。
【
図14】
図14は、第1の実施の形態における行動判定処理の詳細を示すフローチャート図である。
【
図15】
図15は、第1の実施の形態における行動判定処理の詳細を示すフローチャート図である。
【
図17】
図17は、出現回数情報135の具体例を示す図である。
【
図18】
図18は、出現回数情報135の具体例を示す図である。
【
図19】
図19は、第1の実施の形態における行動判定処理の詳細を示す図である。
【
図20】
図20は、関連度情報136の具体例を示す図である。
【
図21】
図21は、第1の実施の形態における行動判定処理の詳細を示す図である。
【
図22】
図22は、関連度情報136の具体例を示す図である。
【
図23】
図23は、第1の実施の形態における行動判定処理の詳細を示す図である。
【発明を実施するための形態】
【0011】
[情報処理システムの構成]
図1は、情報処理システム10の構成を示す図である。
図1に示す情報処理システム10は、情報処理装置1と、操作端末3とを有する。
【0012】
操作端末3は、例えば、作業者が必要な情報等の入力を行う端末であり、PC(Personal Computer)であってよい。また、操作端末3は、ネットワークNWを介して情報処理装置1と通信が可能な端末である。
【0013】
情報処理装置1は、例えば、1台以上の物理マシンまたは仮想マシンからなり、行動シーケンスと行動シナリオとのマッチングを行う。
【0014】
[行動シーケンスと行動シナリオとのマッチング]
図2から
図4は、行動シーケンスと行動シナリオとのマッチングを示す図である。
【0015】
情報処理装置1は、例えば、カメラによって撮影された動画データを受信した場合、訓練データを学習することによって予め生成された機械学習モデルを用いることによって、動画データのフレームごとに、各フレームに映る人の行動(基本行動)を特定する。
【0016】
具体的に、情報処理装置1は、例えば、
図2(A)に示すように、フレームFR1において間隔をあけた位置に映る人OB1及び箱OB2を特定する。また、情報処理装置1は、例えば、
図2(B)に示すように、フレームFR2において近い位置に映る人OB1及び箱OB2を特定する。さらに、情報処理装置1は、例えば、
図2(C)に示すように、フレームFR3において間隔を空けた位置に映る人OB1及び箱OB2と、箱OB2と近い位置に映る台OB3とを特定する。
【0017】
そして、情報処理装置1は、例えば、フレームFR1において特定した情報から、フレームFR1に対応するタイミングにおいて人OB1が「(箱OB2を)持つ」行動を行っていたものと特定する。また、情報処理装置1は、例えば、フレームFR2において特定した情報から、フレームFR2に対応するタイミングにおいて人OB1が「(箱OB2を持った状態で)歩く」行動を行っていたものと特定する。さらに、情報処理装置1は、例えば、フレームFR3において特定した情報から、フレームFR3に対応するタイミングにおいて人OB1が「(箱OB2を台OB3の上に)置く」行動を行っていたものと特定する。
【0018】
そのため、情報処理装置1は、この場合、
図3に示すように、「持つ」に対応するラベルR11と、「歩く」に対応するラベルR12と、「置く」に対応するラベルR13とからなる行動シーケンス131を生成する。なお、
図3に示す行動シーケンス131における「transit」は、各ラベルの時間的な繋がり(遷移)を示している。
【0019】
続いて、情報処理装置1は、例えば、記憶部(図示しない)に予め記憶した複数の行動シナリオにおいて、
図3に示す行動シーケンスと類似する行動シナリオが存在するか否かについての判定を行う。
【0020】
具体的に、
図4に示す行動シナリオ132は、記憶部(図示しない)に記憶された複数の行動シナリオ132のうちの1つを示しており、「持つ」に対応するラベルR21と、「歩く」に対応するラベルR22と、「置く」に対応するラベルR23とからなる行動シナリオ132である。そのため、情報処理装置1は、この場合、
図3に示す行動シーケンス131と少なくとも類似する行動シナリオ132(
図3に示す行動シーケンス131と同じラベルを含む行動シナリオ132)が存在すると判定する。
【0021】
したがって、情報処理装置1は、この場合、例えば、
図3に示す行動シーケンス131と少なくとも類似すると判定した行動シナリオ132に対応付けられた行動(例えば、「運ぶ」)を、
図3に示す行動シーケンス131に対応する行動として特定する。
【0022】
ここで、上記のような行動シーケンス131には、人による行動の属性(時間、場所または動作主体等)によって、行動の順序の重要性が高い行動シーケンス131と行動の順序の重要性が低い行動シーケンス131とが含まれる。
【0023】
[行動の順序の重要性が低い行動シーケンスの具体例]
図5及び
図6は、商品等の展示会場における人の行動シーケンス131の具体例を示す図である。
【0024】
図5(A)に示す行動シーケンス131は、「ポスター見る」に対応するラベルR31と、「商品模型A持つ」に対応するラベルR32と、「商品模型B持つ」に対応するラベルR33とからなる行動シーケンス131である。
【0025】
また、
図5(B)に示す行動シーケンス131は、「ポスター見る」に対応するラベルR41と、「商品模型B持つ」に対応するラベルR42と、「商品模型C持つ」に対応するラベルR43と、「商品模型A持つ」に対応するラベルR44とからなる行動シーケンス131である。
【0026】
ここで、例えば、
図6に示す行動シナリオ132は、「ポスター見る」に対応するラベルR51と、「商品模型A持つ」に対応するラベルR52とからなる行動シナリオ132である。そのため、例えば、
図5(A)及び(B)に示す行動シーケンス131が生成された場合、情報処理装置1は、
図5(A)に示す行動シーケンス131と
図6に示す行動シナリオ132とのマッチングと、
図5(B)に示す行動シーケンス131と
図6に示す行動シナリオ132とのマッチングとをそれぞれ行う。
【0027】
具体的に、例えば、
図5(A)に示す行動シーケンス131を
図6に示す行動シナリオ132と一致させる場合、1回の削除(ラベルR33の削除)を行う必要がある。そのため、情報処理装置1は、この場合、例えば、
図5(A)に示す行動シーケンス131の編集に要するコスト(以下、編集距離とも呼ぶ)をして「1」を特定する。
【0028】
また、例えば、
図5(B)に示す行動シーケンス131を
図6に示す行動シナリオ132と一致させる場合、2回の削除(ラベルR42の削除及びラベルR43の削除)を行う必要がある。そのため、情報処理装置1は、この場合、例えば、
図5(B)に示す行動シーケンス131の編集距離として「2」を特定する。
【0029】
そのため、情報処理装置1は、この場合、
図6に示す行動シナリオ132とより類似する行動シーケンス131として、例えば、
図5(A)に示す行動シーケンス131を特定する。
【0030】
[行動の順序の重要性が高い行動シーケンスの具体例]
図7及び
図8は、完成品の組立作業における人の行動シーケンス131の具体例を示す図である。
【0031】
図7に示す行動シーケンス131は、「ネジA締める」に対応するラベルR61と、「ネジB締める」に対応するラベルR62とからなる行動シーケンス131である。
【0032】
そして、例えば、
図8に示す行動シナリオ132は、「ネジB締める」に対応するラベルR71と、「ネジA締める」に対応するラベルR72とからなる行動シナリオ132である。そのため、例えば、
図7に示す行動シーケンス131が生成された場合、情報処理装置1は、
図7に示す行動シーケンス131と
図8に示す行動シナリオ132とのマッチングを行う。
【0033】
ここで、
図7に示す行動シーケンス131は、行動の順序の重要性が高い行動シーケンス131である。そのため、情報処理装置1は、この場合、
図5等で説明した編集距離を用いることによるマッチングを行うことができない。したがって、情報処理装置1は、例えば、
図5等で説明した編集距離によるマッチングに代えて、行動シーケンス131に含まれるラベルと行動シナリオ132に含まれるラベルとが完全一致しているか否かの判定を行う必要がある。
【0034】
すなわち、行動シーケンス131における行動の順序の重要性は、行動シーケンス131と行動シナリオ132とのマッチングの精度に影響を与える場合がある。
【0035】
そこで、本実施の形態における情報処理装置1は、センサーによる計測データ(例えば、カメラによって撮影された動画データ)から抽出された複数の行動と複数の行動の順序とを示す行動シーケンス131を取得する。そして、情報処理装置1は、手順を示す複数の文書(以下、第1の複数の文書とも呼ぶ)と他の複数の文書(以下、第2の複数の文書とも呼ぶ)とのそれぞれにおける複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオ132と行動シーケンス131とのマッチングの実施時における複数の行動の順序の重要度(以下、単に重要度とも呼ぶ)を判定する。
【0036】
すなわち、情報処理装置1は、例えば、順序の重要性が高い行動に関する第1の複数の文書と順序の重要性が低い行動に関する第2の複数の文書とのそれぞれについて、マッチング対象の行動シーケンス131に含まれる単語の出現頻度を算出する。そして、情報処理装置1は、例えば、第1の複数の文書に対応する出現頻度が第2の複数の文書に対応する出現頻度よりも高い場合、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定する。また、情報処理装置1は、例えば、第2の複数の文書に対応する出現頻度が第1の複数の文書に対応する出現頻度よりも高い場合、マッチング対象の行動シーケンス131が行動の順序の重要性が低い行動シーケンス131であると判定する。
【0037】
これにより、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定した場合、行動シーケンス131と行動シナリオ132とのマッチングを、マッチング対象の行動シーケンス131が行動の順序の重要性が高い場合に適した方法によって行うことが可能になる。また、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が低い行動シーケンス131であると判定した場合、行動シーケンス131と行動シナリオ132とのマッチングを、マッチング対象の行動シーケンス131が行動の順序の重要性が低い場合に適した方法によって行うことが可能になる。そのため、情報処理装置1は、行動シーケンス131と行動シナリオ132とのマッチングの精度を向上させることが可能になる。
【0038】
[情報処理システムのハードウエア構成]
図9は、情報処理装置1のハードウエア構成を示す図である。
【0039】
情報処理装置1は、
図9に示すように、プロセッサであるCPU101と、メモリ102と、通信装置103と、記憶媒体104とを有する。各部は、バス105を介して互いに接続される。
【0040】
記憶媒体104は、例えば、行動シーケンス131と行動シナリオのマッチングを行う処理(以下、行動判定処理とも呼ぶ)を行うためのプログラム110を記憶するプログラム格納領域(図示しない)を有する。また、記憶媒体104は、例えば、行動判定処理を行う際に用いられる情報を記憶する情報格納領域130を有する。なお、記憶媒体104は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)であってよい。
【0041】
CPU101は、記憶媒体104からメモリ102にロードされたプログラム110を実行して行動判定処理を行う。
【0042】
また、通信装置103は、例えば、ネットワークNWを介して操作端末3との通信を行う。
【0043】
[情報処理システムの機能]
図10は、情報処理装置1の機能のブロック図である。情報処理装置1は、
図10に示すように、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、情報受信部111と、情報管理部112と、単語抽出部113と、動画受信部114と、行動特定部115とを含む各種機能を実現する。また、情報処理装置1は、CPU101やメモリ102等のハードウエアとプログラム110とが有機的に協働することにより、シーケンス生成部116と、マッチング実行部117(以下、重要度判定部117とも呼ぶ)と、情報出力部118とを含む各種機能を実現する。
【0044】
また、情報処理装置1は、例えば、
図6に示すように、行動シーケンス131と、行動シナリオ132と、文書133と、単語情報134と、出現回数情報135と、関連度情報136とを情報格納領域130に記憶する。
【0045】
情報受信部111は、例えば、作業者が操作端末3を介して入力した行動シナリオ132を受信する。
【0046】
また、情報受信部111は、例えば、作業者が操作端末3を介して入力した文書133を受信する。
【0047】
情報管理部112は、例えば、情報受信部111が受信した行動シナリオ132を情報格納領域130に記憶する。
【0048】
また、情報管理部112は、例えば、情報受信部111が受信した文書133を情報格納領域130に記憶する。
【0049】
単語抽出部113は、例えば、自然言語処理を行うことにより、情報格納領域130に記憶した文書133から単語(名詞や動詞等)を抽出する。具体的に、単語抽出部113は、情報格納領域130に記憶した文書133のうち、順序の重要性が高い行動に関連する文書133(例えば、完成品の組立手順書)に含まれる単語を抽出する。また、単語抽出部113は、情報格納領域130に記憶した文書133のうち、順序の重要性が低い行動に関連する文書133(例えば、商品展示会のパンフレット)に含まれる単語を抽出する。
【0050】
なお、順序の重要性が高い行動に関連する文書133は、例えば、手順や工程を説明することを用途とする文書133であってもよい。手順や工程を順に説明することを用途とする文書133は、例えば、料理のレシピが記載された文書133や化合物の生成方法が記載された文書133が含まれてもよい。また、順序の重要性が低い行動に関連する文書133は、例えば、手順や工程を説明することを用途とする文書133以外の文書133であってもよい。
【0051】
動画受信部114は、カメラ(図示しない)が撮影した動画データを受信する。具体的に、動画受信部114は、例えば、作業者が操作端末3を介して送信した動画データを受信する。そして、情報管理部112は、この場合、動画受信部114が受信した動画データを情報格納領域130に記憶する。
【0052】
行動特定部115は、例えば、情報格納領域130に記憶した動画データに含まれるフレームごとに、各フレームに映る人の行動を特定する。
【0053】
シーケンス生成部116は、行動特定部115が特定した行動から行動シーケンス131を生成する。
【0054】
マッチング実行部117は、シーケンス生成部116が生成した行動シーケンス131と、情報格納領域130に記憶した行動シナリオ132とのマッチングを行う。
【0055】
情報出力部118は、例えば、マッチング実行部117によるマッチング結果を操作端末3に出力する。単語情報134、出現回数情報135及び関連度情報136の説明については後述する。
【0056】
[第1の実施の形態の概略]
図11は、第1の実施の形態における行動判定処理の概略を示すフローチャート図である。
【0057】
情報処理装置1は、
図11に示すように、重要度判定タイミングになるまで待機する(S11のNO)。重要度判定タイミングは、例えば、作業者によって予め設定されたタイミングであってよい。
【0058】
そして、重要度判定タイミングになった場合(S11のYES)、情報処理装置1は、センサーによる計測データ(例えば、カメラによって撮影された動画データ)に基づいて決定された複数の行動と複数の行動の順序とを示す行動シーケンス131を取得する(S12)。
【0059】
その後、情報処理装置1は、第1の複数の文書と第2の複数の文書とのそれぞれにおける複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオ132と行動シーケンス131との類似性判定処理における複数の行動の順序の重要度を判定する(S13)。
【0060】
これにより、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定した場合、行動シーケンス131と行動シナリオ132とのマッチングを、マッチング対象の行動シーケンス131が行動の順序の重要性が高い場合に適した方法によって行うことが可能になる。また、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が低い行動シーケンス131であると判定した場合、行動シーケンス131と行動シナリオ132とのマッチングを、マッチング対象の行動シーケンス131が行動の順序の重要性が低い場合に適した方法によって行うことが可能になる。そのため、情報処理装置1は、行動シーケンス131と行動シナリオ132とのマッチングの精度を向上させることが可能になる。
【0061】
[第1の実施の形態の詳細]
図12から
図15は、第1の実施の形態における行動判定処理の詳細を示すフローチャート図である。また、
図16から
図23は、第1の実施の形態における行動判定処理の詳細を示す図である。なお、以下、行動シナリオ132及び文書133が情報格納領域130に予め記憶されているものとして説明を行う。また、以下、カメラ(図示しない)によって撮影された動画データが情報格納領域130に予め記憶されているものとして説明を行う。
【0062】
情報処理装置1の情報管理部112は、
図12に示すように、重要度判定タイミングになるまで待機する(S41のNO)。
【0063】
そして、重要度判定タイミングになった場合(S41のYES)、情報管理部112は、情報格納領域130に記憶された行動シナリオ132を読み込む(S42)。具体的に、情報管理部112は、例えば、
図6等で説明した行動シナリオ132を情報格納領域130から読み込む。
【0064】
また、情報管理部112は、この場合、情報格納領域130に記憶された文書133を読み込む(S43)。具体的に、情報管理部112は、例えば、展示パンフレット及び完成品の組立手順書のように、人の行動が記載された性格が異なる複数の文書133を情報格納領域130から読み込む。
【0065】
続いて、情報処理装置1の単語抽出部113は、S43の処理で読み込んだ文書133のうち、順序の重要性が高い行動の文書133に含まれる単語を抽出する(S44)。
【0066】
また、単語抽出部113は、S43の処理で読み込んだ文書133のうち、順序の重要性が低い行動の文書133に含まれる単語を抽出する(S45)。
【0067】
なお、単語抽出部113は、この場合、例えば、S44及びS45の処理で抽出した単語を示す単語情報134を生成するものであってもよい。
【0068】
[単語情報の具体例]
図16は、単語情報134の具体例を示す図である。
図16に示す単語情報134は、各文書133に対応する重要性(行動の順序の重要性)が設定される「重要性」と、各文書133から抽出された単語が設定される「単語」とを項目として有する。「重要性」には、各文書133に対応する重要性が高いことを示す「高」、または、各文書133に対応する重要性が低いことを示す「低」が設定される。
【0069】
具体的に、
図16に示す単語情報134において、1行目の情報には、「重要性」として「高」が設定され、「単語」として「取り付ける」、「見る」、「確認する」、「外す」、「閉じる」、「ネジ」及び「時計」が設定されている。
【0070】
また、
図16に示す単語情報134において、2行目の情報には、「重要性」として「低」が設定され、「単語」として「彫刻」、「ポスター」、「触る」、「見る」、「商品模型」、「見る」、「歩く」及び「持つ」が設定されている。
【0071】
すなわち、
図16に示す単語情報134における1行目の情報には、S44の処理で抽出した単語は設定され、
図16に示す単語情報134における2行目の情報には、S45の処理で抽出した単語は設定されている。
【0072】
図13に戻り、情報管理部112は、例えば、情報格納領域130に記憶した動画データを取得する(S51)。
【0073】
そして、情報処理装置1の行動特定部115は、S51の処理で取得した動画データに含まれるフレームごとに、各フレームに映る人の行動(基本行動)を特定する(S52)。
【0074】
具体的に、行動特定部115は、例えば、
図2で説明したように、各フレームにおける人や物体(箱や台等)の有無及び位置関係についての情報から、各フレームに映る人の行動の特定を行う。
【0075】
続いて、情報処理装置1のシーケンス生成部116は、S52の処理で特定した行動から行動シーケンス131を生成する(S53)。
【0076】
具体的に、シーケンス生成部116は、例えば、
図2及び
図3で説明した場合と同様の方法によって、行動シーケンス131の生成を行う。
【0077】
なお、例えば、行動シーケンス131が予め情報格納領域130に記憶されている場合、情報管理部112は、S51からS53の処理に代えて、情報格納領域130に記憶された行動シーケンス131を取得するものであってもよい。
【0078】
そして、単語抽出部113は、S53の処理で生成した行動シーケンス131に含まれる名詞や動詞等の単語を抽出する(S54)。
【0079】
次に、情報処理装置1のマッチング実行部117は、S44の処理で抽出した単語ごとの出現回数を算出する(S55)。
【0080】
また、マッチング実行部117は、S45の処理で抽出した単語ごとの出現回数を算出する(S56)。
【0081】
なお、マッチング実行部117は、S55及びS56の処理において算出した出現回数を示す出現回数情報135を生成するものであってもよい。
【0082】
[出現回数情報の具体例]
図17及び
図18は、出現回数情報135の具体例を示す図である。具体的に、
図17は、S44の処理で抽出した単語ごとの出現回数を示す出現回数情報135(以下、出現回数情報135aとも呼ぶ)である。また、
図18は、S45の処理で抽出した単語ごとの出現回数を示す出現回数情報135(以下、出現回数情報135bとも呼ぶ)である。
【0083】
図17及び
図18に示す出現回数情報135は、各単語が設定される「単語」と、各単語の出現回数が設定される「回数」とを項目として有する。
【0084】
具体的に、
図17に示す出現回数情報135aにおいて、1行目の情報には、「単語」として「商品模型」が設定され、「回数」として「1(回)」が設定されている。また、
図17に示す出現回数情報135aにおいて、2行目の情報には、「単語」として「見る」が設定され、「回数」として「2(回)」が設定されている。
図17に示す出現回数情報135aに含まれる他の情報についての説明は省略する。
【0085】
また、
図18に示す出現回数情報135bにおいて、1行目の情報には、「単語」として「見る」が設定され、「回数」として「1(回)」が設定されている。また、
図18に示す出現回数情報135bにおいて、2行目の情報には、「単語」として「取り付ける」が設定され、「回数」として「1(回)」が設定されている。
図18に示す出現回数情報135bに含まれる他の情報についての説明は省略する。
【0086】
図14に戻り、マッチング実行部117は、S55の処理で算出した出現回数から、S44の処理で抽出した単語とS54の処理で抽出した単語との関連度(以下、第1関連度とも呼ぶ)を算出する(S61)。
【0087】
また、マッチング実行部117は、S56の処理で算出した出現回数から、S45の処理で抽出した単語とS54の処理で抽出した単語との関連度(以下、第2関連度とも呼ぶ)を算出する(S62)。
【0088】
[S61の処理の具体例(1)]
図19に示す行動シーケンス131は、「商品模型触る」に対応するラベルR81と、「ポスター見る」に対応するラベルR82とからなる行動シーケンス131である。以下、S53の処理において
図19に示す行動シーケンス131が生成されたものとして説明を行う。
【0089】
マッチング実行部117は、例えば、以下の式(1)及び(2)に従うことによって第1関連度の算出を行う。
【0090】
【0091】
【0092】
上記の式(1)及び(2)において、weightorderRestrictedは、第1関連度を示し、WorderRestrictedは、S44の処理で抽出した単語の集合を示し、Attrseq_Aは、S54の処理で抽出した単語の集合を示している。また、上記の式(1)及び(2)において、attriは、S54の処理で抽出したi番目の単語を示し、tf(attri,WorderRestricted)は、S44の処理で抽出した単語の集合におけるS54の処理で抽出したi番目の単語の出現頻度(以下、単に出現頻度とも呼ぶ)を示している。また、上記の式(1)及び(2)において、idf(attri)は、S44及びS45の処理で抽出した単語の集合の数のうち、S44の処理で抽出したi番目の単語を含む集合の数の逆数(すなわち、逆文書頻度)を示している。なお、idf(attri)は、例えば、以下の式(3)に従うことによって算出される。
【0093】
【0094】
上記の式(3)において、Nは、S44及びS45の処理で抽出した単語の集合の数である2を示し、df(attri)は、S44の処理で抽出したi番目の単語を含む集合の数を示している。
【0095】
具体的に、マッチング実行部117は、この場合、S54の処理において、「商品模型」、「触る」、「ポスター」及び「見る」を特定する。また、
図16で説明した単語情報134の「重要性」に「高」が設定された情報の「単語」に設定された7つの単語である「取り付け」、「見る」、「確認する」、「外す」、「閉じる」、「ネジ」及び「時計」には、「見る」が1回含まれている一方、「商品模型」、「触る」及び「ポスター」が含まれていない。
【0096】
そのため、マッチング実行部117は、「商品模型」、「触る」、「ポスター」及び「見る」のそれぞれの出現頻度として、「0」、「0」、「0」及び「1/7」を算出する。
【0097】
また、「商品模型」、「触る」及び「ポスター」のそれぞれは、S45の処理で抽出した単語の集合に含まれているのに対し、S44の処理で抽出した単語の集合には含まれていない。これに対し、「見る」は、S44の処理で抽出した単語の集合と、S45の処理で抽出した単語の集合との両方に含まれている。
【0098】
そのため、マッチング実行部117は、「商品模型」、「触る」、「ポスター」及び「見る」のそれぞれの逆文書頻度として、「1.3」、「1.3」、「1.3」及び「1」を算出する。
【0099】
その後、マッチング実行部117は、「商品模型」、「触る」、「ポスター」及び「見る」のそれぞれについての出現頻度と逆文書頻度との積和である「0.14」を第1関連度として算出する。
【0100】
[S62の処理の具体例(1)]
マッチング実行部117は、例えば、以下の式(4)及び(5)に従うことによって第2関連度の算出を行う。
【0101】
【0102】
【0103】
上記の式(4)及び(5)において、weightorderNOTRestrictedは、第2関連度を示し、WorderNOTRestrictedは、S45の処理で抽出した単語の集合を示し、Attrseq_Aは、S54の処理で抽出した単語の集合を示している。また、上記の式(4)及び(5)において、attriは、S54の処理で抽出したi番目の単語を示し、tf(attri,WorderNOTRestricted)は、S45の処理で抽出した単語の集合におけるS54の処理で抽出したi番目の単語の出現頻度(以下、単に出現頻度とも呼ぶ)を示している。また、上記の式(4)及び(5)において、idf(attri)は、S44及びS45の処理で抽出した単語の集合の数のうち、S45の処理で抽出したi番目の単語を含む集合の数の逆数(すなわち、逆文書頻度)を示している。なお、idf(attri)は、例えば、以下の式(6)に従うことによって算出される。
【0104】
【0105】
上記の式(6)において、Nは、S44及びS45の処理で抽出した単語の集合の数である2を示し、df(attri)は、S45の処理で抽出したi番目の単語を含む集合の数を示している。
【0106】
具体的に、マッチング実行部117は、この場合、S54の処理において、「商品模型」、「触る」、「ポスター」及び「見る」を特定する。また、
図16で説明した単語情報134の「重要性」に「低」が設定された情報の「単語」に設定された8つの単語である「彫刻」、「ポスター」、「触る」、「見る」、「商品模型」、「見る」、「歩く」及び「持つ」には、「見る」が2回含まれており、「商品模型」、「触る」及び「ポスター」が1回ずつ含まれている。
【0107】
そのため、マッチング実行部117は、「商品模型」、「触る」、「ポスター」及び「見る」のそれぞれの出現頻度として、「1/8」、「1/8」、「1/8」及び「1/4」を算出する。
【0108】
その後、マッチング実行部117は、「商品模型」、「触る」、「ポスター」及び「見る」のそれぞれについての出現頻度と逆文書頻度(S61の処理で算出した逆文書頻度)との積和である「0.85」を第2関連度として算出する。
【0109】
すなわち、S53の処理において生成された行動シーケンス131が行動の順序の重要性が低い行動シーケンス131である場合、第2関連度が示す値は、第1関連度が示す値よりも大きくなる。
【0110】
なお、マッチング実行部117は、この場合、S61及びS62の処理において算出した第1関連度及び第2関連度を示す関連度情報136を生成するものであってもよい。
【0111】
[関連度情報の具体例]
図20及び
図22は、関連度情報136の具体例を示す図である。
【0112】
図20等に示す関連度情報136は、各文書133に対応する重要性(行動の順序の重要性)が設定される「重要性」と、第1関連度または第2関連度に対応する値が設定される「値」とを項目として有する。
【0113】
具体的に、
図20に示す関連度情報136において、1行目の情報には、「重要性」として「高」が設定され、「値」として「0.14」が設定されている。
【0114】
また、
図20に示す関連度情報136において、2行目の情報には、「重要性」として「低」が設定され、「値」として「0.85」が設定されている。
【0115】
[S61の処理の具体例(2)]
図21に示す行動シーケンス131は、「ネジ締める」に対応するラベルR91と、「時計取り付ける」に対応するラベルR92とからなる行動シーケンス131である。以下、S53の処理において
図21に示す行動シーケンス131が生成されたものとして説明を行う。
【0116】
具体的に、マッチング実行部117は、この場合、S54の処理において、「ネジ」、「締める」、「時計」及び「取り付ける」を特定する。また、
図16で説明した単語情報134の「重要性」に「高」が設定された情報の「単語」に設定された7つの単語である「取り付け」、「見る」、「確認する」、「外す」、「閉じる」、「ネジ」及び「時計」には、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれが1回ずつ含まれている。
【0117】
そのため、マッチング実行部117は、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれの出現頻度として、「1/7」、「1/7」、「1/7」及び「1/7」を算出する。
【0118】
また、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれは、S44の処理で抽出した単語の集合に含まれているのに対し、S45の処理で抽出した単語の集合には含まれていない。
【0119】
そのため、マッチング実行部117は、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれの逆文書頻度として、「1.3」、「1.3」、「1.3」及び「1.3」を算出する。
【0120】
その後、マッチング実行部117は、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれについての出現頻度と逆文書頻度との積和である「0.76」を第1関連度として算出する。
【0121】
[S62の処理の具体例(2)]
マッチング実行部117は、この場合、S54の処理において、「ネジ」、「締める」、「時計」及び「取り付ける」を特定する。また、
図16で説明した単語情報134の「重要性」に「低」が設定された情報の「単語」に設定された8つの単語である「彫刻」、「ポスター」、「触る」、「見る」、「商品模型」、「見る」、「歩く」及び「持つ」には、「ネジ」、「締める」、「時計」及び「取り付ける」が含まれていない。
【0122】
そのため、マッチング実行部117は、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれの出現頻度として、「0」、「0」、「0」及び「0」を算出する。
【0123】
その後、マッチング実行部117は、「ネジ」、「締める」、「時計」及び「取り付ける」のそれぞれについての出現頻度と逆文書頻度(S61の処理で算出した逆文書頻度)との積和である「0」を第2関連度として算出する。
【0124】
すなわち、S53の処理において生成された行動シーケンス131が行動の順序の重要性が高い行動シーケンス131である場合、第1関連度が示す値は、第2関連度が示す値よりも大きくなる。
【0125】
なお、マッチング実行部117は、この場合、
図22に示すように、S61及びS62の処理において算出した第1関連度及び第2関連度を示す関連度情報136を生成するものであってもよい。
【0126】
図14に戻り、S61の処理で算出した第1関連度がS62の処理で算出した第2関連度よりも大きい場合(S63のYES)、マッチング実行部117は、S53の処理で生成した行動シーケンス131に対応する複数の行動及び複数の行動の順序が、情報格納領域130で記憶した行動シナリオ132のうちのいずれかと一致(完全一致)するか否かを判定する(S64)。
【0127】
すなわち、マッチング実行部117は、この場合、S53の処理で生成された行動シーケンス131が行動の順序の重要度が高い行動シーケンス131であると判定する。そのため、マッチング実行部117は、行動シーケンス131及び行動シナリオ132のそれぞれに含まれる行動の組合せだけでなく、行動の順序についてもマッチングを行う。
【0128】
これにより、情報処理装置1は、S53の処理で生成された行動シーケンス131が行動の順序の重要度が高い行動シーケンス131であると判定された場合、例えば、編集距離を用いた処理を行わない方法によるマッチングを行うことが可能になる。そのため、情報処理装置1は、行動シーケンス131と行動シナリオ132とのマッチングの精度を向上させることが可能になる。
【0129】
一方、S61の処理で算出した第1関連度がS62の処理で算出した第2関連度よりも大きくない場合(S63のNO)、マッチング実行部117は、
図15に示すように、S53で生成した行動シーケンス131に対応する複数の行動が、情報格納領域130で記憶した行動シナリオ132のうちのいずれかと少なくとも類似するか否かを判定する(S71)。
【0130】
すなわち、マッチング実行部117は、この場合、S53の処理で生成された行動シーケンス131が行動の順序の重要度が低い行動シーケンス131であると判定する。そのため、マッチング実行部117は、行動シーケンス131及び行動シナリオ132に含まれる行動の組合せが少なくとも類似しているか否かの判定を行う。具体的に、マッチング実行部117は、例えば、編集距離を用いた処理によるマッチングを行う。
【0131】
その後、情報処理装置1の情報出力部118は、例えば、S64の処理またはS71の処理での判定結果を操作端末3に出力する(S72)。
【0132】
具体的に、情報出力部118は、例えば、S64の処理が行われた場合、S53の処理で生成された行動シーケンス131と行動の組合せ及び行動の順序が一致する行動シナリオ132を示す情報を出力する。
【0133】
また、情報出力部118は、例えば、S71の処理が行われた場合、S53の処理で生成された行動シーケンス131と行動の組合せが類似する行動シナリオ132を示す情報を出力する。
【0134】
このように、本実施の形態における情報処理装置1は、センサーによる計測データに基づいて決定された複数の行動と複数の行動の順序とを示す行動シーケンス131を取得する。そして、情報処理装置1は、手順を示す第1の複数の文書と第2の複数の文書とのそれぞれにおける複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオ132と行動シーケンス131とのマッチングの実施時における複数の行動の順序の重要度を判定する。
【0135】
すなわち、情報処理装置1は、例えば、順序の重要性が高い行動に関する第1の複数の文書と順序の重要度が低い行動に関する第2の複数の文書とのそれぞれについて、マッチング対象の行動シーケンス131に含まれる単語の出現頻度を算出する。そして、情報処理装置1は、例えば、第2の複数の文書に対応する出現頻度が第1の複数の文書に対応する出現頻度よりも高い場合、マッチング対象の行動シーケンス131が行動の順序の重要性が低い行動シーケンス131であると判定する。また、情報処理装置1は、例えば、第1の複数の文書に対応する出現頻度が第2の複数の文書に対応する出現頻度よりも高い場合、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定する。
【0136】
これにより、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定した場合、例えば、
図23の上側に示すように、編集距離を用いたマッチングを行うことが可能になる。また、情報処理装置1は、マッチング対象の行動シーケンス131が行動の順序の重要性が高い行動シーケンス131であると判定した場合、例えば、
図23の下側に示すように、編集距離を用いないマッチングを行うことが可能になる。そのため、情報処理装置1は、行動シーケンス131と行動シナリオ132とのマッチングの精度を向上させることが可能になる。
【0137】
以上の実施の形態をまとめると、以下の付記のとおりである。
【0138】
(付記1)
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得し、
手順を示す第1の複数の文書と第2の複数の文書とのそれぞれにおける前記複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する、
処理をコンピュータに実行させることを特徴とする判定プログラム。
【0139】
(付記2)
前記判定する処理は、
前記第1の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第1単語を抽出し、
前記第2の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第2単語を抽出し、
前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出し、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の第2出現頻度から、前記類似性判定処理における前記複数の行動の順序の前記重要度を判定する、
処理を含む、
ことを特徴とする付記1に記載の判定プログラム。
【0140】
(付記3)
前記判定する処理は、
前記第1出現頻度から前記第1単語と前記第3単語との第1関連度を算出し、
前記第2出現頻度から前記第2単語と前記第3単語との第2関連度を算出し、
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が高いと判定し、前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が低いと判定する、
処理を含む、
ことを特徴とする付記2に記載の判定プログラム。
【0141】
(付記4)
前記第1関連度を算出する処理は、前記第1単語及び前記第2単語の両方に含まれる単語が前記第3単語に多く含まれるほど前記第1関連度が低くなるように、前記第1関連度を算出する処理を含み、
前記第2関連度を算出する処理は、前記第1単語及び前記第2単語の両方に含まれる単語が前記第3単語に多く含まれるほど前記第2関連度が低くなるように、前記第2関連度を算出する処理を含む、
ことを特徴とする付記3に記載の判定プログラム。
【0142】
(付記5)
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理として、前記行動シーケンスに対応する前記複数の行動及び前記複数の行動の順序が前記行動シナリオと一致するか否かを判定し、
前記行動シーケンスに対応する前記複数の行動及び前記複数の行動の順序が前記行動シナリオと一致すると判定した場合、前記行動シーケンスと前記行動シナリオとが対応する旨の情報を出力する、
処理をコンピュータに実行させることを特徴とする付記3に記載の判定プログラム。
【0143】
(付記6)
前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理として、前記行動シーケンスに対応する前記複数の行動が前記行動シナリオと一致するか否かを判定し、
前記行動シーケンスに対応する前記複数の行動が前記行動シナリオと一致すると判定した場合、前記行動シーケンスと前記行動シナリオとが対応する旨の情報を出力する、
処理をコンピュータに実行させることを特徴とする付記3に記載の判定プログラム。
【0144】
(付記7)
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得する情報取得部と、
手順を示す第1の複数の文書と第2の複数の文書とのそれぞれにおける前記複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する重要度判定部と、を有する、
ことを特徴とする情報処理装置。
【0145】
(付記8)
前記重要度判定部は、
前記第1の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第1単語を抽出し、
前記第2の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第2単語を抽出し、
前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出し、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の第2出現頻度から、前記類似性判定処理における前記複数の行動の順序の前記重要度を判定する、
ことを特徴とする付記7に記載の情報処理装置。
【0146】
(付記9)
前記重要度判定部は、
前記第1出現頻度から前記第1単語と前記第3単語との第1関連度を算出し、
前記第2出現頻度から前記第2単語と前記第3単語との第2関連度を算出し、
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が高いと判定し、前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が低いと判定する、
ことを特徴とする付記8に記載の情報処理装置。
【0147】
(付記10)
センサーによる計測データに基づいて決定された複数の行動と前記複数の行動の順序とを示す行動シーケンスを取得し、
手順を示す第1の複数の文書と第2の複数の文書とのそれぞれにおける前記複数の行動のそれぞれを示す単語の出現頻度に基づいて、行動の順序を定義した行動シナリオと前記行動シーケンスとの類似性判定処理における前記複数の行動の順序の重要度を判定する、
処理をコンピュータに実行させることを特徴とする判定方法。
【0148】
(付記11)
前記判定する処理は、
前記第1の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第1単語を抽出し、
前記第2の複数の文書のそれぞれにおける前記複数の行動のそれぞれを示す第2単語を抽出し、
前記行動シーケンスに対応する前記複数の行動のそれぞれを示す第3単語を抽出し、
前記第1単語における前記第3単語の第1出現頻度と、前記第2単語における前記第3単語の第2出現頻度から、前記類似性判定処理における前記複数の行動の順序の前記重要度を判定する、
処理を含む、
ことを特徴とする付記10に記載の判定方法。
【0149】
(付記12)
前記判定する処理は、
前記第1出現頻度から前記第1単語と前記第3単語との第1関連度を算出し、
前記第2出現頻度から前記第2単語と前記第3単語との第2関連度を算出し、
前記第1関連度が前記第2関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が高いと判定し、前記第2関連度が前記第1関連度よりも大きい場合、前記類似性判定処理における前記複数の行動の順序の前記重要度が低いと判定する、
ことを特徴とする付記11に記載の判定方法。
【符号の説明】
【0150】
1:情報処理装置 3:操作端末
10:情報処理システム NW:ネットワーク