知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024130956
(43)【公開日】2024-09-30
(54)【発明の名称】情報処理システムおよびプログラム
(51)【国際特許分類】
G06F 16/41 20190101AFI20240920BHJP
【ＦＩ】
G06F16/41
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023040936
(22)【出願日】2023-03-15
(71)【出願人】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(72)【発明者】
【氏名】沼田 賢一
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175GB05
(57)【要約】
【課題】作業の様子を撮像した画像から作業者の動作を検出することなく、動画像の作業マニュアルを作成できるようにする。
【解決手段】管理サーバ１０の制御部１１では、物体検出部１０３が、作業の対象物とその作業を行う作業者とを撮像した画像から、その対象物を検出し、変化検出部１０４が、その対象物の状態の変化を検出し、対応付け部１０５が、検出された対象物の状態の変化に関する情報と、予め作成された作業の手順に関する情報とを対応付ける。
【選択図】図４
【解決手段】管理サーバ１０の制御部１１では、物体検出部１０３が、作業の対象物とその作業を行う作業者とを撮像した画像から、その対象物を検出し、変化検出部１０４が、その対象物の状態の変化を検出し、対応付け部１０５が、検出された対象物の状態の変化に関する情報と、予め作成された作業の手順に関する情報とを対応付ける。
【選択図】図４
【特許請求の範囲】
【請求項1】
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出し、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付けることを特徴とする、
情報処理システム。
前記１または複数のプロセッサは、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出し、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付けることを特徴とする、
情報処理システム。
【請求項2】
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとを対応付けることを特徴とする、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記１または複数のプロセッサは、前記作業の手順に関する情報に含まれる、当該作業の内容を示すテキストデータに基づいて、前記作業のタイミングを特定する、
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項4】
前記１または複数のプロセッサは、前記テキストデータに含まれる、前記対象物を示す文字列の直後の文字列に基づいて、前記作業のタイミングを特定する、
請求項３に記載の情報処理システム。
請求項３に記載の情報処理システム。
【請求項5】
前記１または複数のプロセッサは、前記対象物の状態が変化したタイミングと、前記作業のタイミングとの対応関係に基づいて、当該作業の手順に関する情報を前記画像に表示させる制御を行うことを特徴とする、
請求項２に記載の情報処理システム。
請求項２に記載の情報処理システム。
【請求項6】
前記１または複数のプロセッサは、前記画像の撮像時に検出した前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとの対応関係に基づいて、当該画像を撮像している情報処理装置の表示部に、当該撮像を支援するための情報を表示する制御を行うことを特徴とする、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項7】
前記１または複数のプロセッサは、前記撮像を支援するための情報として、前記作業の手順に関する情報を、前記情報処理装置の表示部に表示させる制御を行うことを特徴とする、
請求項６に記載の情報処理システム。
請求項６に記載の情報処理システム。
【請求項8】
前記１または複数のプロセッサは、複数の前記画像の各々に含まれる、前記対象物の状態の時系列上の前後関係に基づいて、当該対象物の状態の変化を検出することを特徴とする、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項9】
前記１または複数のプロセッサは、前記対象物の状態の変化を検出した場合、当該対象物の状態の変化を検出しなくなるまで、または、当該対象物を検出しなくなるまでに検出した複数の状態の変化を、当該対象物の一連の状態の変化として取り扱うことを特徴とする、
請求項８に記載の情報処理システム。
請求項８に記載の情報処理システム。
【請求項10】
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態の変化の順番と、前記作業の手順に関する情報から特定される、当該作業の内容に含まれる当該対象物の登場の順番とを比較した結果に基づいて、当該対象物および当該対象物の状態の変化の検出の妥当性を判定することを特徴とする、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項11】
前記１または複数のプロセッサは、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、前記対象物の状態の変化の順番と、当該対象物の登場の順番とを比較することを特徴とする、
請求項１０に記載の情報処理システム。
請求項１０に記載の情報処理システム。
【請求項12】
コンピュータに、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、
を実現させるプログラム。
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよびプログラムに関する。
【背景技術】
【0002】
作業の様子を撮像した動画像から検出された、作業者の動作と、作業の対象物との組み合わせを、予め作成された作業手順の内容に対応付けることで、動画像の作業マニュアルを作成する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許７０２３４２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような技術では、作業者の動作と、作業の対象物との組み合わせを検出することで、予め作成された作業手順との対応付けが可能となる。しかしながら、人間の動作は複雑であるため、作業者の動作を漏れなく検出することは困難である。
【0005】
本発明の目的は、作業の様子を撮像した画像から作業者の動作を検出することなく、動画像の作業マニュアルを作成できるようにすることにある。
【課題を解決するための手段】
【0006】
請求項１に記載された発明は、１または複数のプロセッサを備え、前記１または複数のプロセッサは、作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出し、検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付けることを特徴とする、情報処理システムである。
請求項２に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとを対応付けることを特徴とする、請求項１に記載の情報処理システムである。
請求項３に記載された発明は、前記１または複数のプロセッサは、前記作業の手順に関する情報に含まれる、当該作業の内容を示すテキストデータに基づいて、前記作業のタイミングを特定する、請求項２に記載の情報処理システムである。
請求項４に記載された発明は、前記１または複数のプロセッサは、前記テキストデータに含まれる、前記対象物を示す文字列の直後の文字列に基づいて、前記作業のタイミングを特定する、請求項３に記載の情報処理システムである。
請求項５に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態が変化したタイミングと、前記作業のタイミングとの対応関係に基づいて、当該作業の手順に関する情報を前記画像に表示させる制御を行うことを特徴とする、請求項２に記載の情報処理システムである。
請求項６に記載された発明は、前記１または複数のプロセッサは、前記画像の撮像時に検出した前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとの対応関係に基づいて、当該画像を撮像している情報処理装置の表示部に、当該撮像を支援するための情報を表示する制御を行うことを特徴とする、請求項１に記載の情報処理システムである。
請求項７に記載された発明は、前記１または複数のプロセッサは、前記撮像を支援するための情報として、前記作業の手順に関する情報を、前記情報処理装置の表示部に表示させる制御を行うことを特徴とする、請求項６に記載の情報処理システムである。
請求項８に記載された発明は、前記１または複数のプロセッサは、複数の前記画像の各々に含まれる、前記対象物の状態の時系列上の前後関係に基づいて、当該対象物の状態の変化を検出することを特徴とする、請求項１に記載の情報処理システムである。
請求項９に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化を検出した場合、当該対象物の状態の変化を検出しなくなるまで、または、当該対象物を検出しなくなるまでに検出した複数の状態の変化を、当該対象物の一連の状態の変化として取り扱うことを特徴とする、請求項８に記載の情報処理システムである。
請求項１０に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態の変化の順番と、前記作業の手順に関する情報から特定される、当該作業の内容に含まれる当該対象物の登場の順番とを比較した結果に基づいて、当該対象物および当該対象物の状態の変化の検出の妥当性を判定することを特徴とする、請求項１に記載の情報処理システムである。
請求項１１に記載された発明は、前記１または複数のプロセッサは、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、前記対象物の状態の変化の順番と、当該対象物の登場の順番とを比較することを特徴とする、請求項１０に記載の情報処理システムである。
請求項１２に記載された発明は、コンピュータに、作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、を実現させるプログラムである。
請求項２に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとを対応付けることを特徴とする、請求項１に記載の情報処理システムである。
請求項３に記載された発明は、前記１または複数のプロセッサは、前記作業の手順に関する情報に含まれる、当該作業の内容を示すテキストデータに基づいて、前記作業のタイミングを特定する、請求項２に記載の情報処理システムである。
請求項４に記載された発明は、前記１または複数のプロセッサは、前記テキストデータに含まれる、前記対象物を示す文字列の直後の文字列に基づいて、前記作業のタイミングを特定する、請求項３に記載の情報処理システムである。
請求項５に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態が変化したタイミングと、前記作業のタイミングとの対応関係に基づいて、当該作業の手順に関する情報を前記画像に表示させる制御を行うことを特徴とする、請求項２に記載の情報処理システムである。
請求項６に記載された発明は、前記１または複数のプロセッサは、前記画像の撮像時に検出した前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとの対応関係に基づいて、当該画像を撮像している情報処理装置の表示部に、当該撮像を支援するための情報を表示する制御を行うことを特徴とする、請求項１に記載の情報処理システムである。
請求項７に記載された発明は、前記１または複数のプロセッサは、前記撮像を支援するための情報として、前記作業の手順に関する情報を、前記情報処理装置の表示部に表示させる制御を行うことを特徴とする、請求項６に記載の情報処理システムである。
請求項８に記載された発明は、前記１または複数のプロセッサは、複数の前記画像の各々に含まれる、前記対象物の状態の時系列上の前後関係に基づいて、当該対象物の状態の変化を検出することを特徴とする、請求項１に記載の情報処理システムである。
請求項９に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化を検出した場合、当該対象物の状態の変化を検出しなくなるまで、または、当該対象物を検出しなくなるまでに検出した複数の状態の変化を、当該対象物の一連の状態の変化として取り扱うことを特徴とする、請求項８に記載の情報処理システムである。
請求項１０に記載された発明は、前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態の変化の順番と、前記作業の手順に関する情報から特定される、当該作業の内容に含まれる当該対象物の登場の順番とを比較した結果に基づいて、当該対象物および当該対象物の状態の変化の検出の妥当性を判定することを特徴とする、請求項１に記載の情報処理システムである。
請求項１１に記載された発明は、前記１または複数のプロセッサは、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、前記対象物の状態の変化の順番と、当該対象物の登場の順番とを比較することを特徴とする、請求項１０に記載の情報処理システムである。
請求項１２に記載された発明は、コンピュータに、作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、を実現させるプログラムである。
【発明の効果】
【0007】
請求項１の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
請求項２の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
請求項３の本発明によれば、作業の内容を示すテキストデータから、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
請求項４の本発明によれば、作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列から、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
請求項５の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとの対応関係に基づいて、作業の手順に関する情報が画像に表示されるので、作業者の利便性を向上させる動画像の作業マニュアルを作成できる。
請求項６の本発明によれば、画像の撮像時に、その撮像を支援するための情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
請求項７の本発明によれば、画像の撮像時に、その撮像を支援するための情報として、作業の手順に関する情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
請求項８の本発明によれば、複数の画像の各々に含まれる対象物の状態の時系列上の前後関係に基づいて、その対象物の状態の変化が検出される。これにより、作業の様子を撮像した画像と、作業の手順に関する情報とを用意するだけで、動画像の作業マニュアルを作成できる。
請求項９の本発明によれば、対象物の状態の変化が検出されると、その対象物の状態の変化が検出されなくなるまで、または、対象物が検出されなくなるまでに検出された複数の状態の変化が、対象物の一連の状態の変化として取り扱われる。これにより、対象物の一連の状態の変化が、それぞれ異なる状態の変化であると捉えられないため、実態に即した動画像の作業マニュアルを作成できる。
請求項１０の本発明によれば、対象物の誤検出や検出漏れの有無を検証できる。
請求項１１の本発明によれば、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、対象物の誤検出や検出漏れの有無を検証できる。
請求項１２の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
請求項２の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
請求項３の本発明によれば、作業の内容を示すテキストデータから、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
請求項４の本発明によれば、作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列から、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
請求項５の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとの対応関係に基づいて、作業の手順に関する情報が画像に表示されるので、作業者の利便性を向上させる動画像の作業マニュアルを作成できる。
請求項６の本発明によれば、画像の撮像時に、その撮像を支援するための情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
請求項７の本発明によれば、画像の撮像時に、その撮像を支援するための情報として、作業の手順に関する情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
請求項８の本発明によれば、複数の画像の各々に含まれる対象物の状態の時系列上の前後関係に基づいて、その対象物の状態の変化が検出される。これにより、作業の様子を撮像した画像と、作業の手順に関する情報とを用意するだけで、動画像の作業マニュアルを作成できる。
請求項９の本発明によれば、対象物の状態の変化が検出されると、その対象物の状態の変化が検出されなくなるまで、または、対象物が検出されなくなるまでに検出された複数の状態の変化が、対象物の一連の状態の変化として取り扱われる。これにより、対象物の一連の状態の変化が、それぞれ異なる状態の変化であると捉えられないため、実態に即した動画像の作業マニュアルを作成できる。
請求項１０の本発明によれば、対象物の誤検出や検出漏れの有無を検証できる。
請求項１１の本発明によれば、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、対象物の誤検出や検出漏れの有無を検証できる。
請求項１２の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
【図面の簡単な説明】
【0008】
【図1】本実施の形態が適用される情報処理システムの全体構成の一例を示す図である。
【図2】管理サーバのハードウェア構成の一例を示す図である。
【図3】ユーザ端末のハードウェア構成を示す図である。
【図4】管理サーバの制御部の機能構成の一例を示す図である。
【図5】ユーザ端末の制御部の機能構成の一例を示す図である。
【図6】管理サーバの処理の流れの一例を示すフローチャートである。
【図7】ユーザ端末の処理のうち、対象物を撮像する際に実行される処理の流れの一例を示すフローチャートである。
【図8】作業手順情報の具体例として、「作業手順書」の構成および内容を示す図である。（Ａ）は、「作業手順書」の構成の一例を示す図である。（Ｂ）は、「作業手順書」の内容の一例を示す図である。
【図9】対象画像の具体例を示す図である。
【図10】図９に示す１乃至１２のフレーム画像に対応する画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．１乃至３のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。（Ａ）は、画像Ｎｏ．１のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｂ）は、画像Ｎｏ．２のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｃ）は、画像Ｎｏ．３のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【図11】図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．４乃至６のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。（Ａ）は、画像Ｎｏ．４のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｂ）は、画像Ｎｏ．５のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｃ）は、画像Ｎｏ．６のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【図12】図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．７および８のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。（Ａ）は、画像Ｎｏ．７のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｂ）は、画像Ｎｏ．８のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【図13】図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．９および１０のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。（Ａ）は、画像Ｎｏ．９のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｂ）は、画像Ｎｏ．１０のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【図14】図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．１１および１２のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。（Ａ）は、画像Ｎｏ．１１のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。（Ｂ）は、画像Ｎｏ．１２のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【図15】対象物検出リストと作業手順情報とを対応付ける処理の具体例を示す図である。（Ａ）は、作業手順情報としての「作業手順書」の内容の具体例を示す図である。（Ｂ）は、対象物検出リストの具体例を示す図である。
【図16】検出の妥当性を判定する処理の具体例を示す図である。（Ａ）は、対象物の誤検出の具体例を示す図である。（Ｂ）は、対象物の検出漏れの具体例を示す図である。
【図17】対象物の状態の変化の誤検出の具体例を示す図である。
【図18】（Ａ）は、対象物検出リストを修正するための操作に用いられるユーザインターフェースの具体例を示す図である。（Ｂ）は、対象物の撮像中に撮像画面に表示される撮像支援情報の具体例を示す図である。
【図19】（Ａ）および（Ｂ）は、対象物の撮像中に撮像画面に表示される撮像支援情報の他の具体例を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜情報処理システムの全体構成＞
図１は、本実施の形態が適用される情報処理システム１の全体構成の一例を示す図である。
情報処理システム１は、管理サーバ１０と、ユーザ端末３０とがネットワーク９０を介して接続されることにより構成されている。ネットワーク９０は、例えば、ＬＡＮ（Local Area Network）、インターネット等である。
＜情報処理システムの全体構成＞
図１は、本実施の形態が適用される情報処理システム１の全体構成の一例を示す図である。
情報処理システム１は、管理サーバ１０と、ユーザ端末３０とがネットワーク９０を介して接続されることにより構成されている。ネットワーク９０は、例えば、ＬＡＮ（Local Area Network）、インターネット等である。
【0010】
（管理サーバ）
情報処理システム１を構成する管理サーバ１０は、情報処理システム１の全体の管理をするサーバとしての情報処理装置である。管理サーバ１０は、ユーザ端末３０から送信されてくる各種の情報の取得する処理、取得した各種の情報に対する各種の処理、および各種の情報をユーザ端末３０に向けて送信する処理を行う。
情報処理システム１を構成する管理サーバ１０は、情報処理システム１の全体の管理をするサーバとしての情報処理装置である。管理サーバ１０は、ユーザ端末３０から送信されてくる各種の情報の取得する処理、取得した各種の情報に対する各種の処理、および各種の情報をユーザ端末３０に向けて送信する処理を行う。
【0011】
例えば、管理サーバ１０は、作業の対象となる物体（以下、「対象物」と呼ぶ。）と、その作業を行う作業者とを撮像した画像（以下、「対象画像」と呼ぶ。）を取得する。「対象画像」は、動画像、すなわち、連続性を有する複数の静止画像（以下、「フレーム画像」と呼ぶ場合がある。）で構成される。対象画像は、ユーザ端末３０により撮像されたものであってもよいし、外部等から別途取得されるものであってもよい。
【0012】
管理サーバ１０は、取得した対象画像を時系列で複数のフレーム画像に分割し、各タイミングを示す複数のフレーム画像の各々から対象物を検出する。そして、管理サーバ１０は、複数のフレーム画像の各々に含まれる、対象物の状態の時系列上の前後関係に基づいて、対象物の状態の変化を検出する。具体的には、管理サーバ１０は、対象物の状態の時系列上の前後関係を表すリスト（以下、「対象物検出リスト」と呼ぶ。）を生成し、その対象物検出リストに基づいて、対象物の状態の変化を検出する。
【0013】
管理サーバ１０は、対象物に対する作業の手順に関する情報（以下、「作業手順情報」と呼ぶ。）をデータベースに記憶させて管理している。管理サーバ１０は、データベースに記憶されている作業手順情報と、対象物の状態の変化とを対応付ける。その際、管理サーバ１０は、作業手順情報と、対象物の状態の変化との対応関係を比較した結果に基づいて、対象物の状態の変化の検出の妥当性を判定し、判定結果に応じて対象物検出リストを修正する。
【0014】
また、管理サーバ１０は、対象画像を再生しているユーザ端末３０の再生画面に、対象画像に重畳されるアノテーション情報となる作業手順情報を表示させる制御を行う。このとき、管理サーバ１０は、作業の対象物の状態が変化したタイミングと、作業のタイミングとの対応関係に基づいて、作業手順情報を表示させるタイミングを決定する。
【0015】
また、管理サーバ１０は、対象画像を撮像しているユーザ端末３０の撮像画面に、撮像を支援するための情報（以下、「撮像支援情報」と呼ぶ。）を表示させる制御を行う。撮像支援情報は、対象物を撮像しているユーザ端末３０によりリアルタイムで検出される対象物の状態の変化と、予め記憶されている作業手順情報との対応関係に基づいて表示される。なお、管理サーバ１０の構成や処理の詳細については後述する。
【0016】
（ユーザ端末）
ユーザ端末３０は、情報処理システム１を利用するユーザが操作するスマートフォン、タブレット端末、ＨＭＤ（ヘッドマウントディスプレイ）等の情報処理装置である。ユーザ端末３０は、ユーザの操作に基づいて、対象画像を撮像する。また、ユーザ端末３０は、管理サーバ１０から送信されてくる各種の情報の取得する処理、取得した各種の情報に対する各種の処理、および各種の情報を管理サーバ１０に向けて送信する処理を行う。例えば、ユーザ端末３０は、管理サーバ１０からの制御情報に基づいて、対象画像をフレーム画像として表示し、また、動画像として再生する。なお、ユーザ端末３０の構成や処理の詳細については後述する。
ユーザ端末３０は、情報処理システム１を利用するユーザが操作するスマートフォン、タブレット端末、ＨＭＤ（ヘッドマウントディスプレイ）等の情報処理装置である。ユーザ端末３０は、ユーザの操作に基づいて、対象画像を撮像する。また、ユーザ端末３０は、管理サーバ１０から送信されてくる各種の情報の取得する処理、取得した各種の情報に対する各種の処理、および各種の情報を管理サーバ１０に向けて送信する処理を行う。例えば、ユーザ端末３０は、管理サーバ１０からの制御情報に基づいて、対象画像をフレーム画像として表示し、また、動画像として再生する。なお、ユーザ端末３０の構成や処理の詳細については後述する。
【0017】
上述の情報処理システム１の構成は一例であり、情報処理システム１全体として上述の処理を実現させる機能を備えていればよい。このため、上述の処理を実現させる機能のうち、一部または全部を情報処理システム１内で分担してもよいし協働してもよい。すなわち、管理サーバ１０の機能の一部または全部をユーザ端末３０の機能としてもよいし、ユーザ端末３０の機能の一部または全部を管理サーバ１０の機能としてもよい。また、情報処理システム１を構成する管理サーバ１０およびユーザ端末３０の各々の機能の一部または全部を、図示せぬ他のサーバ等に移譲し、上述の処理の一部または全部を行わせてもよい。これにより、情報処理システム１全体としての処理が促進され、また、処理を補完し合うことも可能となる。
【0018】
＜ハードウェア構成＞
（管理サーバのハードウェア構成）
図２は、管理サーバ１０のハードウェア構成の一例を示す図である。
管理サーバ１０は、制御部１１と、メモリ１２と、記憶部１３と、通信部１４と、操作部１５と、表示部１６とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Peripheral Component Interconnect）バス等で接続されている。
（管理サーバのハードウェア構成）
図２は、管理サーバ１０のハードウェア構成の一例を示す図である。
管理サーバ１０は、制御部１１と、メモリ１２と、記憶部１３と、通信部１４と、操作部１５と、表示部１６とを有している。これらの各部は、データバス、アドレスバス、ＰＣＩ（Peripheral Component Interconnect）バス等で接続されている。
【0019】
制御部１１は、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアの実行を通じて管理サーバ１０の機能の制御を行うプロセッサである。制御部１１は、例えばＣＰＵ（Central Processing Unit）で構成される。メモリ１２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、演算に際して作業エリアとして用いられる。メモリ１２は、例えばＲＡＭ（Random Access Memory）等で構成される。
【0020】
記憶部１３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。記憶部１３は、例えばプログラムや各種設定データなどの記憶に用いられるＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、半導体メモリ等で構成される。記憶部１３には、各種の情報を記憶するデータベースが格納されている。記憶部１３に格納されているデータベースとしては、例えば、作業手順情報が記憶された作業手順ＤＢ１３１、対象画像が記憶された対象画像ＤＢ１３２、対象物検出リストが記憶された状態変化ＤＢ１３３などが格納されている。
【0021】
通信部１４は、ネットワーク９０を介してユーザ端末３０および外部との間でデータの送受信を行う。操作部１５は、例えばキーボード、マウス、機械式のボタン、スイッチで構成され、入力操作を受け付ける。操作部１５には、表示部１６と一体的にタッチパネルを構成するタッチセンサが含まれていてもよい。表示部１６は、例えば情報の表示に用いられる液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、画像（動画像および静止画像）データやテキストデータなどを表示する。
【0022】
（ユーザ端末のハードウェア構成）
図３は、ユーザ端末３０のハードウェア構成を示す図である。
ユーザ端末３０は、図２の管理サーバ１０の制御部１１、メモリ１２、記憶部１３、通信部１４、操作部１５、および表示部１６の各々に対応する、制御部３１、メモリ３２、記憶部３３、通信部３４、操作部３５、および表示部３６の各々を有しており、これらの構成に加えて撮像部３７を有している。撮像部３７は、カメラ等で構成され、カメラのファインダとしても機能する表示部３６に表示された被写体としての複数の原稿を撮像して、動画像のデータとして取得する。これらの各部は、データバス、アドレスバス、ＰＣＩバス等で接続されている。
図３は、ユーザ端末３０のハードウェア構成を示す図である。
ユーザ端末３０は、図２の管理サーバ１０の制御部１１、メモリ１２、記憶部１３、通信部１４、操作部１５、および表示部１６の各々に対応する、制御部３１、メモリ３２、記憶部３３、通信部３４、操作部３５、および表示部３６の各々を有しており、これらの構成に加えて撮像部３７を有している。撮像部３７は、カメラ等で構成され、カメラのファインダとしても機能する表示部３６に表示された被写体としての複数の原稿を撮像して、動画像のデータとして取得する。これらの各部は、データバス、アドレスバス、ＰＣＩバス等で接続されている。
【0023】
＜機能構成＞
（管理サーバ）
図４は、管理サーバ１０の制御部１１の機能構成の一例を示す図である。
管理サーバ１０の制御部１１では、取得部１０１と、管理部１０２と、物体検出部１０３と、変化検出部１０４と、対応付け部１０５と、判定部１０６と、表示制御部１０７と、送信制御部１０８とが機能する。
（管理サーバ）
図４は、管理サーバ１０の制御部１１の機能構成の一例を示す図である。
管理サーバ１０の制御部１１では、取得部１０１と、管理部１０２と、物体検出部１０３と、変化検出部１０４と、対応付け部１０５と、判定部１０６と、表示制御部１０７と、送信制御部１０８とが機能する。
【0024】
取得部１０１は、各種の情報を取得する。具体的には、取得部１０１は、ユーザ端末３０および外部の各々から送信されてきた各種の情報を取得する。取得部１０１により取得される情報のうち、ユーザ端末３０から送信されてくる情報としては、例えば、ユーザ端末３０により撮像された対象画像、ユーザの操作により入力された入力情報などが挙げられる。
【0025】
管理部１０２は、記憶部１３（図２参照）のデータベースに各種の情報を格納して管理する。例えば、管理部１０２は、作業手順情報を作業手順ＤＢ１３１に格納して管理する。また、管理部１０２は、対象画像を対象画像ＤＢ１３２に格納して管理する。また、管理部１０２は、対象物検出リストを状態変化ＤＢ１３３に格納して管理する。作業手順情報と対象物検出リストとは、後述する対応付け部１０５により対応付けられている。
【0026】
物体検出部１０３は、対象画像を時系列で複数のフレーム画像に分割し、複数のフレーム画像の各々から対象物を検出する。これにより、複数のフレーム画像の各々により示される各タイミングにおける対象物が検出される。なお、物体検出部１０３が物体を検出する手法は特に限定されず、一般的な画像認識技術を用いて物体を検出してもよい。また、例えば、物体の検出結果を機械学習させて判断モデルを作成してもよい。
【0027】
変化検出部１０４は、対象画像を構成する複数のフレーム画像の各々に含まれる、対象物の状態の時系列上の前後関係に基づいて、対象物の状態の変化を検出する。具体的には、変化検出部１０４は、対象物検出リストを生成し、対象物検出リストに含まれる２つのタイミング間における対象物の状態の変化を検出する。
【0028】
対応付け部１０５は、変化検出部１０４により検出された対象物の状態の変化と、作業手順ＤＢ１３１に格納されている作業手順情報とを対応付ける。具体的には、対応付け部１０５は、対象物検出リストから特定される、対象物の状態が変化したタイミングと、予め記憶されている作業手順情報から特定される、作業のタイミングとを対応付ける。
【0029】
対応付け部１０５は、作業のタイミングを特定する際、作業手順情報に含まれる、作業の内容を示すテキストデータに基づいて、作業のタイミングを特定する。具体的には、対応付け部１０５は、作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列に基づいて、作業のタイミングを特定する。なお、作業の内容を示すテキストデータに基づいて作業のタイミングを特定する手法の具体例については、図１５を参照して後述する。
【0030】
判定部１０６は、変化検出部１０４により検出された内容の妥当性を判定する。具体的には、判定部１０６は、作業手順情報と対象物検出リストとの対応関係を比較することで、変化検出部１０４により検出された内容の妥当性を判定する。例えば、判定部１０６は、対象物検出リストから特定される、対象物の状態の変化の順番と、作業手順情報から特定される、作業の内容に含まれる対象物の登場の順番とを比較し、その比較の結果に基づいて、変化検出部１０４により検出された内容の妥当性を判定する。この場合、判定部１０６は、対象物の状態の変化の順番と、作業の内容に含まれる対象物の登場の順番とを比較する際、例えば、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいた比較を行う。
【0031】
表示制御部１０７は、ユーザ端末３０の表示部３６に各種の情報を表示させるための制御を行う。具体的には、表示制御部１０７は、後述する送信制御部１０８を介して、各種の情報をユーザ端末３０に表示させるための制御情報をユーザ端末３０に向けて送信させる。例えば、表示制御部１０７は、送信制御部１０８を介して、対象画像を構成する複数のフレーム画像を静止画像として表示させるための制御情報をユーザ端末３０に向けて送信させる。また、表示制御部１０７は、送信制御部１０８を介して、対象画像を構成する複数のフレーム画像を動画像として再生させるための制御情報をユーザ端末３０に向けて送信させる。この場合、表示制御部１０７は、再生中の対象画像に重畳させるアノテーション情報となる作業手順情報を表示させるための制御情報をユーザ端末３０に向けて送信させる。
【0032】
また、表示制御部１０７は、対象物を撮像中のユーザ端末３０の撮像画面に撮像支援情報を表示させる制御を行う。具体的には、表示制御部１０７は、送信制御部１０８を介して、撮像支援情報を表示させるための制御情報をユーザ端末３０に向けて送信させる。対象物を撮像中のユーザ端末３０の撮像画面に撮像支援情報を表示させるタイミングは、上述の対応付け部１０５による、対象物検出リストと作業手順情報との対応付けの結果に基づいて決定される。
【0033】
具体的には、対応付け部１０５が、ユーザ端末３０によりリアルタイムで検出される対象物の状態の変化と、予め記憶されている作業手順情報との対応付けを行い、その対応関係に基づいて、撮像支援情報を表示させるタイミングが決定される。さらに具体的には、対象物検出リストから特定される、対象物の状態が変化したタイミングと、作業手順情報から特定される、作業のタイミングとの対応関係に基づいて、撮像支援情報を表示させるタイミングが決定される。
【0034】
送信制御部１０８は、各種の情報を送信する制御を行う。具体的には、送信制御部１０８は、ユーザ端末３０および外部の各々に向けて各種の情報を送信する制御を行う。送信制御部１０８により送信が制御される情報のうち、ユーザ端末３０に向けて送信される情報としては、例えば、対象画像を表示させるための制御情報、対象画像に重畳させるアノテーション情報を表示させるための制御情報などである。
【0035】
【0036】
取得部３０１は、各種の情報を取得する。具体的には、取得部３０１は、撮像部３７により撮像された対象画像を取得する。また、取得部３０１は、操作部により入力が受け付けられた入力情報を取得する。また、取得部３０１は、管理サーバ１０および外部から送信されてきた各種の情報を取得する。取得部３０１により取得される情報のうち、管理サーバ１０から送信されてくる情報としては、例えば、表示部３６に各種の情報を表示させるための制御情報などである。
【0037】
送信制御部３０２は、通信部３４（図３参照）を介して各種の情報を送信する制御を行う。具体的には、送信制御部３０２は、管理サーバ１０および外部に向けて各種の情報を送信する制御を行う。送信制御部３０２により送信が制御される情報のうち、管理サーバ１０に向けて送信される情報としては、例えば、対象画像などである。
【0038】
表示制御部３０３は、各種の情報を表示部３６（図３参照）に表示させるための制御を行う。例えば、表示制御部３０３は、撮像した、または撮像中の対象画像を表示部３６に表示させるための制御を行う。また、表示制御部３０３は、取得された制御情報に基づいて、対象画像に重畳させるアノテーション情報を表示部３６に表示させるための制御を行う。なお、ここでいう「表示」には、対象画像を構成する複数のフレーム画像を静止画像として表示させることと、複数のフレーム画像を動画像として再生させることとが含まれる。なお、ユーザ端末３０の表示部３６に表示される情報の具体例については後述する。
【0039】
＜処理の流れ＞
（管理サーバの処理の流れ）
図６は、管理サーバ１０の処理の流れの一例を示すフローチャートである。
管理サーバ１０は、作業手順情報をデータベースに格納して管理する（ステップ６０１）。具体的には、管理サーバ１０は、作業手順情報を記憶部１３の作業手順ＤＢ１３１に格納して管理する。
（管理サーバの処理の流れ）
図６は、管理サーバ１０の処理の流れの一例を示すフローチャートである。
管理サーバ１０は、作業手順情報をデータベースに格納して管理する（ステップ６０１）。具体的には、管理サーバ１０は、作業手順情報を記憶部１３の作業手順ＤＢ１３１に格納して管理する。
【0040】
管理サーバ１０は、ユーザ端末３０から対象画像が送信されてくると（ステップ６０２でＹＥＳ）、送信されてきた対象画像を取得し（ステップ６０３）、取得した対象画像をデータベースに格納する（ステップ６０４）。具体的には、管理サーバ１０は、取得した対象画像を記憶部１３の対象画像ＤＢ１３２に格納して管理する。これに対して、対象画像が送信されてきていない場合（ステップ６０２でＮＯ）、管理サーバ１０は、対象画像が送信されてくるまでステップ６０２の判断処理を繰り返す。
【0041】
次に、管理サーバ１０は、ステップ６０３で取得した対象画像を時系列で複数のフレーム画像に分割する（ステップ６０５）。具体的には、対象画像を構成する複数のフレーム画像の中から複数のタイミング（例えば、図９に示す１乃至１２のタイミング）の各々に対応するフレーム画像を抽出し、時系列順に並べる。
【0042】
次に、管理サーバ１０は、各タイミングを示す複数のフレーム画像の各々から対象物を検出し（ステップ６０６）、対象物検出リストを生成する（ステップ６０７）。そして、管理サーバ１０は、生成した対象物検出リストに基づいて、対象物の状態の変化を検出する（ステップ６０８）。具体的には、管理サーバ１０は、対象物検出リストに含まれる２つのタイミング間における対象物の状態の変化を検出する。
【0043】
次に、管理サーバ１０は、ステップ６０８で検出した対象物の状態の変化と、作業手順情報とを対応付ける（ステップ６０９）。具体的には、管理サーバ１０は、対象物検出リストから特定される、対象物の状態が変化したタイミングと、作業手順情報から特定される、作業のタイミングとを対応付ける。
【0044】
（ユーザ端末の処理の流れ）
図７は、ユーザ端末３０の処理のうち、対象物を撮像する際に実行される処理の流れの一例を示すフローチャートである。
ユーザ端末３０は、対象物を撮像するための操作が行われると（ステップ７０１でＹＥＳ）、その操作を受け付けて（ステップ７０２）、表示部３６に撮像画面を表示する（ステップ７０３）。これに対して、対象物を撮像するための操作が行われていない場合（ステップ７０１でＮＯ）、ユーザ端末３０は、対象物を撮像するための操作が行われるまでステップ７０１の判断処理を繰り返す。
図７は、ユーザ端末３０の処理のうち、対象物を撮像する際に実行される処理の流れの一例を示すフローチャートである。
ユーザ端末３０は、対象物を撮像するための操作が行われると（ステップ７０１でＹＥＳ）、その操作を受け付けて（ステップ７０２）、表示部３６に撮像画面を表示する（ステップ７０３）。これに対して、対象物を撮像するための操作が行われていない場合（ステップ７０１でＮＯ）、ユーザ端末３０は、対象物を撮像するための操作が行われるまでステップ７０１の判断処理を繰り返す。
【0045】
次に、ユーザ端末３０は、被写体となる対象物が撮像画面に表示されると（ステップ７０４でＹＥＳ）、その撮像画像を対象画像として管理サーバ１０に向けて送信する（ステップ７０５）。ユーザ端末３０から管理サーバ１０に向けた対象画像の送信はリアルタイムで行われる。すると、管理サーバ１０において、対象物検出リストの生成と、対象物検出リストと作業手順情報との対応付けと、撮像支援情報の生成とが順に行われる。これに対して、被写体となる対象物が撮像画面に表示されていない場合（ステップ７０４でＮＯ）、ユーザ端末３０は、被写体となる対象物が撮像画面に表示されるまでステップ７０４の判断処理を繰り返す。
【0046】
ユーザ端末３０は、管理サーバ１０から、撮像支援情報を表示させるための制御情報が送信されてくると（ステップ７０６でＹＥＳ）、送信されてきた制御情報を取得する（ステップ７０７）。そして、ユーザ端末３０は、ステップ７０７で取得した制御情報に基づいて、表示部３６に撮像支援情報を表示する（ステップ７０８）。これに対して、撮像支援情報を表示させるための制御情報が送信されてきていない場合（ステップ７０６でＮＯ）、ユーザ端末３０は、撮像支援情報を表示させるための制御情報が送信されてくるまでステップ７０６の判断処理を繰り返す。
【0047】
＜具体例＞
（作業手順情報の具体例）
図８は、作業手順情報の具体例として、「作業手順書」の構成および内容を示す図である。図８（Ａ）は、「作業手順書」の構成の一例を示す図である。図８（Ｂ）は、「作業手順書」の内容の一例を示す図である。
図８（Ａ）に示すように、「作業手順書」は、複数の「工程」で構成されており、「工程」は、複数の手順で構成されている。
（作業手順情報の具体例）
図８は、作業手順情報の具体例として、「作業手順書」の構成および内容を示す図である。図８（Ａ）は、「作業手順書」の構成の一例を示す図である。図８（Ｂ）は、「作業手順書」の内容の一例を示す図である。
図８（Ａ）に示すように、「作業手順書」は、複数の「工程」で構成されており、「工程」は、複数の手順で構成されている。
【0048】
具体的には、「作業手順書」は、図８（Ｂ）に示すように、「作業手順書名」、「工程名」、「手順Ｎｏ．」、および「内容」の各項目で構成されている。例えば、作業手順書名「複合機Ａ操作方法」、工程名「トナーカートリッジ交換」の手順Ｎｏ．「１」の内容は、「機械が停止していることを確認し、正面カバーを開けます。」というものである。また、作業手順書名「複合機Ａ操作方法」、工程名「トナーカートリッジ交換」の手順Ｎｏ．「２」の内容は、「メッセージに表示されている色のトナーカートリッジを手前に静かに引いて、取り出します。」というものである。なお、手順Ｎｏ．「３」乃至「５」の内容は、図８に示すとおりである。
【0049】
図９は、対象画像の具体例を示す図である。
図９には、対象画像として、いわゆる複合機のトナーカートリッジの交換作業を支援する動画像を構成する１２個のフレーム画像が示されている。図９に示す１２個のフレームが画像は、タイミングを示すフレーム画像である。１２個のフレーム画像に付されている「１」乃至「１２」の番号は、時系列順に付された番号である。
図９には、対象画像として、いわゆる複合機のトナーカートリッジの交換作業を支援する動画像を構成する１２個のフレーム画像が示されている。図９に示す１２個のフレームが画像は、タイミングを示すフレーム画像である。１２個のフレーム画像に付されている「１」乃至「１２」の番号は、時系列順に付された番号である。
【0050】
隣り合うフレーム画像の各々が示すタイミングは特に限定されず、例えば、１秒ごとのフレーム画像であってもよい。また、作業のシーンごとに複数のブロックに分けられていてもよい。例えば、後述する図１０乃至図１４に示すように、「１」乃至「３」で１つのシーン、「４」乃至「６」で１つのシーン、「７」および「８」で１つのシーン、「９」および「１０」で１つのシーン、「１１」および「１２」で１つのシーンというように複数のブロックに分けてもよい。
【0051】
以下、図９に示す「１」乃至「１２」の各々が付されているフレーム画像のことを、それぞれ「画像Ｎｏ．１」乃至「画像Ｎｏ．１２」と呼ぶ。このため、「画像Ｎｏ．１」のフレーム画像が、１２のタイミングのうち最も早いタイミングを示すフレーム画像であり、「画像Ｎｏ．１２」のフレーム画像が、１２のタイミングのうち最も遅いタイミングを示すフレーム画像である。
【0052】
図１０は、図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．１乃至３のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。図１０（Ａ）は、画像Ｎｏ．１のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１０（Ｂ）は、画像Ｎｏ．２のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１０（Ｃ）は、画像Ｎｏ．３のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【0053】
対象物検出リストでは、対象物の状態が「検出」、「変化」、「－」、および「空欄」（図示せず）の４種類のうちいずれかで示される。このうち、「検出」は、対象物が新たに検出されたことを示し、「変化」は、状態が検出された対象物に変化が生じたことを示している。また、「－」は、検出された対象物に変化がないことを示し、「空欄」は、対象物が検出されていないことを示している。すなわち、対象物検出リストでは、作業者の動作（例えば、開ける、引く、上に向ける、閉じるなど）の特定が不要となる。
【0054】
図１０（Ａ）に示す画像Ｎｏ．１のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、このフレーム画像に対応する対象物検出リストには、「画像Ｎｏ．」、対象物を示す「物体名」、および対象物の状態の変化の内容を示す「状態変化」の各項目が含まれている。図１０（Ａ）に示す対象物検出リストには、「複合機」、「カバー」、「トレイ１」、「トレイ２」、および「トレイ３」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0055】
そして、画像Ｎｏ．１のフレーム画像には、対象物検出リストの「複合機」、「カバー」、「トレイ１」、「トレイ２」、および「トレイ３」の各々が検出されていることを示す枠線２０１乃至２０５が表示されている。また、画像Ｎｏ．１のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６０１が表示されているが、対象物検出リストからは除外されている。
【0056】
図１０（Ｂ）に示す画像Ｎｏ．２のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、図１０（Ｂ）に示す対象物検出リストには、「複合機」、「トレイ１」、「トレイ２」、および「トレイ３」の各々の状態がいずれも「－」であり変化していないことと、「カバー」の状態が「変化」したこととが示されている。また、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0057】
すなわち、図１０（Ｂ）に示す対象物検出リストには、上述の画像Ｎｏ．１のフレーム画像と、画像Ｎｏ．２のフレーム画像との比較において、対象物のうち、「カバー」の状態が「変化」し、「複合機」、「トレイ１」、「トレイ２」、および「トレイ３」については変化してないことが示されている。また、「カバー」が「変化」したことにより、対象物として「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」が新たに「検出」されたことが示されている。
【0058】
そして、画像Ｎｏ．２のフレーム画像には、対象物検出リストの「複合機」、「カバー」、「トレイ１」、「トレイ２」、「トレイ３」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２０１乃至２１０が表示されている。また、画像Ｎｏ．２のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６０１が表示されているが、対象物検出リストからは除外されている。
【0059】
図１０（Ｃ）に示す画像Ｎｏ．３のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、図１０（Ｃ）に示す対象物検出リストには、「複合機」、「カバー」、「トレイ１」、「トレイ２」、「トレイ３」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態がいずれも「－」であり変化していないことが示されている。
【0060】
すなわち、図１０（Ｃ）に示す対象物検出リストには、上述の画像Ｎｏ．２のフレーム画像と、画像Ｎｏ．３のフレーム画像との比較において、対象物のうち、「複合機」、「カバー」、「トレイ１」、「トレイ２」、「トレイ３」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」については変化してないことが示されている。
【0061】
そして、画像Ｎｏ．３のフレーム画像には、対象物検出リストの「複合機」、「カバー」、「トレイ１」、「トレイ２」、「トレイ３」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２０１乃至２１０が表示されている。また、画像Ｎｏ．３のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６０１が表示されているが、対象物検出リストからは除外されている。
【0062】
図１１は、図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．４乃至６のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。図１１（Ａ）は、画像Ｎｏ．４のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１１（Ｂ）は、画像Ｎｏ．５のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１１（Ｃ）は、画像Ｎｏ．６のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【0063】
図１１（Ａ）に示す画像Ｎｏ．４のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、このフレーム画像に対応する対象物検出リストには、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0064】
そして、画像Ｎｏ．４のフレーム画像には、対象物検出リストの「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２１１乃至２１５が表示されている。また、画像Ｎｏ．４のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６１１が表示されているが、対象物検出リストからは除外されている。
【0065】
図１１（Ｂ）に示す画像Ｎｏ．５のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、図１１（Ｂ）に示す対象物検出リストには、「ドラムカートリッジ」、トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態がいずれも「－」であり変化していないことと、「トナーカートリッジ１」の状態が「変化」したこととが示されている。
【0066】
すなわち、図１１（Ｂ）に示す対象物検出リストには、上述の画像Ｎｏ．４のフレーム画像と、画像Ｎｏ．５のフレーム画像との比較において、対象物のうち、「トナーカートリッジ１」の状態が「変化」し、「ドラムカートリッジ」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」については変化してないことが示されている。
【0067】
そして、画像Ｎｏ．５のフレーム画像には、対象物検出リストの「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２１１乃至２１５が表示されている。また、画像Ｎｏ．５のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６１１が表示されているが、対象物検出リストからは除外されている。
【0068】
図１１（Ｃ）に示す画像Ｎｏ．６のフレーム画像には、対象物としてのいわゆる複合機が含まれている。また、図１１（Ｃ）に示す対象物検出リストには、「ドラムカートリッジ」、トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態がいずれも「－」であり変化していないことと、「トナーカートリッジ１」の状態が「変化」したこととが示されている。
【0069】
すなわち、図１１（Ｃ）に示す対象物検出リストには、上述の画像Ｎｏ．５のフレーム画像と、画像Ｎｏ．６のフレーム画像との比較において、対象物のうち、「トナーカートリッジ１」の状態が「変化」し、「ドラムカートリッジ」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」については変化してないことが示されている。
【0070】
ここで、「トナーカートリッジ１」の状態は、図１１（Ｂ）に示す対象物検出リストにおいて「変化」であり、図１１（Ｃ）に示す対象物検出リストにおいても「変化」である。このような場合には、「トナーカートリッジ１」に対して一連の作業が行われているとして取り扱う。すなわち、対象物の状態の変化が検出された場合、その対象物の状態の変化が検出されなくなるまでの間、または、その対象物そのものが検出されなくなるまでの間に検出された複数の状態の変化は、その対象物の一連の状態の変化として取り扱う。
【0071】
そして、画像Ｎｏ．６のフレーム画像には、対象物検出リストの「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２１１乃至２１５が表示されている。
【0072】
図１２は、図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．７および８のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。図１２（Ａ）は、画像Ｎｏ．７のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１２（Ｂ）は、画像Ｎｏ．８のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【0073】
図１２（Ａ）に示す画像Ｎｏ．７のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、このフレーム画像に対応する対象物検出リストには、「複合機」および「トナーカートリッジ」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0074】
そして、画像Ｎｏ．７のフレーム画像には、対象物検出リストの「複合機」および「トナーカートリッジ」の各々が検出されていることを示す枠線２２１および２２２が表示されている。また、画像Ｎｏ．７のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６２１が表示されているが、対象物検出リストからは除外されている。
【0075】
図１２（Ｂ）に示す画像Ｎｏ．８のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、図１２（Ｂ）に示す対象物検出リストには、「複合機」の状態が「－」であり変化していないことと、「トナーカートリッジ」の状態が「変化」したこととが示されている。
【0076】
すなわち、図１２（Ｂ）に示す対象物検出リストには、上述の画像Ｎｏ．７のフレーム画像と、画像Ｎｏ．８のフレーム画像との比較において、対象物のうち、「トナーカートリッジ」の状態が「変化」し、「複合機」については変化してないことが示されている。
【0077】
そして、画像Ｎｏ．８のフレーム画像には、対象物検出リストの「複合機」および「トナーカートリッジ」の各々が検出されていることを示す枠線２２１および２２２が表示されている。また、画像Ｎｏ．８のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６２１が表示されているが、対象物検出リストからは除外されている。
【0078】
図１３は、図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．９および１０のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。図１３（Ａ）は、画像Ｎｏ．９のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１３（Ｂ）は、画像Ｎｏ．１０のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【0079】
図１３（Ａ）に示す画像Ｎｏ．９のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、このフレーム画像に対応する対象物検出リストには、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0080】
そして、画像Ｎｏ．９のフレーム画像には、対象物検出リストの「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２３１乃至２３５が表示されている。また、画像Ｎｏ．９のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６３１および６３２が表示されているが、対象物検出リストからは除外されている。
【0081】
図１３（Ｂ）に示す画像Ｎｏ．１０のフレーム画像には、対象物としてのいわゆる複合機と、作業者とが含まれている。また、図１３（Ｂ）に示す対象物検出リストには、「ドラムカートリッジ」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の状態が「－」であり変化していないことと、「トナーカートリッジ１」の状態が「変化」したこととが示されている。
【0082】
すなわち、図１３（Ｂ）に示す対象物検出リストには、上述の画像Ｎｏ．９のフレーム画像と、画像Ｎｏ．１０のフレーム画像との比較において、対象物のうち、「トナーカートリッジ１」の状態が「変化」し、「ドラムカートリッジ」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」については変化してないことが示されている。
【0083】
そして、画像Ｎｏ．１０のフレーム画像には、対象物検出リストの「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２３１および２３５が表示されている。また、画像Ｎｏ．１０のフレーム画像には、作業者の身体の少なくとも一部が検出されていることを示す枠線６３１が表示されているが、対象物検出リストからは除外されている。
【0084】
図１４は、図９に示す画像Ｎｏ．１乃至１２のフレーム画像のうち、画像Ｎｏ．１１および１２のフレーム画像と、フレーム画像に対応する対象物検出リストの具体例を示す図である。図１４（Ａ）は、画像Ｎｏ．１１のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。図１４（Ｂ）は、画像Ｎｏ．１２のフレーム画像と、そのフレーム画像に対応する対象物検出リストの具体例を示す図である。
【0085】
図１４（Ａ）に示す画像Ｎｏ．１１のフレーム画像には、対象物としてのいわゆる複合機が含まれている。また、このフレーム画像に対応する対象物検出リストには、「複合機」、「カバー」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々の状態変化として、いずれも新たに「検出」されたことが示されている。
【0086】
そして、画像Ｎｏ．１１のフレーム画像には、対象物検出リストの「複合機」、「カバー」、「ドラムカートリッジ」、「トナーカートリッジ１」、「トナーカートリッジ２」、「トナーカートリッジ３」、および「トナーカートリッジ４」の各々が検出されていることを示す枠線２４１乃至２４７が表示されている。
【0087】
図１４（Ｂ）に示す画像Ｎｏ．１２のフレーム画像には、対象物としてのいわゆる複合機が含まれている。また、図１４（Ｂ）に示す対象物検出リストには、「複合機」の状態が「－」であり変化していないことと、「カバー」の状態が「変化」したこととが示されている。
【0088】
すなわち、図１４（Ｂ）に示す対象物検出リストには、上述の画像Ｎｏ．１１のフレーム画像と、画像Ｎｏ．１２のフレーム画像との比較において、対象物のうち、「カバー」の状態が「変化」し、「複合機」については変化してないことが示されている。そして、画像Ｎｏ．１２のフレーム画像には、対象物検出リストの「複合機」および「カバー」の各々が検出されていることを示す枠線２４１および２４２が表示されている。
【0089】
図１５は、対象物検出リストと作業手順情報とを対応付ける処理の具体例を示す図である。図１５（Ａ）は、作業手順情報としての「作業手順書」の内容の具体例を示す図である。図１５（Ｂ）は、対象物検出リストの具体例を示す図である。
管理サーバ１０は、対象物の状態の変化と、作業手順情報との対応付けを行う際、対象物検出リストから特定される、対象物の状態が変化したタイミングと、作業手順書から特定される、作業のタイミングとを対応付ける。作業のタイミングは、作業手順情書の作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列に基づいて特定される。具体的には、対象物を示す文字列の直後の文字列により、その対象物が目的語になっている場合には、その対象物に対する何らかの作業が行われたタイミングとして特定される。
管理サーバ１０は、対象物の状態の変化と、作業手順情報との対応付けを行う際、対象物検出リストから特定される、対象物の状態が変化したタイミングと、作業手順書から特定される、作業のタイミングとを対応付ける。作業のタイミングは、作業手順情書の作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列に基づいて特定される。具体的には、対象物を示す文字列の直後の文字列により、その対象物が目的語になっている場合には、その対象物に対する何らかの作業が行われたタイミングとして特定される。
【0090】
例えば、図１５（Ａ）に示す作業手順書の手順Ｎｏ．「１」の内容を示すテキストデータは、「機械が停止していることを確認し、正面カバーを開けます。」というものである。このテキストデータでは、対象物が「カバー」であり、対象物を示す文字列の直後の文字列が下線で示された「を」である。この場合、「カバー」が目的語になるため、手順Ｎｏ．「１」は、「カバー」に対する何らかの作業が行われるタイミングとして特定される。これに対して、対象物検出リストの画像Ｎｏ．２において、対象物「カバー」の状態が「変化」している。このため、対象物検出リストの画像Ｎｏ．２と作業手順書の手順Ｎｏ．「１」とが対応付けられる。
【0091】
また、作業手順書の手順Ｎｏ．「２」の内容を示すテキストデータは、「メッセージに表示されている色のトナーカートリッジを手前に静かに引いて、取り出します。」というものである。このテキストデータでは、対象物が「トナーカートリッジ」であり、対象物を示す文字列の直後の文字列が下線で示された「を」である。この場合、「トナーカートリッジ」が目的語になるため、手順Ｎｏ．「２」は、「トナーカートリッジ」に対する何らかの作業が行われるタイミングとして特定される。これに対して、対象物検出リストの画像Ｎｏ．５および６において、対象物「トナーカートリッジ１」の状態が連続して「変化」している。このような場合には、「トナーカートリッジ１」に対して一連の作業が行われているとされ、対象物検出リストの画像Ｎｏ．５および６と作業手順書の手順Ｎｏ．「２」とが対応付けられる。
【0092】
また、作業手順書の手順Ｎｏ．「３」の内容を示すテキストデータは、「取り出したトナーカートリッジと同じ色の、新しいトナーカートリッジを用意し、軽く１０回上下左右によく振ります。」というものである。このテキストデータでは、対象物が「トナーカートリッジ」であり、対象物を示す文字列の直後の文字列が下線で示された「を」である。この場合、「トナーカートリッジ」が目的語になるため、手順Ｎｏ．「３」は、「トナーカートリッジ」に対する何らかの作業が行われるタイミングとして特定される。これに対して、対象物検出リストの画像Ｎｏ．８において、対象物「トナーカートリッジ１」の状態が「変化」している。このため、対象物検出リストの画像Ｎｏ．８と作業手順書の手順Ｎｏ．「３」とが対応付けられる。
【0093】
同様に、手順Ｎｏ．「４」も、「トナーカートリッジ」に対する何らかの作業が行われるタイミングとして特定される。これに対して、対象物検出リストの画像Ｎｏ．１０において、対象物「トナーカートリッジ１」の状態が「変化」している。このため、対象物検出リストの画像Ｎｏ．１０と作業手順書の手順Ｎｏ．「４」とが対応付けられる。また、手順Ｎｏ．「５」は、上述の手順Ｎｏ．「１」と同様に、「カバー」に対する何らかの作業が行われるタイミングとして特定される。これに対して、対象物検出リストの画像Ｎｏ．１２において、対象物「カバー」の状態が「変化」している。このため、対象物検出リストの画像Ｎｏ．１２と作業手順書の手順Ｎｏ．「５」とが対応付けられる。
【0094】
図１６は、検出の妥当性を判定する処理の具体例を示す図である。
本実施の形態では、対象物検出リストから特定される、対象物の状態の変化の順番と、作業手順書から特定される、作業の内容に含まれる対象物の登場の順番とを比較し、その比較の結果に基づいて、検出された内容の妥当性を判定する。そして、比較の際、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいた比較が行われる。
本実施の形態では、対象物検出リストから特定される、対象物の状態の変化の順番と、作業手順書から特定される、作業の内容に含まれる対象物の登場の順番とを比較し、その比較の結果に基づいて、検出された内容の妥当性を判定する。そして、比較の際、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいた比較が行われる。
【0095】
例えば、上述の図１５（Ｂ）に示す対象物検出リストは、正しく検出が行われた場合を示している。このため、レーベンシュタイン距離は「０（ゼロ）」になる。具体的には、対象物検出リストにおいて状態が「変化」した対象物を「画像Ｎｏ．」の順に並べたものと、作業手順書において状態が変化したと判断された対象物を「手順Ｎｏ．」の順に並べたものとを比較する。すると、対象物検出リストは、「カバー」（画像Ｎｏ．２）、「トナーカートリッジ１」（画像Ｎｏ．５および６）、「トナーカートリッジ１」（画像Ｎｏ．８）、「トナーカートリッジ１」（画像Ｎｏ．１０）、および「カバー」（画像Ｎｏ．１２）という順番となっている。これに対して、上述の図１５（Ａ）に示す作業手順書は、「カバー」（手順Ｎｏ．１）、「トナーカートリッジ」（手順Ｎｏ．２）、「トナーカートリッジ」（手順Ｎｏ．３）、「トナーカートリッジ」（手順Ｎｏ．４）、および「カバー」（手順Ｎｏ．５）という順番となり、対象物検出リストと同じ順番となる。したがって、レーベンシュタイン距離は「０（ゼロ）」になる。
【0096】
これに対して、例えば、図１６および図１７に示すように、検出が正しく行われなかった場合がある。検出が正しく行われなかった場合としては、例えば、誤検出や検出漏れがある。
図１６（Ａ）は、対象物の誤検出の具体例を示す図である。
図１６（Ａ）は、対象物の誤検出の具体例を示す図である。
【0097】
上述の図１５（Ｂ）に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「トナーカートリッジ１」が「検出」されたことが示されており、また、画像Ｎｏ．「８」には、対象物「トナーカートリッジ１」が「変化」したことが示されている。これに対して、図１６（Ａ）に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「ドラムカートリッジ」が「検出」されたことが示されており、また、画像Ｎｏ．「８」には、対象物「ドラムカートリッジ」が「変化」したことが示されている。すなわち、図１６（Ａ）に示す対象物検出リストの画像Ｎｏ．「７」において、対象物を「トナーカートリッジ１」と検出すべきものを、「ドラムカートリッジ」として検出しており、対象物の誤検出が生じている。この場合、レーベンシュタイン距離は「１」になる。
【0098】
具体的には、図１６（Ａ）に示す対象物検出リストは、「カバー」（画像Ｎｏ．２）、「トナーカートリッジ１」（画像Ｎｏ．５および６）、「ドラムカートリッジ」（画像Ｎｏ．８）、「トナーカートリッジ１」（画像Ｎｏ．１０）、および「カバー」（画像Ｎｏ．１２）という順番となっている。これに対して、上述の図１５（Ａ）に示す作業手順書は、「カバー」（手順Ｎｏ．１）、「トナーカートリッジ」（手順Ｎｏ．２）、「トナーカートリッジ」（手順Ｎｏ．３）、「トナーカートリッジ」（手順Ｎｏ．４）、および「カバー」（手順Ｎｏ．５）という順番となり、「手順Ｎｏ．３」が異なる。したがって、レーベンシュタイン距離は「１」になる。
【0099】
図１６（Ｂ）は、対象物の検出漏れの具体例を示す図である。
上述の図１５（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」には、対象物「カバー」が「検出」されたことが示されており、また、画像Ｎｏ．「１２」には、対象物「カバー」が「変化」したことが示されている。これに対して、図１６（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」および「１２」では、対象物「カバー」について何ら記録されていない。すなわち、図１６（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」において、対象物「カバー」の検出漏れが生じている。この場合、レーベンシュタイン距離は「１」になる。
上述の図１５（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」には、対象物「カバー」が「検出」されたことが示されており、また、画像Ｎｏ．「１２」には、対象物「カバー」が「変化」したことが示されている。これに対して、図１６（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」および「１２」では、対象物「カバー」について何ら記録されていない。すなわち、図１６（Ｂ）に示す対象物検出リストの画像Ｎｏ．「１１」において、対象物「カバー」の検出漏れが生じている。この場合、レーベンシュタイン距離は「１」になる。
【0100】
具体的には、図１６（Ｂ）に示す対象物検出リストは、「カバー」（画像Ｎｏ．２）、「トナーカートリッジ１」（画像Ｎｏ．５および６）、「トナーカートリッジ１」（画像Ｎｏ．８）、および「トナーカートリッジ１」（画像Ｎｏ．１０）という順番となっている。これに対して、上述の図１５（Ａ）に示す作業手順書は、「カバー」（手順Ｎｏ．１）、「トナーカートリッジ」（手順Ｎｏ．２）、「トナーカートリッジ」（手順Ｎｏ．３）、「トナーカートリッジ」（手順Ｎｏ．４）、および「カバー」（手順Ｎｏ．５）という順番となり、対象物検出リストよりも数が１つ多い。したがって、レーベンシュタイン距離は「１」になる。
【0101】
図１７は、対象物の状態の変化の誤検出の具体例を示す図である。
上述の図１５（Ｂ）に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「トナーカートリッジ１」が「検出」されたことが示されている。これに対して、図１７に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「トナーカートリッジ１」が「変化」したことが検出されている。すなわち、図１７に示す対象物検出リストの画像Ｎｏ．「７」において、対象物「トナーカートリッジ１」の状態変化を「検出」として検出するものを「変化」として検出しているため、状態変化の誤検出が生じている。この場合、レーベンシュタイン距離は「１」になる。
上述の図１５（Ｂ）に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「トナーカートリッジ１」が「検出」されたことが示されている。これに対して、図１７に示す対象物検出リストの画像Ｎｏ．「７」には、対象物「トナーカートリッジ１」が「変化」したことが検出されている。すなわち、図１７に示す対象物検出リストの画像Ｎｏ．「７」において、対象物「トナーカートリッジ１」の状態変化を「検出」として検出するものを「変化」として検出しているため、状態変化の誤検出が生じている。この場合、レーベンシュタイン距離は「１」になる。
【0102】
具体的には、図１７に示す対象物検出リストは、「カバー」（画像Ｎｏ．２）、「トナーカートリッジ１」（画像Ｎｏ．５および６）、「トナーカートリッジ１」（画像Ｎｏ．７）、「トナーカートリッジ１」（画像Ｎｏ．８）、「トナーカートリッジ１」（画像Ｎｏ．１０）、および「カバー」（画像Ｎｏ．１２）という順番となっている。これに対して、上述の図１５（Ａ）に示す作業手順書は、「カバー」（手順Ｎｏ．１）、「トナーカートリッジ」（手順Ｎｏ．２）、「トナーカートリッジ」（手順Ｎｏ．３）、「トナーカートリッジ」（手順Ｎｏ．４）、および「カバー」（手順Ｎｏ．５）という順番となり、対象物検出リストよりも数が１つ少ない。したがって、レーベンシュタイン距離は「１」になる。
【0103】
図１８（Ａ）は、対象物検出リストを修正するための操作に用いられるユーザインターフェースの具体例を示す図である。
対象画像の再生中に、図１８（Ａ）に示す操作画面を表示させることで、対象画像と作業手順書を対応付けることが可能となる。具体的には、対象画像を再生すると、レーベンシュタイン距離の近い順に作業手順書および工程が表示される。ここで、「表示」と表記されたボタン４００が押下されると、上述の図１５（Ａ）に示す作業手順書が表示される。次に、「選択」と表記されたボタン４０１が押下されると、対象画像と、作業手順書の工程との対応付けが行われる。最後に、「保存」と表記されたボタン４０２が押下されると、対応付けが保存される。
対象画像の再生中に、図１８（Ａ）に示す操作画面を表示させることで、対象画像と作業手順書を対応付けることが可能となる。具体的には、対象画像を再生すると、レーベンシュタイン距離の近い順に作業手順書および工程が表示される。ここで、「表示」と表記されたボタン４００が押下されると、上述の図１５（Ａ）に示す作業手順書が表示される。次に、「選択」と表記されたボタン４０１が押下されると、対象画像と、作業手順書の工程との対応付けが行われる。最後に、「保存」と表記されたボタン４０２が押下されると、対応付けが保存される。
【0104】
図１８（Ｂ）は、対象物の撮像中に撮像画面に表示される撮像支援情報の具体例を示す図である。
ユーザが対象物を撮像していると、撮像画面に重畳して撮像支援情報が表示される。撮像支援情報は、撮像中にリアルタイムで検出される対象物の状態の変化と、予め記憶されている作業手順情報との対応関係に基づいて表示される。また、予め定められた識別情報となるＱＲコード（登録商標）等を対象物に貼付しておき、ユーザ端末３０でＱＲコードを撮像して読み取ることにより、対応する作業手書の工程を特定してもよい。
ユーザが対象物を撮像していると、撮像画面に重畳して撮像支援情報が表示される。撮像支援情報は、撮像中にリアルタイムで検出される対象物の状態の変化と、予め記憶されている作業手順情報との対応関係に基づいて表示される。また、予め定められた識別情報となるＱＲコード（登録商標）等を対象物に貼付しておき、ユーザ端末３０でＱＲコードを撮像して読み取ることにより、対応する作業手書の工程を特定してもよい。
【0105】
撮像支援情報は、例えば、図１８（Ｂ）に示すように、「ＡＲアシスト」と表記されたユーザインターフェースとして、撮像画面に重畳するように表示される。撮像支援情報の内容は特に限定されず、例えば、図１８（Ｂ）に示すように、作業手順書の工程を選択して撮像中の対象画像に対応付けられるようにしてもよい。
【0106】
図１９（Ａ）および（Ｂ）は、対象物の撮像中に撮像画面に表示される撮像支援情報の他の具体例を示す図である。
ユーザが対象物を撮像していると、図１９（Ａ）に示すように、ユーザにより選択された作業手順書の工程の手順を示すアノテーション情報４１０が、撮像画面に重畳して表示される。そして、検出された対象物の状態変化が終了すると、図１９（Ｂ）に示すように、次の手順を示すアノテーション情報４１１が撮像画面に重畳して表示される。表示される手順は、ユーザにより選択された作業手順書の工程に対応付けられている対象物検出リストから抽出される。このとき、ユーザが視覚を通じて認識しやすいように、図１９（Ａ）の例では、アノテーション情報４１０と枠線４２０とを線４３０で繋ぎ、図１９（Ｂ）の例では、アノテーション情報４１１と枠線４２１とを線４３１で繋いでもよい。
ユーザが対象物を撮像していると、図１９（Ａ）に示すように、ユーザにより選択された作業手順書の工程の手順を示すアノテーション情報４１０が、撮像画面に重畳して表示される。そして、検出された対象物の状態変化が終了すると、図１９（Ｂ）に示すように、次の手順を示すアノテーション情報４１１が撮像画面に重畳して表示される。表示される手順は、ユーザにより選択された作業手順書の工程に対応付けられている対象物検出リストから抽出される。このとき、ユーザが視覚を通じて認識しやすいように、図１９（Ａ）の例では、アノテーション情報４１０と枠線４２０とを線４３０で繋ぎ、図１９（Ｂ）の例では、アノテーション情報４１１と枠線４２１とを線４３１で繋いでもよい。
【0107】
［他の実施の形態］
以上、本実施の形態について説明したが、本発明は上述した実施の形態に限るものではない。また、本発明による効果も、上述した実施の形態に記載されたものに限定されない。例えば、図１に示す情報処理システム１の構成、図２に示す管理サーバ１０のハードウェア構成、および図３に示すユーザ端末３０のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図４に示す管理サーバ１０の機能構成、および図５に示すユーザ端末３０の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図４および図５の例に限定されない。
以上、本実施の形態について説明したが、本発明は上述した実施の形態に限るものではない。また、本発明による効果も、上述した実施の形態に記載されたものに限定されない。例えば、図１に示す情報処理システム１の構成、図２に示す管理サーバ１０のハードウェア構成、および図３に示すユーザ端末３０のハードウェア構成は、いずれも本発明の目的を達成するための例示に過ぎず、特に限定されない。また、図４に示す管理サーバ１０の機能構成、および図５に示すユーザ端末３０の機能構成も例示に過ぎず、特に限定されない。上述した処理を全体として実行できる機能が図１の情報処理システム１に備えられていれば足り、この機能を実現するためにどのような機能構成を用いるかは図４および図５の例に限定されない。
【0108】
また、図６に示す管理サーバ１０の処理、および図７に示すユーザ端末３０の処理のステップの順序も例示に過ぎず、特に限定されない。図示されたステップの順序に沿って時系列的に行われる処理だけではなく、必ずしも時系列的に処理されなくとも、並列的あるいは個別的に行われてもよい。また、図８乃至図１９に示す具体例も一例に過ぎず、特に限定されない。
【0109】
例えば、上述の実施の形態では、物体の検出や物体の状態の変化の検出を管理サーバ１０側が行う構成となっているが、これに限定されない。情報処理システム全体でこれらの処理が実行されればよいので、例えば、これらの処理をユーザ端末３０側が行う構成であってもよい。
【0110】
（付記）
(((１)))
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出し、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付けることを特徴とする、
情報処理システム。
(((２)))
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとを対応付けることを特徴とする、
(((１)))に記載の情報処理システム。
(((３)))
前記１または複数のプロセッサは、前記作業の手順に関する情報に含まれる、当該作業の内容を示すテキストデータに基づいて、前記作業のタイミングを特定する、
(((２)))に記載の情報処理システム。
(((４)))
前記１または複数のプロセッサは、前記テキストデータに含まれる、前記対象物を示す文字列の直後の文字列に基づいて、前記作業のタイミングを特定する、
(((３)))に記載の情報処理システム。
(((５)))
前記１または複数のプロセッサは、前記対象物の状態が変化したタイミングと、前記作業のタイミングとの対応関係に基づいて、当該作業の手順に関する情報を前記画像に表示させる制御を行うことを特徴とする、
請求項２に記載の情報処理システム。
(((６)))
前記１または複数のプロセッサは、前記画像の撮像時に検出した前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとの対応関係に基づいて、当該画像を撮像している情報処理装置の表示部に、当該撮像を支援するための情報を表示する制御を行うことを特徴とする、
(((１)))乃至(((５)))のいずれかに記載の情報処理システム。
(((７)))
前記１または複数のプロセッサは、前記撮像を支援するための情報として、前記作業の手順に関する情報を、前記情報処理装置の表示部に表示させる制御を行うことを特徴とする、
(((６)))に記載の情報処理システム。
(((８)))
前記１または複数のプロセッサは、複数の前記画像の各々に含まれる、前記対象物の状態の時系列上の前後関係に基づいて、当該対象物の状態の変化を検出することを特徴とする、
(((１)))乃至(((７)))のいずれかに記載の情報処理システム。
(((９)))
前記１または複数のプロセッサは、前記対象物の状態の変化を検出した場合、当該対象物の状態の変化を検出しなくなるまで、または、当該対象物を検出しなくなるまでに検出した複数の状態の変化を、当該対象物の一連の状態の変化として取り扱うことを特徴とする、
(((８)))に記載の情報処理システム。
(((１０)))
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態の変化の順番と、前記作業の手順に関する情報から特定される、当該作業の内容に含まれる当該対象物の登場の順番とを比較した結果に基づいて、当該対象物および当該対象物の状態の変化の検出の妥当性を判定することを特徴とする、
(((８)))に記載の情報処理システム。
(((１１)))
前記１または複数のプロセッサは、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、前記対象物の状態の変化の順番と、当該対象物の登場の順番とを比較することを特徴とする、
(((１０)))に記載の情報処理システム。
(((１２)))
コンピュータに、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、
を実現させるプログラム。
(((１)))
１または複数のプロセッサを備え、
前記１または複数のプロセッサは、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出し、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付けることを特徴とする、
情報処理システム。
(((２)))
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとを対応付けることを特徴とする、
(((１)))に記載の情報処理システム。
(((３)))
前記１または複数のプロセッサは、前記作業の手順に関する情報に含まれる、当該作業の内容を示すテキストデータに基づいて、前記作業のタイミングを特定する、
(((２)))に記載の情報処理システム。
(((４)))
前記１または複数のプロセッサは、前記テキストデータに含まれる、前記対象物を示す文字列の直後の文字列に基づいて、前記作業のタイミングを特定する、
(((３)))に記載の情報処理システム。
(((５)))
前記１または複数のプロセッサは、前記対象物の状態が変化したタイミングと、前記作業のタイミングとの対応関係に基づいて、当該作業の手順に関する情報を前記画像に表示させる制御を行うことを特徴とする、
請求項２に記載の情報処理システム。
(((６)))
前記１または複数のプロセッサは、前記画像の撮像時に検出した前記対象物の状態の変化に関する情報から特定される、当該対象物の状態が変化したタイミングと、前記作業の手順に関する情報から特定される、当該作業のタイミングとの対応関係に基づいて、当該画像を撮像している情報処理装置の表示部に、当該撮像を支援するための情報を表示する制御を行うことを特徴とする、
(((１)))乃至(((５)))のいずれかに記載の情報処理システム。
(((７)))
前記１または複数のプロセッサは、前記撮像を支援するための情報として、前記作業の手順に関する情報を、前記情報処理装置の表示部に表示させる制御を行うことを特徴とする、
(((６)))に記載の情報処理システム。
(((８)))
前記１または複数のプロセッサは、複数の前記画像の各々に含まれる、前記対象物の状態の時系列上の前後関係に基づいて、当該対象物の状態の変化を検出することを特徴とする、
(((１)))乃至(((７)))のいずれかに記載の情報処理システム。
(((９)))
前記１または複数のプロセッサは、前記対象物の状態の変化を検出した場合、当該対象物の状態の変化を検出しなくなるまで、または、当該対象物を検出しなくなるまでに検出した複数の状態の変化を、当該対象物の一連の状態の変化として取り扱うことを特徴とする、
(((８)))に記載の情報処理システム。
(((１０)))
前記１または複数のプロセッサは、前記対象物の状態の変化に関する情報から特定される、当該対象物の状態の変化の順番と、前記作業の手順に関する情報から特定される、当該作業の内容に含まれる当該対象物の登場の順番とを比較した結果に基づいて、当該対象物および当該対象物の状態の変化の検出の妥当性を判定することを特徴とする、
(((８)))に記載の情報処理システム。
(((１１)))
前記１または複数のプロセッサは、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、前記対象物の状態の変化の順番と、当該対象物の登場の順番とを比較することを特徴とする、
(((１０)))に記載の情報処理システム。
(((１２)))
コンピュータに、
作業の対象物と当該作業を行う作業者とを撮像した画像から、当該対象物および当該対象物の状態の変化を検出する機能と、
検出した前記対象物の状態の変化に関する情報と、予め作成された前記作業の手順に関する情報とを対応付ける機能と、
を実現させるプログラム。
【0111】
(((１)))の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
(((２)))の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
(((３)))の本発明によれば、作業の内容を示すテキストデータから、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
(((４)))の本発明によれば、作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列から、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
(((５)))の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとの対応関係に基づいて、作業の手順に関する情報が画像に表示されるので、作業者の利便性を向上させる動画像の作業マニュアルを作成できる。
(((６)))の本発明によれば、画像の撮像時に、その撮像を支援するための情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
(((７)))の本発明によれば、画像の撮像時に、その撮像を支援するための情報として、作業の手順に関する情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
(((８)))の本発明によれば、複数の画像の各々に含まれる対象物の状態の時系列上の前後関係に基づいて、その対象物の状態の変化が検出される。これにより、作業の様子を撮像した画像と、作業の手順に関する情報とを用意するだけで、動画像の作業マニュアルを作成できる。
(((９)))の本発明によれば、対象物の状態の変化が検出されると、その対象物の状態の変化が検出されなくなるまで、または、対象物が検出されなくなるまでに検出された複数の状態の変化が、対象物の一連の状態の変化として取り扱われる。これにより、対象物の一連の状態の変化が、それぞれ異なる状態の変化であると捉えられないため、実態に即した動画像の作業マニュアルを作成できる。
(((１０)))の本発明によれば、対象物の誤検出や検出漏れの有無を検証できる。
(((１１)))の本発明によれば、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、対象物の誤検出や検出漏れの有無を検証できる。
(((１２)))の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
(((２)))の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
(((３)))の本発明によれば、作業の内容を示すテキストデータから、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
(((４)))の本発明によれば、作業の内容を示すテキストデータに含まれる、対象物を示す文字列の直後の文字列から、作業のタイミングが特定されるので、作業者の動作を検出することなく、対象物の状態が変化したタイミングと、作業のタイミングとの対応付けが可能となる。
(((５)))の本発明によれば、対象物の状態が変化したタイミングと、作業のタイミングとの対応関係に基づいて、作業の手順に関する情報が画像に表示されるので、作業者の利便性を向上させる動画像の作業マニュアルを作成できる。
(((６)))の本発明によれば、画像の撮像時に、その撮像を支援するための情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
(((７)))の本発明によれば、画像の撮像時に、その撮像を支援するための情報として、作業の手順に関する情報が表示されるので、動画像の作業マニュアルを作成する作成者の利便性を向上させることができる。
(((８)))の本発明によれば、複数の画像の各々に含まれる対象物の状態の時系列上の前後関係に基づいて、その対象物の状態の変化が検出される。これにより、作業の様子を撮像した画像と、作業の手順に関する情報とを用意するだけで、動画像の作業マニュアルを作成できる。
(((９)))の本発明によれば、対象物の状態の変化が検出されると、その対象物の状態の変化が検出されなくなるまで、または、対象物が検出されなくなるまでに検出された複数の状態の変化が、対象物の一連の状態の変化として取り扱われる。これにより、対象物の一連の状態の変化が、それぞれ異なる状態の変化であると捉えられないため、実態に即した動画像の作業マニュアルを作成できる。
(((１０)))の本発明によれば、対象物の誤検出や検出漏れの有無を検証できる。
(((１１)))の本発明によれば、２つの文字列がどの程度違っているかを示す基準となるレーベンシュタイン距離に基づいて、対象物の誤検出や検出漏れの有無を検証できる。
(((１２)))の本発明によれば、作業の対象物と作業者とを撮像した画像から検出される、対象物の状態の変化に関する情報と、作業の手順に関する情報とが対応付けられるので、作業者の動作を検出することなく動画像の作業マニュアルを作成できる。
【符号の説明】
【0112】
１…情報処理システム、１０…管理サーバ、１１…制御部、３０…ユーザ端末、３１…制御部、９０…ネットワーク、１０１…取得部、１０２…管理部、１０３…物体検出部、１０４…変化検出部、１０５…対応付け部、１０６…判定部、１０７…表示制御部、１０８…送信制御部、３０１…取得部、３０２…送信制御部、３０３…表示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
