知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022020290
(43)【公開日】2022-02-01
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G06Q 10/06 20120101AFI20220125BHJP
G06Q 50/04 20120101ALI20220125BHJP
【ＦＩ】
G06Q10/06
G06Q50/04
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2020123695
(22)【出願日】2020-07-20
(11)【特許番号】
(45)【特許公報発行日】2021-09-08
(71)【出願人】
【識別番号】510050557
【氏名又は名称】株式会社 情報システムエンジニアリング
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】黒田 聡
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA06
5L049CC03
(57)【要約】 （修正有）
【課題】作業者が必要な量の情報を、作業者に提示する。
【解決手段】情報処理装置は、作業者が第１の作業及び第２の作業を行うシーンの画像である第１の画像を取得し、第１の画像とシーンを一意に示すシーンＩＤとの間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定するシーン推定部と、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定するチャンク推定部と、第２の作業が行われた際に、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、を含む。
【選択図】図１
【解決手段】情報処理装置は、作業者が第１の作業及び第２の作業を行うシーンの画像である第１の画像を取得し、第１の画像とシーンを一意に示すシーンＩＤとの間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定するシーン推定部と、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定するチャンク推定部と、第２の作業が行われた際に、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示す、
情報処理装置。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示す、
情報処理装置。
【請求項2】
前記シーン推定部は、第１の画像が第１の作業か第２の作業かを、第１の画像の時系列的に連続する前後の画像を参照することで判断する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記第１の作業における前記第１の画像には第１の番号が撮像され、前記チャンク推定部は、前記第１の番号から前記第２の作業において使用する第２の番号を、チャンク用メタＩＤを介して推測する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示す、
情報処理方法。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示す、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
例えば特許文献１の作業支援システムでは、作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成し、作業者が装着した機器からのセンサ情報に基づいて作業の対象及び作業の状況を認識し、生成したルール及び認識手段の認識結果に基づいて作業支援情報を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－１０９８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら特許文献１に記載されたような従来の手法においては、マニュアルなどの文書として蓄積されている情報は、文書単位の検索しかできない。例えば段落単位での検索を文書に対して行う場合には、文書を構造化された情報に再構築する必要がある。検索対象となる全ての文書の再構築は費用対効果を考慮すると現実的ではないことが多く、また文書単位での情報では不要な情報を多分に閲覧してしまい、文書の閲覧者が迅速な対応ができないことがあるという課題がある。
【0005】
本発明の実施の形態の一態様は、大規模な情報の再構築をせずに、作業者が必要な際に、作業者が必要な量の情報を、作業者に提示する情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力情報処理装置であって、作業者が第１の作業及び第２の作業を行う状況であるシーンの画像である第１の画像を取得し、第１の画像と、シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定するシーン推定部と、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定するチャンク推定部と、第２の作業が行われた際に、実際に行われた第１の作業及び第２の作業を、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、チャンクを出力する出力部と、を備え、チャンク推定部は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは対象物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理装置を提供する。
【0007】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、作業者が第１の作業及び第２の作業を行う状況であるシーンの画像である第１の画像を取得し、第１の画像と、シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定する第１のステップと、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定する第２のステップと、第２の作業が行われた際に、実際に行われた第１の作業及び第２の作業を、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、チャンクを出力する第４のステップと、を備え、チャンク推定部は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは対象物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理方法を提供する。
【発明の効果】
【0008】
本発明の実施の形態の一態様によれば大規模な情報の再構築をせずに、作業者が必要な際に、作業者が必要な量の情報を、作業者に提示する情報処理装置を実現できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下図面を用いて、本発明の実施の形態の一態様を詳述する。例えば、物流の中間拠点などで作業の対象となる対象物を、取り出す取出し作業（以下、これを第１の作業と呼んでもよい）や第１の作業における対象物を梱包することで新たに対象物とする梱包作業（以下、これを第２の作業と呼んでもよい）を行う作業者が作業を行う際に参照する情報について説明する。なお第１の作業と第２の作業とで作業者は違ってもよいし、第１の作業と第２の作業とで作業者は同一でもよい。
【0011】
（本実施の形態）
まず図１を用いて利用段階における情報処理装置１について説明する。図１は、本実施の形態による利用段階における情報処理装置１の構成を示すブロック図である。情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１１を備える。
まず図１を用いて利用段階における情報処理装置１について説明する。図１は、本実施の形態による利用段階における情報処理装置１の構成を示すブロック図である。情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１１を備える。
【0012】
中央演算装置２は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置３に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置３は、例えばＲＡＭ（Random Access Memory）であって、後述のシーン推定部４、チャンク推定部５、チャンク出力部６、確認部７、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０といったプログラムを記憶する。
【0013】
なおシーン推定部４、チャンク推定部５、チャンク出力部６及び確認部７を含むプログラムを制御部１５と呼んでもよく、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０を含むプログラムを学習済みモデル生成部１６と呼んでもよい。
【0014】
補助記憶装置１１は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、後述の第１の学習済みモデルＤＢ１や第１の学習モデルＤＢ１’や第２の学習済みモデルＤＢ２や第２の学習モデルＤＢ２’といったデータベースやシーンテーブルＴＢ１やモデルテーブルＴＢ２やコンテンツテーブルＴＢ３やシーン・コンテンツテーブルＴＢ４やコンテンツ・チャンクテーブルＴＢ５やチャンク・メタテーブルＴＢ６やチャンクテーブルＴＢ７やチャンク用メタテーブルＴＢ８や状態遷移テーブルＴＢ９といったテーブルを記憶する。
【0015】
図１に示すように作業者の行う作業に関する情報である作業情報を出力する情報処理装置１は、利用段階において、シーン推定部４と、チャンク推定部５と、作業情報を分割又は示唆した情報であるチャンクを出力するチャンク出力部６と、確認部７と、を備える。ここで作業情報をコンテンツと呼んでもよく、コンテンツＩＤは作業情報を一意に示すものとする。チャンク出力部６はチャンクを例えばユーザ端末１２に出力する。
【0016】
シーン推定部４は、作業者が行う状況であるシーンを推定する。具体的にはシーン推定部４は、取出し作業時及び梱包作業時において後述の第１の画像２０，４０を取得し、第１の画像２０，とシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルＤＢ１を使用して、シーンを推定する。
【0017】
シーン推定部４は、シーンＩＤとシーンの名称であるシーン名とが１対１で紐づけられたテーブルであるシーンテーブルＴＢ１から、シーンＩＤを検索キーとしてシーン名を取得してユーザ端末１２に送信する。ユーザ端末１２はシーン推定部４から受信したシーン名を作業者に提示する。
【0018】
なおシーン推定部４は、取出し作業時か梱包作業時かの判断を、例えば第１の画像２０，４０の時系列系に連続する前後の画像を参照することで判断する。例えば第１の画像２０に関しては、第１の画像２０の時系列的に前の画像には、後述の対象物２３が梱包された箱２１が撮像され、第１の画像２０の時系列的に後の画像には、箱から取り出され対象物２３が撮像される。このため、シーン推定部４は、第１の画像２０が取出し作業時の画像であることと判断することができる。
【0019】
また第１の画像４０に関しては、第１の画像４０の時系列的に前の画像には、梱包されていない対象物２３，４３が撮像され、第１の画像４０の時系列的に後の画像には、対象物２３，４３が梱包された箱４１が撮像されるため、シーン推定部４は、第１の画像２０が梱包作業時の画像であることと判断することができる。
【0020】
チャンク推定部５は、第１の作業の対象物２３の画像及び第２の作業の対象物５１の画像である第２の画像３０，５０を取得し、第２の画像３０，５０と、チャンクを一意に示すチャンクＩＤと１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルＤＢ２のうちの１つを使用して、チャンクを推定する。
【0021】
チャンク推定部５は、複数の第２の学習済みモデルＤＢ２のうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定する。またチャンク用メタＩＤは対象物２３，４３，５１の性質に関する情報であるチャンク用メタ値を一意に示す。
【0022】
チャンク推定部５は、モデルＩＤとシーンＩＤとが１対１で紐づけられたテーブルであるモデルテーブルＴＢ２からシーンＩＤを検索キーとしてモデルＩＤを取得する。またチャンク推定部５は、チャンクＩＤとチャンク用メタＩＤとが１対１又は１対複数で紐づけられたテーブルであるチャンク・メタテーブルＴＢ６からチャンク用メタＩＤを検索キーとしてチャンクＩＤを取得する。
【0023】
またチャンク推定部５は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクの概要を示すチャンクサマリを取得して、チャンクサマリをユーザ端末１２に送信する。ユーザ端末１２は、チャンク推定部５から受信したチャンクサマリを作業者に提示する。
【0024】
またチャンク推定部５は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得して、チャンクをユーザ端末１２に送信する。ユーザ端末１２は、チャンク推定部５から受信したチャンクを作業者に提示する。
【0025】
なおチャンクテーブルＴＢ７は、チャンクＩＤにチャンクとチャンクサマリとハッシュ値とがそれぞれ１対１で紐づけられたテーブルである。なおハッシュ値は例えばチャンクが変更されたか否かを確認するために用いられる。
【0026】
遷移先示唆部７は、第２の作業に関する情報が処理される際に、実際に行われた第１の作業及び前記第２の作業を、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルＴＢ９と照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する。遷移先示唆部７は、示唆情報を例えばユーザ端末１２に出力する。
【0027】
次に図２を用いて学習段階における情報処理装置１について説明する。例えば学習段階においては図示せぬ入力装置から入力される第１の画像２０，４０と１又は複数の第２の画像３０，３５，５０，５５とを１組として学習させる。ここで学習は、例えば教師あり学習を指すものとする。
【0028】
図２は、本実施の形態による学習段階における情報処理装置１の構成を示すブロック図である。学習段階においては、情報処理装置１は、第１の学習済みモデル生成部９と、第２の学習済みモデル生成部１０と、を備える。
【0029】
第１の学習済みモデル生成部９は、シーンＩＤと、第１の画像２０，４０と、を１対として第１の学習モデルＤＢ１’に学習させることで第１の学習済みモデルＤＢ１を生成するプログラムである。
【0030】
第１の学習済みモデル生成部９は、第１の画像２０，４０に関してシーンテーブルＴＢ１からシーンＩＤを取得し、シーンＩＤに対応するモデルＩＤをモデルテーブルＴＢ２から取得する。
【0031】
第２の学習済みモデル生成部１０は、モデルＩＤを指定して１又は複数のチャンク用メタＩＤと第２の画像３０，５０とを１対として第２の学習モデルＤＢ２’に学習させることで第２の学習済みモデルＤＢ２を生成するプログラムである。
【0032】
第２の学習済みモデル生成部１０は、シーンＩＤとコンテンツＩＤとが１対多で紐づけられたテーブルであるシーン・コンテンツテーブルＴＢ４からシーンＩＤを検索キーとしてコンテンツＩＤを取得する。なおここで検索キーとなるシーンＩＤは、処理の対象となる第２の画像３０，５０と対になっている第１の画像２０，４０と紐づくものである。
【0033】
第２の学習済みモデル生成部１０は、コンテンツＩＤとコンテンツとが１対１で紐づけられたテーブルであるコンテンツテーブルＴＢ３からコンテンツＩＤを検索キーとしてコンテンツを取得する。
【0034】
第２の学習済みモデル生成部１０は、コンテンツＩＤとチャンクＩＤとが１対１又は多で紐づけられたテーブルであるコンテンツ・チャンクテーブルＴＢ５からコンテンツＩＤを検索キーとしてチャンクＩＤを取得する。
【0035】
第２の学習済みモデル生成部１０は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得し、チャンク・メタテーブルＴＢ６からチャンクＩＤを検索キーとしてチャンク用メタＩＤを取得する。
【0036】
第２の学習済みモデル生成部１０は、チャンク用メタテーブルＴＢ８からチャンク用メタＩＤを検索キーとしてチャンク用メタ値を取得する。チャンク用メタテーブルＴＢ８は、チャンク用メタＩＤにチャンク用カテゴリＩＤとチャンク用カテゴリ名とチャンク用メタ値とがそれぞれ１対１で結び付けられたテーブルである。
【0037】
チャンク用カテゴリＩＤはチャンク用メタ値が属するカテゴリの名前であるチャンク用カテゴリ名を一意に示す。なお第２の学習済みモデル生成部１０は、第２の画像３０，５０を参照したうえで、取得したチャンク、コンテンツ及びチャンク用メタ値に問題がないことを確認する。
【0038】
問題がある値を異常値と判断し教師あり学習の学習には使用しないことで、第２の学習済みモデル生成部１０は、精度の高い学習済みモデルＤＢ２を生成することが可能となり、利用段階において情報処理装置１は、精度の高い処理を行うことができる。
【0039】
次に図３を用いてユーザ端末１２が取得し、情報処理装置１が情報として処理するについて説明する。本実施の形態による取出し作業時及び梱包作業時におけるそれぞれの第１の画像２０，４０及び第２の画像３０，５０を示す図である。
【0040】
取出し作業時及び梱包作業時におけるそれぞれの第１の画像２０，４０及び第２の画像３０，５０は、例えば補助記憶装置１１に保存され、また例えばユーザ端末１２に表示される。図３においては例えば第２の作業時に第1の作業時も含めた第１の画像２０，４０及び第２の画像３０，５０が同時に表示されるような例を示しているが、第１の画像２０，４０はそれぞれ別々にユーザ端末１２に表示されてもよい。
【0041】
取出し作業時における第１の画像２０には例えば対象物２３、対象物２３が取り出された箱２１及び発注番号２２（以下、これを第１の番号と呼んでもよい）が撮像される。梱包作業時における第１の画像４０には例えば取出し作業時に作業の対象だった対象物２３，４３及び対象物２３，４３を梱包する箱４１が撮像される。
【0042】
取出し作業時における第２の画像３０には例えば対象物２３が撮像される。梱包作業時における第２の画像５０には例えば取出し作業時に作業の対象だった対象物２３，４３、対象物２３，４３を梱包する箱４１及び受注番号５２（以下、これを第２の番号と呼んでもよい）が撮像される。
【0043】
発注番号２２は、例えば物流の中間拠点の発注の担当者が注文を発注した際に付与された番号とし、受注番号５２は、例えば物流の中間拠点の受注の担当者が注文を受注した際に付与される番号とする。例えばシーンＩＤが発注番号２２まで考慮して決定される場合、チャンク推定部５は、チャンク用メタＩＤを介して受注番号５２を推定する。
【0044】
【0045】
第１の学習済みモデルＤＢ１は、第１の画像２０，４０と、シーンＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の第１の画像２０，４０と、複数のシーンＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。
【0046】
第１の画像２０，４０と、シーンＩＤと、の間における連関性は、具体的には、図４に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図４に示すように第１の学習済みモデルＤＢ１への第１の画像２０，４０の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。
【0047】
第２の学習済みモデルＤＢ２は、モデルＩＤと１対１で紐づけられ、複数とする。それぞれの第２の学習済みモデルＤＢ２は、第２の画像３０，３５，５０，５５と、１又は複数のチャンク用メタＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の第２の画像３０，３５，５０，５５と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。
【0048】
複数の第２の画像３０，３５，５０，５５と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性は、具体的には、図４に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図４に示すように第２の学習済みモデルＤＢ２への第２の画像３０，３５，５０，５５の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。
【0049】
次に図５を用いて補助記憶装置１１に記憶されている情報であるシーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７、チャンク用メタテーブルＴＢ８及び状態遷移テーブルＴＢ９について説明する。図５は、本実施の形態による補助記憶装置１１に記憶されている情報を示す図である。
【0050】
シーンテーブルＴＢ１などに格納されるシーンＩＤは例えば０ＦＤなどの３桁の１６進数とする。またシーンテーブルＴＢ１などに格納されるシーン名は、例えば割物取出や割物梱包などとする。
【0051】
モデルテーブルＴＢ２などに格納されるモデルＩＤは、例えばＭＤ１のように２文字の英字と１桁の１０進数で表される。コンテンツテーブルＴＢ３などに格納されるコンテンツＩＤは、例えば１Ｂ８２７－０１のように５桁の１６進数と２桁の１０進数とで表される。コンテンツテーブルＴＢ３などに格納されるコンテンツは、例えば１Ｂ８２７－０１．ｔｘｔのようにコンテンツＩＤであるファイル名が拡張子付きで示され、コンテンツの実体へのポインタなどが格納される。
【0052】
コンテンツ・チャンクテーブルＴＢ５などに格納されるチャンクＩＤは、例えば８２７００－０１のように５桁と２桁の１０進数で表される。チャンク・メタテーブルＴＢ６などに格納されるチャンク用メタＩＤは、例えば２４ＦＤのように４桁の１６進数とする。
【0053】
チャンクテーブルＴＢ７に格納されるチャンクは、例えば１Ｂ８２７－０１．ｔｘｔ＿０のように対象となるチャンクと対応するコンテンツのファイル名と１桁の１０進数とで示され、対象となるチャンクと対応するコンテンツの実体の一部分へのポインタなどが格納される。
【0054】
チャンクテーブルＴＢ７に格納されるチャンクサマリは、例えば「緩衝材を、…」といったチャンクの内容を要約した文書とする。チャンクテーブルＴＢ７に格納されるハッシュ値は、例えば５６４５４４ｄ８ｆ０ｂ７４６ｅのように１５桁の１６進数とする。
【0055】
チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリＩＤは、例えば３９４のように３桁の１０進数とする。チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリ名は、例えば対象となる封筒や箱やパレットやかごなどのサイズや色や形などとする。
【0056】
チャンク用メタテーブルＴＢ８に格納されるチャンク用メタ値は、例えばＡ４や６０や白や青や封筒や箱やパレットやかごなどとする。なおチャンク用カテゴリＩＤ及びチャンク用カテゴリ名の値はＮＵＬＬであってもよい。
【0057】
状態遷移テーブルＴＢ９に格納されている状態遷移ＩＤは、例えば２つのシーンＩＤの組み合わせを一意に示すものであって、例えば０４Ｃのように３桁の１６進数とする。状態遷移ＩＤは、例えば注文を管理する注文票と対応付けられてもよい。
【0058】
状態遷移テーブルＴＢ９に格納されている順序は、１や２とし、例えば１は取出し作業時を示し、２は梱包作業時を示す。なお状態遷移テーブルＴＢ９においては、例えば状態遷移ＩＤとシーンＩＤとの組み合わせを一意に特定するために、１から順に番号付けされるＮＯが格納されている。
【0059】
シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５及びチャンク・メタテーブルＴＢ６に示すように、作業情報のデータ構造は、チャンク用メタＩＤを最下層である第１の層とし、チャンクＩＤを第２の層とし、コンテンツＩＤを第３の層とし、シーンＩＤを最上層である第４の層とする階層構造を有している。
【0060】
【0061】
利用段階の情報処理機能は、後述のシーン推定処理Ｓ６０によって実現されるシーン推定機能と、後述のチャンク推定処理Ｓ８０によって実現されるチャンク推定機能と、後述のチャンク出力処理Ｓ１００によって実現されるチャンク出力機能と、から構成される。
【0062】
まずシーン推定機能について説明する。制御部１５に含まれるシーン推定部４は、ユーザ端末１２から第１の画像２０，４０を受信し（Ｓ１）、受信した第１の画像２０，４０を第１の学習済みモデルＤＢ１に入力する（Ｓ２）。
【0063】
第１の学習済みモデルＤＢ１は、受信した第１の画像２０，４０と強く結びついているシーンＩＤを１又は複数選択し、シーン推定部４に対して選択した１又は複数のシーンＩＤ（以下、これを第１のシーンＩＤリストと呼んでもよい）を出力する（Ｓ３）。
【0064】
シーン推定部４は、第１のシーンＩＤリストを取得すると、ユーザ端末１２にそのまま送信する（Ｓ４）。ユーザ端末１２は、第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤについてのキャッシュの有無をシーン推定部４に対して送信する（Ｓ５）。
【0065】
ユーザ端末１２は、過去に処理した情報に関しては、シーンテーブルＴＢ１と同等のテーブルを保持している。ユーザ端末１２は、受信した第１のシーンＩＤリストのシーンＩＤを検索キーとしてユーザ端末１２が保持するテーブル内を検索する。検索結果が見つかったシーンＩＤはキャッシュ有りとなり、検索結果がみつからないシーンＩＤについてはキャッシュ無しとなる。
【0066】
シーン推定部４は、ユーザ端末１２から受信した第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤのうちユーザ端末１２にキャッシュが無い１又は複数のシーンＩＤ（以下、これを第２のシーンＩＤリストと呼んでもよい）を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ６）。
【0067】
シーン推定部４は、検索結果として第２のシーンＩＤリストに含まれるそれぞれのシーンＩＤに対応するシーン名（以下、これをシーン名リストと呼んでもよい）をシーンテーブルＴＢ１から取得する（Ｓ７）。
【0068】
シーン推定部４は、取得したシーン名リストをユーザ端末１２にそのままに送信する（Ｓ８）。利用段階において情報処理装置１は、ステップＳ１～Ｓ８によって、第１の画像２０，４０のシーンを、シーン名を推定することで、推定するシーン推定機能を実現する。
【0069】
次にチャンク推定機能について説明する。ユーザ端末１２は、受信したシーン名リストを作業者に提示する。作業者は、提示されたシーン名リストの中から例えば１つのシーン名を選択する。ユーザ端末１２は、作業者に選択されたシーン名を制御部１５に含まれるチャンク推定部５に送信する（Ｓ９）。
【0070】
チャンク推定部５は、ユーザ端末１２から受信したシーン名に対応するシーンＩＤを検索キーとして（Ｓ１０）、モデルテーブルＴＢ２を検索しモデルＩＤを取得する（Ｓ１１）。
【0071】
チャンク推定部５は、第２の画像３０，３５，５０，５５をユーザ端末１２から受信する（Ｓ１２）。チャンク推定部５は、モデルテーブルＴＢ２から取得したモデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、第２の画像３０，５０を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ１３）。
【0072】
第２の学習済みモデルＤＢ２は、第２の画像３０，３５，５０，５５と強く結びついている１又は複数のチャンク用メタＩＤを１又は複数選択し、チャンク推定部５に対して選択した１又は複数の、１又は複数のチャンク用メタＩＤ（以下、これをチャンク用メタＩＤリストと呼んでもよい）を出力する（Ｓ１４）。
【0073】
チャンク推定部５は、チャンク用メタＩＤリストに含まれるそれぞれの１又は複数のチャンク用メタＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索する（Ｓ１５）。
【0074】
チャンク推定部５は、検索結果として１又は複数のチャンクＩＤ（以下、これを第１のチャンクＩＤリストと呼んでもよい）をチャンク・メタテーブルＴＢ６から取得する（Ｓ１６）。チャンク推定部５は、取得した第１のチャンクＩＤリストをユーザ端末１２にそのままに送信する（Ｓ１７）。
【0075】
ユーザ端末１２は、第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤについてのキャッシュの有無をチャンク推定部５に対して送信する（Ｓ１８）。ユーザ端末１２は、過去に処理した情報に関しては、チャンクテーブルＴＢ７におけるチャンクＩＤ列とチャンクサマリ列とを備えたテーブルを保持している。
【0076】
ユーザ端末１２は、受信した第１のチャンクＩＤリストのチャンクＩＤを検索キーとしてユーザ端末１２が保持するテーブル内を検索する。検索結果が見つかったチャンクＩＤはキャッシュ有りとなり、検索結果がみつからないチャンクＩＤについてはキャッシュ無しとなる。
【0077】
チャンク推定部５は、ユーザ端末１２から受信した第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤのうちユーザ端末１２にキャッシュが無い１又は複数のチャンクＩＤ（以下、これを第２のチャンクＩＤリストと呼んでもよい）を検索キーとしてチャンクテーブルＴＢ７を検索する（Ｓ１９）。
【0078】
チャンク推定部５は、検索結果として第２のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤに対応するチャンクサマリ（以下、これをチャンクサマリリストと呼んでもよい）をチャンクテーブルＴＢ７から取得する（Ｓ２０）。チャンク推定部５は、取得したチャンクサマリリストをユーザ端末１２にそのままに送信する（Ｓ２１）。
【0079】
利用段階において情報処理装置１は、ステップＳ９～Ｓ２１によって、対象物２３，４３，５１のチャンクを、チャンクサマリを推定することで、推定するチャンク推定機能を実現する。
【0080】
次にチャンク出力機能について説明する。ユーザ端末１２は、受信したチャンクサマリリストを作業者に提示する。作業者は、提示されたチャンクサマリリストの中から例えば１つのチャンクサマリを選択する。ユーザ端末１２は、作業者に選択されたチャンクサマリを制御部１５に含まれるチャンク出力部６に送信する（Ｓ２２）。
【0081】
チャンク出力部６は、ユーザ端末１２から受信したチャンクサマリに対応するチャンクＩＤを検索キーとして（Ｓ２３）、チャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ２４）。
【0082】
チャンク出力部６は、取得したチャンクをユーザ端末１２にそのままに送信する（Ｓ２５）。ユーザ端末１２は、受信したチャンクをユーザに提示する。利用段階において情報処理装置１は、ステップＳ２２～Ｓ２５によって、対象物２３，４３，５１のチャンクを出力するチャンク出力機能を実現する。
【0083】
次に図７を用いて第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能について説明する。図７は、本実施の形態による第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能の説明に供するシーケンス図である。
【0084】
学習段階の情報処理機能は、第１の学習済みモデル生成処理によって実現される第１の学習済みモデル生成機能と、第２の学習済みモデル生成処理によって実現される第２の学習済みモデル生成機能と、から構成される。
【0085】
まず第１の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第１の学習済みモデル生成部９は、処理対象とするシーン名と、第１の画像２０，４０と、１又は複数の第２の画像３０，３５，５０，５５と、の組を決め、シーンテーブルＴＢ１にシーン名を検索キーとして予め生成されたシーンテーブルＴＢ１を検索する（Ｓ３１）。
【0086】
第１の学習済みモデル生成部９は、検索結果としてシーンＩＤをシーンテーブルＴＢ１から取得し（Ｓ３２）、第１の学習モデルＤＢ１’に、第１の画像２０，４０と、シーンＩＤと、を１対として学習させる（Ｓ３３）。
【0087】
また第１の学習済みモデル生成部９は、モデルテーブルＴＢ２に取得したシーンＩＤを送信しモデルＩＤ取得要求を行う（Ｓ３４）。モデルテーブルＴＢ２は、受信したシーンＩＤに対応するモデルＩＤを生成して、シーンＩＤとモデルＩＤとの組み合わせを記憶する。
【0088】
次に第１の学習済みモデル生成部９は、モデルＩＤをモデルテーブルＴＢ２から取得する（Ｓ３５）。学習段階において情報処理装置１は、ステップＳ３１～Ｓ３５によって、第１の学習済みモデルＤＢ１を生成する第１の学習済みモデル生成機能を実現する。
【0089】
次に第２の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第２の学習済みモデル生成部１０は、ステップＳ３２において第１の学習済みモデル生成部９が受信したシーンＩＤを検索キーとして、予め生成されたシーン・コンテンツテーブルＴＢ４を検索する（Ｓ３６）。
【0090】
第２の学習済みモデル生成部１０は、検索結果としてコンテンツＩＤをシーン・コンテンツテーブルＴＢ４から取得し（Ｓ３７）、取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツテーブルＴＢ３を検索する（Ｓ３８）。
【0091】
第２の学習済みモデル生成部１０は、検索結果としてコンテンツをコンテンツテーブルＴＢ３から取得し（Ｓ３９）、ステップＳ３７で取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツ・チャンクテーブルＴＢ５を検索する（Ｓ４０）。
【0092】
第２の学習済みモデル生成部１０は、検索結果としてチャンクＩＤをコンテンツ・チャンクテーブルＴＢ５から取得し（Ｓ４１）、取得したチャンクＩＤを検索キーとして予め生成されたチャンクテーブルＴＢ７を検索する（Ｓ４２）。
【0093】
第２の学習済みモデル生成部１０は、検索結果としてチャンクをチャンクテーブルＴＢ７から取得し（Ｓ４３）、ステップＳ４１で取得したチャンクＩＤを検索キーとして予め生成されたチャンク・メタテーブルＴＢ６を検索する（Ｓ４４）。
【0094】
第２の学習済みモデル生成部１０は、検索結果として１又は複数のチャンク用メタＩＤをチャンク・メタテーブルＴＢ６から取得し（Ｓ４５）、取得したそれぞれのチャンク用メタＩＤを検索キーとして予め生成されたチャンク用メタテーブルＴＢ８を検索する（Ｓ４６）。
【0095】
第２の学習済みモデル生成部１０は、検索結果としてそれぞれのチャンク用メタＩＤに対応するチャンク用メタ値をチャンク用メタテーブルＴＢ８からそれぞれ取得する（Ｓ４７）。
【0096】
第２の学習済みモデル生成部１０は、ステップＳ３９で取得したコンテンツ、ステップＳ４３で取得したチャンク及びステップＳ４７で取得したそれぞれのチャンク用メタ値に問題がないかを第１の画像２０，４０及び第２の画像３０，３５，５０，５５を参照して確認を行う。
【0097】
例えば第２の学習済みモデル生成部１０は、第１の画像２０において撮像された発注番号２２や第２の画像３０において撮像された対象物２３の形状や第１の画像４０において撮像された対象物２３，４３や第２の画像５０において撮像された受注番号５２などを参照して確認を行う。
【0098】
参照した結果、コンテンツやチャンクやチャンク用メタ値が第２の画像３０，３５，５０，５５に撮像されている対象物２３，４３，５１とは明らかに違う情報であることが明確であるなどの問題があった場合は対象となる組についての処理を終了する。
【0099】
次に第２の学習済みモデル生成部１０は、第２の学習モデルＤＢ２’にモデルＩＤと、第２の画像３０，３５，５０，５５と、１又は複数のチャンク用メタＩＤと、を１対として学習させる（Ｓ４８）。学習段階において情報処理装置１は、ステップＳ３６～Ｓ４８によって、第２の学習済みモデルＤＢ２を生成する第２の学習済みモデル生成機能を実現する。
【0100】
次に図８を用いて利用段階における情報処理について説明する。図８は、本実施の形態による利用段階における情報処理の処理手順を示すフローチャートである。利用段階における情報処理は、シーン推定処理Ｓ６０と、チャンク推定処理Ｓ８０と、チャンク出力処理Ｓ１００と、遷移先示唆処理Ｓ１１０とから構成される。
【0101】
まずシーン推定処理Ｓ６０について説明する。シーン推定処理Ｓ６０は、ステップＳ６１～ステップＳ６７から構成される。シーン推定部４は、ユーザ端末１２から第１の画像２０，４０を受信すると（Ｓ６１）、第１の画像２０，４０を第１の学習済みモデルＤＢ１に入力する（Ｓ６２）。
【0102】
シーン推定部４は、第１の学習済みモデルＤＢ１から出力として第１のシーンＩＤリストを取得し（Ｓ６３）、ユーザ端末１２に第１のシーンＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１２に問い合わせる（Ｓ６４）。
【0103】
ユーザ端末１２からの返答結果がすべてキャッシュ有りの場合（Ｓ６５：ＮＯ）、シーン推定処理Ｓ６０は終了しチャンク推定処理Ｓ８０が開始される。ユーザ端末１２からの返答結果が１つでもキャッシュ無しの場合（Ｓ６５：ＹＥＳ）、シーン推定部４は、シーンテーブルＴＢ１からシーン名リストを取得し（Ｓ６６）、そのままユーザ端末１２に送信し（Ｓ６７）、シーン推定処理Ｓ６０は終了する。
【0104】
次にチャンク推定処理Ｓ８０について説明する。チャンク推定処理Ｓ８０は、ステップＳ８１～ステップＳ８８から構成される。チャンク推定部５は、作業者に選択されたシーン名をユーザ端末１２から受信する（Ｓ８１）。
【0105】
ユーザ端末１２からシーン名を受信すると、チャンク推定部５は、モデルテーブルＴＢ２からモデルＩＤを取得する（Ｓ８２）。次にチャンク推定部５は、モデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、ユーザ端末１２から受信した第２の画像３０，３５，５０，５５を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ８３）。
【0106】
チャンク推定部５は、第２の学習済みモデルＤＢ２から出力としてチャンク用メタＩＤリストを取得し（Ｓ８４）、チャンク・メタテーブルＴＢ６から第１のチャンクＩＤリストを取得する（Ｓ８５）。次にチャンク推定部５は、ユーザ端末１２に第１のチャンクＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１２に問い合わせる（Ｓ８６）。
【0107】
ユーザ端末１２からの返答結果がすべてキャッシュ有りの場合（Ｓ８６：ＮＯ）、チャンク推定処理Ｓ８０は終了しチャンク出力処理Ｓ１００が開始される。ユーザ端末１２からの返答結果が１つでもキャッシュ無しの場合（Ｓ８６：ＹＥＳ）、チャンク推定部５は、チャンクテーブルＴＢ７からチャンクサマリリストを取得し（Ｓ８７）、そのままユーザ端末１２に送信し（Ｓ８８）、チャンク推定処理Ｓ８０は終了する。
【0108】
次にチャンク出力処理Ｓ１００について説明する。チャンク出力処理Ｓ１００は、ステップＳ１０１～ステップＳ１０３から構成される。チャンク出力部６は、作業者に選択されたチャンクサマリをユーザ端末１２から受信する（Ｓ１０１）。
【0109】
ユーザ端末１２からチャンクサマリを受信すると、チャンク出力部６は、チャンクテーブルＴＢ７からチャンクを取得し（Ｓ１０２）、そのままユーザ端末１２に送信し（Ｓ１０３）、チャンク出力処理Ｓ１００は終了する。
【0110】
次に遷移先示唆処理Ｓ１１０について説明する。遷移先示唆処理Ｓ１１０は、ステップＳ１１１から構成される。遷移先示唆部７は、示唆情報を出力する（Ｓ１１１）。例えば遷移先示唆部７は、並行して処理をしている注文票に関して、第１の作業をまとめて処理した後に、第２の作業をまとめて処理するような示唆を作業者に対して行う。さらに第１の作業の中でもシーンＩＤが同じ作業をまとめて処理するような示唆を作業者に対して行う。
【0111】
状態遷移ＴＢ９を用いて具体的な説明を行う。状態遷移ＩＤ「０４Ｃ」、状態遷移ＩＤ「０５Ｄ」及び状態遷移ＩＤ「０５Ｅ」の３つの注文の処理を並行して行うとする。作業者がＮＯ「１」の状態遷移ＩＤ「０４Ｃ」におけるシーンＩＤ「０ＦＤ」の作業を行っていると、遷移先示唆部７は、作業者にＮＯ「３」の状態遷移ＩＤ「０５Ｄ」におけるシーンＩＤ「０ＦＤ」の作業をするように示唆を行う。
【0112】
作業者がＮＯ「３」の状態遷移ＩＤ「０５Ｄ」におけるシーンＩＤ「０ＦＤ」の作業を行っていると、遷移先示唆部７は、作業者にＮＯ「５」の状態遷移ＩＤ「０５Ｅ」におけるシーンＩＤ「１ＦＤ」の作業をするように示唆を行う。ここまで作業が行われると、順序「１」の未作業の作業はなくなる。
【0113】
作業者がＮＯ「５」の状態遷移ＩＤ「０５Ｅ」におけるシーンＩＤ「１ＦＤ」の作業を行っていると遷移先示唆部７は、作業者にＮＯ「２」の状態遷移ＩＤ「０４Ｃ」におけるシーンＩＤ「０ＦＥ」の作業をするように示唆を行う。
【0114】
作業者がＮＯ「２」の状態遷移ＩＤ「０４Ｃ」におけるシーンＩＤ「０ＦＥ」の作業を行っていると遷移先示唆部７は、作業者にＮＯ「６」の状態遷移ＩＤ「０５Ｅ」におけるシーンＩＤ「０ＦＥ」の作業をするように示唆を行う。
【0115】
作業者がＮＯ「６」の状態遷移ＩＤ「０５Ｅ」におけるシーンＩＤ「０ＦＥ」の作業を行っていると遷移先示唆部７は、作業者にＮＯ「４」の状態遷移ＩＤ「０５Ｄ」におけるシーンＩＤ「１ＦＥ」の作業をするように示唆を行う。
【0116】
次に図９を用いて学習段階における情報処理について説明する。図９は、本実施の形態による学習段階における情報処理の処理手順を示すフローチャートである。学習段階における情報処理は、第１の学習済みモデル生成処理Ｓ１２０と、第２の学習済みモデル生成処理Ｓ１４０と、から構成される。
【0117】
まず第１の学習済みモデル生成処理Ｓ１２０について説明する。第１の学習済みモデル生成処理Ｓ１２０は、ステップＳ１２１～ステップＳ１２４から構成される。第１の学習済みモデル生成部９は、シーン名と、第１の画像２０，４０と、１又は複数の第２の画像３０，３５，５０，５５と、の組を決めると、シーン名を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ１２１）。
【0118】
第１の学習済みモデル生成部９は、検索結果としてシーンテーブルＴＢ１からシーンＩＤを取得し（Ｓ１２２）、第１の学習モデルＤＢ１’にシーンＩＤと、第１の画像２０，４０と、を１対として学習させる（Ｓ１２３）。
【0119】
次に第１の学習済みモデル生成部９は、モデルテーブルＴＢ２にステップＳ１２２で取得したシーンＩＤを送信しモデルＩＤ取得要求を行い、モデルＩＤを取得する（Ｓ１２４）。
【0120】
次に第２の学習済みモデル生成処理Ｓ１４０について説明する。第２の学習済みモデル生成処理Ｓ１４０は、ステップＳ１４１～ステップＳ１５０から構成される。第２の学習済みモデル生成部１０は、ステップＳ１２２で取得されたシーンＩＤを検索キーとしてシーン・コンテンツテーブルＴＢ４を検索しコンテンツＩＤを取得する（Ｓ１４１）。
【0121】
第２の学習済みモデル生成部１０は、取得したコンテンツＩＤを検索キーとしてコンテンツテーブルＴＢ３を検索しコンテンツを取得する（Ｓ１４２）。また第２の学習済みモデル生成部１０は、取得したコンテンツＩＤを検索キーとしてコンテンツ・チャンクテーブルＴＢ５を検索しチャンクＩＤを取得する（Ｓ１４３）。
【0122】
また第２の学習済みモデル生成部１０は、取得したチャンクＩＤを検索キーとしてチャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ１４４）。また第２の学習済みモデル生成部１０は、取得したチャンクＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索し１又は複数のチャンク用メタＩＤを取得する（Ｓ１４５）。
【0123】
また第２の学習済みモデル生成部１０は、取得した１又は複数のチャンク用メタＩＤのそれぞれを検索キーとしてチャンク用メタテーブルＴＢ８を検索し、それぞれのチャンク用メタＩＤに対応するチャンク用メタ値をそれぞれ取得する（Ｓ１４６）。
【0124】
第２の学習済みモデル生成部１０は、ステップＳ１４２で取得したコンテンツ、ステップＳ１４４で取得したチャンク及びステップＳ１４６で取得したそれぞれのチャンク用メタ値に問題がないかを第１の画像２０，４０及び第２の画像３０，３５，５０，５５を参照して確認を行う（Ｓ１４７）。
【0125】
確認の結果問題があった場合（Ｓ１４８：ＮＯ）、処理中の組に関しての学習段階の情報処理は終了する。確認の結果問題がない場合（Ｓ１４８：ＹＥＳ）、第２の学習済みモデル生成部１０は、第２の学習モデルＤＢ２’にモデルＩＤと、１又は複数のチャンク用メタＩＤと、第２の画像３０，３５，５０，５５と、を１対として学習させ（Ｓ１４９）、処理中の組に関しての学習段階の情報処理は終了する。
【0126】
以上のように本実施の形態による情報処理装置１によって、作業情報を分割又は示唆したチャンクは、ユーザ端末１２を介して提示される。このため、チャンクを適切に設定することで必要な分量の情報を提示することが可能となる。またチャンクを、文書全体を示唆するような情報とすれば、大規模な情報の再構築は不要となる。
【0127】
モデルテーブルＴＢ２を使用することで、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合にも、モデルテーブルＴＢ２を変更するだけ対応が可能となり、メンテナンス性に優れた装置を提供できる。
【0128】
なおモデルテーブルＴＢ２を使用しない場合、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合には学習済みモデルＤＢ２を再度生成する必要がある。
【0129】
本実施の形態においては、シーン推定部４、チャンク推定部５、チャンク出力部６、確認部７、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０及びレコメンド画像出力部１３は、プログラムとしたがこれに限らず論理回路でもよい。
【0130】
またシーン推定部４、チャンク推定部５、チャンク出力部６、確認部７、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０、レコメンド画像出力部１３、第１の学習済みモデルＤＢ１、第１の学習モデルＤＢ１’、第２の学習済みモデルＤＢ２、第２の学習モデルＤＢ２’、シーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７、チャンク用メタテーブルＴＢ８及び状態遷移テーブルＴＢ９は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。
【0131】
また上述の図７及び図９に示した学習段階では、第１の学習済みモデル及び第２の学習済みモデルを関連付けて生成する場合について説明したが、本発明はこれに限らず、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とは、別々に生成してもよい。
【0132】
第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とを別々に生成する場合、例えばシーンは既存のものであってコンテンツのみを追加する場合などに、シーンに関する学習を行わずに済む。
【0133】
本実施の形態においては、第２の学習済みモデルＤＢ２を複数使用する場合について述べたが、これに限らず利用する第２の学習済みモデルＤＢ２は１つでもよい。また本実施の形態においては、第１の作業と第２の作業とで同一の第１の学習済みモデルＤＢ１を利用する場合について述べたが、これに限らず取り出し作業時と梱包作業時とで別々の第１の学習済みモデルＤＢ１を使用してもよい。
【0134】
本実施の形態においては、第１の作業と第２の作業との関係は予め保存されている場合について述べたが、第１の作業と第２の作業との関係についても機械学習によって学習されてもよい。
【0135】
本実施の形態においては、第１の作業を行う作業者及び第２の作業を行う作業者である作業者の情報であるユーザ情報などの取得については触れていないが、これに限らず、例えばユーザ端末１２からユーザ情報が取得され利用されてもよいものとする。
【符号の説明】
【0136】
１……情報処理装置、２……中央演算装置、３……主記憶装置、４……シーン推定部、５……チャンク推定部、６……チャンク出力部、７……遷移先示唆部、９……第１の学習済みモデル生成部、１０……第２の学習済みモデル生成部、１１……補助記憶装置、１２……ユーザ端末。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2020-12-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記１又は複数のチャンク用メタＩＤは、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられ、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記遷移先示唆部は、状態遷移ＩＤによって前記シーンＩＤの組み合わせを一意に特定する、
情報処理装置。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記１又は複数のチャンク用メタＩＤは、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられ、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記遷移先示唆部は、状態遷移ＩＤによって前記シーンＩＤの組み合わせを一意に特定する、
情報処理装置。
【請求項2】
前記シーン推定部は、第１の画像が第１の作業か第２の作業かを、第１の画像の時系列的に連続する前後の画像を参照することでの判断する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記第１の作業における前記第１の画像には第１の番号が撮像され、前記チャンク推定部は、前記第１の番号から前記第２の作業において使用する第２の番号を、チャンク用メタＩＤを介して推測する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記１又は複数のチャンク用メタＩＤは、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられ、
前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記シーンＩＤの組み合わせは、状態遷移ＩＤによって一意に特定される、
情報処理方法。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業及び前記第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記１又は複数のチャンク用メタＩＤは、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられ、
前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記シーンＩＤの組み合わせは、状態遷移ＩＤによって一意に特定される、
情報処理方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力情報処理装置であって、作業者が第１の作業及び第２の作業を行う状況であるシーンの画像である第１の画像を取得し、第１の画像と、シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定するシーン推定部と、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定するチャンク推定部と、第２の作業が行われた際に、実際に行われた第１の作業及び第２の作業を、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、チャンクを出力する出力部と、を備え、１又は複数のチャンク用メタＩＤは、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと１対１に対応付けられ、チャンク推定部は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは対象物の性質に関する情報であるチャンク用メタ値を一意に示し、遷移先示唆部は、状態遷移ＩＤによって前記シーンＩＤの組み合わせを一意に特定する、情報処理装置を提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、作業者が第１の作業及び第２の作業を行う状況であるシーンの画像である第１の画像を取得し、第１の画像と、シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、シーンを推定する第１のステップと、第１の作業及び第２の作業の対象物の画像である第２の画像を取得し、第２の画像と、１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定する第２のステップと、第２の作業が行われた際に、実際に行われた第１の作業及び第２の作業を、第１の作業及び第２の作業の関係を予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、チャンクを出力する第４のステップと、を備え、１又は複数のチャンク用メタＩＤは、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられ、チャンク推定部は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは対象物の性質に関する情報であるチャンク用メタ値を一意に示し、シーンＩＤの組み合わせは、状態遷移ＩＤによって一意に特定される、情報処理方法を提供する。
【手続補正書】
【提出日】2021-06-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記遷移先示唆部は、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う
情報処理装置。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、
前記チャンクを出力する出力部と、を備え、
前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記遷移先示唆部は、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う
情報処理装置。
【請求項2】
次に前記遷移先示唆部は、更なる他の状態遷移ＩＤが紐付けられた他のシーンＩＤを持つ第１の作業に関する示唆を行う
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記遷移先示唆部は、第１の作業に関する示唆を全て終了させた後、一の状態遷移ＩＤにおける第２の作業のシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第２の作業に関しての示唆を行う
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記第２のステップでは、前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記第３のステップでは、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う
情報処理方法。
前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、
前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、
前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、
前記チャンクを出力する第４のステップと、を備え、
前記第２のステップでは、前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、
前記第３のステップでは、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う
情報処理方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置であって、前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する遷移先示唆部と、前記チャンクを出力する出力部と、を備え、前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、前記遷移先示唆部は、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う情報処理装置を提供する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【0007】
作業者が作業の対象となる対象物に対して行う第１の作業及び第２の作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、前記作業者が前記第１の作業及び前記第２の作業を行う状況であるシーンの画像である第１の画像を取得し、前記第１の画像と、前記シーンを一意に示すシーンＩＤと、の間における連関性が記載されている第１の学習済みモデルを使用して、前記シーンを推定する第１のステップと、前記第１の作業及び前記第２の作業の対象物の画像である第２の画像を取得し、前記第２の画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、前記チャンクＩＤそれぞれに対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第２のステップと、前記第１の作業又は前記第２の作業が行われた際に、実際に行われた前記第１の作業及び前記第２の作業を、前記第１の作業に応じたシーンＩＤ及び前記第２の作業に応じたシーンＩＤの組み合わせを一意に示す２以上の状態遷移ＩＤを予め保存している状態遷移テーブルと照らし合わせて次の作業に関しての示唆を行う示唆情報を出力する第３のステップと、前記チャンクを出力する第４のステップと、を備え、前記第２のステップでは、前記複数の第２の学習済みモデルのうちの１つが、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記対象物の性質に関する情報であるチャンク用メタ値を一意に示し、前記第３のステップでは、一の状態遷移ＩＤにおけるシーンＩＤを取得した場合に、他の状態遷移ＩＤが紐付けられた同一の当該シーンＩＤを持つ第１の作業に関しての示唆を行う情報処理方法を提供する。