知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024114146
(43)【公開日】2024-08-23
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240816BHJP
【ＦＩ】
G06Q50/04
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023019697
(22)【出願日】2023-02-13
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】富田 智晶
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC04
5L050CC04
(57)【要約】
【課題】作業者に与える負担を軽減しつつ、作業者による作業が正しく行われているかを管理する技術が提供されることが望まれる。
【解決手段】第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、を備える、情報処理装置が提供される。
【選択図】図１
【解決手段】第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、を備える、情報処理装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、
を備える、情報処理装置。
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、
を備える、情報処理装置。
【請求項2】
前記情報処理装置は、
前記第１のセンサデータまたは前記第１のセンサデータから認識された認識データに基づいて、前記作業の種類を作業項目として判定する判定部を備える、
請求項１に記載の情報処理装置。
前記第１のセンサデータまたは前記第１のセンサデータから認識された認識データに基づいて、前記作業の種類を作業項目として判定する判定部を備える、
請求項１に記載の情報処理装置。
【請求項3】
前記通知制御部は、前記心的状態が前記所定の状態であることに基づいて、前記作業項目をデータベースに記録する、
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記第１のセンサデータは、第１の画像を含み、
前記処理部は、前記第１の画像から前記作業に関するデータとして前記作業者の指差しの特徴量を認識し、
前記推定部は、前記指差しの特徴量に基づいて、前記心的状態を推定する、
請求項１に記載の情報処理装置。
前記処理部は、前記第１の画像から前記作業に関するデータとして前記作業者の指差しの特徴量を認識し、
前記推定部は、前記指差しの特徴量に基づいて、前記心的状態を推定する、
請求項１に記載の情報処理装置。
【請求項5】
前記推定部は、前記指差しの特徴量の平均移動量または散らばり度合いを前記作業者の指先の揺れとして算出し、前記揺れが閾値を上回るか否かを前記心的状態として推定する、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項6】
前記指差しの特徴量は、前記第１の画像における指先位置または指によって指し示される指差し位置である、
請求項４に記載の情報処理装置。
請求項４に記載の情報処理装置。
【請求項7】
前記指差しの特徴量は、前記指先位置であり、
前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置に基づいて、前記第１の画像における前記指先位置を認識する、
請求項６に記載の情報処理装置。
前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置に基づいて、前記第１の画像における前記指先位置を認識する、
請求項６に記載の情報処理装置。
【請求項8】
前記指差しの特徴量は、前記指差し位置であり、
前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置と指差し方向とに基づいて、前記第１の画像における前記指差し位置を認識する、
請求項６に記載の情報処理装置。
前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置と指差し方向とに基づいて、前記第１の画像における前記指差し位置を認識する、
請求項６に記載の情報処理装置。
【請求項9】
前記第１のセンサデータは、音声を含み、
前記処理部は、前記音声から前記作業に関するデータとして前記作業者による発話音声の特徴量を認識し、
前記推定部は、前記発話音声の特徴量に基づいて、前記心的状態を推定する、
請求項１に記載の情報処理装置。
前記処理部は、前記音声から前記作業に関するデータとして前記作業者による発話音声の特徴量を認識し、
前記推定部は、前記発話音声の特徴量に基づいて、前記心的状態を推定する、
請求項１に記載の情報処理装置。
【請求項10】
前記第１のセンサは、第２の非接触センサによって認識された前記作業者の発話位置に基づいて、前記発話位置が収音範囲に含まれるように制御される、
請求項９に記載の情報処理装置。
請求項９に記載の情報処理装置。
【請求項11】
前記心的状態は、自信度および集中度の少なくともいずれか一方を含む、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識することと、
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定することと、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御することと、
を含む、コンピュータにより実行される情報処理方法。
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定することと、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御することと、
を含む、コンピュータにより実行される情報処理方法。
【請求項13】
コンピュータを、
第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、
として機能させるプログラム。
第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、
前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、
前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、作業者による作業（例えば、工場での部品組み立て作業など）が正しく行われているか否かを管理する技術が知られている。例えば、作業者による作業が正しく行われているか否かは、作業ミスを防止するために作業者によって指差しまたは呼称などの確認作業が行われているか否かにより管理され得る。
【0003】
例えば、このような確認作業が行われているか否かを管理する装置が、特許文献１に記載されている。特許文献１に記載された技術では、作業者の上腕に装着された加速度センサなどにより、作業者の腕の振りおろし動作を指差しとして認識する。
【0004】
また、特許文献１に記載された技術では、指差し確認に対する作業者の慣れは、作業者の腕の振りおろしの緩慢さ、即ち、作業者の腕の振りおろしの速度から推定される。さらに、特許文献１に記載された技術では、作業者の呼称音声が、装着型のマイクロフォン（ヘッドセット）によって取得される。
【0005】
作業が正しく行われているか否かは、作業に対する作業者の集中度などによっても管理され得る。例えば、特許文献２には、作業に対する作業者の集中度を推定するシステムが開示されている。特許文献２に記載された技術では、作業中の作業者の脳活動量と生理データとの組み合わせから、作業者の作業に対する集中度が推定される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１４－１６７７０３号公報
【特許文献2】特許第６９３５７７４号公報
【特許文献3】特開２０１３－１８３３５８号公報
【非特許文献】
【0007】
【非特許文献1】Ｋｉｎｅｃｔを用いたジェスチャ認識による指さし位置推定手法の検討、餅川他、人工知能学会第二種研究会、２０２２
【非特許文献2】物体検出ｖｏｌ．３：ＹＯＬＯｖ３の独自モデル学習の勘所、［ｏｎｌｉｎｅ］、［２０２３年２月３日検索］、インターネット＜ＵＲＬ：https://www.nakasha.co.jp/future/ai/yolov3train.html＞
【非特許文献3】音声に含まれる感情の認識、鈴木、日本音響学会、２０１５
【非特許文献4】ＮＴＴ東日本、［ｏｎｌｉｎｅ］、［２０２３年２月３日検索］、インターネット＜https://business.ntt-east.co.jp/content/cloudsolution/column-253.html＞
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献１および特許文献２のいずれに記載された技術であっても、作業者の指差し、または作業者の集中度を得るために作業者にセンサなどの機器を装着させる必要がある。そのため、機器の装着が作業者に与える負担が大きくなってしまう。特に、作業者が確認作業以外にも作業を行う必要がある場合には、確認作業のときだけに使用される機器の装着が作業者に与える負担はさらに大きくなり得る。
【0009】
そこで、本発明は上記の問題点を解決するものであり、作業者に与える負担を軽減しつつ、作業者による作業が正しく行われているかを管理する技術が提供されることが望まれる。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、を備える、情報処理装置が提供される。
【0011】
前記情報処理装置は、前記第１のセンサデータまたは前記第１のセンサデータから認識された認識データに基づいて、前記作業の種類を作業項目として判定する判定部を備えてもよい。
【0012】
前記通知制御部は、前記心的状態が前記所定の状態であることに基づいて、前記作業項目をデータベースに記録してもよい。
【0013】
前記第１のセンサデータは、第１の画像を含み、前記処理部は、前記第１の画像から前記作業に関するデータとして前記作業者の指差しの特徴量を認識し、前記推定部は、前記指差しの特徴量に基づいて、前記心的状態を推定してもよい。
【0014】
前記推定部は、前記指差しの特徴量の平均移動量または散らばり度合いを前記作業者の指先の揺れとして算出し、前記揺れが閾値を上回るか否かを前記心的状態として推定してもよい。
【0015】
前記指差しの特徴量は、前記第１の画像における指先位置または指によって指し示される指差し位置であってもよい。
【0016】
前記指差しの特徴量は、前記指先位置であり、前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置に基づいて、前記第１の画像における前記指先位置を認識してもよい。
【0017】
前記指差しの特徴量は、前記指差し位置であり、前記処理部は、第２の非接触センサによって得られた、現実空間における指先位置と指差し方向とに基づいて、前記第１の画像における前記指差し位置を認識してもよい。
【0018】
前記第１のセンサデータは、音声を含み、前記処理部は、前記音声から前記作業に関するデータとして前記作業者による発話音声の特徴量を認識し、前記推定部は、前記発話音声の特徴量に基づいて、前記心的状態を推定してもよい。
【0019】
前記第１のセンサは、第２の非接触センサによって認識された前記作業者の発話位置に基づいて、前記発話位置が収音範囲に含まれるように制御されてもよい。
【0020】
前記心的状態は、自信度および集中度の少なくともいずれか一方を含んでもよい。
【0021】
また、上記課題を解決するために本発明の別の観点によれば、第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識することと、前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定することと、前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御することと、を含む、コンピュータにより実行される情報処理方法が提供される。
【0022】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、第１の非接触センサによって得られた第１のセンサデータに基づいて、作業者の作業に関するデータを認識する処理部と、前記作業に関するデータに基づいて、前記作業に対する前記作業者の心的状態を推定する推定部と、前記心的状態が所定の状態であることに基づいて、端末装置に通知が行われるよう制御する通知制御部と、として機能させるプログラムが提供される。
【発明の効果】
【0023】
以上説明したように本発明によれば、作業者に与える負担を軽減しつつ、作業者による作業が正しく行われているかを管理する技術が提供される。
【図面の簡単な説明】
【0024】
【図1】本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。
【図2】本発明の第１の実施形態における作業空間の様子を表した図である。
【図3】作業空間映像の例を示す図である。
【図4】作業管理ＤＢ１１６の構成例を示す図である。
【図5】本発明の第１の実施形態に係る情報処理システム１の動作例を示すフローチャートである。
【図6】本発明の第２の実施形態に係る情報処理システムの機能構成例を示す図である。
【図7】本発明の第２の実施形態における作業空間の様子を表した図である。
【図8】本発明の第２の実施形態における情報処理システム２の動作例を示すフローチャートである。
【図9】本発明の実施形態に係るサーバ１００の例としての情報処理装置９００のハードウェア構成を示す図である。
【発明を実施するための形態】
【0025】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0026】
（０．概要）
以下に説明するように、本発明の実施形態においては、作業者に与える負担を軽減しつつ、作業者による作業が正しく行われているかを管理する技術について主に提案する。より詳細に、本発明の実施形態においては、作業者が工場において部品の組み立て作業を行う場合を主に想定する。しかし、作業者によって行われる作業の種類は、かかる例に限定されない。作業者によって行われる作業は、作業者による何らかの確認が必要な作業であればよい。本発明の実施形態は、このような作業者による部品の組み立て作業が正しく行われているかを管理する技術に関する。
以下に説明するように、本発明の実施形態においては、作業者に与える負担を軽減しつつ、作業者による作業が正しく行われているかを管理する技術について主に提案する。より詳細に、本発明の実施形態においては、作業者が工場において部品の組み立て作業を行う場合を主に想定する。しかし、作業者によって行われる作業の種類は、かかる例に限定されない。作業者によって行われる作業は、作業者による何らかの確認が必要な作業であればよい。本発明の実施形態は、このような作業者による部品の組み立て作業が正しく行われているかを管理する技術に関する。
【0027】
例えば、作業者が作業に対する初心者である場合には、作業に対する自信度が低下しやすいことが考えられる。そのため、作業者が作業に対する初心者である場合には、作業に対する自信度がある程度以上に維持されているかによって、作業が正しく行われているかが管理され得る。
【0028】
一方、作業者が作業に対する熟練者である場合には、作業に対する慣れが進んでしまうことによって作業に対する集中度が低下しやすいことが考えられる。そのため、作業者が作業に対する熟練者である場合には、作業に対する集中度がある程度以上に維持されているかによって、作業が正しく行われているかが管理され得る。
【0029】
特許文献１に記載された技術では、指差し確認に対する作業者の慣れは、作業者の腕の振りおろしの速度または呼称音声の曖昧さから推定される。しかし、作業者の腕の振りおろしの速度または呼称音声の曖昧さは、作業者が意識的に変えることが可能であるため、慣れに対する推定精度が向上しない。本発明の実施形態では、作業に対する慣れなどが原因となる作業に対する集中度が、指差しまたは呼称音声などから、より高精度に推定され得る。
【0030】
例えば、本発明の実施形態には、以下に説明する、本発明の第１の実施形態および本発明の第２の実施形態が含まれ得る。本発明の第１の実施形態では、指差しによる確認作業が正しく行われているかを管理する技術について主に説明する。一方、本発明の第２の実施形態では、呼称による確認作業が正しく行われているかを管理する技術について主に説明する。
【0031】
（１．第１の実施形態）
続いて、本発明の第１の実施形態について説明する。
続いて、本発明の第１の実施形態について説明する。
【0032】
（１－１．情報処理システムの構成）
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理システムの構成例について説明する。図１は、本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。図１に示されるように、情報処理システム１は、サーバ１００と、手指センサ部１０４と、カメラセンサ部１０２と、管理者端末１１８と、作業者端末１２２とを有する。
まず、図１を参照しながら、本発明の第１の実施形態に係る情報処理システムの構成例について説明する。図１は、本発明の第１の実施形態に係る情報処理システムの機能構成例を示す図である。図１に示されるように、情報処理システム１は、サーバ１００と、手指センサ部１０４と、カメラセンサ部１０２と、管理者端末１１８と、作業者端末１２２とを有する。
【0033】
（カメラセンサ部１０２）
カメラセンサ部１０２は、イメージセンサを有しており、イメージセンサにより作業者が作業を行う空間（以下、「作業空間」とも言う。）を撮像して映像を得る。カメラセンサ部１０２によって得られる作業空間映像（以下、単に「作業空間映像」とも表記する。）は、複数のフレームが時系列に沿って連続的に撮像される動画像であってよい。しかし、作業空間映像は、静止画像であってもよい。
カメラセンサ部１０２は、イメージセンサを有しており、イメージセンサにより作業者が作業を行う空間（以下、「作業空間」とも言う。）を撮像して映像を得る。カメラセンサ部１０２によって得られる作業空間映像（以下、単に「作業空間映像」とも表記する。）は、複数のフレームが時系列に沿って連続的に撮像される動画像であってよい。しかし、作業空間映像は、静止画像であってもよい。
【0034】
カメラセンサ部１０２は、第１の非接触センサの例に該当する。また、作業空間映像は、第１のセンサデータの例に該当する。作業空間映像は、第１のセンサデータの例としての第１の画像にも該当し得る。
【0035】
カメラセンサ部１０２は、サーバ１００と通信インタフェースを介して有線または無線により接続されており、撮像によって得られた作業空間映像を、通信インタフェースを介してサーバ１００に出力する。サーバ１００に出力された作業空間映像は、サーバ１００による指差し位置（即ち、指によって指し示される位置）の検出に用いられる。
【0036】
（手指センサ部１０４）
手指センサ部１０４は、物理的なセンサを有しており、物理的なセンサにより作業者の手指のセンサデータを検出する。さらに、手指センサ部１０４は、センサデータに基づいて手指センサ部１０４による現実空間における作業者の指先位置と指差し方向とを計測する処理を行う。また、手指センサ部１０４は、センサデータに基づいて手指の形状が所定の形状にされていることを所定のジェスチャとして検出する。
手指センサ部１０４は、物理的なセンサを有しており、物理的なセンサにより作業者の手指のセンサデータを検出する。さらに、手指センサ部１０４は、センサデータに基づいて手指センサ部１０４による現実空間における作業者の指先位置と指差し方向とを計測する処理を行う。また、手指センサ部１０４は、センサデータに基づいて手指の形状が所定の形状にされていることを所定のジェスチャとして検出する。
【0037】
ここで、所定のジェスチャは、作業者が片手で簡易に作ることが可能であるのが望ましいが、作業者が両手で作ることが可能であってもよい。例えば、所定のジェスチャには、確認作業開始ジェスチャが含まれる。一例として、確認作業開始ジェスチャは、片方の手の指全部を曲げた形状であってもよいが、確認作業開始ジェスチャは、かかる例に限定されない。
【0038】
手指センサ部１０４は、サーバ１００と通信インタフェースを介して有線または無線により接続されており、現実空間における作業者の指先位置と指差し方向とを、通信インタフェースを介してサーバ１００に出力する。さらに、手指センサ部１０４は、ジェスチャを検出した場合に、ジェスチャが検出されたことを、通信インタフェースを介してサーバ１００に出力する。
【0039】
ここで、センサの種類は特に限定されない。例えば、センサは、赤外線センサであってもよい。例えば、センサは、赤外線ステレオカメラであり、複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）によって手指に照射された赤外線の反射を、センサデータとして赤外線ステレオカメラによって検出してもよい。
【0040】
作業者の指先位置および指差し方向を計測する手法も特に限定されない。例えば、手指センサ部１０４は、センサデータに基づいて、手指の骨格の各位置を示す三次元座標（以下、「手指の三次元骨格情報」とも言う。）を検出し得る。一例として、手指の三次元骨格情報の検出には、Ｋｉｎｅｃｔ（登録商標）などが用いられ得る。なお、Ｋｉｎｅｃｔ（登録商標）については、例えば、非特許文献１などに詳述されている。
【0041】
具体的に、三次元座標が検出される手指の骨格の各位置には、指先、指関節、手のひらを構成する多角形の頂点、手のひらを構成する頂点群の重心それぞれの位置が含まれ得る。手指センサ部１０４は、このような手指の三次元骨格情報に基づいて、現実空間における指先位置および指差し方向を計測してもよい。指差し方向は、指の第一関節の位置から指先に向けて延ばした直線の方向であってよい。
【0042】
なお、以下では、手指センサ部１０４が人差し指の指先位置および指差し方向を計測する場合を主に想定する。しかし、指先位置および指差し方向が計測される指の種類は人差し指に限定されない。手指センサ部１０４は、第２の非接触センサの例に該当する。
【0043】
（サーバ１００）
サーバ１００は、コンピュータによって実現される。例えば、サーバ１００は、作業施設の構内に設置されてもよい（オンプレミスに設置されてもよい）。しかし、サーバ１００の設置場所は限定されない。サーバ１００は、カメラセンサ部１０２から、通信インタフェースを介して、作業空間映像を取得し得る。また、サーバ１００は、手指センサ部１０４から、通信インタフェースを介して、指先位置および指差し方向と、ジェスチャの検出結果とを取得し得る。
サーバ１００は、コンピュータによって実現される。例えば、サーバ１００は、作業施設の構内に設置されてもよい（オンプレミスに設置されてもよい）。しかし、サーバ１００の設置場所は限定されない。サーバ１００は、カメラセンサ部１０２から、通信インタフェースを介して、作業空間映像を取得し得る。また、サーバ１００は、手指センサ部１０４から、通信インタフェースを介して、指先位置および指差し方向と、ジェスチャの検出結果とを取得し得る。
【0044】
さらに、サーバ１００は、管理者端末１１８とネットワークを介して有線または無線により接続されている。サーバ１００は、作業者端末１２２ともネットワークを介して有線または無線により接続されている。
【0045】
図１に示されるように、サーバ１００は、情報処理部１０６と、通知制御部１１４と、作業管理ＤＢ（ＤａｔａＢａｓｅ）１１６とを備える。情報処理部１０６は、センサデータ処理部１０８と、心的状態推定部１１０と、作業項目判定部１１２とを備える。情報処理部１０６および通知制御部１１４は、図示しない制御部によって実現され得る。また、作業管理ＤＢ１１６は、図示しない記憶部によって実現され得る。
【0046】
図示しない制御部は、各種の演算処理を行う。例えば、図示しない制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含み、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）により記憶されているプログラムが演算装置によりＲＡＭに展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。演算装置による演算に必要なデータは、図示しない記憶部によって適宜記憶される。
【0047】
図示しない記憶部は、図示しない制御部を動作させるためのプログラムおよびデータを記憶することが可能なメモリである。また、図示しない記憶部は、図示しない制御部の動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、図示しない記憶部は、不揮発性メモリであってよい。
【0048】
（センサデータ処理部１０８）
センサデータ処理部１０８は、カメラセンサ部１０２によって得られた作業空間映像をカメラセンサ部１０２から取得する。そして、センサデータ処理部１０８は、取得した作業空間映像に基づいて、作業者の作業に関するデータを認識する。
センサデータ処理部１０８は、カメラセンサ部１０２によって得られた作業空間映像をカメラセンサ部１０２から取得する。そして、センサデータ処理部１０８は、取得した作業空間映像に基づいて、作業者の作業に関するデータを認識する。
【0049】
ここで、本発明の第１の実施形態においては、作業に関するデータが作業者の指差しの特徴量である場合を主に想定する。即ち、センサデータ処理部１０８は、作業空間映像から作業に関するデータとして作業者の指差しの特徴量を認識する。しかし、作業に関するデータは、作業に関する他のデータであってもよい。
【0050】
さらに、本発明の第１の実施形態においては、指差しの特徴量が、作業空間映像における指差し位置である場合を主に想定する。このとき、センサデータ処理部１０８は、手指センサ部１０４によって得られた、現実空間における指先位置と指差し方向とを手指センサ部１０４から取得する。そして、センサデータ処理部１０８は、取得した指先位置と指差し方向とに基づいて、作業空間映像における指差し位置を認識する。
【0051】
しかし、指差しの特徴量は、指差しの他の特徴量であってもよい。例えば、指差しの特徴量は、作業空間映像における指先位置であってもよい。このとき、センサデータ処理部１０８は、手指センサ部１０４によって得られた、現実空間における指先位置を手指センサ部１０４から取得する。そして、センサデータ処理部１０８は、取得した指先位置に基づいて、作業空間映像における指先位置を認識する。
【0052】
図２および図３を参照しながら、作業空間映像における指差し位置の例について説明する。図２は、本発明の第１の実施形態における作業空間の様子を表した図である。図２を参照すると、作業者８０が、作業台７０の上に載せられた部品６１の組み立て作業を行っている。部品６１は、作業対象の例に該当する。部品６１には、ネジ穴６２が設けられており、作業者８０は、ネジ穴６２にネジを挿入してネジ締め作業を行う。このとき、作業者は、ネジ締め作業が正しく行われたか否かを、ネジ穴６２に対して指差しを行って確認する。
【0053】
また、作業者８０の前方には、手指センサ部１０４が設けられている。手指センサ部１０４は、作業者８０の手指による確認作業開始ジェスチャを検出した場合には、確認作業開始ジェスチャを検出したことをサーバ１００に通知する。
【0054】
作業者８０の頭上には、カメラセンサ部１０２が設けられている。しかし、カメラセンサ部１０２が設けられる位置は作業者８０の頭上に限定されない。カメラセンサ部１０２は、作業空間映像を撮像し得る。
【0055】
サーバ１００において、センサデータ処理部１０８は、手指センサ部１０４から確認作業開始ジェスチャを取得すると、現実空間における作業者８０の指８１の指先位置および指差し方向の計測を手指センサ部１０４に開始させるとともに、カメラセンサ部１０２に作業空間映像の撮像を開始させる。
【0056】
例えば、現実空間における指先位置および指差し方向それぞれは、現実空間における三次元座標によって表現され得る。手指センサ部１０４は、指８１の指先位置と指差し方向とをサーバ１００に通知する。センサデータ処理部１０８は、指８１の指先位置と指差し方向とをサーバ１００から取得すると、指８１の指先位置と指差し方向と作業空間映像とに基づいて、作業空間映像における指差し位置を認識する。
【0057】
図３は、作業空間映像の例を示す図である。図３には、作業空間映像Ｍ１が示されている。作業空間映像Ｍ１には、部品６１が作業台７０に載せられ、部品６１には、ネジ穴６２が設けられている。作業者は、ネジ穴６２に対して指差しを行っている。センサデータ処理部１０８は、作業空間映像Ｍ１に基づいて、指８１によって指し示される指差し位置を認識する。
【0058】
例えば、カメラセンサ部１０２と手指センサ部１０４との位置関係があらかじめ設定されている場合を想定する。このとき、センサデータ処理部１０８は、カメラセンサ部１０２と手指センサ部１０４との位置関係と、現実空間における指８１の指先位置および指差し方向に基づいて、カメラセンサ部１０２によって撮像されて得られた作業空間映像Ｍ１における指先位置および指差し方向を認識する。
【0059】
センサデータ処理部１０８は、作業空間映像Ｍ１から物体を検出し、作業空間映像Ｍ１における物体の位置と、作業空間映像Ｍ１における指先位置を基準とした指差し方向との交点を、作業空間映像Ｍ１における指差し位置として認識する。なお、作業空間映像Ｍ１から物体を検出する技術としては、ＹＯＬＯ（Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）などが用いられ得るが、物体を検出する技術は限定されない。ＹＯＬＯについては、例えば、非特許文献２などに記載されている。
【0060】
（心的状態推定部１１０）
心的状態推定部１１０は、作業空間映像における指差し位置に基づいて、作業に対する作業者の心的状態を推定する。本発明の第１の実施形態においては、作業者の心的状態が、自信度および集中度を含む場合を主に想定する。しかし、作業者の心的状態は、かかる例に限定されない。例えば、作業者の心的状態は、自信度および集中度の一方のみを含んでもよい。
心的状態推定部１１０は、作業空間映像における指差し位置に基づいて、作業に対する作業者の心的状態を推定する。本発明の第１の実施形態においては、作業者の心的状態が、自信度および集中度を含む場合を主に想定する。しかし、作業者の心的状態は、かかる例に限定されない。例えば、作業者の心的状態は、自信度および集中度の一方のみを含んでもよい。
【0061】
あるいは、作業者の心的状態は、作業者の感情情報を含んでもよい。例えば、感情情報は、ポジティブ感情の強度（ポジティブ度）であってもよいし、ネガティブ感情の強度（ネガティブ度）であってもよいし、作業者の心的な疲労度であってもよいし、他の感情の強度であってもよい。
【0062】
心的状態推定部１１０は、作業空間映像における指差し位置の平均移動量または散らばり度合いを作業者の指先の揺れとして算出する。散らばり度合いは、標準偏差であってもよいし、分散であってもよいし、散らばりを表現する他の指標であってもよい。
【0063】
ここで、作業空間映像における指差し位置の二次元座標をＰ（ｘ，ｙ）とし、指差し位置Ｐが検出される時間間隔をΔｔとする。このとき、指差し位置の計測開始からΔｔ×ｎ時間が経過した後の指差し位置Ｐは、Ｐｎ（ｘｎ，ｙｎ）と表記される。つまり、指差し位置の計測開始からΔｔ×ｔ時間が経過するまでに、指差し位置Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）、・・・、Ｐｔ（ｘｔ，ｙｔ）が得られる。
【0064】
例えば、心的状態推定部１１０は、指差し位置Ｐ１（ｘ１，ｙ１）からＰｔ（ｘｔ，ｙｔ）までのｔ個の二次元座標の平均移動量または散らばり度合いを作業者の指先の揺れとして算出することができる。
【0065】
心的状態推定部１１０は、作業者の指先の揺れに基づいて、作業者の心的状態を推定する。本発明の第１の実施形態では、心的状態推定部１１０が、作業者の指先の揺れが所定の境界値を上回るか否かを心的状態として推定する場合を主に想定する。即ち、心的状態が所定の値を上回るか否かの２値によって表現される場合を主に想定する。しかし、心的状態は、３種類以上の値を取ることが可能であってもよい。なお、自信度に対応する境界値と、集中度に対応する境界値との大小関係は限定されない。
【0066】
自信度が第１の閾値以下である場合には、作業者の自信度が低い状態であると言える。一方、自信度が第１の閾値を上回る場合には、作業者の自信度が低くない状態であると言える。同様に、集中度が第２の閾値以下である場合には、作業者の集中度が低い状態であると言える。一方、集中度が第２の閾値を上回る場合には、作業者の集中度が低くない状態であると言える。なお、第１の閾値と第２の閾値との大小関係は限定されず、適宜に変更されてよい。
【0067】
（作業項目判定部１１２）
作業項目判定部１１２は、作業空間映像から認識された認識データに基づいて、作業者が行っている作業の種類を作業項目として判定する。作業項目の判定には、認識データと作業項目の正解値とを学習用データとした教師あり学習による機械学習で作成された学習済みの分類モデルが用いられてもよい。
作業項目判定部１１２は、作業空間映像から認識された認識データに基づいて、作業者が行っている作業の種類を作業項目として判定する。作業項目の判定には、認識データと作業項目の正解値とを学習用データとした教師あり学習による機械学習で作成された学習済みの分類モデルが用いられてもよい。
【0068】
本発明の実施形態では、認識データが作業者の指差しの特徴量である場合を主に想定する。即ち、作業項目判定部１１２は、認識データから作業者が行っている作業の種類を認識する。しかし、認識データは、作業空間映像から認識され得る他のデータであってもよい。
【0069】
さらに、本発明の第１の実施形態においては、指差しの特徴量が、作業空間映像における指差し位置Ｐｎ（ｘｎ，ｙｎ）である場合を主に想定する。しかし、指差しの特徴量は、指差しの他の特徴量であってもよい。例えば、指差しの特徴量は、作業空間映像における指先位置であってもよい。
【0070】
作業項目判定部１１２は、作業空間映像に基づいて、作業者が行っている作業の種類を作業項目として判定してもよい。このとき、作業項目の判定には、作業空間映像と作業項目の正解値とを学習用データとした教師あり学習による機械学習で作成された学習済みの分類モデルが用いられてもよい。
【0071】
（通知制御部１１４）
通知制御部１１４は、心的状態推定部１１０によって推定された作業者の心的状態が所定の状態であることに基づいて、管理者端末１１８または作業者端末１２２に通知が行われるよう制御する。例えば、作業者端末１２２への通知は、指示書の確認を作業者に推奨する通知であってもよい。以下の説明においては、作業者の心的状態が所定の状態であることとして、作業者の自信度および集中度の少なくともいずれか一方が低い状態であることを例として挙げて説明を続ける。
通知制御部１１４は、心的状態推定部１１０によって推定された作業者の心的状態が所定の状態であることに基づいて、管理者端末１１８または作業者端末１２２に通知が行われるよう制御する。例えば、作業者端末１２２への通知は、指示書の確認を作業者に推奨する通知であってもよい。以下の説明においては、作業者の心的状態が所定の状態であることとして、作業者の自信度および集中度の少なくともいずれか一方が低い状態であることを例として挙げて説明を続ける。
【0072】
通知制御部１１４は、作業者の自信度および集中度の少なくともいずれか一方が低い状態であることに基づいて、作業項目判定部１１２によって判定された作業項目を作業管理ＤＢ１１６に記録する。
【0073】
例えば、通知制御部１１４は、作業者の自信度が低い状態である場合には、作業項目判定部１１２によって判定された作業項目に対応する「低自信度」をインクリメントする。一方、通知制御部１１４は、作業者の集中度が低い状態である場合には、作業項目判定部１１２によって判定された作業項目に対応する「低集中度」をインクリメントする。通知制御部１１４は、作業者の自信度および集中度の双方が低い状態である場合には、作業項目判定部１１２によって判定された作業項目に対応する「低自信度」および「低集中度」の双方をインクリメントする。
【0074】
（作業管理ＤＢ１１６）
作業管理ＤＢ１１６は、作業者が行っている作業の種類である作業項目が記録されるデータベースである。以下では、図４を参照しながら、作業管理ＤＢ１１６の構成例について説明する。
作業管理ＤＢ１１６は、作業者が行っている作業の種類である作業項目が記録されるデータベースである。以下では、図４を参照しながら、作業管理ＤＢ１１６の構成例について説明する。
【0075】
【0076】
「作業項目番号」は、作業項目に一意に割り振られた番号である。「作業項目」は、作業の種類である。例えば、作業項目として、ネジ締め確認、組み立て位置確認、配線接続確認、および、使用部品確認などが挙げられる。「低自信度」は、作業者の自信度が低いと判定されるたびに、通知制御部１１４によってインクリメントされる。同様に、「低集中度」は、作業者の集中度が低いと判定されるたびに、通知制御部１１４によってインクリメントされる。
【0077】
なお、図４を参照すると、組み立て位置確認、配線接続確認などの作業中には、作業者の自信度が低くなりやすい傾向があることが把握される。このような作業項目では、指示書の内容を分かりやすい内容に修正し、修正後の指示書を作業者に確認させることによって作業者の自信度を高めることが有効であると判断され得る。
【0078】
一方、ネジ締め確認、配線接続確認、使用部品確認などの作業中には、作業者の集中度が低くなりやすい傾向があることが把握される。このような作業項目では、作業内容を改善することによって作業者の集中度を高めることが有効であると判断され得る。このように、作業管理ＤＢ１１６に記録された内容を手掛かりとして、様々な業務改善が提案され得る。
【0079】
（管理者端末１１８）
管理者端末１１８は、コンピュータによって実現され、作業者を管理する管理者によって使用される端末装置である。例えば、管理者端末１１８は、スマートフォンなどの携帯端末であってもよいし、作業台７０に設置された端末装置であってもよい。管理者端末１１８は、ＤＢ管理部１１９と、通知出力部１２０とを備える。ＤＢ管理部１１９および通知出力部１２０は、演算装置を含み、プログラムが演算装置により実行されることにより、その機能が実現され得る。
管理者端末１１８は、コンピュータによって実現され、作業者を管理する管理者によって使用される端末装置である。例えば、管理者端末１１８は、スマートフォンなどの携帯端末であってもよいし、作業台７０に設置された端末装置であってもよい。管理者端末１１８は、ＤＢ管理部１１９と、通知出力部１２０とを備える。ＤＢ管理部１１９および通知出力部１２０は、演算装置を含み、プログラムが演算装置により実行されることにより、その機能が実現され得る。
【0080】
ＤＢ管理部１１９は、作業管理ＤＢ１１６を管理する機能を有する。より詳細に、ＤＢ管理部１１９は、管理者による所定の読み込み操作に応じて、作業管理ＤＢ１１６の情報を読み込んで管理者に提示したり、管理者による所定の書き込み操作に応じて、作業管理ＤＢ１１６の情報を更新したりすることができる。
【0081】
通知出力部１２０は、サーバ１００から通知を受けたことに基づいて、出力装置に通知を出力する。例えば、通知出力部１２０は、ディスプレイに通知を出力することにより、ディスプレイを介して管理者の視覚に通知を知覚させてもよい。あるいは、通知出力部１２０は、スピーカに通知を出力することにより、スピーカを介して管理者の聴覚に通知を知覚させてもよい。
【0082】
（作業者端末１２２）
作業者端末１２２は、コンピュータによって実現され、作業者によって使用される端末装置である。例えば、作業者端末１２２は、スマートフォンなどの携帯端末であってもよいし、作業台７０に設置された端末装置であってもよい。作業者端末１２２は、通知出力部１２４を備える。通知出力部１２４は、演算装置を含み、プログラムが演算装置により実行されることにより、その機能が実現され得る。
作業者端末１２２は、コンピュータによって実現され、作業者によって使用される端末装置である。例えば、作業者端末１２２は、スマートフォンなどの携帯端末であってもよいし、作業台７０に設置された端末装置であってもよい。作業者端末１２２は、通知出力部１２４を備える。通知出力部１２４は、演算装置を含み、プログラムが演算装置により実行されることにより、その機能が実現され得る。
【0083】
通知出力部１２４は、サーバ１００から通知を受けたことに基づいて、出力装置に通知を出力する。例えば、サーバ１００からの通知は、指示書の確認を作業者に推奨する通知である。例えば、通知出力部１２４は、ディスプレイに通知を出力することにより、ディスプレイを介して作業者の視覚に通知を知覚させてもよい。あるいは、通知出力部１２４は、スピーカに通知を出力することにより、スピーカを介して作業者の聴覚に通知を知覚させてもよい。
【0084】
以上、本発明の第１の実施形態に係る情報処理システム１の構成例について説明した。
【0085】
（１－２．情報処理システムの動作）
続いて、図５を参照しながら、本発明の第１の実施形態に係る情報処理システム１の動作例について説明する。図５は、本発明の第１の実施形態に係る情報処理システム１の動作例を示すフローチャートである。
続いて、図５を参照しながら、本発明の第１の実施形態に係る情報処理システム１の動作例について説明する。図５は、本発明の第１の実施形態に係る情報処理システム１の動作例を示すフローチャートである。
【0086】
まず、作業者は、確認作業を開始する前に、手指によって確認作業開始ジェスチャを行う。手指センサ部１０４によって確認作業開始ジェスチャが検出されると、センサデータ処理部１０８は、作業者による確認作業が開始したと判定する（Ｓ１００）。センサデータ処理部１０８は、作業者による確認作業が開始したと判定すると、カメラセンサ部１０２による作業空間映像の撮像を開始させる（Ｓ１０２）。
【0087】
続いて、手指センサ部１０４によって作業者による指差しが検出されるかの判断を試みる（Ｓ１０４）。例えば、指差しは、片方の手指のうち、人差し指は伸ばされ、他の指は曲げられた形状であってよい。
【0088】
手指センサ部１０４によって作業者による指差しが検出されない間は（Ｓ１０４において「ＮＯ」）、作業者による指差しが検出されるかの判断を試みる動作が繰り返される。一方、手指センサ部１０４によって作業者による指差しが検出された場合には（Ｓ１０４において「ＹＥＳ」）、作業項目判定部１１２は、作業空間映像における作業者の指差し位置に基づいて、作業項目を判定する（Ｓ１０６）。
【0089】
続いて、心的状態推定部１１０は、作業空間映像における指差し位置の平均移動量または散らばり度合いを作業者の指先の揺れとして算出する（Ｓ１０８）。なお、図５に示されたように、Ｓ１０６（作業項目の判定）が完了した後に、Ｓ１０８（作業者の指先の揺れの算出）が行われてもよい。しかし、Ｓ１０８（作業者の指先の揺れの算出）の処理にはある程度の時間を要することが考えられるため、Ｓ１０６（作業項目の判定）が完了する前に、Ｓ１０８（作業者の指先の揺れの算出）が開始されてもよい。
【0090】
続いて、心的状態推定部１１０は、作業者の指先の揺れに基づいて、作業者の心的状態を推定する（Ｓ１１０）。ここでは、作業者の心的状態に、作業者の自信度および集中度の双方が含まれる場合を想定する。通知制御部１１４は、作業者の作業への自信度と集中度を判定する（Ｓ１１２）。
【0091】
自信度のみが第１の閾値以下である場合（Ｓ１１２において「自信度のみ低い」）、作業者が、作業にまだ慣れていない初心者または作業方法の変更を理解し切れていない熟練者などであると考えられる。そこで、かかる場合には、通知制御部１１４は、作業者端末１２２に対して、指示書の確認を推奨する通知がなされるように制御する（Ｓ１１４）。作業者端末１２２において、通知出力部１２４は、作業者への通知を行う。
【0092】
作業者が指示書の確認に対して承諾した場合には（Ｓ１１５において「承諾」）、作業者端末１２２は、指示書を表示する（Ｓ１１６）。一方、作業者が指示書の確認に対して無視または拒否した場合には（Ｓ１１５において「無視または拒否」）、通知制御部１１４は、管理者端末１１８に通知がなされるように制御する（Ｓ１１８）。管理者端末１１８において、通知出力部１２０は、管理者への通知を行う。
【0093】
さらに、通知制御部１１４は、作業項目判定部１１２によって判定された作業項目に対応する「低自信度」をインクリメントする。
【0094】
少なくとも集中度が第２の閾値以下である場合には（Ｓ１１２において「少なくとも集中度が低い」）、作業者は確認作業に集中しておらず、作業が正しくなされていないと考えられる。そこで、かかる場合には、通知制御部１１４は、管理者端末１１８に対して、通知がなされるように制御する（Ｓ１１８）。管理者端末１１８において、通知出力部１２０は、管理者への通知を行う。
【0095】
管理者に通知がなされることにより、管理者は作業者に対して何らかの処置を講じることができる。例えば、管理者は、確認を怠ることによって生じる可能性のある危険を、シミュレータを用いて作業者に体験させるといった処置を講じることができる。
【0096】
さらに、通知制御部１１４は、自信度が第１の閾値以下である場合かつ集中度が第２の閾値以下である場合には、作業項目判定部１１２によって判定された作業項目に対応する「低自信度」「低集中度」の双方をインクリメントする。通知制御部１１４は、集中度のみが第２の閾値以下である場合には、作業項目判定部１１２によって判定された作業項目に対応する「低自信度」をインクリメントする。
【0097】
自信度が第１の閾値を上回る場合かつ集中度が第２の閾値を上回る場合には（Ｓ１１２において「いずれも低くない」）、作業者が正しく作業をしている状態であることが考えられる。そこで、通知制御部１１４は、管理者端末１１８および作業者端末１２２に通知をしなくてよい（Ｓ１２０）。
【0098】
以上、本発明の第１の実施形態に係る情報処理システム１の動作例について説明した。
【0099】
（１－３．効果）
以上により、本発明の第１の実施形態によれば、作業者が確認作業時に行う指差し動作が、作業者への装着を必要としない非接触な手指センサ部１０４により計測され、指差し動作時の手指の揺れが算出され得る。また、手指の揺れから作業者の自信度および集中度といった心的状態の推定が可能となる。これにより、作業者が確認作業に慣れてしまったことなどが原因となって、作業者が確認作業を真面目に行っていないかを管理することができるという効果が得られる。
以上により、本発明の第１の実施形態によれば、作業者が確認作業時に行う指差し動作が、作業者への装着を必要としない非接触な手指センサ部１０４により計測され、指差し動作時の手指の揺れが算出され得る。また、手指の揺れから作業者の自信度および集中度といった心的状態の推定が可能となる。これにより、作業者が確認作業に慣れてしまったことなどが原因となって、作業者が確認作業を真面目に行っていないかを管理することができるという効果が得られる。
【0100】
また、本発明の第１の実施形態によれば、作業者による確認作業が正確に行われるようになり、作業管理ＤＢ１１６には、確認作業のときの心的状態がエビデンスとして残るようになる。これにより、確認作業の確実性を向上させるために行われるダブルチェックも不要となるため、確認作業に掛かる工数を抑えることができるという効果も得られる。
【0101】
さらに、本発明の第１の実施形態によれば、手指センサ部１０４は作業者への装着を必要としない非接触センサであるため、作業者へ負担を軽減しつつ、作業者による作業が正しく行われているかを管理することが可能となる。
【0102】
以上、本発明の第１の実施形態に係る情報処理システム１が奏する効果について説明した。
【0103】
（２．第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、作業者の自信度および集中度を指差し動作から推定し、作業に対する慣れなどが原因となり確認作業を作業者が怠っていないかを、推定結果を用いて管理することが可能である。
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態においては、作業者の自信度および集中度を指差し動作から推定し、作業に対する慣れなどが原因となり確認作業を作業者が怠っていないかを、推定結果を用いて管理することが可能である。
【0104】
しかし、確認作業中に作業者の手が空いておらず、指差しによる確認作業が実施できない場合も考えられる。確認作業をより正確に実施するための手法として指差しを用いる手法の他に、呼称を用いる手法がある。ただし、呼称に対する慣れなどが原因となり、作業者が漫然と声を発して呼称を行うだけでは確認作業の意義が薄れてしまう。
【0105】
そこで、本発明の第２の実施形態においては、作業者による呼称時の音声に基づいて作業者の心的状態を推定する。そして、作業者が初心者の場合には、心的状態に基づいて作業者が確認作業に自信を持っているかを検出し、作業者が熟練者の場合には、心的状態に基づいて作業者が作業慣れによって確認作業を怠っていないかを検出する。これにより、本発明の第２の実施形態においては、呼称による確認作業が正しく行われているかを管理する。
【0106】
（２－１．情報処理システムの構成）
続いて、図６を参照しながら、本発明の第２の実施形態に係る情報処理システムの構成例について説明する。なお、本発明の第２の実施形態に係る情報処理システムの構成要素のうち、本発明の第１の実施形態に係る情報処理システムの構成要素と同一の要素については、同一の符号を付して詳細な説明を省略する。
続いて、図６を参照しながら、本発明の第２の実施形態に係る情報処理システムの構成例について説明する。なお、本発明の第２の実施形態に係る情報処理システムの構成要素のうち、本発明の第１の実施形態に係る情報処理システムの構成要素と同一の要素については、同一の符号を付して詳細な説明を省略する。
【0107】
図６は、本発明の第２の実施形態に係る情報処理システムの機能構成例を示す図である。図６に示されるように、情報処理システム２は、サーバ２００と、センサ可動部２０２と、カメラセンサ部１０２と、管理者端末１１８と、作業者端末１２２とを有する。ここでは、カメラセンサ部１０２、管理者端末１１８および作業者端末１２２についての詳細な説明を省略し、サーバ２００およびセンサ可動部２０２について主に説明する。
【0108】
（センサ可動部２０２）
センサ可動部２０２は、音声センサ部２０４を備える。ここで、図７を参照しながら、センサ可動部２０２のより詳細な構成について説明する。図７は、本発明の第２の実施形態における作業空間の様子を表した図である。図７を参照すると、作業者８０が、作業台７０の上に載せられた部品６１の組み立て作業を行っている。本発明の第２の実施形態においては、作業者は、ネジ締め作業が正しく行われたか否かを、呼称により確認する。
センサ可動部２０２は、音声センサ部２０４を備える。ここで、図７を参照しながら、センサ可動部２０２のより詳細な構成について説明する。図７は、本発明の第２の実施形態における作業空間の様子を表した図である。図７を参照すると、作業者８０が、作業台７０の上に載せられた部品６１の組み立て作業を行っている。本発明の第２の実施形態においては、作業者は、ネジ締め作業が正しく行われたか否かを、呼称により確認する。
【0109】
本発明の第２の実施形態においては、手指センサ部１０４が設けられていない代わりに、センサ可動部２０２が設けられている。センサ可動部２０２は、音声センサ部２０４を備える他、多軸ロボットアーム２０５を備える。
【0110】
センサ可動部２０２は、カメラセンサ部１０２によって作業空間映像から認識された作業者の発話位置に基づいて、発話位置が音声センサ部２０４の収音範囲に含まれるように多軸ロボットアーム２０５を制御する。多軸ロボットアーム２０５の制御は、多軸ロボットアーム２０５の位置および角度の制御などを含み得る。なお、カメラセンサ部１０２によって作業空間映像から認識される作業者の発話位置は、作業者の顔の位置であってもよいし、作業者の口の位置であってもよい。
【0111】
音声センサ部２０４は、作業者が作業確認時に発する発話音声（即ち、呼称音声）を取得するセンサである。作業空間が暗騒音の大きい環境（例えば、工場など）である場合には、音声センサ部２０４として、外部音によるノイズを低減できるエリア収音のマイクが用いられることが望ましい。エリア収音のマイクロフォンについては、特許文献３などに記載されている。なお、音声センサ部２０４は、第２の非接触センサの例に該当する。
【0112】
音声センサ部２０４は、サーバ２００と通信インタフェースを介して有線または無線により接続されており、作業者によって発せられた呼称音声を、通信インタフェースを介してサーバ２００に出力する。さらに、音声センサ部２０４は、確認作業の開始を示す発話を検出した場合に、確認作業の開始を示す発話が検出されたことを、通信インタフェースを介してサーバ２００に出力する。
【0113】
（センサデータ処理部２０８）
センサデータ処理部２０８は、音声センサ部２０４から得られた呼称音声を音声信号に変換し、音声信号から作業に関するデータとして作業者による呼称音声の特徴量を認識する。例えば、呼称音声の特徴量は、声の高さ、または、声の大きさといった、Ｌｏｗ－Ｌｅｖｅｌ Ｄｅｓｃｒｉｐｔｏｒｓ（ＬＬＤ）と呼ばれる特徴量などであってよい。ＬＬＤについては、例えば、非特許文献３などに記載されている。
センサデータ処理部２０８は、音声センサ部２０４から得られた呼称音声を音声信号に変換し、音声信号から作業に関するデータとして作業者による呼称音声の特徴量を認識する。例えば、呼称音声の特徴量は、声の高さ、または、声の大きさといった、Ｌｏｗ－Ｌｅｖｅｌ Ｄｅｓｃｒｉｐｔｏｒｓ（ＬＬＤ）と呼ばれる特徴量などであってよい。ＬＬＤについては、例えば、非特許文献３などに記載されている。
【0114】
（心的状態推定部２１０）
心的状態推定部２１０は、センサデータ処理部２０８によって認識された発話音声の特徴量に基づいて、作業者の心的状態を推定する。心的状態の推定には、発話音声の特徴量と心的状態の正解値とを学習用データとした教師あり学習による機械学習で作成された学習済みの分類モデルが用いられてもよい。本発明の第２の実施形態においても、作業者の心的状態が、自信度および集中度を含む場合を主に想定する。しかし、作業者の心的状態は、かかる例に限定されない。
心的状態推定部２１０は、センサデータ処理部２０８によって認識された発話音声の特徴量に基づいて、作業者の心的状態を推定する。心的状態の推定には、発話音声の特徴量と心的状態の正解値とを学習用データとした教師あり学習による機械学習で作成された学習済みの分類モデルが用いられてもよい。本発明の第２の実施形態においても、作業者の心的状態が、自信度および集中度を含む場合を主に想定する。しかし、作業者の心的状態は、かかる例に限定されない。
【0115】
（作業項目判定部２１２）
作業項目判定部２１２は、センサデータ処理部２０８によって認識された音声信号の特徴量から、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による音声認識によって、テキスト情報を得る。作業項目判定部２１２は、テキスト情報から作業項目の判定を行う。例えば、テキスト情報から作業項目を判定する手法については、非特許文献４などに公開されている。
作業項目判定部２１２は、センサデータ処理部２０８によって認識された音声信号の特徴量から、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による音声認識によって、テキスト情報を得る。作業項目判定部２１２は、テキスト情報から作業項目の判定を行う。例えば、テキスト情報から作業項目を判定する手法については、非特許文献４などに公開されている。
【0116】
以上、本発明の第２の実施形態に係る情報処理システム１の構成例について説明した。
【0117】
（２－２．情報処理システムの動作）
続いて、本発明の第２の実施形態に係る情報処理システム２の動作例を示すフローチャートである。図８は、本発明の第２の実施形態における情報処理システム２の動作例を示すフローチャートである。なお、フローチャートにおいて、本発明の第１の実施形態におけるステップと共通するステップには同一の符号を付し、そのステップの詳細な説明を省略する。
続いて、本発明の第２の実施形態に係る情報処理システム２の動作例を示すフローチャートである。図８は、本発明の第２の実施形態における情報処理システム２の動作例を示すフローチャートである。なお、フローチャートにおいて、本発明の第１の実施形態におけるステップと共通するステップには同一の符号を付し、そのステップの詳細な説明を省略する。
【0118】
まず、カメラセンサ部１０２は、作業空間映像から作業者の発話位置を認識する（Ｓ２００）。センサ可動部２０２は、カメラセンサ部１０２によって認識された作業者の発話位置に基づいて、発話位置が音声センサ部２０４の収音範囲に含まれるように多軸ロボットアーム２０５を制御することにより、音声センサ部２０４の収音範囲を設定する（Ｓ２０２）。作業者は確認作業の開始を示す発話を行う。音声センサ部２０４は、確認作業の開始を示す発話を検出する（Ｓ２０３）。
【0119】
音声センサ部２０４によって作業者の音声が検出されるまでは（Ｓ２０４において「ＮＯ」）、作業者の音声が検出されるかの判断を試みる動作が繰り返される。一方、音声センサ部２０４によって作業者の音声が検出された場合には（Ｓ２０４において「ＹＥＳ」）、心的状態推定部２１０は、作業者の音声に対するＡＩによる音声認識によって認識された発話内容から、作業項目を判定する（Ｓ２０６）。
【0120】
続いて、心的状態推定部２１０は、作業者の音声から作業者の自信度および集中度を推定する（Ｓ２１０）。なお、図５に示された例と同様に、Ｓ２０６（作業項目の判定）が完了する前に、Ｓ２０８（作業者の指先の揺れの算出）が開始されてもよい。Ｓ１１２以降のステップについては、第１の実施例の同様であるため、ここでの記載は省略する。
【0121】
以上、本発明の第２の実施形態に係る情報処理システム１の動作例について説明した。
【0122】
（２－３．効果）
以上により、本発明の第２の実施形態によれば、作業者が確認作業時に発する呼称音声を、作業者への装着を必要としない非接触な音声センサ部２０４により計測され、その音声から作業者の自信度および集中度といった心的状態況の推定が可能となる。これにより、本発明の第１の実施形態と同様に、作業者が確認作業に慣れてしまったことなどが原因となって、作業者が確認作業を真面目に行っていないかを管理することができるという効果が得られる。
以上により、本発明の第２の実施形態によれば、作業者が確認作業時に発する呼称音声を、作業者への装着を必要としない非接触な音声センサ部２０４により計測され、その音声から作業者の自信度および集中度といった心的状態況の推定が可能となる。これにより、本発明の第１の実施形態と同様に、作業者が確認作業に慣れてしまったことなどが原因となって、作業者が確認作業を真面目に行っていないかを管理することができるという効果が得られる。
【0123】
本発明の第１の実施形態では、作業者の手が空いておらず、作業者が指差しを実施できない場合も考えられた。しかし、本発明の第２の実施形態では、呼称音声を心的状態の推定に用いているため、呼称音声を発することができずに心的状態が推定されない状況は生じにくい。
【0124】
また、本発明の第２の実施形態では、エリア収音のマイクロフォンのような外部音のノイズを抑制できるセンサを音声センサ部２０４として用いることにより、暗騒音の大きい環境（例えば、工場など）においても対象となる作業者の音声を取得することが可能である。
【0125】
以上、本発明の第２の実施形態に係る情報処理システム１が奏する効果について説明した。
【0126】
（３．ハードウェア構成例）
続いて、本発明の実施形態に係るサーバ１００のハードウェア構成例について説明する。
続いて、本発明の実施形態に係るサーバ１００のハードウェア構成例について説明する。
【0127】
以下では、本発明の実施形態に係るサーバ１００のハードウェア構成例として、情報処理装置９００のハードウェア構成例について説明する。なお、以下に説明する情報処理装置９００のハードウェア構成例は、サーバ１００のハードウェア構成の一例に過ぎない。したがって、サーバ１００のハードウェア構成は、以下に説明する情報処理装置９００のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。
【0128】
図９は、本発明の実施形態に係るサーバ１００の例としての情報処理装置９００のハードウェア構成を示す図である。情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。
【0129】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。
【0130】
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【0131】
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。情報処理装置９００を操作するユーザは、この入力装置９０８を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0132】
出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
【0133】
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
【0134】
通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。
【0135】
以上、本発明の実施形態に係るサーバ１００のハードウェア構成例について説明した。
【0136】
（４．まとめ）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0137】
例えば、本発明の第１の実施形態においては、指差し動作による作業管理を説明し、第２の実施形態においては、呼称による作業管理を説明したが、それぞれを組み合わせた指差し呼称による作業管理システムも提供され得る。
【0138】
上記では、作業がミス無く行われているかを確認するための指差しまたは呼称が正しく行われているかを管理することが主な目的であった。しかし、作業管理ＤＢ１１６を管理者が閲覧して、作業管理ＤＢ１１６の内容を業務改善に生かすことも目的の一つとなり得る。業務改善は、自信度が低い作業項目がある場合には、その作業指示書の書き方を修正し、集中度が低い作業項目がある場合には、その作業内容を改善するといったものであってもよい。
【0139】
上記では、サーバ１００およびサーバ２００を、オンプレミスに設置されたハードウェア上のサーバとして説明した。しかし、サーバ１００およびサーバ２００は、複数の作業施設で利用される場合などには、クラウドサービス上のサーバなどによっても実現可能である。
【0140】
上記では、作業管理ＤＢ１１６にアクセスするＤＢ管理部１１９が、管理者端末１１８のみに付与される例を説明した。しかし、作業管理ＤＢ１１６を閲覧する権限または編集する権限を適切に設定することにより、ＤＢ管理部１１９を作業者端末１２２にも付与することが可能である。
【0141】
本発明の第１の実施形態および本発明の第２の実施形態の動作説明において、Ｓ１１２において少なくとも集中度が低いと判定された場合、Ｓ１１８（管理者に通知）に進む例を説明した。しかし、Ｓ１１２の前かつＳ１１８の後に作業者への何らかの通知が追加されてもよい。作業者への通知が追加された場合、その通知を作業者が無視または拒否したときにＳ１１８（管理者に通知）のステップに動作が進んでもよい。
【0142】
本発明の第１の実施形態において、確認作業の開始を示す指差しが検出されたときに、作業者が確認作業を開始したと判定された（Ｓ１００）。本発明の第２の実施形態においては、確認作業の開始を示す発話があったときに、作業者が確認作業を開始したと判定された（Ｓ２０３）。しかし、例えば、作業者または作業内容を識別可能な情報（例えば、二次元コードなど）を作業者がカメラセンサ部１０２に読み込ませることによって、作業開始が判定されてもよい。
【0143】
上記では、Ｓ１００およびＳ２０３において、確認作業の開始を判定するステップを含めて動作の説明をした。しかし、確認作業をするスペースとその他の組み立てなどの作業をするスペースとが別々である場合も想定される。かかる場合には、確認作業を行うスペースに存在する作業者は、確認作業しかしないと考えられるため、Ｓ１００およびＳ２０３は必ずしも必要ではない。
【0144】
上記では、手指センサ部１０４を実現する手法の例として、Ｋｉｎｅｃｔ（登録商標）を使う例について説明した。しかし、レーザ振動計などといった、振動を計測する機器が、手そのものの揺れを計測するようにしても手指センサ部１０４は実現可能である。
【0145】
本発明の第１の実施形態では、心的状態推定部１１０が、指差し位置の標準偏差などに基づいて、作業者の心的状態の推定を行う例について主に説明した。しかし、学習の教師データがあるか否かに依らず、機械学習を用いた手法によっても作業者の心的状態の推定が可能である。
【0146】
本発明の第２の実施形態では、音声センサ部２０４を実現する手法として、音声センサ部２０４がエリア収音のマイクロフォンである場合について主に説明した。しかし、音声センサ部２０４は、ノイズキャンセリング機能を持った非接触なマイクロフォンなどによっても実現可能である。
【0147】
本発明の第２の実施形態においては、音声センサ部２０４の収音範囲を調整するセンサ可動部２０２として多軸ロボットアームが用いられる例について説明した。しかし、エリア収音のマイクロフォンの位相差を変更するなどの手法によって収音範囲を変化させる手法が採用されてもよい。
【0148】
本発明の第２の実施形態においては、心的状態推定部２１０が、教師あり学習による機械学習で作成された推定モデルを用いて心的状態を推定する例について説明した。しかし、推定モデルの作成に用いられる機械学習は教師あり学習に限定されず、教師なし学習または半教師学習などを用いて推定モデルが作成されても構わない。
【符号の説明】
【0149】
１、２ 情報処理システム
１００、２００ サーバ
１０２ カメラセンサ部
１０４ 手指センサ部
１０６ 情報処理部
１０８、２０８ センサデータ処理部
１１０、２１０ 心的状態推定部
１１２ 作業項目判定部
１１４ 通知制御部
１１８ 管理者端末
１１９ ＤＢ管理部
１２０ 通知出力部
１２２ 作業者端末
１２４ 通知出力部
２０２ 可動センサ部
２０４ 音声センサ部
２０５ 多軸軸ロボットアーム
２１２ 作業項目判定部
１００、２００ サーバ
１０２ カメラセンサ部
１０４ 手指センサ部
１０６ 情報処理部
１０８、２０８ センサデータ処理部
１１０、２１０ 心的状態推定部
１１２ 作業項目判定部
１１４ 通知制御部
１１８ 管理者端末
１１９ ＤＢ管理部
１２０ 通知出力部
１２２ 作業者端末
１２４ 通知出力部
２０２ 可動センサ部
２０４ 音声センサ部
２０５ 多軸軸ロボットアーム
２１２ 作業項目判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】