特開 2023-177620 情報処理方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177620

(43)【公開日】2023-12-14

(54)【発明の名称】情報処理方法及びシステム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231207BHJP

   G06F 3/038 20130101ALI20231207BHJP

   G06F 3/0346 20130101ALI20231207BHJP

   A61B 5/256 20210101ALI20231207BHJP

   A61B 5/377 20210101ALI20231207BHJP

【ＦＩ】

G06F3/01 515

G06F3/01 510

G06F3/038 310A

G06F3/0346 423

A61B5/256 100

A61B5/377

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022090375

(22)【出願日】2022-06-02

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100183265

【弁理士】

【氏名又は名称】中谷 剣一

(72)【発明者】

【氏名】長村 佳明

【テーマコード（参考）】

4C127

5B087

5E555

【Ｆターム（参考）】

4C127AA03

4C127BB03

4C127GG15

4C127LL13

5B087BC05

5B087BC32

5B087DE01

5B087DE03

5E555AA22

5E555AA71

5E555AA76

5E555BA38

5E555BB38

5E555BC08

5E555BC17

5E555BE17

5E555CA42

5E555CB65

5E555CB69

5E555DA08

5E555DB53

5E555DC09

5E555DC31

5E555DC37

5E555DC75

5E555DD06

5E555EA09

5E555FA00

(57)【要約】

【課題】作業者から計測した脳波信号に基づいて、作業者が注意して視認した位置を特定する情報処理方法及びシステムを提供すること。
【解決手段】作業者が注意して視認した位置を特定する情報処理方法は、所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得するステップと、所定時刻における作業者の視線方向を視線データとして取得するステップと、所定時刻を含む時区間に作業者の脳波信号を脳波信号データとして取得するステップと、取得した脳波信号データから所定波形を検出するステップと、画像データ及び視線データに基づいて所定波形が発生したときの作業者の視認位置を決定するステップと、を含む。
【選択図】図６

【特許請求の範囲】

【請求項1】

所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得するステップと、
前記所定時刻における前記作業者の視線方向を視線データとして取得するステップと、
前記所定時刻を含む時区間の前記作業者の脳波信号を脳波信号データとして取得するステップと、
取得した前記脳波信号データから所定波形を検出するステップと、
前記画像データ及び前記視線データに基づいて前記所定波形が発生したときの前記作業者の視認位置を決定するステップと、
を含む、作業者が注意して視認した位置を特定する情報処理方法。

【請求項2】

前記所定波形を検出する前記ステップは、前記脳波信号の一部が基準波形に対応する波形である場合に前記所定波形を検出する、請求項１に記載の情報処理方法。

【請求項3】

前記基準波形は、前記作業者が所定事象を見た際に誘発される、予め測定された特定脳波信号に基づいて定められる、請求項２に記載の情報処理方法。

【請求項4】

前記所定事象は、前記作業者の注意を引いた事象を表す、請求項３に記載の情報処理方法。

【請求項5】

前記視認位置を前記作業者とは異なる別の作業者に伝達するステップをさらに含む、請求項１に記載の情報処理方法。

【請求項6】

前記画像上に前記視認位置を表す映像効果を付与するステップをさらに含む、請求項１から請求項５のいずれか一項に記載の情報処理方法。

【請求項7】

所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得する撮像装置と、
前記所定時刻における前記作業者の視線方向を視線データとして取得する視線特定装置と、
前記所定時刻を含む時区間の前記作業者の脳波信号を脳波信号データとして取得する脳波測定装置と、
前記撮像装置から取得した前記画像データ、前記視線特定装置から取得した前記視線データ、及び前記脳波測定装置から取得した前記脳波信号データを格納する記憶装置、並びに前記脳波信号データから所定波形を検出し、前記画像データ及び前記視線データに基づいて前記所定波形が発生したときの前記作業者の視認位置を決定する演算回路を有する制御装置と、
を備えるシステム。

【請求項8】

前記画像データ、及び前記視認位置を表す視認位置データに基づいて作成された付与画像データを表示する表示装置をさらに備える、請求項７に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理方法及びシステムに関する。

【背景技術】

【0002】

従来、ユーザの視界及び視線を検出して、ユーザが視認している位置に対して情報を表示する装置が知られている。例えば、特許文献１には、ユーザが視界の中で注目している注目領域に対して、ユーザが必要とする情報を重ね合わせて表示するインタフェースが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－９３０５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載されているインタフェースは、ユーザの視線のみを検出して注目領域を特定する。したがって、特許文献１に記載のインタフェースは、ユーザが注目領域を注意して視認しているかどうか判別することができない。

【0005】

本開示は、作業者から計測した脳波信号に基づいて、作業者が注意して視認した位置を特定する情報処理方法及びシステムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の作業者が注意して視認した位置を特定する情報処理方法は、所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得するステップと、所定時刻における作業者の視線方向を視線データとして取得するステップと、所定時刻を含む時区間の作業者の脳波信号を脳波信号データとして取得するステップと、取得した脳波信号データから所定波形を検出するステップと、画像データ及び視線データに基づいて所定波形が発生したときの作業者の視認位置を決定するステップと、を含む、ことを特徴とする。

【発明の効果】

【0007】

本開示によれば、作業者から計測した脳波信号に基づいて、作業者が注意して視認した位置を特定する情報処理方法及びシステムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】実施形態１に係る情報処理方法を実行するためのシステムの一例のブロック図

【図2】実施形態１に係る情報処理方法の作成段階の一部を示すフローチャート

【図3】実施形態１に係る情報処理方法の作成段階の他の部分を示すフローチャート

【図4】作成段階において作成された基準波形の一例を示すグラフ

【図5】実施形態１に係る情報処理方法の注意箇所特定段階の一部を示すフローチャート

【図6】実施形態１に係る情報処理方法の注意箇所特定段階の他の部分を示すフローチャート

【図7】実施形態１に係る情報処理方法の伝達段階を示すフローチャート

【図8】システムの変形例を示すブロック図

【図9】実施形態２に係る情報処理方法を実行するためのシステム３の一例のブロック図

【図10】実施形態２に係る情報処理方法の作成段階の一部を示すフローチャート

【図11】実施形態２に係る情報処理方法の作成段階の他の部分を示すフローチャート

【図12】実施形態２に係る情報処理方法を実行するための環境検出デバイスのブロック図

【発明を実施するための形態】

【0009】

以下、図面を参照しつつ、本開示に係る実施形態を説明する。ただし、以下に説明する構成は、本開示の一例に過ぎず、本開示は下記の実施形態に限定されることはなく、これら実施形態以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

【0010】

（実施形態１）
図１は、本開示の実施形態１に係る情報処理方法を実行するためのシステム１の一例のブロック図である。本実施形態に係る情報処理方法は、特定作業者が作業時に意識的又は無意識的に注目する箇所を、別の作業者に効率的に伝達するための方法に関する。例えば、当該特定作業者は、特定の作業について熟練している作業者であり、当該別の作業者は、特定作業者よりも特定の作業について熟練していない作業者（つまり、特定の作業者より経験が浅い作業者）である。注目する箇所は、例えば、特定作業者が作業時に注意を引かれる位置である。本実施形態に係る情報処理方法は、特定作業者が現場で作業している間、特定作業者の視野の少なくとも一部を表す画像データと、特定作業者の視線方向を表す視線データと、特定作業者の脳波信号を表す脳波信号データを取得する。そして、情報処理方法は、特定作業者が所定事象を見た際に誘発される、脳波信号をあらかじめ決定して、基準波形として設定する。所定事象は、例えば、特定作業者の注意を引いた事象を表す。方法は、当該特定作業者が再び作業現場で作業して、画像データと、視線データと、脳波信号データとを取得する。取得した脳波信号データにおいて基準波形に類似する波形があると、方法は、画像データと視線データに基づいて当該波形の発生時に特定作業者が見ていた位置を決定し、当該位置を特定作業者が注意を引かれた事象を表す箇所と決定する。当該箇所を強調するように画像データに映像効果を付与することで、特定作業者とは異なる別の作業者は、映像効果を付与された画像データを見ることで特定作業者が注意すべきと感じている場所について効率的に理解することができる。このようにして、情報処理方法は、特定作業者が作業時に意識的又は無意識的に注目する箇所を、特定作業者とは異なる別の作業者に効率的に伝達することができる。

【0011】

図１に示すように、システム１は、ウェアラブルデバイス１０と、制御装置２０と、表示装置３０と、を備える。ウェアラブルデバイス１０は、特定作業者に取り付けられる。ウェアラブルデバイス１０は、特定作業者の頭部及び眼部に装着され得る装置を含む。ウェアラブルデバイス１０は、演算回路１１と、記憶装置１２と、通信回路１３と、視野カメラ１４と、視線特定装置１５と、脳波測定装置１６と、を備える。

【0012】

演算回路１１は、ウェアラブルデバイス１０における処理を実行する。演算回路１１は、プログラムを実行することで所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。演算回路１１は、記憶装置１２と通信可能に構成され、当該記憶装置１２に格納された演算プログラム等を呼び出して実行することにより、視野カメラ１４等で取得されたデータを格納する処理など、演算回路１１における各種の処理を実現する。演算回路１１は、ハードウェア資源とソフトウェアとが協働して所定の機能を実現する態様に限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、演算回路１１は、ＣＰＵ、ＭＰＵ以外にも、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現され得る。このような演算回路１１は、例えば、半導体集積回路である信号処理回路で構成され得る。

【0013】

記憶装置１２は、種々の情報を記憶できる記憶媒体である。記憶装置１２は、例えば、ＤＲＡＭやＳＲＡＭ、フラッシュメモリ等のメモリ、ＨＤＤ、ＳＳＤ、その他の記憶デバイスまたはそれらを適宜組み合わせて実現される。記憶装置１２は、上記したように演算回路１１が行う各種の処理を実現するためのプログラムを格納する。また、記憶装置１２は、後述するように視野カメラ１４、視線特定装置１５及び脳波測定装置１６が取得した各データを格納する。

【0014】

通信回路１３は、有線又は無線により他の装置又はシステムと通信回線を介して接続するためのインタフェース装置である。インタフェース装置は、例えば、ＵＳＢ（登録商標）又はイーサネット（登録商標）等の有線通信規格に準拠した通信を行うことが可能である。また、インタフェース装置は、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話回線等の無線通信規格に準拠した通信を行うことが可能である。

【0015】

視野カメラ１４は、ＣＣＤまたはＣＭＯＳ等の撮像素子を備える撮像装置である。本実施形態において、視野カメラ１４は、特定作業者が向いている方向を撮像するように構成される。視野カメラ１４は、特定作業者の視野の少なくとも一部を表す画像（例えば動画像）を画像データとして取得することができる。取得された画像データは、記憶装置１２に格納される。取得された画像データは、視野カメラ１４が有する、図示しない記憶装置に格納され、必要に応じて読み出されてもよい。

【0016】

視線特定装置１５は、ＣＣＤまたはＣＭＯＳ等の撮像素子を備える撮像装置である。視線特定装置１５は、特定作業者の少なくとも一方の眼を撮像するように構成される。視線特定装置１５は、例えばアイトラッカまたはアイトラッキングモジュールと呼ばれる装置であり、赤外線を用いて着用している特定作業者の視線を特定または検出して、視線データとして取得することができる。取得された視線データは、記憶装置１２に格納される。取得された視線データは、視線特定装置１５が有する、図示しない記憶装置に格納され、必要に応じて読み出されてもよい。

【0017】

脳波測定装置１６は、脳波信号を計測することができる装置であり、例えば脳波計である。本実施形態において、脳波測定装置１６は、特定作業者に取り付けられ、特定作業者の脳波信号を計測するように構成される。脳波測定装置１６は、複数の電極を有する。複数の電極は、計測電極と、基準電極とを含む。複数の電極は、接地電極を含んでもよい。計測電極は、国際１０－２０法で定義される部位のいずれかに配置されてもよい。

【0018】

本開示に係るシステム１において、脳波測定装置１６は、電極が配置された特定作業者の脳波のうちの事象関連電位を計測するように構成され得る。計測電極は、例えば特定作業者の頭頂部に配置され得る。基準電極は、例えば特定作業者の左右の耳朶に配置され得る。接地電極は、例えば特定作業者の左右の耳朶に配置され得る。脳波測定装置１６が計測する電位は、事象関連電位に制限されず、他の電位であってもよい。

【0019】

脳波測定装置１６は、特定作業者の脳波として、複数の電極間の電位差を計測する。複数の電極によって測定された電位差は、計測脳波データとして、記憶装置１２に格納される。脳波測定装置１６は、測定された電位差をアンプによって増幅し、計測脳波データとして記憶装置１２に格納してもよい。測定された電位差は、脳波測定装置１６が有する、図示しない記憶装置に格納され、必要に応じて読み出されてもよい。

【0020】

ウェアラブルデバイス１０は、視野カメラ１４、視線特定装置１５及び脳波測定装置１６によって取得したデータを通信回路１３を介して有線または無線通信によって制御装置２０へと送信する。

【0021】

制御装置２０は、例えばコンピュータである。制御装置２０は、演算回路２１と、記憶装置２２と、入出力装置２３と、通信回路２４とを有する。制御装置２０は、ウェアラブルデバイス１０から受信した各データを通信回路２４を介して記憶装置２２へと格納する。

【0022】

演算回路２１は、演算回路１１と同様に構成され得、制御装置２０における処理を実行する。演算回路２１は、記憶装置２２と通信可能に構成され、当該記憶装置２２に格納された演算プログラム等を呼び出して実行することにより、基準波形を作成する処理、及び注意箇所を特定する処理など、演算回路２１における各種の処理を実現する。

【0023】

記憶装置２２は、記憶装置１２と同様に構成され得、上記したように演算回路２１が行う各種の処理を実現するためのプログラムを格納する。

【0024】

入出力装置２３は、ユーザからの情報の入力のための入力装置、及びユーザへ情報の出力のための出力装置としての機能を有する。入出力装置２３は、１以上のヒューマン・マシン・インタフェース装置を備える。ヒューマン・マシン・インタフェース装置は、例えば、キーボード、ポインティングデバイス（マウス、トラックボール等）、タッチパッド等の入力装置、ディスプレイ、スピーカ等の出力装置、タッチパネル等の入出力装置を含む。

【0025】

通信回路２４は、通信回路１３と同様に構成される。

【0026】

表示装置３０は、例えばディスプレイであり、制御装置２０から出力された画像等を表示することができる。

【0027】

（情報処理方法）
次に、図１～図８を参照しつつ、本開示に係る情報処理方法について説明する。本開示に係る情報処理方法は、複数の段階に分けることができる。当該複数の段階は、作成段階と、注意箇所特定段階と、伝達段階と、を含む。作成段階は、特定作業者が所定事象を見た際に誘発される特定脳波信号を示す基準波形を作成する段階を示す。例えば、所定事象は、特定作業者の注意を引いた事象を表す。以下、特定作業者の注意を引いた事象を有する位置は、適宜「注意箇所」とも呼ばれる。注意箇所特定段階は、基準波形を用いて注意箇所を特定する段階を示す。伝達段階は、当該注意箇所を特定作業者とは異なる別の作業者に伝達する段階を示す。なお、注意箇所は、特定作業者が意識的に又は無意識に注意すべきと感じた場所であってもよい。

【0028】

図２は、実施形態１に係る情報処理方法の作成段階の一部を示すフローチャートである。本開示に係る情報処理方法は、特定作業者の注意を引く事象を有する位置を、他の作業者に効率的に伝えるための方法に関する。本方法は、特定作業者から計測した脳波信号を用いて、特定作業者が注意して視認した位置を決定する。本方法は、作成段階において、特定作業者が注意箇所を視認した際に誘発される脳波信号（以下、適宜「特定脳波信号」という）の波形（すなわち、基準波形）を決定する。図２は、作成段階のうちの、基準波形を決定するためのデータを収集する段階を示すフローチャートである。

【0029】

まず、特定作業者は作業現場へ移動し、ウェアラブルデバイス１０を装着する。そして、特定作業者は、ウェアラブルデバイス１０のスイッチをオンする。ウェアラブルデバイス１０が起動すると、ウェアラブルデバイス１０の演算回路１１は、視野カメラ１４、視線特定装置１５、及び脳波測定装置１６を起動する。

【0030】

ステップＳ１１において、演算回路１１は、視野カメラ１４によって、特定作業者の視野の少なくとも一部を表す画像を画像データとして取得する。演算回路１１は、取得した画像データを記憶装置１２へと格納する。ステップＳ１２において、演算回路１１は、視線特定装置１５によって、特定作業者の視線データを取得し、視線方向を特定する。演算回路１１は、取得した視線データを記憶装置１２へと格納する。ステップＳ１３において、演算回路１１は、脳波測定装置１６によって、特定作業者の脳波信号を表す脳波信号データを取得する。演算回路１１は、取得した脳波信号データを記憶装置１２へと格納する。特定作業者は、ウェアラブルデバイス１０を起動すると、当該作業現場での作業を開始する。ウェアラブルデバイス１０の演算回路１１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを取得して、記憶装置１２に格納できる。

【0031】

そして、特定作業者は、作業現場での作業を終了すると、ウェアラブルデバイス１０のスイッチをオフする。

【0032】

次に、作成段階のうちの、データ収集後の段階について説明する。図３は、実施形態１に係る情報処理方法の作成段階の他の部分を示すフローチャートである。

【0033】

まず、ステップＳ２１において、制御装置２０の演算回路２１は、ウェアラブルデバイス１０の記憶装置１２から、画像データ、視線データ及び脳波信号データを通信回路２４を介して取得する。演算回路２１は、取得した各データを記憶装置２２に格納する。

【0034】

次に、ステップＳ２２において、演算回路２１は、取得した各データを時間に関して同期する。演算回路２１は、画像データ、視線データ及び脳波信号データを時間に関して同期することで、互いに関連付けることが可能となる。演算回路２１は、例えば、各データが有する時間情報を用いて、各データを同期することができる。したがって、演算回路２１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを取得して記憶装置２２に格納できる。

【0035】

ステップＳ２３において、演算回路２１は、特定作業者が注意すべきと判断する位置、すなわち注意箇所を設定する。注意箇所は、例えば、特定作業者が制御装置２０の記憶装置２２に格納された画像データを参照しつつ制御装置２０の入出力装置２３（例えばマウスなど）を操作することで、設定されてもよい。また、注意箇所の設定は、特定作業者が行う必要はなく、特定作業者とは異なる他の作業者によって行われてもよい。

【0036】

ステップＳ２４において、演算回路２１は、画像データ及び視線データに基づいて、画像データにおける特定作業者の視認位置を特定する。これにより、演算回路２１は、ステップＳ１３以降、特定作業者が作業中にどの位置を見ていたのか（つまり視認位置）を特定することができる。例えば、演算回路２１は、画像データと視線データを組み合わせて、画像データ上に視線データを重ねて表示させた視認位置データを作成してもよい。

【0037】

ステップＳ２５において、演算回路２１は、特定作業者が注意箇所を視認したタイミングを特定する。そして、ステップＳ２６において、演算回路２１は、当該タイミングにおける脳波信号を抽出することで、注意箇所を視認した際の特定作業者の脳波信号を表す特定脳波信号を含む脳波信号データを取得する。すわなち、ステップＳ２６において、演算回路２１は、特定作業者が所定事象を見た際に誘発される特定脳波信号を含む脳波信号データを取得する。ここで、所定事象は、特定作業者の注意を引いた事象を表す。注意箇所は、当該所定事象を有する位置に対応する。一般的に、事象関連電位において意思決定の過程で誘発される脳波信号は、Ｐ３００と呼ばれ、何らかのトリガーの発生後、約３００ｍｓ～５００ｍｓ後に大きな電位変化が生じ得る。当該トリガーは、本開示に係る方法において、特定作業者が所定事象を見たタイミング（すなわち、注意箇所を視認したタイミング）に相当する。したがって、演算回路２１は、例えば、当該タイミング（すなわち０ｍｓ）後、２００ｍｓ～６００ｍｓの間の脳波信号を用いることで、特定作業者が所定事象を見た際に誘発される事象関連電位を取得することができる。

【0038】

当然、取得される脳波信号の期間は、上記に限定されず、演算回路２１は、例えば０ｍｓ～１０００ｍｓの間の脳波信号、１００ｍｓ～７００ｍｓの間の脳波信号、または３００ｍｓ～５００ｍｓの間の脳波信号等、別の期間の脳波信号を用いてもよい。ステップＳ２５において、演算回路２１は、特定作業者が注意箇所を視認したタイミングを複数特定できる。したがって、演算回路２１は、ステップＳ２６において、複数の特定脳波信号を取得することができる。

【0039】

ステップＳ２７において、演算回路２１は、取得した複数の特定脳波信号を加算平均して、基準波形を作成する。一般的に、脳波信号のうち事象関連電位に関する成分は電位変化が小さいため、脳波信号の他の成分等のノイズによって所望の波形を取得出来ない可能性がある。したがって、演算回路２１は、事象関連電位に関する脳波信号を複数取得し、複数の脳波信号を加算平均することで、ノイズに相当する成分の影響を低減し、所望の脳波信号を取得することができる。例えば、演算回路２１は、１０個以上の特定脳波信号を加算平均することでより適切な基準波形を作成することができる。加算平均される特定脳波信号の数は、１０個以上と限定されず、１３個以上であってもよいし、２０個以上であってもよい。また、５個以上であってもよい。

【0040】

図４は、作成段階において作成された基準波形及び基準波形とは異なる脳波信号の波形の一例を示すグラフである。図４において波形Ａは、基準波形を示し、波形Ｂは、基準波形とは異なる脳波信号の波形を示す。図４の横軸は時間を示す。図４の縦軸は振幅（つまり電位）を示し、上側がマイナス方向の電位を、下側がプラス方向の電位を示す。図４の波形Ａに示すように、基準波形は、トリガーの入力から約３００～５００ｍｓ後に大きな電位変化が生じている。

【0041】

演算回路２１は、上記したように処理することで、特定作業者が所定事象を見た際に誘発される特定脳波信号に基づいて定められる基準波形を作成することができる。

【0042】

上記した処理では、演算回路２１は、画像データ、視線データ及び脳波信号データを同期した後、注意箇所を設定しているが、注意箇所を設定するタイミングはこれに限定されない。例えば、注意箇所は、演算回路２１が画像データ、視線データ及び脳波信号データを取得した後に設定されてもよい。また、注意箇所は、Ｓ１１において視野カメラが画像データを取得する前に設定されてもよい。この場合、例えば、特定作業者が作業を行う作業現場に関する画像データをあらかじめ取得しておき、特定作業者又は他の作業者が当該画像データを参照しつつ入出力装置２３を操作することで、注意箇所は設定され得る。このような処理を行う場合、あらかじめ注意箇所を把握できるため、特定作業者がステップＳ１３の後に注意箇所を複数回視認するよう留意することができる。したがって、演算回路２１は、脳波信号データからより確実に複数回の所望の特定脳波信号を取得することができる。

【0043】

次に、図５を参照しつつ、注意箇所特定段階を説明する。図５は、実施形態１に係る情報処理方法の注意箇所特定段階の一部を示すフローチャートである。図５に示すフローチャートは、注意箇所特定段階のうちの、画像データ、視線データ及び脳波信号データを収集する段階を示す。

【0044】

まず、特定作業者が作業現場へ移動し、ウェアラブルデバイス１０を装着する。そして、特定作業者は、ウェアラブルデバイス１０のスイッチをオンにする。ウェアラブルデバイス１０が起動すると、ウェアラブルデバイス１０の演算回路１１は、視野カメラ１４、視線特定装置１５、及び脳波測定装置１６を起動する。

【0045】

ステップＳ３１において、演算回路１１は、視野カメラ１４によって、特定作業者の視野の少なくとも一部を表す画像を画像データとして取得する。演算回路１１は、取得した画像データを記憶装置１２へと格納する。ステップＳ３２において、演算回路１１は、視線特定装置１５によって、特定作業者の視線データを取得し、視線方向を特定する。演算回路１１は、取得した視線データを記憶装置１２へと格納する。ステップＳ３３において、演算回路１１は、脳波測定装置１６によって、特定作業者の脳波信号を表す脳波信号データを取得する。演算回路１１は、取得した脳波信号データを記憶装置１２へと格納する。特定作業者は、ウェアラブルデバイス１０を起動すると、当該作業現場での作業を開始する。ウェアラブルデバイス１０の演算回路１１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを取得して、記憶装置１２に格納できる。

【0046】

そして、特定作業者は、作業現場での作業を終了すると、ウェアラブルデバイス１０のスイッチをオフする。

【0047】

次に、注意箇所特定段階のうちの、データ収集後の段階について説明する。図６は、実施形態１に係る情報処理方法の注意箇所特定段階の他の部分を示すフローチャートである。

【0048】

まず、ステップＳ４１において、制御装置２０の演算回路２１は、ウェアラブルデバイス１０の記憶装置１２から、画像データ、視線データ及び脳波信号データを通信回路２４を介して取得する。演算回路２１は、取得した各データを記憶装置２２に格納する。

【0049】

次に、ステップＳ４２において、演算回路２１は、取得した各データを時間に関して同期する。演算回路２１は、画像データ、視線データ及び脳波信号データを時間に関して同期することで、互いに関連付けることが可能となる。演算回路２１は、例えば、各データが有する時間情報を用いて、各データを同期することができる。したがって、演算回路２１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを所得して記憶装置２２に格納できる。

【0050】

ステップＳ４３において、演算回路２１は、基準波形に基づいて、取得した脳波信号データにおいて特定作業者が所定事象を見た際に（つまり、注意箇所を視認した際に）誘発される所定波形の脳波信号を検出する。より具体的には、演算回路２１は、取得した脳波信号データにおいて基準波形に類似する波形があるか否かを判断する。演算回路２１は、取得した脳波信号データが有する脳波信号の一部が基準波形に対応する波形である場合に、脳波信号データから所定波形を検出する。所定波形は、取得された脳波信号データが有する脳波信号において、基準波形に対応する波形である。演算回路２１は、例えば、相互相関関数（ＣＣＦ）、又は動的時間伸縮法（ＤＴＷ）を用いることで、取得した脳波信号データにおいて基準波形に類似する波形があるか否かを判断することができる。ＣＣＦおよびＤＴＷは周知であるから、算出方法を含む具体的な説明は省略する。なお、基準波形に類似する波形があるか否かの判断は、上記した手法に限定されず、演算回路２１は任意の手法を用いて判断することができる。

【0051】

特定作業者が所定事象を見た際に誘発される脳波信号を検出した場合（Ｓ４３：ＹＥＳ）、すなわち基準波形に類似する波形があると判断した場合、演算回路２１は、ステップＳ４４等を実行する。当該脳波信号を検出しなかった場合（Ｓ４３：ＮＯ）、演算回路２１は、処理を終了する。演算回路２１は、基準波形と脳波信号の一部を示す波形との間で、所定時刻における各波形に関する電位の差が所定誤差内である期間を取得し、当該期間の合計が、所定時間以上の場合、基準波形と脳波信号の一部を示す波形とが類似していると判断してもよい。加えて、演算回路２１は、当該脳波信号の一部を示す波形に関する電位が、所定範囲内である場合、基準波形と脳波信号の一部を示す波形とが類似していると判断してもよい。所定範囲は、例えば、基準波形を作成する際に用いられた脳波信号（すなわち、特定脳波信号）における電位の最大値と最小値によって定められてもよい。しかしながら、演算回路２１による類似性の判断の方法は、これに限定されない。

【0052】

例えば、演算回路２１は、基準波形と脳波信号の一部を示す波形との間で、所定時刻における各波形に関する電位の差が所定誤差内である計測点を取得する。そして、演算回路２１は、当該計測点の合計が所定数以上の場合、基準波形と脳波信号の一部を示す波形とが類似していると判断してもよい。あるいは、演算回路２１は、基準波形の所定の時区間における波形と、脳波信号の一部を示す波形との間のＤＴＷ距離を算出して、算出された値が所定値以下の場合、基準波形と、当該脳波信号の一部を示す波形とが類似していると判断してもよい。基準波形の所定の時区間は、例えば、上記したように、特定作業者が所定事象を見たタイミング（０ｍｓ）後、３００ｍｓ～５００ｍｓの間の期間である。

【0053】

ステップＳ４４において、演算回路２１は、画像データ及び視線データに基づいて、画像データにおける特定作業者の視認位置を特定する。これにより、演算回路２１は、ステップＳ３３以降、特定作業者が作業中にどの位置を見ていたのか（つまり視認位置）を特定することができる。例えば、演算回路２１は、画像データと視線データを組み合わせて、画像データ上に視線データを重ねて表示させた視認位置データを作成してもよい。

【0054】

ステップＳ４５において、演算回路２１は、基準波形に類似する波形の発生時刻を取得する。演算回路２１は、脳波信号データにおいて基準波形に類似する波形が複数の時区間にあると判断した場合、それぞれの波形について発生した時刻を特定する。

【0055】

ステップＳ４６において、演算回路２１は、基準波形に類似する波形が発生したタイミングにおける視認位置を特定する。演算回路２１は、例えば作成した視認位置データの、ステップＳ４５で特定した発生時刻における特定作業者の視認位置を特定する。これによって、演算回路２１は、脳波信号データに基づいて、画像データにおいて注意箇所に対応する位置を特定することができる。演算回路２１は、特定した発生時刻が複数ある場合、それぞれの時刻について特定作業者の視認位置を特定する。

【0056】

ステップＳ４７において、演算回路２１は、ステップＳ４６にて特定した位置に基づいて、画像データに映像効果を付与する。それによって演算回路２１は、付与画像データを作成する。例えば、演算回路２１は、画像データにおいて、当該特定した位置を判別することができるように映像効果を付与する。例えば、演算回路２１は、画像データの当該特定した位置に対して色を付与、矢印で示す、当該特定した位置を枠で囲う、又は点滅させるなど、任意の画像処理によって強調表示して、判別できるようにしてもよい。

【0057】

以上で、演算回路２１は、注意箇所特定段階の処理を終了する。上記した注意箇所特定段階での処理は、画像データ、視線データ及び脳波信号データを収集後、制御装置２０に各データを格納して各処理を行うことで、注意箇所を特定するが、当該処理はこれに限定されない。例えば、特定作業者が作業を行うタイミング（すなわちＳ１３以降）において、制御装置２０と同等の機能を有する携帯端末を有し、携帯端末の演算回路がステップＳ４１～Ｓ４６に記載の処理を行ってもよい。すなわち、携帯端末の演算回路が、画像データ、視線データ及び脳波信号データを取得しながら、注意箇所を特定してもよい。このように処理することで、携帯端末の演算回路は、特定作業者による作業と並行して注意箇所を特定することができる。

【0058】

次に、図７を参照しつつ、伝達段階を説明する。図７は、実施形態１に係る情報処理方法の伝達段階を示すフローチャートである。

【0059】

まず、ステップＳ５１において、演算回路２１は、記憶装置２２に格納された付与画像データを読み出す。ステップＳ５２において、演算回路２１は、通信回路２４を介して表示装置３０に付与画像データを出力する。表示装置３０は、出力された付与画像データを表示する。特定作業者とは異なる別の作業者は、表示された付与画像データを見ることで、特定作業者が画像（すすなわち作業現場）のどの位置を注意しているかを把握することができる。これによって、当該別の作業者は、特定作業者が作業中に意識的又は無意識的に注意すべきと考えている位置を学ぶことができる。

【0060】

以上で、演算回路２１は、伝達段階の処理を終了する。上記した伝達段階の処理では、演算回路２１は、表示装置３０に付与画像データを表示したが、当該処理はこれに限定されない。

【0061】

例えば、図８に示すウェアラブルデバイス４０を特定作業者とは異なる別の作業者が装着することで伝達処理は実行されてもよい。図８は、システム１の変形例であるシステム２の一例を示すブロック図である。システム２は、ウェアラブルデバイス４０と、制御装置２０と、を備える。ウェアラブルデバイス４０は、例えば、ヘッドマウントディスプレイ、眼鏡型の装置などを含む。ウェアラブルデバイス４０は、演算回路４１と、記憶装置４２と、通信回路４３と、視野カメラ４４と、ＡＲ（拡張現実）表示装置４５と、を有する。

【0062】

演算回路４１は、演算回路２１と同様に構成され得、ウェアラブルデバイス４０における処理を実行する。記憶装置４２は、記憶装置２２と同様に構成され得、画像データに関連付けて、上記した注意箇所に関する情報を格納する。通信回路４３は、通信回路２４と同様に構成され得る。演算回路４１は、制御装置２０によって特定された注意箇所を通信回路４３を介して受信し、記憶装置４２に格納する。視野カメラ４４は、視野カメラ１４と同様に構成され得る撮像装置である。ＡＲ表示装置４５は、視野カメラ４４が取得した画像に基づいて、当該画像に重ねるようにＡＲ画像を表示することができる表示装置である。ＡＲ表示装置４５は、当該別の作業者の少なくとも一方の眼の前方に配置され得る。例えば、演算回路４１は、視野カメラ４４が取得した画像に基づいて、当該別の作業者が見ている光景を特定し、当該光景に対して上記注意箇所を重ね合わせるようにＡＲ表示装置４５に任意のＡＲ画像を表示してもよい。

【0063】

このように表示することで、演算回路４１は、作業現場に移動した別の作業者が見ている光景に応じて適切な領域にＡＲ画像を表示し、当該別の作業者に対して特定作業者が注意すべきと感じた位置を報知することができる。ＡＲ画像は、ステップＳ４７における画像処理と同様、当該位置を当該別の作業者に強調するように作成され得る。

【0064】

また、ウェアラブルデバイス４０は、別の作業者の視線方向を特定する視線特定装置をさらに備えてもよい。視線特定装置を備えることで、演算回路４１は、ウェアラブルデバイス４０を装着した当該別の作業者の視線方向に基づいて、より適切にＡＲ画像をＡＲ表示装置４５に表示することができる。例えば、演算回路４１は、当該別の作業者の視線が、注意箇所以外の方向を向いているときに、ＡＲ表示装置４５において当該注意箇所に対応する領域にＡＲ画像を表示してもよい。また、演算回路４１は、当該別の作業者の視線が、注意箇所を向いているときに、ＡＲ表示装置４５において当該注意箇所に対応する領域にＡＲ画像を表示してもよい。

【0065】

（実施形態２）
図９～図１２を参照しつつ、実施形態２に係る情報処理方法を説明する。特定作業者（例えば経験豊富な作業者）が作業現場で作業している際、外部環境によって当該作業者の判断能力が低下する可能性がある。また、判断能力は、特定作業者の状態（例えば特定作業者の体調など）によっても低下し得る。判断能力が低下した状態で特定作業者が作業をした場合、その作業は判断能力が低下した状態で実行され得る。したがって、当該作業は確実性が低下する。しかし、実施形態２に係る情報処理方法によれば、制御装置２０の演算回路２１は、外部環境および特定作業者の状態等によって特定作業者の判断能力が低下するかどうかを判断することができる。したがって、実施形態２に係る情報処理方法によれば、特定作業者が着用する環境検出デバイス５０は、特定作業者の判断能力が低下していると判断した場合、その旨を特定作業者に報知することができる。なお、実施形態２に係る情報処理方法は、特定作業者に限定されず、特定作業者とは異なる別の作業者（例えば経験の浅い作業者）の判断能力が低下するかどうかを同様に判断できる。

【0066】

図９は、実施形態２に係る情報処理方法を実行するためのシステム３の一例のブロック図を示す。システム３は、ウェアラブルデバイス１０Ｂ及び制御装置２０を備える。ウェアラブルデバイス１０Ｂは、図１に示すウェアラブルデバイス１０に対して、さらに外部環境センサとして温度センサ１７及び湿度センサ１８を、バイタルセンサとして体温センサ１９を備える。外部環境センサは温度センサに限定されず、例えば、温度センサ、湿度センサ、振動センサ、音センサ、気圧センサ、若しくは臭気センサ等の任意のセンサ、またはこれらのセンサの組み合わせであってもよい。バイタルセンサは、体温センサ１９に限定されず、体温センサ、心拍センサ、若しくは血圧センサ等の任意のセンサ、またはこれらのセンサの組み合わせであってもよい。

【0067】

実施形態２に係る情報処理方法は、まず、実施形態１に係る情報処理方法の作成段階を実行し、特定作業者の基準波形を作成する。当該基準波形は、できるだけ特定作業者に負荷のかからない環境で行われた作業で作成されることが望ましい。ここで、負荷のかかる環境は、気温が低いこと、雨が降っていること、振動が発生していること、異臭がすること又は騒音が発生していること等を含み得る。

【0068】

次に、実施形態２に係る情報処理方法において、特定作業者は、ウェアラブルデバイス１０Ｂを装着した状態で作業現場にて作業を行う。図１０は、実施形態２に係る情報処理方法の作成段階の一部を示すフローチャートである。まず、特定作業者は、作業現場へ移動し、ウェアラブルデバイス１０Ｂを装着する。そして、特定作業者は、ウェアラブルデバイス１０Ｂのスイッチをオンする。ウェアラブルデバイス１０Ｂが起動すると、ウェアラブルデバイス１０Ｂの演算回路１１は、視野カメラ１４、視線特定装置１５、脳波測定装置１６、温度センサ１７、湿度センサ１８、及び体温センサ１９を起動する。

【0069】

ステップＳ６１において、演算回路１１は、視野カメラ１４によって、特定作業者の視野の少なくとも一部を表す画像を画像データとして取得する。演算回路１１は、取得した画像データを記憶装置１２へと格納する。ステップＳ６２において、演算回路１１は、視線特定装置１５によって、特定作業者の視線データを取得し、視線方向を特定する。演算回路１１は、取得した視線データを記憶装置１２へと格納する。ステップＳ６３において、演算回路１１は、脳波測定装置１６によって、特定作業者の脳波信号を表す脳波信号データを取得する。演算回路１１は、取得した脳波信号データを記憶装置１２へと格納する。

【0070】

ステップ６４において、演算回路１１は、温度センサ１７によって、作業現場の気温を気温データとして取得する。演算回路１１は、取得した気温データを記憶装置１２へと格納する。ステップ６５において、演算回路１１は、作業現場の湿度を湿度データとして取得する。演算回路１１は、取得した湿度データを記憶装置１２へと格納する。ステップ６６において、演算回路１１は、特定作業者の体温を体温データとして取得する。演算回路１１は、取得した体温データを記憶装置１２へと格納する。特定作業者は、ウェアラブルデバイス１０Ｂを起動すると、当該作業現場での作業を開始する。ウェアラブルデバイス１０Ｂの演算回路１１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを取得して、記憶装置１２に格納できる。また、演算回路１１は、所定時刻における気温データと、所定時刻における湿度データと、所定時刻における体温データとを取得して、記憶装置１２に格納できる。

【0071】

そして、特定作業者は、作業現場での作業を終了すると、ウェアラブルデバイス１０Ｂのスイッチをオフする。

【0072】

次に、実施形態２に係る方法の作成段階のうちの、データ収集後の段階について説明する。図１１は、実施形態２に係る情報処理方法の作成段階の他の部分を示すフローチャートである。

【0073】

まず、ステップＳ７１において、制御装置２０の演算回路２１は、ウェアラブルデバイス１０Ｂの記憶装置１２から、画像データ、視線データ、脳波信号データ、気温データ、湿度データ及び体温データを通信回路２４を介して取得する。演算回路２１は、取得した各データを記憶装置２２に格納する。

【0074】

次に、ステップＳ７２において、演算回路２１は、取得したデータのうちの少なくとも画像データ、視線データ及び脳波信号データを時間に関して同期する。演算回路２１はさらに、他のデータも時間に関して同期してもよい。演算回路２１は、画像データ、視線データ及び脳波信号データを時間に関して同期することで、互いに関連付けることが可能となる。演算回路２１は、例えば、各データが有する時間情報を用いて、各データを同期することができる。したがって、演算回路１１は、所定時刻における画像データと、所定時刻における視線データと、所定時刻を含む時区間における脳波信号データとを取得して記憶装置１２に格納できる。また、演算回路１１は、所定時刻における気温データと、所定時刻における湿度データと、所定時刻における体温データとを取得して記憶装置１２に格納できる。

【0075】

ステップＳ７３において、演算回路２１は、注意箇所を設定する。注意箇所は、例えば、特定作業者が制御装置２０の記憶装置２２に格納された画像データを参照しつつ制御装置２０の入出力装置２３（例えばマウスなど）を操作することで、設定されてもよい。また、注意箇所の設定は、特定作業者が行う必要はなく、特定作業者とは異なる他の作業者によって行われてもよい。

【0076】

ステップＳ７４において、演算回路２１は、画像データ及び視線データに基づいて、画像データにおける特定作業者の視認位置を特定する。これにより、演算回路２１は、ステップＳ６６以降、特定作業者が作業中にどの位置を見ていたのか（つまり視認位置）を特定することができる。例えば、演算回路２１は、画像データと視線データを組み合わせて、画像データ上に視線データを重ねて表示させた視認位置データを作成してもよい。

【0077】

ステップＳ７５において、演算回路２１は、特定作業者が注意箇所を視認したタイミングを特定する。そして、ステップＳ７６において、演算回路２１は、当該タイミングにおける脳波信号を抽出することで、注意箇所を視認した際の特定作業者の脳波信号を表す脳波信号データを取得する。すなわち、演算回路２１は、特定作業者が所定事象を見た際に誘発される脳波信号を含む脳波信号データを取得する。

【0078】

ステップＳ７７において、演算回路２１は、取得した複数の脳波信号を加算平均して、所定環境基準波形を作成する。演算回路２１は、作成した所定環境基準波形を外部環境情報（すなわち作業現場の気温情報及び湿度情報）及び特定作業者の体温情報と関連付けて記憶装置２２に格納する。気温情報、湿度情報及び体温情報は、作業時間の平均値であってもよいし、最大値及び最小値であってもよい。また、気温情報、湿度情報及び体温情報は、上記の注意箇所を視認したタイミングでの値を用いてもよい。

【0079】

ステップＳ７８において、演算回路２１は、あらかじめ作成した基準波形と、所定環境基準波形とを比較する。演算回路２１は、基準波形と所定環境基準波形との間で差がないと判断すると（Ｓ７８：ＮＯ）、ステップＳ７９において、当該気温情報、湿度情報及び体温情報では判断能力に影響がないことを記憶装置に記憶する。演算回路２１は、基準波形と所定環境基準波形との間で差があると判断すると（Ｓ７８：ＹＥＳ）、ステップＳ８０において、当該気温情報、湿度情報及び体温情報において判断能力に影響があることを記憶装置に記憶する。

【0080】

演算回路２１は、例えば、所定環境基準波形の電位があらかじめ設定された所定範囲内である場合、基準波形と所定環境基準波形との間で差がないと判断してもよい。所定範囲は、例えば、基準波形を作成する際に用いられた脳波信号（すなわち、特定脳波信号）における電位の最大値と最小値によって定められてもよい。基準波形と所定環境基準波形との間の差の有無の判断方法はこれに限定されない。例えば、演算回路２１は、各波形に関する電位の平均値または中央値の差に基づいて判断してもよいし、各波形の間でＣＣＦまたはＤＴＷを用いて算出した値に基づいて判断してもよい。演算回路２１は、ステップＳ４３と同様に判断してもよい。

【0081】

演算回路２１は、上記したように処理することで、所定の環境において特定作業者の判断能力に影響があるか否かを判断することができる。様々な環境において上記処理を行うことで、演算回路２１は、様々な環境において特定作業者の判断能力に影響があるか否かを判断することができる。例えば、演算回路２１は、所定の環境において特定作業者の判断能力に影響があるか否かを、判断能力情報として記憶装置に格納し得る。

【0082】

図１２は、実施形態２に係る情報処理方法を実行するための、特定作業者が装着し得る環境検出デバイス５０のブロック図を示す。環境検出デバイス５０は、演算回路５１と、記憶装置５２と、通信回路５３と、温度センサ５４と、湿度センサ５５と、体温センサ５６と、報知装置５７と、を備える。環境検出デバイス５０の構成は、上記に限定されない。例えば、環境検出デバイス５０は、振動センサ、又は音センサ等、ウェアラブルデバイス１０Ｂが備え得る任意のセンサを備えることができる。

【0083】

演算回路５１は、演算回路２１と同様に構成され得、環境検出デバイス５０における処理を実行する。記憶装置５２は、記憶装置２２と同様に構成され得、判断能力情報を格納する。温度センサ５４は、周囲の気温を検出でき、当該気温を気温データとして演算回路５１に伝達する。湿度センサ５５は、周囲の湿度を検出でき、当該湿度を湿度データとして演算回路５１に伝達する。体温センサ５６は、特定作業者の体温を検出でき、当該体温を体温データとして演算回路５１に伝達する。報知装置５７は、演算回路５１からの指示に基づいて特定作業者に所定の情報を報知することができる。報知装置５７は、例えば、音を特定作業者に報知できるスピーカである。

【0084】

演算回路５１は、記憶装置５２に格納された判断能力情報に基づいて、温度センサ５４、湿度センサ５５及び体温センサ５６から取得した各データにおいて特定作業者の判断能力に影響があるか否かを判断する。特定作業者の判断能力が低下し得ると判断した場合、演算回路５１は、現在の環境では特定作業者の判断能力が低下し得ることを報知装置５７を用いて特定作業者に報知する。したがって、環境検出デバイス５０を装着した特定作業者は、作業現場の環境において自身の判断能力が低下している可能性があることを把握することができる。

【0085】

例えば、湿度が高く、且つ気温及び特定作業者の体温が低い状態において判断能力が低下し得る場合、演算回路５１は、各センサ５４～５６から取得したデータが所定の閾値以下のとき、特定作業者に判断能力が低下し得ることを報知してもよい。この場合、所定の閾値は、温度データ及び体温データにおいては温度であり、湿度データにおいては湿度である。また、各センサ５４～５６から取得したデータに基づいて特定作業者の判断能力が低下しないと判断したとき、演算回路４１は、現在の環境では特定作業者の判断能力が低下しないことを報知装置５７を用いて特定作業者に報知してもよい。

【0086】

演算回路５１は、気温データ、湿度データおよび体温データのいずれかのみに基づいて、特定作業者の判断能力に影響があるか否かを判断してもよい。例えば、気温が低い場合に特定作業者の判断能力が低下し得る場合、演算回路５１は、気温データのみに基づいて現在の環境では特定作業者の判断能力が低下し得ることを報知装置５７を用いて特定作業者に報知してもよい。

【0087】

上記したように環境検出デバイス５０は、ウェアラブルデバイス１０Ｂが備え得る任意のセンサを備えることができる。したがって、例えばウェアラブルデバイス１０Ｂ及び環境検出デバイス５０が振動センサを備える場合、演算回路５１は、振動の発生の有無に基づいて、特定作業者の判断能力が低下し得ることを報知装置５７を用いて特定作業者に報知し得る。

【0088】

（変形例）
上記した実施形態に係る方法は、特定作業者が作業現場に移動し、作業現場での特定作業者の視野の一部として画像データを取得したがこれに限定されない。例えば、特定作業者が作業現場に移動するのではなく、建物の中でコンピュータのディスプレイに作業現場に相当する画像を表示し、演算回路２１は、当該画像を用いて特定作業者が注意箇所と感じる位置を特定してもよい。また、演算回路２１は、当該画像を用いて特定作業者が注意箇所を視認した際に生じる脳波信号の基準波形を作成してもよい。

【0089】

上記した実施形態において、特定作業者は、視野カメラ１４、視線特定装置１５及び脳波測定装置１６を有するウェアラブルデバイス１０を装着している。しかし、特定作業者に装着される装置は、これに限定されない。例えば、特定作業者は、ウェアラブルデバイス１０の代わりに、視野カメラ１４、視線特定装置１５及び脳波測定装置１６を備えてもよい。この場合、制御装置２０は、視野カメラ１４、視線特定装置１５及び脳波測定装置１６それぞれから画像データ、視線データ及び脳波信号データを取得する。

【0090】

上記した実施形態において、ウェアラブルデバイス１０で取得されたデータは、制御装置２０に伝達され、制御装置２０の演算回路２１が基準波形の作成及び注意箇所の特定等の処理を行っているがこれに限定されない。例えば、ウェアラブルデバイス１０は、通信回路２４を介して各データをサーバ装置に伝達し、サーバ装置において各処理を行ってもよい。

【0091】

上記した実施形態において、演算回路５１は、作業者の作業時における気温等の環境情報または体温等のバイタル情報に基づいて、作業者の判断能力の低下を作業者に報知したが、環境検出デバイス５０による処理はこれに限定されない。例えば、環境検出デバイス５０がさらに脳波測定装置を備え、演算回路５１は、環境情報およびバイタル情報に加え、脳波信号を用いて作業者の判断能力の低下を判断してもよい。具体的には、体温センサ５６が検出した体温が特定作業者の判断能力が低下し得る値であり、かつ、取得された脳波信号の電位の値が所定範囲外であった場合、演算回路５１は、判断能力が低下し得ることを報知装置５７により特定作業者に報知してもよい。所定範囲は、上記したように、基準波形を作成する際に用いられた脳波信号（すなわち、特定脳波信号）における電位の最大値と最小値によって定められ得るがこれに限定されない。その後、体温センサ５６によって検出された体温が、判断能力が低下しないと判断される値に変化し、取得される脳波信号の電位の値が所定範囲内になった場合、演算回路５１は、判断能力の低下が解消されたことを報知装置５７により特定作業者に報知してもよい。

【0092】

（態様のまとめ）
以上の説明から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。

【0093】

（態様１）作業者が注意して視認した位置を特定する情報処理方法は、所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得するステップと、所定時刻における作業者の視線方向を視線データとして取得するステップと、所定時刻を含む時区間の作業者の脳波信号を脳波信号データとして取得するステップと、取得した脳波信号データから所定波形を検出するステップと、画像データ及び視線データに基づいて所定波形が発生したときの作業者の視認位置を決定するステップと、を含む。これにより、情報処理方法は、作業者から計測した、所定時刻を含む時区間における作業者の脳波信号に基づいて、作業者が注意して視認した位置を特定することができる。

【0094】

（態様２）態様１の情報処理方法において、所定波形を検出するステップは、脳波信号の一部が基準波形に対応する波形である場合に所定波形を検出してもよい。これにより、情報処理方法は、脳波信号に基準波形に対応する波形が含まれていると、所定波形を検出できる。したがって、情報処理方法は、脳波信号に、基準波形に対応する波形が発生すると所定波形を検出し、作業者が視認した位置を決定することができる。

【0095】

（態様３）態様２の情報処理方法において、基準波形は、作業者が所定事象を見た際に誘発される、予め測定された特定脳波信号に基づいて定められてもよい。これにより、情報処理方法は、作業者が所定事象を見た際に誘発される特定脳波信号に基づいて、所定波形を検出し、作業者が視認した位置を決定することができる。

【0096】

（態様４）態様３の情報処理方法において、所定事象は、作業者の注意を引いた事象を表してもよい。これにより、情報処理方法は、作業者が特定の事象を視認して、作業者が注意を引かれた際に誘発される特定脳波信号に基づいて、所定波形を検出し、作業者が視認した位置を決定できる。したがって、情報処理方法は、作業者が注意を引かれた事象を視認した際の視認位置を決定することができる。

【0097】

（態様５）態様１から態様４のいずれかの情報処理方法は、視認位置を作業者とは異なる別の作業者に伝達するステップをさらに含んでもよい。これにより、情報処理方法は、特定の作業者が注意して視認した位置を別の作業者に伝えることができる。したがって、特定の作業者が注意して視認する位置を別の作業者が知ることができ、情報処理方法は、特定の作業者から別の作業者に効率的にノウハウを伝授することができる。

【0098】

（態様６）態様１から態様５のいずれかの情報処理方法は、画像上に視認位置を表す映像効果を付与するステップをさらに含んでもよい。これにより、情報処理方法は、作業者が注意して視認した位置を表す画像を作成することができる。したがって、ユーザが当該画像を参照することで、情報処理方法は、容易に効率的に当該視認位置をユーザに伝達することができる。

【0099】

（態様７）システム（１）は、所定時刻における作業者の視野の少なくとも一部を表す画像を画像データとして取得する撮像装置（１４）と、所定時刻における作業者の視線方向を視線データとして取得する視線特定装置（１５）と、所定時刻を含む時区間の作業者の脳波信号を脳波信号データとして取得する脳波測定装置（１６）と、撮像装置（１４）から取得した画像データ、視線特定装置（１５）から取得した視線データ、及び脳波測定装置（１６）から取得した脳波信号データを格納する記憶装置（２２）、並びに脳波信号データから所定波形を検出し、画像データ及び視線データに基づいて所定波形が発生したときの作業者の視認位置を決定する演算回路（２１）を有する制御装置（２０）と、を備える。これにより、システム（１）は、作業者から計測した、所定時刻を含む時区間における作業者の脳波信号に基づいて、作業者が注意して視認した位置を特定することができる。

【0100】

（態様８）態様７のシステム（１）は、画像データ、及び視認位置を表す視認位置データに基づいて作成された付与画像データを表示する表示装置（３０）をさらに備えてもよい。これにより、システム（１）は、特定した視認位置を表示装置（３０）に表示させることができ、当該視認位置を任意のユーザに伝達することができる。

【0101】

本開示に記載のシステムは、ハードウェア資源、例えば、プロセッサ、メモリ、と、ソフトウェア資源（コンピュータプログラム）との協働などによって実現される。

【産業上の利用可能性】

【0102】

本開示によれば、作業者から計測した脳波信号に基づいて、作業者が注意して視認した位置を特定する情報処理方法及びシステムを提供することができるため、この種の産業分野において好適に利用できる。

【符号の説明】

【0103】

１ システム
１０ ウェアラブルデバイス
１１ 演算回路
１２ 記憶装置
１３ 通信回路
１４ 視野カメラ
１５ 視線特定装置
１６ 脳波測定装置
１７ 温度センサ
１８ 湿度センサ
１９ 体温センサ
２０ 制御装置
２１ 演算回路
２２ 記憶装置
２３ 入出力装置
２４ 通信回路
３０ 表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】