特開 2023-2822 情報処理方法、情報処理装置、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023002822

(43)【公開日】2023-01-10

(54)【発明の名称】情報処理方法、情報処理装置、および情報処理システム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20221227BHJP

   A61B 5/16 20060101ALI20221227BHJP

   A61B 5/1455 20060101ALI20221227BHJP

【ＦＩ】

A61B10/00 E

A61B5/16 110

A61B5/1455

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022176080

(22)【出願日】2022-11-02

(62)【分割の表示】P 2018079949の分割

【原出願日】2018-04-18

(31)【優先権主張番号】P 2017123223

(32)【優先日】2017-06-23

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100101683

【弁理士】

【氏名又は名称】奥田 誠司

(74)【代理人】

【識別番号】100155000

【弁理士】

【氏名又は名称】喜多 修市

(74)【代理人】

【識別番号】100188813

【弁理士】

【氏名又は名称】川喜田 徹

(74)【代理人】

【識別番号】100184985

【弁理士】

【氏名又は名称】田中 悠

(74)【代理人】

【識別番号】100202197

【弁理士】

【氏名又は名称】村瀬 成康

(74)【代理人】

【識別番号】100218981

【弁理士】

【氏名又は名称】武田 寛之

(72)【発明者】

【氏名】柳田 真明

(72)【発明者】

【氏名】鈴木 雅登

(57)【要約】

【課題】被検者の心理状態などの診断をより効果的に行う。
【解決手段】情報処理方法は、第１のカメラから、被検者の顔の少なくとも一部を示す第１動画像を取得することと、光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第２動画像を生成することと、前記第１動画像と、前記第２動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させることと、を含み、前記ディスプレイに表示される前記第２動画像のフレームレートは、前記ディスプレイに表示される前記第１動画像のフレームレートよりも低い。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１のカメラから、被検者の顔の少なくとも一部を示す第１動画像を取得することと、
光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第２動画像を生成することと、
前記第１動画像と、前記第２動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させることと、
を含み、
前記ディスプレイに表示される前記第２動画像のフレームレートは、前記ディスプレイに表示される前記第１動画像のフレームレートよりも低い、
情報処理方法。

【請求項2】

前記第１動画像は、前記被検者の表情の変化、前記被検者の視線の変化、および前記被
検者の顔色の変化からなる群から選択される少なくとも１つを示す、
請求項１に記載の情報処理方法。

【請求項3】

前記出力画像は、前記第１動画像と前記第２動画像とが合成されることにより得られる、
請求項１に記載の情報処理方法。

【請求項4】

前記第２動画像に基づいて、前記被検者の心理状態および前記被検者が病気である確率からなる群から選択される少なくとも１つの推定を行うことと、
をさらに含む、
請求項１に記載の情報処理方法。

【請求項5】

前記第２動画像は、前記被検者の被検部における前記脳血流の２次元濃度分布を示す画像を含み、
前記ディスプレイに前記出力画像を表示させることは、前記２次元濃度分布を示す画像と、前記脳血流の前記経時変化を示すグラフをともに表示させることを含む、
請求項１に記載の情報処理方法。

【請求項6】

請求項１に記載の情報処理方法をコンピュータに実行させるプログラム。

【請求項7】

第１のカメラと、
光検出器と、
処理回路と、
を備え、
前記処理回路は、
前記第１のカメラから、被検者の顔の少なくとも一部を示す第１動画像を取得し、
前記光検出器によって検出された前記被検者の頭部からの光の情報に基づき、前記被検者の脳血流の経時変化を示す第２動画像を生成し、
前記第１動画像と、前記第２動画像とを含む出力画像を、ネットワークを介してディスプレイに表示させるために出力し、
出力される前記第２動画像のフレームレートは、出力される前記第１動画像のフレームレートよりも低い、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、被検者の生体情報を利用して診断を行うための情報処理方法、情報処理装置、および情報処理システムに関する。

【背景技術】

【0002】

近年、主に都市部ではない地域において、病院および医師が不足している。対策として、ネットワークを介した遠隔診断が有望であると考えられている。

【0003】

精神疾患の診断では、医師は、問診によって、患者の表情、視線、および顔色などに基づいて病気の診断を行う。他方、診断の補助ツールとして、近赤外分光法（Ｎｅａｒ Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ：ＮＩＲＳ）を利用した装置（以下、「ＮＩＲＳ装置」と称することがある）が用いられている。ＮＩＲＳ装置は、被検者の被検部に近赤外線などの光を照射し、被検部から戻ってきた光を検出することにより、被検部の血流の情報を取得する。

【0004】

ＮＩＲＳ装置を用いることにより、被検者の脳血流の変化を非侵襲に検出することができる。ＮＩＲＳを利用した診断は、例えば以下のようにして行われる。まず、患者は、ＮＩＲＳ装置を装着した状態で、診断用タスクを実施する。当該タスクの前後において、ＮＩＲＳ装置を用いて、脳の血液中を伝搬した光の強度分布および経時変化などが計測される。計測されたそれらの情報に基づいて、医師は、被検者の精神疾患の有無および種類を診断する。

【0005】

特許文献１は、ＮＩＲＳ装置を利用した脳活動状態の解析方法の一例を開示している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４－０２３８６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本開示は、被検者の心理状態などの診断を、従来よりも効果的に行うための新規な技術を提供する。

【課題を解決するための手段】

【0008】

本開示の一態様に係る情報処理方法は、第１のコンピュータに接続または内蔵される第１のカメラから、被検者の顔の少なくとも一部の画像を示す第１の画像データを取得することと、前記第１のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第１の画像データに基づく第１の画像と、前記脳血流情報に基づく第２の画像とを含む出力画像を、前記第１のコンピュータに遠隔ネットワークを介して接続される第２のコンピュータに接続または内蔵されるディスプレイに表示させることと、を含み、前記第１の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第２の画像は前記脳血流情報の経時変化を示す画像である。

【0009】

本開示の包括的または具体的な態様は、デバイス、システム、方法、またはこれらの任意の組み合わせによって実現されてもよい。

【発明の効果】

【0010】

本開示の一態様によれば、例えば医師と患者とが遠く離れた場所にいる場合であっても、より効果的に診断を行うことが可能になる。

【図面の簡単な説明】

【0011】

【図1】図１は、本開示の例示的な実施形態における情報処理システムの構成を模式的に示すブロック図である。

【図2】図２は、検出装置を用いて、被検者の被検部における脳血流情報を検出している様子を模式的に示す図である。

【図3】図３は、検出装置が被検者コンピュータに内蔵され、ディスプレイが診断者コンピュータに内蔵された構成の例を示すブロック図である。

【図4】図４は、被検者コンピュータ、検出装置、およびカメラの構成の一例を模式的に示す図である。

【図5】図５は、被検者コンピュータ、検出装置、およびカメラの構成の他の例を模式的に示す図である。

【図6】図６は、図５に示す被検者コンピュータを用いた情報処理システムの構成例を示すブロック図である。

【図7】図７は、図６の変形例を示すブロック図である。

【図8】図８は、ヘッドマウント装置を用いた例を示す図である。

【図9】図９は、ヘッドマウント装置の構成例を模式的に示す図である。

【図10】図１０は、本開示の例示的な実施形態における遠隔診断での各装置の動作の概要を示す図である。

【図11】図１１は、本開示の例示的な実施形態における遠隔診断の流れの一例を示すフローチャートである。

【図12A】図１２Ａは、診断者コンピュータにおけるディスプレイへの表示例を模式的に示す図である。

【図12B】図１２Ｂは、図１２Ａに示す右上の画像の変形例を模式的に示す図である。

【図13】図１３は、診断者コンピュータにおけるディスプレイへの他の表示例を模式的に示す図である。

【図14】図１４は、診断者コンピュータにおけるディスプレイへのさらに他の表示例を模式的に示す図である。

【発明を実施するための形態】

【0012】

従来の問診またはＮＩＲＳ装置を用いた診断は、診断者（例えば医師）と被検者（例えば患者）とが対面で行う必要があった。しかし、前述したように、近年、病院または医師の不足により、遠隔での医療診断が求められている。本開示の実施形態は、遠隔での診断に特に効果的な情報処理方法を提供する。なお、本開示の技術は、診断者と被検者とが近くにいる場合でも利用することができる。

【0013】

本開示の実施形態は、例えば以下の情報処理方法、情報処理装置、および情報処理システムを含む。

【0014】

［第１の項目］
第１の項目に係る情報処理方法は、第１のコンピュータに接続または内蔵される第１のカメラから、被検者の顔の少なくとも一部の画像を示す第１の画像データを取得することと、前記第１のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第１の画像データに基づく第１の画像と、前記脳血流情報に基づく第２の画像とを含む出力画像を、前記第１のコンピュータに遠隔ネットワークを介して接続される第２のコンピュータに接続
または内蔵されるディスプレイに表示させることと、を含む。前記第１の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第２の画像は前記脳血流情報の経時変化を示す画像である。

【0015】

この情報処理方法では、被検者の顔の動画像と、被検者の脳血流情報の経時変化とを含む出力画像が、遠隔ネットワークを介して、第１のコンピュータに接続される第２のコンピュータのディスプレイに表示される。これにより、第２のコンピュータを操作する診断者は、被検者を効果的に遠隔診断することができる。

【0016】

［第２の項目］
第１の項目に係る情報処理方法において、前記第１の画像が、前記被検者の表情の変化、前記被検者の視線の変化、および前記被検者の顔色の変化からなる群から選択される少なくとも１つを示していてもよい。

【0017】

これにより、診断者は、被検者を効果的に遠隔診断することができる。

【0018】

［第３の項目］
第１または第２の項目に係る情報処理方法において、前記第２の画像が、数値化された前記脳血流情報の前記経時変化を示すグラフであってもよい。

【0019】

これにより、診断者は、被検者を効果的に遠隔診断することができる。

【0020】

［第４の項目］
第３の項目に係る情報処理方法は、前記第１のコンピュータに接続または内蔵される出力装置に、前記被検者により行われるタスクを示すタスク情報を出力させることをさらに含んでいてもよい。前記第２の画像は、前記脳血流情報の前記経時変化と、前記タスク情報が出力された期間との対応関係を示す画像を含んでいてもよい。

【0021】

これにより、タスクの実施中における被検者の脳血流情報の経時変化が明確になる。

【0022】

［第５の項目］
第４の項目に係る情報処理方法は、前記第１のカメラからの第２の画像データ、前記第１のコンピュータに接続または内蔵された第２のカメラからの第３の画像データ、および前記第１のコンピュータに接続または内蔵されるマイクからの音声データからなる群から選択される少なくとも１つのデータから基準を超える変化を検出すること、をさらに含んでいてもよい。前記第２の画像は、前記脳血流情報の前記経時変化と、前記少なくとも１つのデータから前記変化を検出した期間との対応関係を示す画像を含んでいてもよい。

【0023】

これにより、イベントが被検者の脳血流情報の経時変化に及ぼす影響が明確になる。

【0024】

［第６の項目］
第３に係る情報処理方法は、前記脳血流情報のうち、前記被検者の脳の少なくとも一つの特定領域に関する部分を選択することと、前記部分をグラフ化することと、をさらに含んでいてもよい。

【0025】

脳血流情報の一部をグラフ化することにより、被検者の脳血流情報を広範囲に調べる必要がない。その結果、診断者は、被検者を効果的に遠隔診断することができる。

【0026】

［第７の項目］
第６の項目に係る情報処理方法は、前記ディスプレイに、前記特定領域を決定するため
の項目を表示させることと、前記第２のコンピュータに接続または内蔵される入力装置から、前記項目に関する入力情報を取得することと、をさらに含んでいてもよい。前記特定領域は、前記入力情報に応じて決定されてもよい。

【0027】

この情報処理方法では、統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、当該脳の領域を設定することにより、特定領域を容易に決定することができる。

【0028】

［第８の項目］
第６の項目に係る情報処理方法は、前記第１のコンピュータに接続または内蔵される出力装置に、前記被検者により行われる予備タスクを示す予備タスク情報を出力させること、をさらに含んでいてもよい。前記特定領域は、前記予備タスク情報に対する前記脳血流情報の変化に応じて決定されてもよい。

【0029】

この決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。

【0030】

［第９の項目］
第１の項目に係る情報処理方法は、前記脳血流情報のうち、前記被検者の脳の少なくとも一つの特定領域に関する部分を選択することと、前記部分を前記第１のコンピュータから前記第２のコンピュータへと前記遠隔ネットワークを介して送信することと、を含んでいてもよい。

【0031】

これにより、第１のコンピュータから第２のコンピュータへの通信量を削減することができる。その結果、通信の遅延を抑制することができる。

【0032】

［第１０の項目］
第９の項目に係る情報処理方法は、前記ディスプレイに、前記特定領域を決定するための項目を表示させることと、前記第２のコンピュータに接続または内蔵される入力装置から、前記項目に関する入力情報を取得することと、をさらに含んでいてもよい。前記特定領域は、前記入力情報に応じて決定されてもよい。

【0033】

この情報処理方法では、統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、当該脳の領域を設定することにより、特定領域を容易に決定することができる。

【0034】

［第１１の項目］
第９の項目に係る情報処理方法は、前記第１のコンピュータに接続または内蔵される出力装置に、前記被検者により行われる予備タスクを示す予備タスク情報を出力させること、をさらに含んでいてもよい。前記特定領域は、前記予備タスク情報に対する前記脳血流情報の変化に応じて決定されてもよい。

【0035】

この決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。

【0036】

［第１２の項目］
第１から第３の項目のいずれかに係る情報処理方法において、前記出力画像が、前記第１の画像と第２の画像とが合成されることにより得られてもよい。

【0037】

これにより、診断者は、被検者の顔と脳血流情報との両方を見ながら効果的に遠隔診断
することができる。

【0038】

［第１３の項目］
第１２の項目に係る情報処理方法において、前記検出装置が、前記被検者の頭部における被検部に出射光を照射する少なくとも１つの光源と、前記被検部から戻った反射光を検出するイメージセンサと、前記イメージセンサによって検出された前記反射光の情報から、前記被検部における前記脳血流情報を生成して出力する処理回路と、を備えてもよい。前記少なくとも１つの光源は、前記被検部における複数の領域を前記出射光で照射してもよい。前記イメージセンサは、前記複数の領域からの前記反射光の強度分布を示す信号を出力してもよい。前記処理回路は、前記イメージセンサから出力された前記信号に基づいて、前記脳血流情報を生成して出力してもよい。前記第２の画像は、前記複数の領域における前記脳血流情報の前記経時変化を示してもよい。

【0039】

この情報処理方法では、イメージセンサによって検出された被検者の脳血流の２次元分布が、被検者の顔の動画像に合成されて表示される。これにより、診断者は、被検者を効果的に遠隔診断することができる。

【0040】

［第１４の項目］
第１３の項目に係る情報処理方法において、前記少なくとも１つの光源が、波長が６５０ｎｍ以上８０５ｎｍ未満である第１の出射光を前記被検部に照射する第１の光源と、波長が８０５ｎｍより長く９５０ｎｍ以下である第２の出射光を前記被検部に照射する第２の光源と、を含んでいてもよい。前記イメージセンサは、前記第１の出射光の照射に起因して前記被検部から戻った第１の反射光の量に応じた第１の電気信号、および前記第２の出射光の照射に起因して前記被検部から戻った第２の反射光の量に応じた第２の電気信号を出力してもよい。前記処理回路は、前記第１の電気信号および前記第２の電気信号に基づいて、前記被検部における脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を示す情報を前記脳血流情報として生成してもよい。前記第２の画像は、前記被検部における前記酸素化ヘモグロビンおよび前記脱酸素化ヘモグロビンからなる群から選択される少なくとも一方の濃度の経時変化を示す情報を含んでいてもよい。

【0041】

この情報処理方法では、２つの光源により、被検者の脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンを得ることができる。これにより、診断者は、被検者の脳活動の状態を詳細に診断することができる。

【0042】

［第１５の項目］
第１から第１４の項目のいずれかに係る情報処理方法において、前記第２のコンピュータは、前記診断者の操作に応答して、前記ディスプレイに表示される画像を切り替えてもよい。第１から第１４の項目のいずれかに係る情報処理方法は、前記第１の画像を前記ディスプレイに表示させることと、前記操作に応答して、前記第１の画像に加えて、または前記第１の画像に代えて、前記第２の画像を前記ディスプレイに表示させることと、をさらに含んでいてもよい。

【0043】

この情報処理方法では、診断者の操作により、被検者の顔画像に加えて、または被検者の顔画像に代えて、第２の画像をディスプレイに表示させることができる。これにより、診断者は、被検者を効果的に遠隔診断することができる。

【0044】

［第１６の項目］
第１から第１５の項目のいずれかに係る情報処理方法において、前記検出装置が、前記第１のコンピュータに接続され、かつヘッドマウント装置に内蔵されていてもよい。

【0045】

これにより、屋外で使用する場合でも、環境光の影響を小さくすることができる。

【0046】

［第１７の項目］
第１から第１６の項目のいずれかに係る情報処理方法は、前記被検者の心理状態および前記被検者が病気である確率からなる群から選択される少なくとも１つの推定を行うことと、前記推定の結果を前記ディスプレイに表示させることと、をさらに含んでいてもよい。

【0047】

これにより、診断者は、被検者を効果的に遠隔診断することができる。

【0048】

［第１８の項目］
第１８の項目に係る情報処理装置は、第１のコンピュータと第２のコンピュータとにネットワークを介して接続される情報処理装置であって、処理回路と、コンピュータプログラムを格納したメモリと、を備える。前記コンピュータプログラムは、前記処理回路に、前記第１のコンピュータに接続または内蔵されるカメラから、被検者の顔の少なくとも一部の画像を示す第１の画像データを取得することと、前記第１のコンピュータに接続または内蔵され、前記被検者の脳血流の状態を示す脳血流情報を検出する検出装置から、前記脳血流情報を取得することと、前記第１の画像データに基づく第１の画像と、前記脳血流情報に基づく第２の画像とを含む出力画像を、前記第１のコンピュータに遠隔ネットワークを介して接続される前記第２のコンピュータに接続または内蔵されるディスプレイに表示させることと、を実行させる。前記第１の画像は前記被検者の前記顔の前記少なくとも一部を含む動画像であり、前記第２の画像は前記脳血流情報の経時変化を示す画像である。

【0049】

これにより、第２のコンピュータを操作する診断者は、効果的に被検者を遠隔診断することができる。

【0050】

［第１９の項目］
第１９の項目に係る情報処理システムは、第１８の項目に係る情報処理装置と、前記ディスプレイと、を備える。

【0051】

この情報処理システムでは、第１８の項目に係る情報処理装置と、ディスプレイとにより、診断者は、効果的に被検者を遠隔診断することができる。

【0052】

［第２０の項目］
第１９の項目に係る情報処理システムは、前記検出装置と、前記カメラと、をさらに備えていてもよい。

【0053】

この情報処理システムでは、第１９の項目に係る情報処理装置と、出力装置と、カメラとにより、診断者は、効果的に被検者を遠隔診断することができる。

【0054】

本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路（ＩＣ）、又はＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む一つ又は複数の電子回路によって実行されてもよい。ＬＳＩ又はＩＣは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、若しくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。 ＬＳＩの製造後にプ
ログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、又はＬＳＩ内部の接合関係の再構成又はＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

【0055】

さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウエアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていても良い。

【0056】

以下、本開示の実施形態をより具体的に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複する説明を省略することがある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。以下の説明において、同一または類似する構成要素については、同じ参照符号を付している。

【0057】

（実施形態）
本実施形態は、診断者（例えば医師）が、例えば、被検者（例えば患者）の心理状態を遠隔診断するための情報処理方法、情報処理装置、および情報処理システムに関する。本実施形態では、診断者と被検者とは、遠く離れた２つの場所（例えば、病院と被検者の自宅）にいるものとする。当該２つの場所は、遠隔ネットワークによって接続される。

【0058】

「遠隔ネットワーク」とは、離れた２拠点を接続する情報ネットワークを意味する。遠隔ネットワークは、例えば、インターネットまたは専用線などの広域ネットワークであり、ローカルエリアネットワーク（ＬＡＮ）のみからなるネットワークを含まない。遠隔ネットワークとして、バーチャルプライベートネットワーク（ＶＰＮ）を利用してもよい。

【0059】

本明細書において「心理状態」とは、気分（例えば、快、不快）、感情（例えば、安心、不安、悲しみ、憤り）、健康状態（例えば、元気、倦怠）、温度感覚（例えば、暑い、寒い、蒸し暑い）、病状（例えば、躁、鬱、統合失調症）、またはこれらに派生する脳活動の程度を表す指標（例えば、熟練度、習熟度、および集中度）を意味する。心理状態は、脳血流量または血液内成分（例えばヘモグロビン）の変化に基づいて推定することができる。例えば、人間の心理状態の変化に応じて神経細胞の活動が変化すると、脳血流量または血液内の成分が変化する。したがって、ＮＩＲＳ装置などの検出装置を用いて脳血流量または血液内成分の変化などの生体情報を計測することにより、被検者の心理状態を推定することができる。

【0060】

［構成］
図１は、本実施形態における情報処理システム１００の構成を模式的に示すブロック図である。情報処理システム１００は、検出装置１０と、カメラ２０と、ディスプレイ３０と、情報処理装置４０とを備える。検出装置１０およびカメラ２０は、被検者側の場所に配置されている。ディスプレイ３０は、診断者側の場所に配置されている。情報処理装置４０は、検出装置１０と、カメラ２０と、ディスプレイ３０とに、遠隔ネットワークを介して接続されている。情報処理装置４０は、例えばインターネット上のサーバコンピュー
タであり得る。なお、情報処理装置４０が、遠隔ネットワークではなく、例えばＬＡＮまたは単なるケーブルから構成されるネットワークを介して、検出装置１０、カメラ２０、またはディスプレイ３０と接続された場合であっても、本開示の技術を適用することができる。

【0061】

検出装置１０は、例えばＮＩＲＳ装置であり、被検者１の脳血流情報を検出する。検出装置１０は、少なくとも１つの光源１２と、光検出器１４と、処理回路１６とを備えている。カメラ２０は、被検者１を撮影して画像データを出力する。当該画像データは、例えば、被検者１の表情、視線、および顔色の少なくとも１つを示す。情報処理装置４０は、検出装置１０によって検出された脳血流情報に基づいて、被検者１の心理状態を診断するための情報を生成し、ディスプレイ３０に送信する。

【0062】

情報処理装置４０は、処理回路４２と、メモリ４４とを備える。メモリ４４は、コンピュータプログラム４６を格納している。コンピュータプログラム４６は、処理回路４２に、以下の（１）から（４）の処理を実行させる。
（１）カメラ２０から、被検者１の顔の少なくとも一部を含む画像を示す第１の画像データを取得する。
（２）検出装置１０から、被検者１の脳血流情報を取得する。
（３）取得した脳血流情報に基づいて、被検者１の心理状態を診断するための情報を含む第２の画像データを生成する。
（４）第１および第２の画像データに基づく少なくとも１つの画像を、ディスプレイ３０に表示させる。

【0063】

上記（１）および（２）の動作の順序は逆でもよいし、同時であってもよい。

【0064】

上記の（４）の動作において、ディスプレイ３０に表示される画像は、第１の画像データに基づく被検者の顔画像である第１の画像と、第２の画像データに基づく脳血流情報の経時変化を示す画像である第２の画像との組み合わせであり得る。これらの２つの画像を同時に表示してもよいし、異なるタイミングで表示してもよい。あるいは、これらの２つの画像を合成した１つの出力画像を表示してもよい。表示される画像は、静止画像に限らず、動画像であってもよい。動画像の場合、第１の画像は、例えば、被検者１の表情の変化、視線の変化、および顔色の変化からなる群から選択される少なくとも１つを示す。動画像の場合、第２の画像は、数値化された脳血流情報の経時変化を示す画像である。

【0065】

動画像を表示する場合、情報処理装置４０は、上記の（１）から（４）のステップを、例えば一定の時間ごとに繰り返し実行する。当該一定の時間は、動画像のフレームレートに依存する。例えば、３０ｆｐｓのフレームレートの動画像を表示する場合、情報処理装置４０は、１／３０秒ごとに上記（１）から（４）のステップを繰り返し実行する。この周期が十分に短ければ、動画像を介したリアルタイムの遠隔診断が可能になる。繰り返しの周期は、各装置の処理能力およびネットワークの帯域幅に依存する。この周期は、例えば１秒以下、さらには１／３０秒以下に設定され得る。ただし、この範囲に限定されない。第１の画像データに基づく動画像であるカメラ画像と、第２の画像データに基づく動画像である脳血流画像とを、異なるフレームレートで表示してもよい。例えば、カメラ画像を３０ｆｐｓ以上のフレームレートで表示し、脳血流画像を数ｆｐｓ以上のフレームレートで表示してもよい。脳血流の変化は比較的遅いため、脳血流画像のフレームレートは、カメラ画像のフレームレートよりも低くても実用上問題はない。

【0066】

情報処理装置４０における処理回路４２は、例えば中央演算処理装置（ＣＰＵ）または画像処理用演算プロセッサ（ＧＰＵ）などのプロセッサであり得る。プロセッサとコンピュータプログラムとの組み合わせによって、本実施形態における情報処理方法が実現され
る。処理回路４２と、メモリ４４とは、１つの集積回路によって実現されていてもよい。処理回路４２は、例えばデジタルシグナルプロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）によって実現されてもよい。

【0067】

図２は、検出装置１０を用いて、被検者１の被検部２における脳血流情報を検出している様子を模式的に示す図である。図２に示す例では、被検部２は被検者１の額部である。図１および図２には示されていないが、検出装置１０は、光源１２および光検出器１４の動作を同期して制御する制御回路をさらに備え得る。光源１２の個数は用途によって異なる。例えば、被検部２における脈拍数を計測したり、脳血液中の酸素化ヘモグロビンの濃度の時間変化を検出したりする用途では、単一波長の光源１２を使用できる。他方、脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの両方の濃度などの情報を取得する用途では、後述するように、波長の異なる２種類の光をそれぞれ出射する２つの光源が用いられ得る。

【0068】

図２に示すように、光源１２は、被検者１の頭部における被検部２を照射する光を出射する。被検部２に入射した光の一部は、被検者１の脳内組織によって散乱され、被検部２から出てくる。当該光は脳内の血液の状態を示す情報を含む。光検出器１４は、被検部２から到達した当該光を受け、受光量に応じた電気信号を出力する。処理回路１６は、出力された電気信号に基づいて、被検部２における脳血流情報を生成して出力する。

【0069】

「脳血流情報」とは、脳内の血液の状態を示す任意の情報を意味する。脳血流情報は、例えば、光検出器１４から出力される生データそのものであってもよいし、生データを加工して生成されるデータであってもよい。光検出器１４から出力される生データとは、被検部の少なくとも一部の領域からの反射光量を示すデータを意味する。光検出器１４が生データを情報処理装置４０に送信する場合には、処理回路１６は、生データに対して特段の処理を行わず、情報処理装置４０に転送する。処理回路１６は、被検部２の脳血液中の酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの少なくとも一方の濃度を示す情報を脳血流情報として生成してもよい。処理回路１６はまた、脈拍数の情報を脳血流情報として生成してもよい。これらの脳血流情報を生成するための処理は、処理回路１６に代えて、情報処理装置４０における処理回路４２が行ってもよい。

【0070】

光検出器１４は、光源１２から出射される光に感度を有する少なくとも１つの受光素子を有する。典型的には、光検出器１４は、２次元的に複数の受光素子が配列されたイメージセンサである。イメージセンサにおける各受光素子は、光電変換によって受光量に応じた電気信号を出力する。これらの電気信号の集合は、画像信号を構成する。

【0071】

光源１２は、例えば波長が６５０ｎｍ以上９５０ｎｍ以下の光を出射する。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。上記の波長範囲は、生体の窓と呼ばれ、体内での吸収率が低いことで知られている。本実施形態における光源１２は、上記の波長範囲の光を出射するものとして説明するが、他の波長範囲の光を用いてもよい。本明細書では、可視光のみならず赤外線についても、「光」の用語を用いる。

【0072】

波長６５０ｎｍ未満の可視光領域では、血液中の酸素化ヘモグロビン（ＨｂＯ_２）および脱酸素化ヘモグロビン（Ｈｂ）による吸収率が大きく、９５０ｎｍより長い波長域では、水による吸収率が大きい。一方、６５０ｎｍ以上９５０ｎｍ以下の波長範囲内では、酸素化ヘモグロビン、脱酸素化ヘモグロビン、および水による吸収率は比較的低く、酸素化および脱酸素化ヘモグロビンならびに水による散乱率は比較的大きい。波長が８０５ｎｍにおいて、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンによる吸収率が等しくなる。

【0073】

したがって、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの両方の情報を取得する場合には、光源１２として、６５０ｎｍ以上８０５ｎｍ未満である第１の波長の光を出射する第１の光源と、８０５ｎｍより長く９５０ｎｍ以下である第２の波長の光を出射する第２の光源とが利用され得る。例えば、第１の波長は、７５０ｎｍであり、第２の波長は８５０ｎｍであり得る。

【0074】

このように２つの波長の光が用いられる場合、光検出器１４は、それぞれの波長の光を個別に検出するように構成される。例えば、光検出器１４は、少なくとも１つのフォトダイオードと、複数の電荷蓄積部を備え得る。その場合、光源１２は２つの波長の光を異なるタイミングで出射し、それらの光が戻ってくるタイミングに合わせて、２つの波長の光による信号電荷が２つの電荷蓄積部にそれぞれ蓄積される。これにより、２つの波長の光を個別に検出することができる。この場合、光検出器１４は、被検部２から到達した第１の波長の光の量に応じた第１の電気信号、および被検部２から到達した第２の波長の光の量に応じた第２の電気信号を出力する。処理回路１６は、第１および第２の電気信号に基づく所定の演算を行うことにより、被検部２における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を求めることができる。ある例において、処理回路１６は、それらの濃度情報を、脳血流情報として生成する。

【0075】

情報処理装置４０における処理回路４２は、処理回路１６から脳血流情報を取得し、被検者１の心理状態を診断するための情報を含む第２の画像データを生成する。第２の画像データは、例えば、被検部２における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの少なくとも一方の濃度の経時変化を示す情報を含み得る。そのような情報がディスプレイ３０に表示されることにより、診断者は、被検者の脳活動の状態を詳細に診断することができる。

【0076】

検出装置１０およびカメラ２０は、被検者１が操作する第１のコンピュータに接続または内蔵されていてもよい。他方、ディスプレイ３０は、診断者が操作する第２のコンピュータに接続または内蔵されていてもよい。第１および第２のコンピュータは、例えばパーソナルコンピュータ（ＰＣ）、タブレットコンピュータ、またはスマートフォンなどの情報機器であり得る。被検者側の第１のコンピュータおよび診断者側の第２のコンピュータは、いずれも通信機能を有し、遠隔ネットワークを介して互いに接続され得る。このような態様において、情報処理装置４０は、遠隔ネットワークを介して第１および第２のコンピュータに接続された第３のコンピュータであり得る。あるいは、診断者側の第２のコンピュータが情報処理装置４０として機能してもよい。

【0077】

図３は、検出装置１０が、被検者が操作する第１のコンピュータである被検者コンピュータ５０に内蔵され、ディスプレイ３０が、診断者が操作する第２のコンピュータである診断者コンピュータ６０に内蔵された構成の例を示すブロック図である。図３に示す例では、カメラ２０も被検者コンピュータ５０に内蔵されている。このような構成によれば、被検者コンピュータ５０および診断者コンピュータ６０は、それぞれの通信機能を介して情報処理装置４０に接続される。被検者コンピュータ５０および診断者コンピュータ６０には、遠隔診断を実現するためのアプリケーションソフトウエアがインストールされる。遠隔診断を実施する際、被検者および診断者は、それぞれの被検者コンピュータ５０、診断者コンピュータ６０において所定のアプリケーションを立ち上げ、ビデオ通話を実施する。なお、図１のように被検者コンピュータ５０および診断者コンピュータ６０を設けない構成では、カメラ２０、検出装置１０、およびディスプレイ３０の各々が通信機能を有し、情報処理装置４０と通信する。

【0078】

被検者コンピュータ５０、検出装置１０、およびカメラ２０の構成には、様々なバリエーションが考えられる。以下、それらのバリエーションのいくつかの例を説明する。

【0079】

図４は、被検者コンピュータ５０、検出装置１０、およびカメラ２０の構成の一例を模式的に示す図である。図４に示す例では、被検者コンピュータ５０が、検出装置１０およびカメラ２０を内蔵している。カメラ２０によって撮影された被検者１の顔画像が被検者コンピュータ５０のディスプレイに表示される。この顔画像は、診断者コンピュータ６０のディスプレイ３０に表示される画像と同じものである。これにより、被検者１は、診断者コンピュータ６０のディスプレイ３０に表示される自身の顔画像を確認することができる。なお、被検者１と診断者とが通話している期間は、被検者コンピュータ５０に表示される被検者１の顔画像を、診断者の顔画像へと切り替えてもよい。診断者の顔画像は、例えば診断者コンピュータ６０に設けられたカメラ（図示せず）により撮影される。図４に示す例では、検出装置１０およびカメラ２０が、被検者コンピュータ５０に内蔵され、一体化されている。このため、被検者コンピュータ５０は小型で持ち運びが容易である。被検者は、キーボードまたはマウスなどのユーザインターフェースを用いて、検出装置１０、カメラ２０、および被検者コンピュータ５０を操作することができる。図４に示す例では、被検者コンピュータ５０の一例としてノートＰＣが示されているが、被検者コンピュータ５０はデスクトップＰＣであってもよい。また、ＰＣに代えて、タブレットまたはスマートフォンを用いてもよい。

【0080】

図５は、被検者コンピュータ５０、検出装置１０、およびカメラ２０の構成の他の例を模式的に示す図である。図５に示す例では、検出装置１０は、カメラ２０が内蔵された被検者コンピュータ５０に接続されて使用される外部デバイスである。検出装置１０と被検者コンピュータ５０との接続は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの公知の規格に準拠したケーブルによって実現される。検出装置１０は外付け型の機器であることから、既存の被検者コンピュータ５０に実行ソフトウエアを追加するだけで実現可能である。また、検出装置１０だけを持ち運ぶことができるという利点がある。

【0081】

図６は、図５に示す被検者コンピュータ５０を用いた情報処理システムの構成例を示すブロック図である。検出装置１０が被検者コンピュータ５０に接続されているため、処理回路１６は、被検者コンピュータ５０を介して情報処理装置４０の処理回路４２に接続される。このような形態では、情報処理装置４０は、被検者コンピュータ５０すなわち第１のコンピュータを介して検出装置１０から、脳血流情報を取得する。

【0082】

図７は、図６の変形例を示すブロック図である。図７に示す例では、処理回路１６が、検出装置１０ではなく被検者コンピュータ５０に設けられている。光検出器１４から、生データが被検者コンピュータ５０内の処理回路１６（例えばＣＰＵまたはＤＳＰ）に送られる。処理回路１６は、生データに基づいて脳血流情報を生成して情報処理装置４０における処理回路４２に送信する。このような形態では、情報処理装置４０は、被検者コンピュータ５０から脳血流情報を取得する。しかし、被検者コンピュータ５０も検出装置１０の一部であるとみなして、情報処理装置４０が検出装置１０から脳血流情報を取得すると考えてもよい。

【0083】

図８は、さらに他の変形例を示す図である。図８に示す例では、検出装置１０は、ヘッドマウント装置７０に内蔵されている。カメラ２０は、被検者コンピュータ５０に内蔵されている。被検者１は、診断時には、ヘッドマウント装置７０を装着し、所定のアプリケーションを起動する。

【0084】

図９は、ヘッドマウント装置７０の構成を模式的に示す図である。ヘッドマウント装置７０は、装着されたときに被検者１の額部に対向する位置に、検出装置１０を備えている。このような構成によれば、図５に示す例における利点に加えて、以下の利点がある。ま
ず、被検者１の額がヘッドマウント装置７０で覆われることにより、屋外で使用する場合でも、環境光の影響を小さくすることができる。また、ヘッドマウント装置７０がヘッドマウントディスプレイ装置であってもよい。その場合、バーチャルリアリティーによって、遠隔地からでも、その場にいるような自然な診断が可能になる。バーチャルリアリティーの特徴を活かした新しいタスクを実施することもできる。

【0085】

以上の各構成例によれば、情報処理装置４０は、被検者１の顔画像と、脳血流画像とを同時に取得し、ディスプレイ３０にそれらの画像を表示させることができる。これにより、遠隔地からでも、診断者が被検者１を直接診断する場合と同様に、正確な診断が可能になる。

【0086】

［動作］
次に、本実施形態における情報処理システムの動作の例を説明する。以下の説明では、一例として、図７および図８の構成が採用されているものとする。脳血流情報として、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度の情報が生成されるものとする。

【0087】

図１０は、本実施形態における被検者１と診断者との間の遠隔診断における各装置の動作の概要を示すシーケンス図である。まず、被検者コンピュータ５０と診断者コンピュータ６０との間で、遠隔画像通信が確立される。この遠隔画像通信は、例えばＳｋｙｐｅ（登録商標）などのビデオ通話アプリケーションを利用して行うことができる。画像通信が確立すると、被検者コンピュータ５０は、検出装置１０に、初期化および位置補正のための制御信号を送信する。初期化とは、検出装置１０の計測レンジを調整する動作を意味する。位置補正とは、被検者１の被検部の位置が検出装置１０に対して適正な位置になるようにするための調整を意味する。酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度には個人差がある。また、検出装置１０における光源１２および光検出器１４の特性は、温度などの環境条件に依存して変化し得る。このため、被検者コンピュータ５０は、毎回の計測開始前に、脳血流の計測値が一定の範囲内に収まるように、光源１２の出射光量または光検出器１４の露光時間などの各種のパラメータを調整する。さらに、被検者コンピュータ５０は、被検者１の体格または座る位置によって変化する被検部の位置に応じて、計測対象の領域を調整する。被検者コンピュータ５０は、被検者１の被検部の位置が適正でない場合には、例えばディスプレイにその旨のメッセージを表示してもよい。そのようなメッセージが表示された場合、被検者１は、座る位置を調節したり、ヘッドマウント装置７０を再装着したりして、被検部の位置を適正化する。

【0088】

検出装置１０は、被検者１の脳血流を計測し、当該脳血流の生データを被検者コンピュータ５０に送信する。被検者コンピュータ５０の処理回路１６は、検出装置１０から出力された生データを用いた信号処理を行い、当該生データから脳血流のデータを生成する。当該信号処理では、上記の第１および第２の電気信号に基づく所定の演算を行うことにより酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が算出される。信号処理後、被検者コンピュータ５０は、必要な場合には、検出装置１０に、検出領域、露光、および照明強度などの設定を変更する制御信号を送信する。必要な場合は、例えば、被検者１と検出装置１０との距離が、計測前の距離から変化した場合、また環境光の量が、計測前の量から変化した場合などである。

【0089】

信号処理後、被検者コンピュータ５０の処理回路１６は、脳血流の生成データ（即ち脳血流情報）を、ネットワークを介して情報処理装置４０に送信する。情報処理装置４０における処理回路４２は、当該データをメモリ４４に保存する。情報処理装置４０は、その時点までに蓄積されたデータに基づく統計処理により、被検者１の心理状態（例えば、精神疾患の有無および種類）を推定する。例えば、様々な人種、性別、病状ごとに、多数の
被検者の脳血流の経時変化および／または空間分布のデータが、そのときの病状に関連付けられて記録媒体に記録されている。情報処理装置４０の処理回路４２は、今回の被検者１の脳血流のデータと、蓄積された過去のデータとを比較することで、被検者１の状態を推定することができる。この推定結果を診断結果と呼ぶ。情報処理装置４０は、脳血流の生成データである第２の画像データおよび診断結果を示すデータを、診断者コンピュータ６０に送信する。診断者コンピュータ６０は、ディスプレイ３０に脳血流情報および診断結果を示す画像を表示させる。

【0090】

続いて、被検者と診断者との間で行われる遠隔診断の流れを説明する。

【0091】

図１１は、本実施形態における被検者と診断者との間の遠隔診断の流れの一例を示すフローチャートである。

【0092】

まず、被検者コンピュータ５０および検出装置１０は、ベースライン計測を行う（ステップＳ１０１）。ベースライン計測とは、脳血流情報の初期値を取得するための計測をいう。被検者１は、計算などの単純タスクを一定時間（例えば２分間）行う。その間に、検出装置１０が被検者１の額部を光で照射し、その反射光を検出する。処理回路１６は、検出装置１０の光検出器１４から出力された信号に基づき、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度を算出する。

【0093】

次に、処理回路１６は、算出した脳血流のデータを解析し、被検者１の動きまたはノイズの有無を確認する（ステップＳ１０２）。例えば、被検者１の動きは、以下のようにして知ることができる。本来、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度は、逆の経時変化を示す。したがって、酸素化ヘモグロビンの濃度および脱酸素化ヘモグロビンの濃度の両方の経時変化が増加または減少する場合、被検者１が動いていると判断できる。

【0094】

処理回路１６は、解析結果から、当該データが正常であるか否かを判断する（ステップＳ１０３）。当該データが正常でない場合は、ステップＳ１０１からＳ１０３を再度繰り返す。

【0095】

当該データが正常である場合、被検者１および診断者間において遠隔通信を開始する。カメラ２０によって被検者１の顔画像のデータが取得され、検出装置１０によって被検者１の脳血流のデータが取得される（ステップＳ１０４）。これらのデータは、情報処理装置４０の処理回路４２に送られる。処理回路４２は、それらのデータに基づく画像データを、診断者コンピュータ６０のディスプレイ３０に送信する。その結果、診断者コンピュータ６０のディスプレイ３０に、被検者１の顔画像と、脳血流の情報を示す画像とが表示される。これにより、診断者は、被検者１とビデオ通話による診察を行い、被検者１との会話から症状などの情報を収集する（ステップＳ１０６）。

【0096】

被検者コンピュータ５０における処理回路１６は、さらに、ステップＳ１０４で取得した脳血流のデータを解析し、解析結果を診断者コンピュータ６０のディスプレイ３０に表示させる（ステップＳ１０５）。診断者は、表示された解析データに基づき、被検者１を診断する（ステップＳ１０７）。診断者は、解析データから、被検者１に対してさらに詳細な検査が必要か否かを判断する（ステップＳ１０８）。被検者１の詳細な検査が必要なければ、診断を終了する。

【0097】

診断者が詳細な検査が必要と判断した場合、情報処理装置４０は、診断用タスクなどのタスク情報を被検者コンピュータ５０の出力装置に提示する（ステップＳ１１０）。被検者コンピュータ５０の出力装置は、例えば、ディスプレイまたはマイクである。診断用タ
スクでは、被検者１がリラックスしている状態と、被検者１が課題に取り組んでいる状態との間の血流量の変化が調べられる。

【0098】

脳の機能はある程度局在していることが知られている。そのため、被検者１のどのような状態を知りたいかに応じて、診断用タスクが設計される。例えば、診断用タスクとして、Ｎバックタスクが用いられ得る。Ｎバックタスクは、持続処理課題とも呼ばれ、Ｎ個前の提示刺激について回答する課題である。課題を暗記しづらく、慣れによる脳血流変化の低下が起きにくいとされている。Ｎが大きくなるほど難易度が高くなる。そのため、課題の難易度を容易に設定することができる。

【0099】

被検者１による診断用タスクの実施後、被検者コンピュータ５０は、診断データおよび診断結果を、情報処理装置４０を介して診断者コンピュータ６０のディスプレイ３０に提示する（ステップＳ１１１）。診断結果は、診断データとデータベースとを照合して得られる。これにより、被検者１の病気の種類および確率を推定することができる。

【0100】

次に、診断タスク中における被検者１の脳血流の計測結果に影響を与える外乱要因であるイベントを説明する。

【0101】

イベントには、大別して、被検者１側の計測環境に起因するイベントと、被検者１自身に起因するイベントとがある。

【0102】

被検者１側の計測環境に起因するイベントとは、例えば、周囲の大きな音、または点灯もしくは消灯による部屋の照明の変化である。うつ病の診断には、診断タスク中の脳血流の経時変化が用いられる。計測環境によって脳血流の経時変化が変化すると、診断に影響を及ぼす可能性がある。

【0103】

被検者１自身に起因するイベントとは、例えば、被検者１の体の大きな動き、または、診断タスク中における被検者１の集中力の低下である。被検者１と光検出器１４との相対的な位置のずれ、または被検者１の集中力の低下は、脳血流の計測に影響を及ぼす可能性がある。

【0104】

上記のイベントは、以下の複数のデータの少なくとも１つに基づいて検出することができる。当該複数のデータとは、被検者コンピュータ５０におけるカメラ２０からの画像データ、被検者コンピュータ５０に接続または内蔵された他のカメラからの画像データ、および被検者コンピュータ５０に接続または内蔵されたマイクからの音声データである。例えば、上記のイベントは、遠隔診断に用いられるテレビ電話のカメラ、他のカメラ、またはマイクによって検出され得る。

【0105】

次に、イベントの判定方法の例を説明する。

【0106】

周囲の大きな音に起因するイベントは、以下のように判定することができる。被検者１および診断者の会話の声の大きさを基準として、マイクによって検出される音声の大きさが当該基準から既定の閾値を超えた場合、イベントが発生したと判定される。

【0107】

部屋の照明の変化に起因するイベントは、以下のように判定することができる。カメラ画像から照度が一定量以上変化した場合、イベントが発生したと判定される。

【0108】

被検者１の体の大きな動きに起因するイベントは、以下のように判定することができる。カメラ画像において、被検者１と光検出器１４との相対的な位置が一定量以上変化した場合、イベントが発生したと判定される。一定量とは、例えば±３ｃｍである。

【0109】

被検者１の集中力の低下に起因するイベントは、以下のように判定することができる。被検者１の視線が一定量変化した場合、イベントが発生したと判定される。

【0110】

上記のイベントは、情報処理装置４０または被検者コンピュータ５０に内蔵された人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＡＩ））によって判定されてもよい。

【0111】

［表示例］
次に、診断者コンピュータ６０におけるディスプレイ３０への表示例を説明する。

【0112】

図１２Ａは、診断者コンピュータ６０におけるディスプレイ３０への表示例を模式的に示す図である。図１２Ａに示す例では、ディスプレイ３０の画面の左側に被検者１の顔の動画像が表示され、右上に脳血流の経時変化を示すグラフが表示され、右下に被検者１の被検部２が表示される。図１２Ａに示す右上のグラフにおいて、実線は酸素化ヘモグロビンの濃度の経時変化を示し、破線は脱酸素化ヘモグロビンの濃度の経時変化を示している。図１２Ａに示す例に限らず、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの一方の濃度の経時変化が示されていてもよい。図１２Ａに示す右上の画像は、被検部２の一箇所から得られた脳血流の経時変化であってもよく、被検部２の複数箇所または領域から得られた平均の脳血流の経時変化であってもよい。脳血流の経時変化の波形には現時点を示すカーソルまたはタスクの期間を示す表記が示されていてもよい。

【0113】

図１２Ｂは、図１２Ａに示す右上の画像の変形例を模式的に示す図である。図１２Ｂに示す例では、タスクの開始および終了、ならびにイベントの発生が、縦線によって表されている。

【0114】

図１２Ｂに示すように、図１２Ａに示す右上の画像は、脳血流の経時変化と、タスク情報が出力された期間との対応関係を含んでもよい。これにより、タスク中における被検者１の脳血流の経時変化が明確になる。当該期間は、診断用タスクのタスク開始からタスク終了までの期間に相当する。

【0115】

図１２Ｂに示すように、図１２Ａに示す右上の画像は、脳血流の経時変化と、イベントが発生した期間との対応関係を含んでもよい。これにより、イベントが被検者１の脳血流の経時変化に及ぼす影響が明確になる。当該期間が短ければ、一箇所だけを示してもよい。

【0116】

図１３は、診断者コンピュータ６０におけるディスプレイ３０への他の表示例を模式的に示す図である。図１３に示す例では、被検部２における脳血流の２次元濃度分布を示す画像が、被検者１の顔の動画像に合成されて表示されている。当該２次元濃度分布は、例えば、酸素化ヘモグロビンの濃度分布であり得る。さらに、被検者１の顔の動画像の周辺において、被検部２の複数の領域における脳血流の経時変化を示す複数のグラフが表示されている。これらのグラフは、各領域における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの平均の濃度の経時変化を示す。

【0117】

図１３に示す例では、脳血流の経時変化を示す複数のグラフと、被検部２における複数の領域とが、異なる種類の囲い線（破線、点線、一点鎖線、および二点鎖線）によって関連付けられている。これにより、どのグラフがどの領域における脳血流の経時変化を示しているのかを判別できる。関連付けは囲い線に限らず、例えば色、数字、または文字を用いて行ってもよい。

【0118】

本実施形態では、図１２Ａ、図１２Ｂ、および図１３に示すように、リアルタイムでグラフ化された脳血流情報の画像が表示される。そのため、計測前に、脳血流情報をグラフ化するための脳の領域である特定領域が選択される。特定領域は、例えば、タスクによって脳血流量が大きく変化する脳の領域である。当該脳の領域は、個人によって異なる。

【0119】

以下に、特定領域を決定する方法の例を説明する。

【0120】

統計データから、病気または症状に応じて大きく活性化する脳の領域が既知である場合、診断前に予めグラフ化される特定領域を、候補の中から選択することができる。例えば、病気または症状に応じた少なくとも１つの特定領域の部位の名前が、候補として設定される。本明細書では、設定された候補を、「設定項目」と称する。処理回路４２は、診断者コンピュータ６０のディスプレイ３０に、設定項目を表示させる。設定項目を表示する代わりに、図１３に示すように、線で囲まれた少なくとも１つの特定領域を表示してもよい。その他にも、設定項目は、病気または症状の名前でもよい。

【0121】

診断者は、診断者コンピュータ６０に接続または内蔵された入力装置に、設定項目に関する入力情報を入力する。入力装置は、例えば、キーボードまたはマウスなどのユーザインターフェースである。処理回路４２は、当該入力情報を取得し、当該入力情報に応じて特定領域を決定する。診断者コンピュータ６０のディスプレイ３０には、決定した特定領域のみが、線で囲まれ表示される。病気または症状に応じて大きく活性化する脳の領域は、複数存在し得る。したがって、決定した特定領域は、１つである必要はなく、複数であってもよい。

【0122】

特定領域を決定する方法の他の例として、診断用タスクの前に、被検者１に単純計算などの予備タスクを行わせることにより、特定領域を調べてもよい。例えば、図１１に示すステップＳ１０４において、処理回路４２は、被検者コンピュータ５０のディスプレイに、予備タスク情報を出力させる。被検者１は、出力された予備タスクを行う。処理回路４２は、予備タスクによって変化する被検者１の脳血流情報の大きさに応じて特定領域を決定する。例えば、脳血流情報が既定の閾値よりも大きく変化する領域を、特定領域としてもよい。決定した特定領域は、１つである必要はなく、複数あってもよい。この特定領域の決定方法は、病気または症状に応じて活性化する脳の領域が既知でない場合に有効である。

【0123】

上記のように、本実施形態では、被検者１の脳の広範囲の脳血流を計測する必要はない。本明細書において、被検者１の脳の少なくとも１つの特定領域に関する脳血流情報を、「一部の脳血流情報」と称する。

【0124】

本実施形態では、一部の脳血流情報を、例えば前述した決定方法を用いて選択し、選択した一部の脳血流情報をグラフ化してもよい。一部の脳血流情報をグラフ化することにより、診断の効率化を図ることができる。

【0125】

本実施形態では、一部の脳血流情報を、例えば前述した決定方法を用いて選択し、選択した一部の脳血流情報を、被検者コンピュータ５０から診断者コンピュータ６０に遠隔ネットワークを介して送信してもよい。グラフ化する前の一部の脳血流情報を送信することにより、通信量を削減することができる。その結果、通信の遅延を抑制することができる。

【0126】

一部の脳血流情報は、診断者の代わりに、被検者１によって選択されてもよい。その場合、被検者コンピュータ５０のディスプレイに、設定項目が表示される。

【0127】

図１３に示す表示を行う場合、光検出器１４として、光源１２から出射される光（例えば近赤外線）に感度を有するイメージセンサが用いられる。イメージセンサは、２次元的に配列された複数の受光素子を備える。各受光素子は、例えばフォトダイオードなどの光電変換素子であり、受光量に応じた電気信号を出力する。複数の受光素子から出力された電気信号の集合が画像信号として扱われる。被検部２における複数の領域の脳血流情報を取得するために、光源１２は、当該複数の領域を光で照射する。処理回路１６は、イメージセンサから出力された信号に基づいて、複数の領域のそれぞれにおける脳血流情報を生成して出力する。

【0128】

図１２および図１３に示すように、被検者１の顔画像と脳血流の変化を示す画像とを同時に表示することにより、診断者は、被検者１の心理状態をより効果的に診断することができる。

【0129】

図１４は、診断者コンピュータ６０におけるディスプレイ３０へのさらに他の表示例を模式的に示す図である。図１４に示す例では、被検部２のうちの領域１および領域２のそれぞれにおける酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの平均の濃度の経時変化を示すグラフと、被検者の診断結果を示すチャートとが同時に表示されている。図１４に示す例において、領域１は前頭部であり、領域２は側頭部である。図１４に示す右側のチャートにおける星印は、被検者が罹患していると推定される疾患を表している。被検者がどの疾患に罹患しているかは、各領域における酸素化ヘモグロビンおよび脱酸素化ヘモグロビンのそれぞれの濃度の経時変化から推定される。情報処理装置４０は、被検者の心理状態または病気である確率を推定し、推定結果をディスプレイ３０に表示させてもよい。

【0130】

診断者コンピュータ６０は、診断者の操作に応答して、ディスプレイ３０に表示される画像を切り換えてもよい。例えば、最初は顔画像のみを表示させ、診断者の操作に応じて、脳血流画像または図１４に示す画像に切り替えたり、顔画像と脳血流画像とを合成した画像を表示したりしてもよい。その場合、被検者１の顔画像をディスプレイ３０に表示させた状態で、診断者が画像を切り換える操作を行うと、診断者コンピュータ６０は、表示画像を切り替えるべき旨の信号を情報処理装置４０に送信する。情報処理装置４０は、その信号を受信すると、当該顔画像に加えて、または当該顔画像に代えて、脳血流の状態を示す画像をディスプレイ３０に表示させる。

【産業上の利用可能性】

【0131】

本開示における情報処理方法は、生体・医療センシングに利用できる。例えば、医師と患者との間の遠隔医療に適用できる。

【符号の説明】

【0132】

１ 被検者
２ 被検部
１０ 検出装置
１２ 光源
１４ 光検出器
１６ 処理回路
２０ カメラ
３０ ディスプレイ
４０ 信号処理装置
４２ 処理回路
４４ メモリ
４６ プログラム
５０ 被検者コンピュータ
６０ 診断者コンピュータ
７０ ヘッドマウント装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】