特開 2022-128481 人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022128481

(43)【公開日】2022-09-01

(54)【発明の名称】人間の脳の知覚負荷及び刺激知覚のレベルを決定するシステム及び方法

(51)【国際特許分類】

   A61B 10/00 20060101AFI20220825BHJP

   A61B 5/18 20060101ALI20220825BHJP

   A61B 5/1455 20060101ALI20220825BHJP

   G08G 1/16 20060101ALI20220825BHJP

【ＦＩ】

A61B10/00 E

A61B5/18

A61B5/1455

G08G1/16 F

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022101049

(22)【出願日】2022-06-23

(62)【分割の表示】P 2020565947の分割

【原出願日】2018-05-25

(71)【出願人】

【識別番号】511312997

【氏名又は名称】トヨタ モーター ヨーロッパ

(71)【出願人】

【識別番号】510133975

【氏名又は名称】ユーシーエル ビジネス リミテッド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ヨーナス アンベック－マドセン

(72)【発明者】

【氏名】ニリ ラビイ

(72)【発明者】

【氏名】メリット ブルックマイヤー

(72)【発明者】

【氏名】イーリアス タットシディス

(57)【要約】

【課題】 発明は、人間の脳の知覚負荷を決定する方法に関する。
【解決手段】 知覚負荷は、人間によって実行される既定のタスクによって誘導される。方法は、タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を用いて測定するステップと、知覚負荷を、代謝活性の測定された変化の関数として決定するステップと、を備える。また、発明は、刺激知覚のレベルを決定する方法及び対応するシステムに関する。
【選択図】 図２

【特許請求の範囲】

【請求項1】

人間の脳の知覚負荷を決定する方法であって、
前記知覚負荷は、人間によって実行される既定のタスクによって誘導され、
前記タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を用いて測定するステップと、
前記知覚負荷を、前記代謝活性の測定された変化の関数として決定するステップと、
を備える方法。

【請求項2】

前記既定のタスクは、相応に変動する知覚負荷を誘導する変動する複雑性を備え、
前記代謝活性が既定の量より大きく変化する場合、人間の脳が知覚及び／又は前記タスクの制御の維持が可能のままであると判断し、及び／又は、
前記複雑性が増大するのと同時に前記代謝活性の測定された変化が既定の第１の上限しきい値を超えない場合、前記既定のタスクによって誘導された前記知覚負荷が知覚負荷しきい値を超える及び／又は人間の脳が前記タスクに注意を向けなかったと判断し、及び／又は、
前記複雑性が減少するのと同時に前記代謝活性の測定された変化が前記第１の上限しきい値より下に減少しない又は既定の第１の下側しきい値を越えない場合、人間の脳が前記タスクに注意を向けなかったと判断する、請求項１に記載の方法。

【請求項3】

人間の脳による第２のタイプの刺激の知覚のレベルを決定する方法であって、
第１の期間において、人間が既定のタスクを実行することに応答して、人間の脳を第１のタイプの既定の刺激に暴露し、これによって、人間の脳に知覚負荷を誘導するステップと、
第２の期間において、人間の脳を、前記第１のタイプの既定の刺激及び人間の脳によって知覚することができる第２のタイプの既定の刺激に暴露するステップと、
前記第１の期間及び前記第２の期間の人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を用いて測定するステップと、
前記第２のタイプの刺激の知覚のレベルを、前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化の関数として決定するステップと、
を備える方法。

【請求項4】

前記第１のタイプは、タスク－１次タイプであり、前記第２のタイプは、タスク－２次タイプである、請求項３に記載の方法。

【請求項5】

前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化が、既定の第２の上限しきい値を越える場合、前記第２のタイプの刺激の知覚のレベルが既定の最小知覚レベルを超えると判断し、及び／又は、
前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化が、前記第２の上限しきい値を越えない場合、人間の脳が前記第２のタイプの刺激を知覚しない及び／又は人間の脳が前記第２のタイプの刺激に注意を向けなかったと判断する、請求項３又は４に記載の方法。

【請求項6】

人間によって実行される前記既定のタスクを生成するステップ及び／又は人間によって実行される前記既定のタスクを検知するステップを更に備える、請求項１～５のいずれか一項に記載の方法。

【請求項7】

人間が特に運転タスクを備える既定のタスクを実行することに応答して、前記人間の脳を、特に運転シーンを備える第１のタイプの既定の刺激に暴露するステップを更に備える、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記第１のタイプの刺激は、前記タスクを実行するときに人間によって注意が向けられる、及び／又は
前記第２のタイプの刺激は、前記タスクを実行するときの人間によって注意が向けられない刺激となるように前記タスクによって予め決定されない、請求項１～７のいずれか一項に記載の方法。

【請求項9】

前記第１のタイプの刺激は、前記既定のタスクの複雑性が相応に変化するように可変である、請求項１～８のいずれか一項に記載の方法。

【請求項10】

人間の脳の知覚負荷を決定するシステムであって、
人間の脳の代謝活性の変化を測定するように構成された機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置と、
前記知覚負荷を前記代謝活性の測定された変化に基づいて決定する制御装置と、
を備えるシステム。

【請求項11】

前記知覚負荷は、人間によって実行される既定のタスクによって誘導される、及び／又は、
人間によって実行される既定のタスクを生成する及び／又は人間によって実行される既定のタスクを検知するように構成された生成及び／又は検知装置を更に備える、請求項１０に記載のシステム。

【請求項12】

人間の脳による刺激の知覚のレベルを決定するシステムであって、
第１の期間及び第２の期間の人間によって実行される既定のタスクを生成及び／又は人間によって実行される既定のタスクを検知し、
前記第２の期間の人間の脳によって感知される既定の刺激を生成及び／又は検知するように構成された生成及び／又は検知装置と、
前記第１の期間及び前記第２の期間の人間の脳の代謝活性を測定するように構成された機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置と、
前記刺激の知覚のレベルを、前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化の関数として決定する制御装置と、
を備えるシステム。

【請求項13】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサは、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムｃオキシターゼ（ｏｘＣＣＯ）の酸化還元状態変化を測定するように構成された、請求項１０～１２のいずれか一項に記載のシステム。

【請求項14】

前記代謝活性の測定された変化は、人間の脳の神経反応中のエネルギー消費の増大を表す、請求項１０～１３のいずれか一項に記載のシステム。

【請求項15】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサは、酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの濃度変化を測定するように更に構成された、請求項１０～１４のいずれか一項に記載のシステム。

【請求項16】

前記制御装置は、
酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの測定された濃度変化に基づいて、脳の関心領域を予め選択し、予め選択した脳の関心領域の前記代謝活性の測定された変化に基づいて、前記知覚負荷を決定する、請求項１０～１５のいずれか一項に記載のシステム。

【請求項17】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置は、人間の脳の後頭葉及び／又は右内側後頭回の前記代謝活性の変化を測定するように構成され、
前記制御装置は、後頭葉及び／又は右内側後頭回の前記代謝活性の測定された変化に基づいて、前記知覚負荷を決定するように構成された、請求項１０～１６のいずれか一項に記載のシステム。

【請求項18】

前記センサ装置は、特に６５０ｎｍ～９００ｎｍの範囲を検知するように構成されたブロードバンド機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置である、請求項１０～１７のいずれか一項に記載のシステム。

【請求項19】

前記センサ装置は、脳の後頭葉に複数の測定チャネルを設けるように構成された複数のソース及び複数の検出器を備える、請求項１０～１８のいずれか一項に記載のシステム。

【請求項20】

前記測定チャネルは、脳の一次視覚野（Ｖ１）の外側の範囲及び／又は線条体外領域（Ｖ２，Ｖ３及びＶ４）の全体に亘って広がる、請求項１０～１９のいずれか一項に記載のシステム。

【請求項21】

前記測定チャネルは、特に、左／右下後頭回（ＩＯＧ）、左／右中後頭回（ＭＯＧ）及び／又は内側後頭葉を含む脳の複数の関心領域にグループ分けされる、請求項１０～２０のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人間の脳の知覚負荷、特に、人間によって実行される既定のタスク、例えば、車両の運転のタスクによって生じた知覚負荷を決定するシステム及び方法に関する。さらに、本開示は、人間の脳による第２のタイプの刺激、特に、人間が既定のタスク、例えば、車両の運転を実行する間の注意を向けない刺激の知覚のレベルを決定するシステム及び方法に関する。

【背景技術】

【0002】

制御できない動的な視環境の知覚負荷及び注意を向けないイベントを含むそのような知覚負荷の変化を認識する能力は、警報信号を使用するための新しい設計及び手順の基礎を設けることによって安全（安全運転）を著しく向上させることができる。そのような能力は、人間の注意及び関与を検出する他の測定、例えば、瞳孔測定又はＥＥＧ測定のような生理学的測定の有用性を評価することができる基準を設定することもできる。さらに、上記能力は、例えば、いわゆるテイクオーバーリクエストの場合であるがそれに限定されない高度に自動化したシステム（例えば、車両）に対するマシン－ヒューマン（例えば、ビークル－ドライバ）の相互作用の最適な手順を設計するのに適用することができ、自動制御システムは、車両の動作の制御を引き継ぐようにドライバに要求する。

【0003】

目の網膜に当たる全ての情報が知覚されるわけではない。情報が知覚されるか否かは、視覚野（一次視覚野及び有線外皮質）の神経信号の強度に依存する。注意を向けた情報が高い知覚負荷である場合、すなわち、高い要求のタスクを実行する間に注意の焦点外にある情報を人々は知覚しない（見ても見えない）ことが証明されている。「見ても見えない」ことの影響は、事故（例えば、車両及び飛行機の衝突等）の主な原因として知られている。

【0004】

人間による知覚情報を処理する能力は限られている。したがって、タスク処理における知覚負荷のレベルは、どの刺激が知覚されるかを判断する際の重要な要素である。知覚負荷が高いとき、例えば、視覚的シーンが混雑しているとき又は更なる要求を行う必要があるとき、注意の焦点外にある刺激に気付く可能性が低い。その理由は、処理のために予備の注意能力を利用できないからである。極端な場合、これによって、非注意性盲目（又は難聴）になり、当事者が知覚リソースの不足のために刺激を知覚できなくなる。Cartwright-Finch U, Lavie N (2007) The role of perceptual load in inattentional blindness. Cognition 102:321-340を参照。

【0005】

一方、低負荷の状態の下では、予備の能力が利用可能であるとき、タスクに関係のない刺激の知覚に自動的に「波及」し、これは、惑わすものとして機能する可能性が高い。Forster S, Lavie N (2008) Failures to ignore entirely irrelevant distractors: The role of load. J Exp Psychol Appl 14:73-83参照。

【0006】

ｆＭＲＩは、注意を向けない刺激に対する血管反応（例えば、ＢＯＬＤ反応）に対する注意を向けたタスク処理の知覚負荷の影響を測定するのに用いられてきた。例えば、Rees G, Frith CD, Lavie N (1997) Modulating irrelevant motion perception by varying attentional load in an unrelated task. Science 278:1616-1619、Schwartz S, Vuilleumier P, Hutton C, Maravita A, Dolan RJ, Driver J (2005) Attentional load and sensory competition in human vision: modulation of fMRI responses by load at fixation during task-irrelevant stimulation in the peripheral visual field. Cereb cortex 15:770-786及びTorralbo A, Kelley TA, Rees G, Lavie N (2016) Attention induced neural response trade-off in retinotopic cortex under load. Sci Rep 6:33041参照。

【0007】

しかしながら、ｆＭＲＩは、ポータブルかつウェアラブルな技術ではなく、したがって、ウェアラブルシステムとして存在するｆＮＩＲＳと同一のアプリケーションを用いることができない。ＥＥＧシステムは、注意を向けない刺激に対する脳の反応に対する知覚負荷の影響を測定するために使用されてきた（例えば、Parks NA, Beck DM, Kramer AF (2013): Enhancement and suppression in the visual field under perceptual load. Front Psychol 4:275参照。）。しかしながら、ＥＥＧは、当事者の動きに対して非常に敏感であり、ポータブルであるとしても、ＥＥＧのセットアップは幾分煩わしい（例えば、一部のシステム形態において頭部への導電性ゲルの塗布が必要である。）。したがって、実験室環境外の実用的応用に適していない。

【0008】

幾つかの研究は、知覚負荷に間接的に関連する認知的要因に反応する血液の酸素レベル及び脱酸素レベル（ＨｂＯ₂及びＨＨｂ）を測定するために市販のｆＮＩＲＳを用いた。ＨｂＯ₂及びＨＨｂが視覚運動の要求のレベルに関連することを示した。Hosseini SMH, Bruno JL, Baker JM, Gundran A, Harbott LK, Gerdes JC, Reiss AL (2017) Neural, physiological, and behavioral correlates of visuomotor cognitive load. Sci Rep 7:8866参照。

【0009】

また、ＨｂＯ₂及びＨＨｂは、認知的負荷に関連する。Fishburn FA, Norr ME, Medvedev A V., Vaidya CJ (2014) Sensitivity of fNIRS to cognitive state and load. Front Hum Neurosci 8:76参照。

【0010】

両方のタイプの負荷は、（しばしば「非注意性盲目」と称される）「見ても見えない」の影響を及ぼし得る知覚負荷に関連しない。Zhang等, 2016 and Kojima及びSuzuki, 2010は、ＨｂＯ₂のレベル及びＨＨｂのレベルをタスクの注意要求に関連付けるが、注意要求の操作は、知覚負荷の認知神経科学研究で示すように、非注意性盲目となると予測される知覚負荷を構成することを示さなかった。それらは、代謝を測定する技術でもない。

【0011】

Harasawa及びShiori, 2011は、１枚のディスクの追跡条件と２枚のディスクの追跡条件の間のＨｂＯ₂の差を見付けたが、それは、一方的に提示されたときのみであり、相互に提示されたときではない。この研究は、非注意性盲目となる視覚負荷に対処しなかった。Harasawa M, Shioiri S (2011) Asymmetrical brain activity induced by voluntary spatial attention depends on the visual hemifield: A functional near-infrared spectroscopy study. Brain Cogn 75:292-298参照。

【0012】

ｆＭＲＩ及び市販のｆＮＩＲＳの両方は、血液の酸素レベルの測定から間接的に神経活動について推測する。ある研究は、注意を向けた刺激条件及び注意を向けない刺激条件に対する定数を用いて他の生理学的変数を近似するモデルに基づいて視覚野の酸素の代謝率を（測定するのではなく）推定するために血液の酸素レベル及び血流を測定するｆＭＲＩを用いた。Moradi F, Buracas GT, Buxton RB (2012) Attention strongly increases oxygen metabolic response to stimulus in primary visual cortex. Neuroimage 59:601-607参照。

【0013】

Heekeren等, 1999及びPhan等, 2016aは、神経細胞に広く行き渡るとともに神経の酸素代謝のレベルを表すミトコンドリアのシトクロムｃオキシターゼ酵素（ｏｘＣＣＯ）の酸素レベルを検出することによって神経活動を更に直接的に測定するために開発されたブロードバンドｆＮＩＲＳを用いた。それらは、相対ｏｘＣＣＯレベルを視覚刺激の存在に関連付ける。Heekeren HR, Kohl M, Obrig H, Wenzel R, von Pannwitz W, Matcher SJ, Dirnagl U, Cooper CE, Villringer A (1999) Noninvasive assessment of changes in cytochrome-c oxidase oxidation in human subjects during visual stimulation. J Cereb Blood Flow Metab 19:592-603及びPhan P, Highton D, Brigadoi S, Tachtsidis I, Smith M, Elwell CE (2016a) Spatial Distribution of Changes in Oxidised Cytochrome C Oxidase During Visual Stimulation Using Broadband Near Infrared Spectroscopy Imaging. In: Advances in Experimental Medicine and Biology, pp 195-201参照。

【0014】

Kolyva等, 2012 and Phan et等, 2016bは、前頭前野のｏｘＣＣＯのレベルが認知課題（例えば、タスク対レストを解決するアナグラムのパフォーマンス）によって影響が及ぼされることを示した。Kolyva C, Tachtsidis I, Ghosh A, Moroz T, Cooper CE, Smith M, Elwell CE (2012) Systematic investigation of changes in oxidized cerebral cytochrome c oxidase concentration during frontal lobe activation in healthy adults. Biomed Opt Express 3:2550-2566及びPhan P, Highton D, Lai J, Smith M, Elwell C, Tachtsidis I (2016b) Multi-channel multi-distance broadband near-infrared spectroscopy system to measure the spatial response of cellular oxygen metabolism and tissue oxygenation. Biomed Opt Express 7:4424参照。

【0015】

認知負荷の神経相関が様々な神経画像技術を用いた多数の研究において調べられたが、能力の限界の原因はまだ理解されていない。

【発明の概要】

【発明が解決しようとする課題】

【0016】

現在、人間の脳の知覚負荷を決定するシステム及び方法を提供することが依然として望ましい。さらに、人間が既定のタスク（例えば、運転タスク）を実行する間に注意を向けない刺激を人間の脳が知覚する（すなわち、刺激に露出される及び／又は刺激からの信号を受信する）ときに特に人間の脳の刺激知覚のレベルを決定するシステム及び方法を提供することが依然として望ましい。

【0017】

更に具体的には、現在のＥＥＧベースのシステムと同様に動きに敏感でない特に運転中（又は他の予測されるタスクを実行する間）に注意を向けない刺激の感知のレベルを検出することができるポータブルな非侵襲的システムを有することが望ましい。そのようなシステムによって、ＥＥＧを用いる現在のシステムに比べて、運転中のドライバの状態をよりよく理解することができ、したがって、補助自動車技術の開発の情報をよりよく提供することができる。

【0018】

既に指摘したように、Heekeren等, 1999及びPhan等, 2016aは、視覚野のｏｘＣＣＯのレベルを視覚刺激の存在に関連付ける。Kolyva等, 2012 and Phan et等, 2016bは、前頭前野のｏｘＣＣＯのレベルが認知課題（例えば、タスク対レストを解決するアナグラムのパフォーマンス）によって影響が及ぼされることを示した。しかしながら、これらの文献のいずれも注意、知覚及び（更に詳しくは）知覚負荷の認知神経科学に関連せず、注意の認知神経科学の専門知識で要求されるような知覚負荷の測定及び検出に適用することができない。一方、認知神経科学で用いられる技術は、神経代謝を測定することができず、血液の酸素化レベル及び脱酸素化レベル（ＨｂＯ₂，ＨＨｂ）の更に間接的な測定に限定される。神経代謝の測定は、神経活動の更に直接的な指標となるという利点を有し、したがって、遅延される欠陥の血行力学反応に依存する既存のｆＮＩＲＳセンサ装置における酸素化測定及び脱酸素化測定（ＨｂＯ₂，ＨＨｂ）に比べて神経活動のあらゆる変化に対する迅速な応答を提供することができる。

【課題を解決するための手段】

【0019】

したがって、本開示の実施の形態によれば、本開示は、人間の脳の知覚負荷を決定する方法に関する。知覚負荷は、人間によって実行される既定の（又は所定の）タスク（例えば、運転タスク又は自動車が自律モードで運端される間の他の非運転タスク、例えば、映画鑑賞）によって誘導される。方法は、タスクが実行される間に人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を用いて測定するステップと、
知覚負荷を、代謝活性の測定された変化の関数として決定するステップと、
を備える。

【0020】

そのような方法を設けることによって、いわゆる知覚負荷を含む認知状態の可動の動きに強い（特に、リアルタイム又は準リアルタイムの）測定を可能にする。

【0021】

既定のタスクは、相応に変動する知覚負荷を誘導する変動する複雑性を備えてもよい。

【0022】

上記複雑性を、知覚複雑性と称してもよい。特に、既定のタスクは、既定の（又は所定の）変動するレベルの知覚負荷を備えてもよい。

【0023】

一般的には、代謝活性が、タスクの知覚負荷の変化に関連して、既定の量より大きく変化する場合、人間の脳が知覚及び／又はタスクの制御の維持が可能のままであると判断してもよい。換言すれば、負荷のタスク変化に関連する著しい変化は、人間の脳がまだ知覚できる及び／又はタスクの制御を保持できることを表すことができる。

【0024】

例えば、複雑性が増大するのと同時に代謝活性の測定された変化が既定の第１の上限しきい値を超えない場合、既定のタスクによって誘導された知覚負荷が知覚負荷しきい値を超える及び／又は人間の脳がタスクに注意を向けなかったと判断してもよい。

【0025】

しきい値は、しきい値が既定の値によって表される又はしきい値が脳の能力それ自体によって予め決定されるという意味で望ましくは予め決定される。他の態様において、既定のしきい値を、脳の知覚負荷容量によって予め決定してもよいが、上記既定のしきい値は、望ましくは、人間の脳の最大負荷容量よりも低い。

【0026】

したがって、知覚負荷が既定のしきい値を超えると判断される場合、知覚負荷が人間の脳の容量を超える及び／又はタスクの非注意性盲目／難聴になる。

【0027】

例えば、そのような場合、予防的措置を取ることができ、例えば、警報信号をトリガする又は運転制御を引き継ぐ自動運転システムをアクティブにする。

【0028】

複雑性が減少するのと同時に代謝活性の測定された変化が第１の上限しきい値より下に減少しない又は既定の第１の下側しきい値を越えない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。

【0029】

したがって、上記タスクが減少した複雑性を有する場合でも、人間がタスクに注意を払っている（とともに眠気がないか）否かを判断してもよい。そのような低い複雑性のタスクを実行することを、基本的活動と称することができる。しかしながら、人間がタスクに注意を向けない場合、上記タスクに対応する代謝反応がない。換言すれば、代謝活性は、既定の（又は所定の）第１の下限しきい値を超えない。

【0030】

一例は、全自動運転中に運転シーンを見る（ドライバを意図した）車両の乗員であってもよい。上記運転シーンは、空いた又は比較的空いた道路、すなわち、減少した複雑性のタスクを提供することがある。本開示によれば、乗員が運転シーンの出来事、例えば、道路標識に注意を払っているか否かをチェックすることができる。出来事が生じたとき（例えば、道路標識を通過したとき）に代謝活性が既定の（又は所定の）第１の下限しきい値を超えると判断しなかった場合、乗員が運転シーンに注意を向けなかったと判断してもよい。

【0031】

複雑性が減少するのと同時に代謝活性の測定された変化が既定の（又は所定の）第１の上限しきい値より下に減少しない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。

【0032】

複雑性が減少するとともに人間（例えば、ドライバ）の脳がタスクに従事している場合、人間の脳の代謝活性も低下していると予測される。脳の代謝活性が高いままである場合、人間の脳が異なるタスクに従事していること、例えば、ドライバの脳が非運転タスクに従事していることを意味することがある。一般的には、所定のしきい値を超える複雑性の変化が存在するとともに代謝活性の変化が所定のしきい値を超えない場合、人間の脳がタスクに注意を向けなかったと判断してもよい。

【0033】

したがって、知覚負荷が非常に低くなる場合には、刺激に関係ない自動処理タスクとなる（すなわち、刺激に関係ないタスクの自動処理）となってもよい。例えば、人間の脳は、他の何かに集中しなくなることがあり、もはやタスクに十分に注意を向けなくなることがある。その結果、タスクの非注意盲目／難聴に再びなるおそれがある。

【0034】

例えば、そのような場合、予防的措置を取ることができ、例えば、人間を「目覚めさせる」ために、すなわち、人間の注意を再びタスクに向けるために警報信号をトリガする。

【0035】

また、本開示は、人間の脳による第２のタイプの刺激の知覚のレベルを決定する方法に関する。方法は、
第１の期間において、人間が既定のタスクを実行することに応答して、人間の脳を第１のタイプの既定の刺激に暴露し、これによって、人間の脳に知覚負荷を誘導するステップと、
第２の期間において、人間の脳を、第１のタイプの既定の刺激及び人間の脳によって知覚することができる第２のタイプの既定の刺激に暴露するステップと、
第１の期間及び第２の期間の人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を用いて測定するステップと、
第２のタイプの刺激の知覚のレベルを、第１の期間に関連する第２の期間の代謝活性の測定された変化の関数として決定するステップと、
を備える。

【0036】

決定した上記知覚のレベルは、第２のタイプの刺激を実際に感知する場合（肯定）と、視界にあるにもかかわらず第２の刺激を何ら感知しない逆のケース（見えても見えない場合）の両方を含んでもよい。例えば、知覚のレベルが“０”である場合、知覚がないと判断してもよい。知覚のレベルが“１００”である場合、知覚があると判断してもよい。

【0037】

第１の時間及び第２の時間は、任意の順番及び長さであってもよい。それらを複数回繰り返してもよい。

【0038】

第２のタイプの刺激を有する時間及び第２のタイプの刺激がない時間が存在する限り、負荷測定を連続的なものと理解することができる。

【0039】

一般的には、第２のタイプの刺激の知覚のレベルを決定する方法は、人間の脳の知覚負荷を決定する方法の態様と組み合わせることができる。

【0040】

既定のタスクは、運転タスクであってもよい。本開示によれば、運転タスクが既定のタスクのタイプ、例えば、操舵、加速、ブレーキ等を備えるという意味で運転タスクが既定の（又は所定の）ものであると理解されることに留意されたい。さらに、人間が反応する必要がある刺激は、運転タスクを実行するために、道路の曲がり角、他の車両等のような既定のすなわち予測される刺激である。

【0041】

第１のタイプは、タスク－１次タイプであってもよく、第２のタイプは、タスク－２次タイプであってもよい。

【0042】

換言すれば、実行されるタスクは、主に、第１のタイプの（すなわち、タスク－一次タイプ刺激によって規定される）刺激に依存する。第２のタイプの刺激は、実行されるタスクに影響を及ぼさないことがある及び／又は突然であるが時間的に制限された反応しか要求しないことがある。一例として、タスクを、運転（例えば、「仕事の後に車で家に帰る」）とすることができ、タスク－２次刺激タイプを、歩行者の突然の出現とすることができる。例えば、歩行者が通りを横断しない場合、歩行者の出現は、運転タスクに影響を及ぼさない。いずれにせよ、ドライバが歩行者に気付くことは重要な予防的措置である。

【0043】

他の例において、自動運転の状況下では、タスクは、車両中での映画鑑賞となることができ、第１のタイプの刺激は、表示された映画であり、第２のタイプの刺激は、車両の外側の運転シーンにおける歩行者の突然の出現又は他の発生となることができる。例えば、車両の自動運転システムは、発生に自律的に反応してもよい。いずれにせよ、車両の乗員（及び／又は意図したドライバ）が発生に気付くか否かをチェックすることも予防的措置となることができる。

【0044】

第１の期間に関連する第２の期間の代謝活性の測定された変化が、既定の（又は所定の）（第２の上限）しきい値を越える場合、第２のタイプの刺激の知覚のレベルが既定の最小知覚レベルを超えると判断してもよい。

【0045】

例えば、そのような場合、予防的措置を取る必要がなく、例えば、警報信号をトリガする必要がない又は運転制御を引き継ぐ自動運転システムをアクティブにする必要がない。

【0046】

第１の期間に関連する第２の期間の代謝活性の測定された変化が、既定の（又は所定の）しきい値を越えない場合、人間の脳が第２のタイプの刺激を知覚しない及び／又は人間の脳が第２のタイプの刺激に注意を向けなかったと判断してもよい。

【0047】

例えば、そのような場合、予防的措置を取ることができ、例えば、警報信号をトリガする又は運転制御を引き継ぐ自動運転システムをアクティブにする。

【0048】

方法は、人間によって実行される既定のタスクを生成するステップ及び／又は人間によって実行される既定のタスクを検知するステップを更に備えてもよい。

【0049】

例えば、実験的テストの場合、既定のタスクを完全に生成することができる。また、運転タスクの場合において、タスクは、車両の動き（例えば、速度及び向き）によって部分的に生成されてもよい／影響が及ぼされてもよい。いずれにせよ、運転タスクの場合、上記タスクを、例えば、種々のセンサ、例えば、光学センサ、速度センサ等を用いて検知してもよい。

【0050】

方法は、人間が特に運転タスクを備える既定の（又は所定の）タスクを実行することに応答して、人間の脳を、特に運転シーンを備える第１のタイプの既定の（又は所定の）刺激に暴露するステップを更に備えてもよい。

【0051】

第１のタイプの刺激は、タスクを実行するときに人間によって注意が向けられてもよい。

【0052】

例えば、実行されるタスクが運転タスクである場合、第１のタイプの刺激は、人間が操舵タスクを実行する必要があることに応答した、運転シーン、例えば、道路の曲がり角の注意が向けられた刺激であってもよい。

【0053】

第２のタイプの刺激は、タスクを実行するときの人間が注意を向けない刺激となるようにタスクによって予め決定されない。

【0054】

例えば、実行されるタスクが運転タスクである場合、第２のタイプの刺激は、運転シーン、例えば、道路を転がるサッカーボールの注意が向けられない刺激であってもよい。

【0055】

脳の全体的なエネルギー消費は、略一定であることが知られており、ニューラルスパイキングの生体エネルギーコストは高く、利用できるリソースの有効利用を必要とする。発明者は、（低負荷に対する）高負荷のタスクの追加の処理要求に関連したエネルギー消費が増加すると注意が向けられない刺激の処理に対する代謝リソースが少なくなることを見いだした。

【0056】

第１のタイプの刺激は、既定のタスクの複雑性が相応に変化するように可変である（すなわち、変化してもよい）。

【0057】

さらに、本開示は、人間の脳の知覚負荷を決定するシステムに関する。システムは、
人間の脳の代謝活性の変化を測定するように構成された機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置と、
知覚負荷を代謝活性の測定された変化に基づいて決定する制御装置と、
を備える。

【0058】

一般的には、上記システムは、特に人間の脳の知覚負荷を決定する方法の上述した方法形態に対応する一つ以上のシステム形態を備えてもよい。

【0059】

知覚負荷は、人間によって実行される既定の（又は所定の）タスクによって誘導されてもよい。

【0060】

システムは、人間によって実行される既定の（又は所定の）タスクを生成する及び／又は人間によって実行される既定の（又は所定の）タスクを検知するように構成された生成及び／又は検知装置を更に備えてもよい。

【0061】

また、本開示は、人間の脳による刺激の知覚のレベルを決定するシステムに関する。システムは、
第１の期間及び第２の期間の人間によって実行される既定の（又は所定の）タスクを生成及び／又は人間によって実行される既定の（又は所定の）タスクを検知し、
第２の期間の人間の脳によって感知される既定の（又は所定の）刺激を生成及び／又は検知するように構成された生成及び／又は検知装置と、
第１の期間及び第２の期間の人間の脳の代謝活性を測定するように構成された機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置と、
刺激の知覚のレベルを、第１の期間に関連する第２の期間の代謝活性の測定された変化の関数として決定する制御装置と、
を備える。

【0062】

上記刺激は、望ましくは、上述した方法の「第２のタイプの刺激」に対応する。一般的には、上記システムは、特に人間の脳の第２のタイプの刺激の知覚のレベルを決定する方法の上述した方法形態に対応する一つ以上のシステム形態を備えてもよい。

【0063】

さらに、上記システムは、上述した人間の脳の知覚負荷を決定するシステムであってもよい、又は、上記システムは、上述した人間の脳の知覚負荷を決定するシステムと組み合わせることができてもよい。

【0064】

生成及び／又は検知装置は、人間が既定の（又は所定の）タスクを実行する必要があることに応答して、第１のタイプの既定の刺激を生成するとともに人間の脳を第１のタイプの既定の刺激に暴露するように構成されてもよい。

【0065】

代替的に又は追加的に、生成及び／又は検知装置は、人間によって実行される既定の（又は所定の）タスクを検知するように構成されてもよい。

【0066】

ブロードバンド機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置を、代謝活性の変化をテストするのに用いてもよい。センサ装置を、酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの濃度変化に加えてシトクロムｃオキシターゼ（ｏｘＣＣＯ）の酸化還元状態変化及び細胞の酸素代謝を示すミトコンドリア酵素をモニタするように構成してもよい。

【0067】

ニューロン活性化中のエネルギー要求の増大は、ミトコンドリアの酸化的リン酸化によってほとんどカバーされる。したがって、ｏｘＣＣＯ活性を測定することによって、神経反応中のエネルギー消費の増大に関連する代謝活性の変化をモニタすることができる。本開示によって、異なるレベの知覚負荷の下で光学的に同一の刺激によって誘発される代謝活性を直接比較することができる。

【0068】

機能的近赤外線分光法（ｆＮＩＲＳ）センサは、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムｃオキシターゼ（ｏｘＣＣＯ）の酸化還元状態変化を測定するように構成されてもよい。

【0069】

制御装置は、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムｃオキシターゼ（ｏｘＣＣＯ）の測定された酸化還元状態変化に基づいて、知覚負荷を決定するように構成されてもよい。

【0070】

代謝活性の測定された変化は、人間の脳の神経反応中のエネルギー消費の増大を表してもよい。

【0071】

機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置は、酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの濃度変化を測定するように更に構成されてもよい。

【0072】

制御装置は、酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの測定された濃度変化に基づいて、脳の関心領域を予め選択し、脳の予め選択した関心領域の代謝活性の測定された変化に基づいて、知覚負荷を決定してもよい。

【0073】

機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置は、人間の脳の後頭葉及び／又は右内側後頭回の代謝活性の変化を測定するように構成されてもよい。

【0074】

制御装置は、後頭葉及び／又は右内側後頭回の代謝活性の測定された変化に基づいて、知覚負荷を決定するように構成されてもよい。

【0075】

センサ装置は、例えば、６５０ｎｍ～９００ｎｍの範囲を検知するように構成されたブロードバンド機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置でであってもよい、

【0076】

例えば、頭部用のブロードバンドｆＮＩＲＳセンサ装置を、注意が向けられるタスクの知覚負荷のレベルと注意が向けられない刺激に対する応答を視覚野で識別する際に脳信号（ＨｂＯ₂，ＨＨｂ，ｏｘＣＣＯ）の強度を測定及び検出する新たな方法を確立するのに用いてもよい。

【0077】

ブロードバンドｆＮＩＲＳは、シトクロムｃオキシターゼの酸化還元状態（ｏｘＣＣＯ）並びに酸素化レベル及び脱酸素化レベル（ＨｂＯ₂及びＨＨｂ）を介して脳代謝を測定してもよい。

【0078】

代謝測定は、神経反応に直接関連し、それに対し、血管反応の測定であるＨｂＯ₂及びＨＨｂは、神経反応についての結論に間接的にしか導かない。

【0079】

所望の代謝反応は、今までの従来のｆＮＩＲＳで利用できない。その理由は、今までの従来のｆＮＩＲＳがブロードバンドではなく２，３の波長しか用いないからである。

【0080】

減少した代謝の測定は、望ましくは、タスクを実行する間の注意が向けられない刺激が負荷の減少した注意が向けられたタスクの条件よりも増大した負荷を示すことを表す。新たなデータの最初の分析は、注意が向けられた刺激に応答した増大した代謝も表す。

【0081】

センサ装置は、脳の後頭葉に複数の測定チャネルを設けるように構成された複数のソース及び複数の検出器を備えてもよい。

【0082】

測定チャネルは、脳の一次視覚野（Ｖ１）の外側の範囲及び／又は線条体外領域（Ｖ２，Ｖ３及びＶ４）の全体に亘って広がってもよい。

【0083】

測定チャネルは、特に、左／右下後頭回（ＩＯＧ）、左／右中後頭回（ＭＯＧ）及び／又は内側後頭葉を含む脳の複数の関心領域にグループ分けされてもよい。

【0084】

一般的には、（例えば、実際の運転シーンの観点から）測定した結果が正確でないことがあるために開示による決定、例えば、「知覚負荷の決定」を推定とみなしてもよいことに留意されたい。

【0085】

さらに、開示は、上述した制御装置を備える車両に関する。

【0086】

車両は、視覚的な運転シーン及び／又はドライバの顔、特に、眼／瞳孔を検知するように構成されたセンサを更に備え、センサは、特に、光学センサであり、更に具体的には、少なくとも一つのデジタルカメラである。運転シーンは、第１のタイプの刺激であってもよい。

【0087】

車両は、少なくとも部分的に自動化された運転制御のために構成されてもよい。制御装置を、ドライバの知覚負荷の増大を示す状況を識別するために運転制御の前処理段階で用いてもよい。

【0088】

車両は、少なくとも部分的に自動化された運転制御のために構成されたハードウェアリソース及び／又はソフトウェアリソースを備えてもよい。

【0089】

車両は、例えば、知覚負荷の増大に関する重大な状況について人間に情報を提供するように構成されたヒューマンマシンインタフェースを備えてもよい。したがって、ヒューマンマシンインタフェースは、ドライバの安全運転に貢献することができる。

【0090】

追加的に又は代替的に、ヒューマンマシンインタフェースは、いわゆるテイクオーバーリクエストのために構成されてもよく、この場合、自動制御システムは、ドライバに車両操作の引き継ぎを要求する。そのような状況において、運転タスクに関連した運転シーンの知覚負荷を確実に決定できるようにすることが自動制御システムにとって重要である。別の例示的な構成は、自動制御システムが、例えば、決定された知覚負荷が特定のしきい値を超えたことをシステムによって認識された場合に運転制御を引き継ぐことである。

【0091】

特に指定のない限り、上述した要素の組合せ及び明細書内の要素の組合せを行うことができることを意図する。

【0092】

上述した一般的な説明及び以下の詳細な説明は、例示的であるとともに説明だけのためのものであり、特許請求の範囲にあるように、開示の限定するものではないことを理解すべきである。

【0093】

この明細書に組み込まれるとともにその一部を構成する添付図面は、説明と共に開示の実施の形態を示し、その原理を説明する役割を果たす。

【図面の簡単な説明】

【0094】

【図1】本開示の実施の形態による制御装置を有するシステムのブロック図を示す。

【図2】本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートを示す。

【図3】本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートを示す。

【図4】本開示の実施の形態による例示的な刺激の概略図を示す。

【図5】本開示の実施の形態による測定された代謝活性の例示的なレベルを有する図を示す。

【図6】本開示の実施の形態による第２のタイプの追加された刺激が原因の測定された代謝活性の例示的な変化を有する図を示す。

【図7】本開示の実施の形態によるタスクの複雑性の増大が原因の測定された代謝活性の例示的な変化を有する図を示す。

【発明を実施するための形態】

【0095】

本開示の例示的な実施の形態を詳しく参照し、その例を添付図面に示す。可能な限り、同一又は同様のパーツを示すために図面を通じて同一の参照番号を用いる。

【0096】

図１は、本開示の実施の形態による制御装置（又は電子装置）１を有するシステム１０のブロック図を示す。

【0097】

制御装置１は、（図示しない）データ記憶装置に接続されてもよい又は当該データ記憶装置を備えてもよい。上記データ記憶装置を、上述したように知覚負荷又は刺激知覚のレベルを決定するアルゴリズムを記憶するのに用いてもよい。

【0098】

制御装置１は、システム１０の別の機能を更に実行してもよい。例えば、制御装置は、システムの汎用ＥＣＵ（電子制御装置）として機能してもよい。制御装置１は、電子回路、プロセッサ（共有、専用又はグループ）、組合せ論理回路、一つ以上のソフトウェアプログラムを実行するメモリ、及び／又は、上述した機能を提供する他の適切な構成要素を備えてもよい。

【0099】

制御装置１は、ｆＮＩＲセンサ装置２に更に接続される。制御装置１及びセンサ装置２は、システム１０によって構成されてもよい。ｆＮＩＲセンサ装置は、機能的近赤外線分光法であってもよい。望ましくは、ｆＮＩＲセンサ装置は、例えば、６５０ｎｍ～９００ｎｍの範囲（すなわち、赤色光から近赤外光までの）ブロードバンドセンサであってもよい。これに関連して、バンドは、光の波長であり、したがって、ブロードバンドは、光の膨大な数（多数）の波長を意味する。例えば、島津製作所のＬｉｇｈｔＮＩＲシステムが三つのバンドの光を用いるのに対し、センサ装置１０は、好適には、数百のバンドの光を用いる。

【0100】

ｆＮＩＲセンサ装置２は、細胞の酸素代謝を示すミトコンドリア酵素、特に、シトクロムｃオキシターゼ（ｏｘＣＣＯ）の酸化還元状態変化を測定してもよい。

【0101】

ｆＮＩＲセンサ装置２は、人間ｈの脳の代謝活性を測定するように構成されてもよい。センサ装置は、特に、視覚野、更に具体的には、一次視覚野（Ｖ１）の外側の範囲及び（Ｖ２，Ｖ３及びＶ４を含む）線条体外領域での測定を行ってもよい。

【0102】

ｆＮＩＲＳ装置は、（５個の検出器の行、４個のソースの行及び５個の検出器の行として配置された）４個のソース及び１０個の検出器を備え、その結果、人間の後頭葉に合計１６個の測定チャネルとなる。オプトードを、１０－２０電極システムに従って配置してもよく、全ての位置の配置を、標準化された脳のチャネル位置にマッピングできるように設計してもよい。平均ＭＮＩ座標に関連付けられた解剖学的領域に基づいて、測定チャネルを、５個の関心領域：（ＡＡＬデジタル脳地図に基づく）左／右内側後頭回（ＩＯＧ）、左／右中後頭回（ＭＯＧ）及び内側後頭部にグループ分けしてもよい。機能的には、これは、チャネルが一次視覚野（Ｖ１）の外側の範囲及び（Ｖ２，Ｖ３及びＶ４を含む）線条体外領域の全体に亘って望ましく広がることを意味する。セットアップは、後頭皮質又は注意及び知覚に関連した他の非室領域、例えば、頭頂葉皮質及び聴覚側頭皮質にある他の形態であってもよい。

【0103】

後頭皮質の好適な関心領域（ＲＯＩ）は、左中後頭回（ＭＯＧ）、内側後頭葉、右ＭＯＧ及び／又は右内側後頭回（ＩＯＧ）である。

【0104】

適切な解剖学的部位を、各チャネルに対する平均ＭＮＩ座標の次の表に示す。

【0105】

【表1】

【0106】

さらに、システム１０は、生成及び／又は検知装置２０に接続されている又は生成及び／又は検知装置２０を備える。装置２０は、人間ｈが暴露される刺激を生成及び／又は検知するように構成される。したがって、装置２０が刺激生成器として構成される場合、システム１０、特に、制御装置１は、装置２０を制御する。装置２０が刺激センサとして構成される場合、システム１０、特に、制御装置１は、装置２０のセンサデータを受信する。生成器及びセンサとしての装置２０の組合せ形態も可能である。

【0107】

刺激に関して、人間の脳が知覚できる限りあらゆる種類の刺激が可能である。図４に関連して後に説明する基本的な刺激領域の例では、システム１０は、主に実験テストシステムとしての役割を果たす。

【0108】

しかしながら、システムを、現実的な応用、例えば、車両で用いてもよい。この場合、（後に詳しく説明する）第１のタイプの刺激は、例えば、ドライバ（すなわち、人間ｈ）によって知覚できる視覚的かつ動的な運転シーンから構成されてもよい。

【0109】

生成及び／又は検知装置２０は、視覚的な運転シーンを検知するように構成されたセンサを備えてもよく、センサは、特に、光学センサであり、更に具体的には、少なくとも一つのデジタルカメラである。

【0110】

したがって、運転シーンを検知（すなわち、知覚）するために、複数のセンサを用いてもよい。例えば、運転シーンの３次元情報、サラウンドビュータイプセンサ形態及びその組合せを取得するために、二つのセンサを用いてもよい。

【0111】

装置２０のセンサデータを、システム１０、特に、制御装置１に供給してもよい。

【0112】

さらに、（後に詳しく説明する）第２のタイプの刺激は、例えば、視覚的かつ動的な運転シーンの既定のイベント、例えば、走行車線を通過する又は走行車線に近づく人から構成されてもよい。この場合、第２のタイプの刺激を、（例えば、第１のタイプの刺激と同じ方法で）検知するとともに装置２０によって識別してもよく、各情報をシステム１０に提供してもよい。代替的には、制御装置は、装置２０のセンサ出力を受信し、例えば、機械学習技術に基づいて、それ自体で第２のタイプの刺激を識別してもよい。

【0113】

第２のタイプの刺激は、装置２０によって生成される刺激、例えば、既定の音又は光信号から構成されてもよく、それは、ドライバによって知覚することができる。この場合、システム１０、特に、制御装置１は、装置２０の出力を制御してもよい。

【0114】

生成及び／又は検知装置２０は、第１のタイプの刺激の知覚に応答して特定のタスクを実行するよう人間に指示するように構成されてもよい。この場合は、例えば、図４の状況における実験状況に特に関連する。

【0115】

代替的には、装置は、第１のタイプの刺激によって示された（すなわち、提供された）タスクを決定してもよい。この場合は、例えば、車両の運転における現実的な応用に特に関連する。この例において、第１のタイプの刺激は、運転シーンであってもよく、したがって、関連のタスクは、車両の運転を備えてもよい。

【0116】

例えば、運転シーンは、ブレーキ（タスク）を示してもよい。この場合、ドライバによって実行されるタスクは、運転シーン、すなわち、第１のタイプの（検知される）刺激に依存する。他の例において、装置２０は、スケジュールされた目的地に基づいて、ドライバが現在の道路を離れる必要があるとともに新たな道路に到達するために左又は右に曲がって車線（高い知覚負荷）又は空いた道路（低い知覚負荷）を横切る必要があると決定してもよい。この場合、ドライバによって実行されるタスクは、運転シーン、すなわち、第１のタイプの（検知された）刺激及びドライバに与えられる外部の命令に依存する。要約すると、タスクは、状況に依存する。

【0117】

以下、制御装置１の機能、特に、ｆＮＩＲ装置２及び生成又は検知装置２０からのセンサデータを処理する方法を、図２及び図３に関連して更に詳しく説明する。

【0118】

図２は、本開示の実施の形態による知覚負荷を決定する例示的な方法を示す概略フローチャートである。

【0119】

ステップＳ２１において、人間の脳の代謝活性ｍａ１１を、人間によって実行される第１の複雑性レベルｃ１を有するタスクの間に測定する。更に詳しくは、人間は、第１のタイプの刺激に暴露されてもよく、第１のタイプの刺激を知覚するように命令されるとともにそれに反応して既定のタスクを実行してもよい。実行されるタスクのために、知覚負荷が人間の脳に誘導され、これによって、測定可能な代謝活性が生じる。

【0120】

ステップＳ２２において、ステップＳ２１の手順が繰り返されるが、タスクの複雑性レベルｃ２が増大する。このように増大した複雑性を、対応して更に複雑になった第１のタイプの刺激によって制御してもよい。ステップＳ２２において、代謝活性ｍａ１２が測定される。

【0121】

ステップＳ２１及びＳ２２が他の順序を有してもよい。ステップＳ２１及びＳ２２を複数回繰り返してもよく、例えば、各測定の平均値が決定される。

【0122】

ステップＳ２３において、人間の脳の知覚負荷（ｐｌ）を、ステップＳ２１で測定された代謝活性ｍａ１１とステップＳ２２で測定された代謝活性ｍａ１２の間の代謝活性の変化に基づいて決定（又は推定）する。一般的には、著しい変化は、人間の脳が知覚及び／又はタスクの制御の維持が可能のままであることを示す。

【0123】

ステップＳ２４において、（測定された）変化が既定の第１のしきい値を超えたか否か判断する。

【0124】

そうでない場合、ステップＳ２５において、知覚負荷が既定の負荷しきい値、例えば、既定値又は最大脳能力を超えたと判断する。人間の脳が（例えば、複雑性が増大したためにもはや）タスクに注意を向けなかったとしてもよい。例えば、方法を車両で用いるとともに関連のタスクが運転タスクである場合、自動運転システムが運転制御を引き継いでもよい。

【0125】

図３は、本開示の実施の形態に従って第２のタイプの（注意を向けない）刺激の知覚のレベルを決定する方法を示す概略フローチャートを示す。

【0126】

ステップＳ３１において、第１のタイプの刺激の間に代謝活性ｍａ２１が測定される。更に詳しくは、人間は、第１のタイプｓ１の刺激に暴露され、第１のタイプの刺激を知覚するように命令され、それに反応して既定のタスクを実行する。刺激の知覚及び実行されるタスクのために、知覚負荷が人間の脳に誘導され、これによって、測定可能な代謝活性が生じる。

【0127】

ステップＳ３２において、ステップＳ３１の手順が繰り返されるが、望ましくは第１のタイプｓ１の刺激と同時に第２のタイプｓ２の刺激に人間を暴露する。

【0128】

第２のタイプの刺激は、望ましくは人間によって実行される既定のタスクに関連せず、１次タスク刺激に弱く関連してもよい又は２次刺激として１次タスク刺激に関連してもよい。換言すれば、第２のタイプの刺激を、刺激の１次刺激に関連したタスク以外の追加のタスクを行うことなく人間によって知覚され、したがって、注意が向けられるようにしてもよい。すなわち、ｆｎｉｒｓセンサを、刺激に注意が向けられたか否かを判断するのに用いてもよい。方法を、注意が向けられる必要があるがタスク関連刺激の２次レベルの重要性を有する刺激に適用してもよい。

【0129】

また、ステップＳ３２において、代謝活性ｍａ２２を測定するが、代謝活性ｍａ２２は、（ステップＳ３１のｍａ２１のような）第１のタイプの刺激による影響が及ぼされるだけでなく第２のタイプｓ２の刺激による影響が及ぼされる。

【0130】

ステップＳ３１及びＳ３２が他の順序を有してもよい。ステップＳ３１及びＳ３２を複数回繰り返してもよく、例えば、各測定の平均値が決定される。

【0131】

ステップＳ３３において、第２のタイプ（ｓ２）の刺激の知覚のレベルを、ステップＳ３１で測定した代謝活性ｍａ２１とステップＳ３２で測定した代謝活性ｍａ２２の間の代謝活性の変化に基づいて決定（又は推定）する。一般的には、変化の減少は、第２のタイプの刺激の知覚のレベルが低減したことを表す。換言すれば、大きい変化は、人間の脳が知覚及び／又はタスクの制御の維持が可能のままであることを表す。

【0132】

ステップＳ３４にいて、（測定された）変化が既定の第２のしきい値を超えるか否かを判断してもよい。

【0133】

そうでない場合、ステップ３５において、第２のタイプの刺激が感知されなかった又は少なくとも十分に感知されなかったと判断される。例えば、方法が車両に用いられるとともに第２のタイプの刺激が運転シーンの識別される潜在的に危険なイベントである場合、警報信号が有効になり、自動運転システムは、予防的措置として運転制御を引き継いでもよい。

【0134】

図４は、本開示の実施の形態による例示的な刺激の概略図を示す。特に、図４は、実験で使用される刺激を示し、この場合、関係者は、種々の色及び形状の十字が出現する形態の第１のタイプの異なる刺激及びランダムに出現する又は（例えば、）ｎ（ｎ＞１）回の刺激ごとに出現するチェッカーボードの形態の第２のタイプの刺激に暴露される。

【0135】

更に詳しくは、関係者には、二つの異なる向き（直立／反転）を有する有色の十字の急速な流れが示される。（上向きの矢印によって示されるブロックを見る）高負荷ブロックの間、ターゲットは、向きと色の組合せによって特徴付けられ、それに対し、（下向きの矢印によって示されるブロックを見る）低負荷ブロックの間、ターゲットは、色のみによって特徴付けられる。視覚的なシミュレーションが両方の条件において同一であるとともにターゲット命令のみが変わることに留意されたい。

【0136】

各ブロックは、例えば、２５秒の持続時間を有し、２５秒の残り時間が続く。トライアルの途中では、全領域でちらつきのあるチェッカーボードが周辺に示され、関係者は、無視するように命令される。

【0137】

注意が向けられない刺激に反応するｏｘＣＣＯ信号の変化が負荷のレベルによって変調されるという仮説を検証するために、負荷及び妨害の存在（すなわち、第２のタイプの刺激の存在）の二つの要因を有する反復測定ＡＮＯＣＡ（分散分析）を、各関心領域（ＲＯＩ）で行ってもよい。

【0138】

図５は、本開示の実施の形態による測定された代謝活性の例示的なレベルを有する図を示す。特に、図５は、各脳領域に対する四つの平均（すなわち、テスト結果）を示す。これらは、第２のタイプの追加の刺激（すなわち、チェッカーボード）を有する高負荷状態、第２のタイプの追加の刺激を有しない高負荷状態、第２のタイプの追加の刺激を有する低負荷状態及び第２のタイプの追加の刺激を有しない低負荷状態に対応する。二つの領域（内側後頭葉及び右ＭＯＧ）において、チェッカーボードが存在しない状態からチェッカーボードが存在する状態への相対的な増大は、高知覚負荷の下よりも低知覚負荷の下の方が著しく大きい（すなわち、チェッカーボードは、簡単なタスクの間に更に強く知覚される。）。

【0139】

図６は、本開示の実施の形態による第２のタイプの追加の刺激による測定された代謝活性の例示的な変化を有する図である。図５と比較すると、図６は、高負荷及び低負荷におけるチェッカーボードが存在する状態とチェッカーボードが存在しない状態の間の相対的な差（すなわち、チェッカーボードが存在するときの値からチェッカーボードが存在しないときの値を減算したもの）を示す。

【0140】

特に、図６は、高い知覚負荷の状態及び低い知覚負荷の状態の下での第２のタイプの刺激の存在に関連するｏｘＣＣＯ濃度変化の比較（存在－不在）を示す。高負荷の間より低負荷の間の方がチェッカーボードの存在に反応する信号の著しい増大が内側後頭葉及び右内側後頭回で見つけられた。エラーバーは、標準誤差を表す。

【0141】

負荷と妨害の存在（すなわち、第１のタイプの刺激及び第２のタイプの刺激）の間の相互作用は、内側後頭葉で著しくなる（Ｆ（１，１２）＝９．１８，ｐ＝．０１０）及び右ＭＯＧで著しくなる（Ｆ（１，９）＝１０．３９，ｐ＝．０１０）。この相互作用の向きは予測された。両方のＲＯＩに対して、存在状態と不在状態の間の信号変化の差は、高負荷の場合（内側後頭葉：Ｍ＝０．０１８μＭ，ＳＤ＝０．０１９；右ＭＯＧ：Ｍ＝０．０１１μＭ，ＳＤ＝０．０１１）よりも低負荷の場合（内側後頭葉：Ｍ＝０．０２９μＭ，ＳＤ＝０．０１９；右ＭＯＧ：Ｍ＝０．０２９μＭ，ＳＤ＝０．０１８）の方が大きかった。事後の対応のあるｔテストは、両方のＲＯＩにおいて低負荷（内側後頭葉：ｔ（１２）＝５．５２，ｐ＜．００１；右ＭＯＧ：ｔ（９）＝５．２９，ｐ＝．００１）及び高負荷（内側後頭葉：ｔ（１２）＝３．４０，ｐ＜．００５；右ＭＯＧ：ｔ（９）＝３．２０，ｐ＝．０１１）における妨害の存在の単純な主影響が存在することを確認した。妨害の不在に対する妨害の存在の注意が向けられるｏｘＣＣＯ信号の傾向は、左ＩＯＧから離れた他の全てのＲＯＩで一貫していた（図５参照）。これは、妨害の存在に関連する代謝活性が低負荷の状態よりも高負荷の状態で小さくなることを示す。発明者の知識によれば、これは、負荷に依存する注意変調が視覚野の脳代謝に影響を及ぼすという第１の直接的な証拠である。

【0142】

この結果は、視覚野の反応の神経反応の負荷変調を測定するために血液酸素レベル依存（ＢＯＬＤ）信号を用いた以前のｆＭＲＩの発見に一致する（Rees等,1997;Schwartz等,2005;Torralbo等,2016)。しかしながら、これらの以前の発見は、脳のエネルギー消費に直接関連しない。ＢＯＬＤ信号は、ＨＨｂの常磁性を利用する。神経活動中、ＨＨｂの濃度は、脳血流の変化、脳血液量の変化及び細胞代謝の変化の複雑な相互作用のために減少する。血流の著しく大きい変化は、増大したエネルギー要求の直接的な結果ではなく、グルタミン酸のシグナル伝達によってトリガされる。重要なのは、それらの間の結合が空間及び時間に亘って可変であるとともに神経活性化によって影響が及ぼされるので、二つのプロセスを互いに同一視すべきでない。したがって、ＨＨｂのレベルを測定するＢＯＬＤ信号は、脳代謝に特有の仮説を検証するのに適切でない。

【0143】

本開示で説明した結果は、抹消チェッカーボード刺激の注意が向けられる観察状態及び注意が向けられない観察状態の間の脳酸素消費量（ＣＭＲＯ₂）を数学的に推定するためにＢＯＬＤ信号及び脳血流（ＣＢＦ）を測定するｆＭＲＩを用いたMradi等(2012)による最近の発見に適合する。注意が向けられない状態は、集中的なｎバック課題で構成されていたのに対し、注意が向けられた状態は、スクリーンの中央を固定する間に注意のチェッカーボードにひそかに注意を移動させるとともに輝度の変化を検出する関係者を必要とした。しかしながら、この実験では目の動きを制御することができず、注意が向けられた状態と注意が向けられない状態の間の差は、（注意のひそかな移動ではなく）注意が向けられた状態の間のチェッカーボードの固定によって生じた強い視覚信号が原因である可能性がある。

【0144】

本開示によれば、図４～６に関連して説明したように、関係者は、高負荷（注意が向けられない）状態及び低負荷（注意が向けられた）状態の間にスクリーンの中央でタスクを実行する必要があり、チェッカーボードの妨害は、両方の状態に関連しなかった。さらに、高速の刺激提示は、この固定を支持することを確実にした。

【0145】

負荷理論の知覚処理の制限された能力モデルは、知覚処理の能力制限のあり得る生理的相関物として代謝に焦点を当てる図４～６に関連して上述した結果によってサポートされる。脳の全体的なエネルギー消費は、精神状態に関係なく比較的一定のままである。しかしながら、ニューラルスパイキングは、代謝的に非常に高価である。これによって、関連情報を表すために非常に少ない活性ニューロンを用いることによってリソースが節約されるスパースコーディングモデルの提案につながった。本開示は、そのようなモデルをサポートする。その理由は、他の刺激の処理の増大がタスク要求のために必要となる状態の下で代謝活性が著しく減衰することを本開示が示すからである。特に、高負荷状態の下でタスクに関係ない刺激の表示を減らすことによって節約される代謝リソースは、注意が向けられたタスクに関係ある刺激の表示を改善するために実際に用いられる。

【0146】

結論として、図４～６に関連して上述した結果は、タスクに関係ない刺激に対する有線皮質及び外線条皮質の脳代謝が低知覚負荷の状態の間よりも高知覚負荷の状態の間に著しく減少する。これらの注意によって誘発される細胞代謝の負荷依存変化は、知覚負荷理論の枠組みの中で説明される（例えば、Lavie, Nilli; Tsal, Yehoshua (1994). "Perceptual load as a major determinant of the locus of selection in visual attention", Perception and Psychophysics, 56 (2): 183-197, Lavie, N. (1995). Perceptual load as a necessary condition for selective attention. Journal of Experimental Psychology: Human Perception and Performance, 21, 451-468, Lavie, N. (2005) Distracted and confused?: selective attention under load. Trends in Cognitive Sciences, 9, 75-82, and Lavie, N., Beck, D. M. & Konstantinou, N. (2014). Blinded by the load: attention, awareness and the role of perceptual load. Philosophical Transactions of the Royal Society B: Biological Sciences, 369: 20130205) and accommodate a wealth of neuroimaging findings that found reduced BOLD responses (Rees et al., 1997; Schwartz et al., 2005; Torralbo et al., 2016), neural excitability (Muggleton et al., 2008) and neural field potentials for task-irrelevant stimuli under high load conditions参照）。重要なのは、代謝が負荷によって直接的に影響が及ぼされ、したがって、代謝が負荷論理で概説されている能力制限の神経相関である可能性があることを示している。さらに、本開示は、マルチチャネルのブロードバンドｆＮＩＲＳが有利なニューロイメージングツールとなることができる方法を示す。その理由は、ＢＯＬＤ信号のような測定で不可能である欠陥因子と代謝因子との区別を可能にするからである。

【0147】

図７は、人間によって実行されるタスクの知覚負荷の変化による測定された代謝活性の例示的な変化の図を示す。タスクは、図４と同一であるが、十字は更に大きく、パターン化されていた。特に、図７は、チェッカーボードのちらつきのない場合（第２のタイプの刺激）の低負荷タスクと高負荷タスクの間のｏｘＣＣＯ濃度変化の比較を示す。タスクの知覚負荷の増大に応答した著しく大きい信号の増大が見られた。エラーバーは、標準誤差を示す。

【0148】

本例において、チャネル８を測定に用いた。ｆＭＲＩシステムは、各ソースと検出器の間に存在する測定チャネルを有する。この例示的な場合において、チャネル８は、高負荷と低負荷の間の測定された変化が統計的有意義性に到達した後頭葉（左内側後頭回）の位置を意味する。したがって、望ましくは、測定は後頭葉で行われる。

【0149】

特許請求の範囲を含む説明全体を通して、用語「備える」は、特に明記しない限り「少なくとも一つを備える」と同義であると理解すべきである。さらに、特区請求の範囲を含む説明に記載された範囲は、特に明記されない限りその（一つ以上の）終値を含むものと理解すべきである。上記構成要素の特定の値は、当業者に知られている許容された製造公差又は産業公差内にあるものと理解すべきであり、用語「略」及び／又は「約」及び／又は「一般的には」は、そのような許容範囲内にあることを意味するものと理解すべきである。

【0150】

ここでの本開示を特定の実施の形態を参照しながら説明したが、これらの実施の形態は、原理及び本開示の応用の例示にすぎないことを理解すべきである。

【0151】

明細書及び例を例示としてのみみなされることが意図され、開示の真の範囲は、特許請求の範囲によって示される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2022-07-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

人間の脳による第２のタイプの刺激の知覚のレベルを決定する方法であって、
第１の期間において、人間が既定のタスクを実行することに応答して、人間の脳を第１のタイプの既定の刺激に暴露し、これによって、人間の脳に知覚負荷を誘導するステップと、
第２の期間において、人間の脳を、前記第１のタイプの既定の刺激及び人間の脳によって知覚することができる第２のタイプの既定の刺激に暴露するステップと、
前記第１の期間及び前記第２の期間の人間の脳の代謝活性を、機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）を用いて測定するステップと、
前記第２のタイプの刺激の知覚のレベルを、前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化の関数として決定するステップと、
を備える方法。

【請求項2】

前記第１のタイプは、タスク－１次タイプであり、前記第２のタイプは、タスク－２次タイプである、請求項１に記載の方法。

【請求項3】

前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化が、既定の第２の上限しきい値を越える場合、前記第２のタイプの刺激の知覚のレベルが既定の最小知覚レベルを超えると判断し、及び／又は、
前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化が、前記第２の上限しきい値を越えない場合、人間の脳が前記第２のタイプの刺激を知覚しない及び／又は人間の脳が前記第２のタイプの刺激に注意を向けなかったと判断する、請求項１又は２に記載の方法。

【請求項4】

人間によって実行される前記既定のタスクを生成するステップ及び／又は人間によって実行される前記既定のタスクを検知するステップを更に備える、請求項１～３のいずれか一項に記載の方法。

【請求項5】

人間が運転タスクを備える既定のタスクを実行することに応答して、前記人間の脳を、運転シーンを備える第１のタイプの既定の刺激に暴露するステップを更に備える、請求項１～４のいずれか一項に記載の方法。

【請求項6】

前記第１のタイプの刺激は、前記タスクを実行するときに人間によって注意が向けられる、及び／又は、
前記第２のタイプの刺激は、前記タスクを実行するときの人間によって注意が向けられない刺激となるように前記タスクによって予め決定されない、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記第１のタイプの刺激は、前記既定のタスクの複雑性が相応に変化するように可変である、請求項１～６のいずれか一項に記載の方法。

【請求項8】

人間の脳による刺激の知覚のレベルを決定するシステムであって、
第１の期間及び第２の期間の人間によって実行される既定のタスクを生成及び／又は人間によって実行される既定のタスクを検知し、
前記第２の期間の人間の脳によって感知される既定の刺激を生成及び／又は検知するように構成された生成及び／又は検知装置（２０）と、
前記第１の期間及び前記第２の期間の人間の脳の代謝活性を測定するように構成された機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）と、
前記刺激の知覚のレベルを、前記第１の期間に関連する前記第２の期間の前記代謝活性の測定された変化の関数として決定する制御装置（１）と、
を備えるシステム。

【請求項9】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）は、細胞の酸素代謝を示すミトコンドリア酵素の酸化還元状態変化を測定するように構成された、請求項８に記載のシステム。

【請求項10】

前記代謝活性の測定された変化は、人間の脳の神経反応中のエネルギー消費の増大を表す、請求項８又は９に記載のシステム。

【請求項11】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）は、酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの濃度変化を測定するように更に構成された、請求項８～１０のいずれか一項に記載のシステム。

【請求項12】

前記制御装置（１）は、
酸素化（ＨｂＯ₂）及び／又は脱酸素化（ＨＨｂ）ヘモグロビンの測定された濃度変化に基づいて、脳の関心領域を予め選択し、予め選択した脳の関心領域の前記代謝活性の測定された変化に基づいて知覚負荷を決定する、請求項８～１１のいずれか一項に記載のシステム。

【請求項13】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）は、人間の脳の後頭葉及び／又は右内側後頭回の前記代謝活性の変化を測定するように構成され、
前記制御装置は、後頭葉及び／又は右内側後頭回の前記代謝活性の測定された変化に基づいて知覚負荷を決定するように構成された、請求項８～１２のいずれか一項に記載のシステム。

【請求項14】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）は、６５０ｎｍ～９００ｎｍの範囲を検知するように構成されたブロードバンド機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置である、請求項８～１３のいずれか一項に記載のシステム。

【請求項15】

前記機能的近赤外線分光法（ｆＮＩＲＳ）センサ装置（２）は、脳の後頭葉に複数の測定チャネルを設けるように構成された複数のソース及び複数の検出器を備える、請求項８～１４のいずれか一項に記載のシステム。

【請求項16】

前記測定チャネルは、脳の一次視覚野（Ｖ１）の外側の範囲及び／又は線条体外領域（Ｖ２，Ｖ３及びＶ４）の全体に亘って広がる、請求項１５に記載のシステム。

【請求項17】

前記測定チャネルは、左／右下後頭回（ＩＯＧ）、左／右中後頭回（ＭＯＧ）及び／又は内側後頭葉を含む脳の複数の関心領域にグループ分けされる、請求項１５又は１６に記載のシステム。

【外国語明細書】