IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社CROSS SYNCの特許一覧

特開2024-15882意識状態解析装置及びプログラム、並びに観察システム
<>
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図1
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図2
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図3
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図4
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図5
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図6
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図7
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図8
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図9
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図10
  • 特開-意識状態解析装置及びプログラム、並びに観察システム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024015882
(43)【公開日】2024-02-06
(54)【発明の名称】意識状態解析装置及びプログラム、並びに観察システム
(51)【国際特許分類】
   A61B 5/16 20060101AFI20240130BHJP
   A61B 5/11 20060101ALI20240130BHJP
【FI】
A61B5/16 130
A61B5/16 120
A61B5/11 100
【審査請求】有
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2022118250
(22)【出願日】2022-07-25
(11)【特許番号】
(45)【特許公報発行日】2022-10-27
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和4年度、国立研究開発法人日本医療研究開発機構、医工連携・人工知能実装研究事業「患者の表情・体動を常時観察・解析し、意識レベル、鎮痛・鎮静レベルの評価に資するAI見守り機能の研究開発」委託研究開発、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】521313359
【氏名又は名称】株式会社CROSS SYNC
(74)【代理人】
【識別番号】100176072
【弁理士】
【氏名又は名称】小林 功
(72)【発明者】
【氏名】南部 雄磨
(72)【発明者】
【氏名】田端 篤
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038PP03
4C038PP05
4C038PS07
4C038VA04
4C038VA15
4C038VB04
4C038VB31
4C038VC05
(57)【要約】
【課題】様々な状況下にて被解析者の意識状態の推定精度をより向上可能な意識状態解析装置及びプログラム、並びに観察システムを提供する。
【解決手段】意識状態解析装置としてのサーバ装置20は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示す画像データ52を取得する画像取得部36と、取得された画像データ52に対して物体検出処理を施して、被解析者12の開閉眼の時間変化を検出する物体検出部38と、少なくとも、開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者12の意識状態を推定する状態推定部40と、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する画像取得部と、
前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、
少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
を備える、意識状態解析装置。
【請求項2】
前記状態推定部は、前記開閉眼特徴量の種類及び判定時間の長さの組み合わせが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類する、
請求項1に記載の意識状態解析装置。
【請求項3】
前記開閉眼特徴量は、瞬きの頻度又は速度に関する統計量を含む、
請求項1に記載の意識状態解析装置。
【請求項4】
前記開閉眼特徴量は、開眼時間又は閉眼時間の割合を示す統計量を含む、
請求項1に記載の意識状態解析装置。
【請求項5】
前記物体検出部は、前記被解析者の体動をさらに検出し、
前記状態推定部は、前記物体検出部により検出された前記体動に関する動き特徴量をさらに用いて、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項6】
前記状態推定部は、前記動き特徴量の種類及び判定時間の長さが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類する、
請求項5に記載の意識状態解析装置。
【請求項7】
前記動き特徴量は、前記体動の速度、前記体動の加速度、又は前記被解析者の特定の挙動に関する統計量を含む、
請求項5に記載の意識状態解析装置。
【請求項8】
前記物体検出部は、前記被解析者の周辺にある特定の物体をさらに検出し、
前記状態推定部は、前記物体検出部により検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量をさらに用いて、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項9】
前記状態推定部は、前記反応特徴量が小さいほど重症度が高くなるように、又は、前記反応特徴量が大きいほど重症度が低くなるように前記意識状態を推定する、
請求項8に記載の意識状態解析装置。
【請求項10】
前記状態推定部は、前記反応特徴量が閾値を上回っている時間帯を除外して前記被解析者の意識状態を推定する、
請求項8に記載の意識状態解析装置。
【請求項11】
前記状態推定部は、前記被解析者への鎮静剤の投与の有無に応じて異なる規則に従って、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項12】
前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部をさらに備える、
請求項1に記載の意識状態解析装置。
【請求項13】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する取得ステップと、
取得された前記画像データに基づいて、前記被解析者の開閉眼の時間変化を検出する検出ステップと、
少なくとも、検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する推定ステップと、
を1つ又は複数のコンピュータに実行させる、意識状態解析プログラム。
【請求項14】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを出力するカメラと、
前記カメラから出力された前記画像データに基づいて、外部への報知を指示する意識状態解析装置と、
前記意識状態解析装置からの前記報知の指示に応じて外部に報知する報知装置と、
を備え、
前記意識状態解析装置は、
前記カメラにより出力された前記画像データを取得する画像取得部と、
前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、
少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部と、
を備える、観察システム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、意識状態解析装置及びプログラム、並びに観察システムに関する。
【背景技術】
【0002】
近年、医療分野において、患者を含む被解析者から計測された生体情報を解析し、得られた解析結果を、本人又は他人の治療や診断などに活用するための研究・開発が行われている。例えば、被解析者に関する種々の情報に基づいて被解析者の重症化を高精度に推定する技術が知られている。
【0003】
特許文献1には、患者の病床を含む撮影領域を経時的に撮影した病床画像データを取得し、取得した病床画像データに撮影されている患者又は患者の身体部位の動作を解析し、解析された動作に基づいて、早期警告スコアの指標に含まれている酸素投与又は意識状態の少なくとも一方についてスコアリングして患者の重症化を推定するシステムが開示されている。また、同文献には、患者の目が開いているか否かが判定条件の1つとして用いられるとの記載がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2020/203015号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、被解析者が、例えば、せん妄を含む混乱状態にあったり、鎮静管理下にあったりする場合、目の開閉だけでは被解析者の意識状態を正しく推定できない事例がある。つまり、特許文献1に記載のシステムには、推定精度の観点で、改良の余地が十分に残されている。
【0006】
本発明はこのような課題に鑑みてなされたものであり、様々な状況下にて被解析者の意識状態の推定精度をより向上可能な意識状態解析装置及びプログラム、並びに観察システムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の第1態様における意識状態解析装置は、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する画像取得部と、前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、を備える。
【0008】
本発明の第2態様における意識状態解析プログラムは、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する取得ステップと、取得された前記画像データに基づいて、前記被解析者の開閉眼の時間変化を検出する検出ステップと、少なくとも、検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する推定ステップと、を1つ又は複数のコンピュータに実行させる。
【0009】
本発明の第3態様における観察システムは、ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを出力するカメラと、前記カメラから出力された前記画像データに基づいて、外部への報知を指示する意識状態解析装置と、前記意識状態解析装置からの前記報知の指示に応じて外部に報知する報知装置と、を備え、前記意識状態解析装置は、前記カメラにより出力された前記画像データを取得する画像取得部と、前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の開閉眼の時間変化を検出する物体検出部と、少なくとも、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部と、を備える。
【発明の効果】
【0010】
本発明によれば、様々な状況下にて被解析者の意識状態の推定精度をより高めることができる。
【図面の簡単な説明】
【0011】
図1】本発明の一実施形態における観察システムの全体構成図である。
図2図1のサーバ装置の構成の一例を示す図である。
図3】意識障害の重症度を示すGCS(Glasgow Coma Scale)の得点表を示す図である。
図4】意識状態の推定動作に関する基本的なフローチャートである。
図5図1の室内の一例を示す斜視図である。
図6】開閉眼の時間変化に関する判定情報により特定される判定条件の一例を示す図である。
図7】被解析者の体動に関する判定情報により特定される判定条件の一例を示す図である。
図8】推定動作の具体例を示す第1フローチャートである。
図9】推定動作の具体例を示す第2フローチャートである。
図10】推定動作の具体例を示す第3フローチャートである。
図11】推定動作の具体例を示す第4フローチャートである。
【発明を実施するための形態】
【0012】
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素及びステップに対しては可能な限り同一の符号を付して、重複する説明は省略する。
【0013】
[観察システム10の構成]
<全体構成>
図1は、本発明の一実施形態における観察システム10の全体構成図である。この観察システム10は、被解析者12の意識状態を観察(あるいは、監視)するための「見守りサービス」を提供可能に構成される。本図の例では、被解析者12は、病院や自宅などの室14内に設けられるベッド16上で臥床している。この観察システム10は、具体的には、1つ又は複数のカメラ18と、サーバ装置20(「意識状態解析装置」に相当)と、1つ又は複数の端末装置22(「報知装置」に相当)と、を含んで構成される。
【0014】
カメラ18は、室14内の撮影を通じてフレーム毎の画像信号を生成し、画像の時系列を示す画像データ52(図2)として出力する撮像装置である。カメラ18は、例えば、可視光カメラ、赤外線カメラ、TOF(Time Of Flight)カメラ、同じ種別のカメラからなるステレオカメラ、又は、異なる種別のカメラの組み合わせから構成される。カメラ18は、ベッド16が画角内に収まるように固定配置されている。この画像データ52を用いて、ベッド16上の被解析者12の位置・姿勢を追跡することができる。
【0015】
サーバ装置20は、上記した見守りサービスに関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置20を単体のコンピュータとして図示しているが、サーバ装置20は、これに代わって分散システムを構築するコンピュータ群であってもよい。
【0016】
端末装置22は、観察サービスを利用するユーザが所有するコンピュータであって、視覚又は聴覚を通じて外部に報知するための出力機能部(具体的には、ディスプレイ、スピーカなど)を有する。端末装置22は、例えば、スマートフォン、タブレット、パーソナルコンピュータなどから構成される。
【0017】
中継装置24は、コンピュータ同士をネットワーク接続するための通信機器であり、例えば、ルータ、ゲートウェイ、又は基地局から構成される。これにより、カメラ18とサーバ装置20とは、中継装置24及びネットワークNTを介して通信可能に構成される。また、サーバ装置20と端末装置22とは、中継装置24及びネットワークNTを介して通信可能に構成される。
【0018】
<サーバ装置20の構成>
図2は、図1のサーバ装置20の構成の一例を示す図である。このサーバ装置20は、具体的には、通信部30と、制御部32と、記憶部34と、を含んで構成されるコンピュータである。
【0019】
通信部30は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置20は、カメラ18から逐次的に出力された画像データ52を取得するとともに、自身が生成した推定情報60を含む報知データを端末装置22に供給することができる。
【0020】
制御部32は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)を含むプロセッサによって構成される。制御部32は、記憶部34に格納されたプログラム及びデータを読み出して実行することで、画像取得部36、物体検出部38、状態推定部40、及び報知指示部42として機能する。
【0021】
画像取得部36は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列(つまり、フレーム毎の画像)を示す画像データ52を取得する。画像取得部36は、カメラ18から受信した画像データ52を直接的に取得してもよいし、記憶部34に予め格納されている画像データ52を読み出して取得してもよい。
【0022】
物体検出部38は、画像取得部36により取得された画像データ52に対して物体検出処理を施して、画像内にある物体の有無及び位置を検出する。この物体検出部38は、例えば、いわゆる物体検出モデルが構築された学習済みのニューラルネットワークを含んで構成されてもよい。物体検出モデルの種類は、関心領域(ROI)の抽出器が物体の検出器とは別に設けられている「two-stage detector」(例えば、Faster R-CNN、Mask R-CNNやその派生モデル)であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」(例えば、YOLO、SSD、M2Detやこれらの派生モデル)であってもよい。
【0023】
検出対象である物体は、室14内に存在し得る物、例えば、人間、身体部位、機器類、ベッド16などが挙げられる。「人間」の一例として、ベッド16上にいる被解析者12と、ベッド16の周辺にいる別の人物(例えば、医療従事者や付添人など)が挙げられる。「身体部位」の一例として、目、口、頭、手、足などが挙げられる。「機器類」の一例として、被解析者12の周辺に設置される医療機器や、被解析者12に装着される器具などが挙げられる。
【0024】
状態推定部40は、物体検出部38による検出結果に基づいて、被解析者12の意識状態を推定する。具体的には、状態推定部40は、第1生成部44と、分類部46と、第2生成部48と、を備える。
【0025】
第1生成部44は、物体検出部38による検出結果に基づいて、被解析者12の意識状態を推定するための各種特徴量を生成する。意識状態を示す状態量は、例えば、[1]覚醒状態、混乱状態、発声状態、苦痛状態、無反応状態など、被解析者12の意識を直接的に示す「定性値」、[2]瞬きの種類(自発性・随意性・反射性)や鎮静状態であるか否か、処置中であるか否かなど、被解析者12の意識と関連性を有する状況を示す「定性値」、あるいは[3]レベル(離散値)やスコア(連続値)を含む「定量値」であってもよい。特徴量の一例として、[1]被解析者12の開閉眼の時間変化に関する「開閉眼特徴量」、[2]被解析者12の体動に関する「動き特徴量」、又は[3]特定の物体に対する被解析者12の反応の有無又は大きさに関する「反応特徴量」などが挙げられる。
【0026】
開閉眼特徴量は、例えば、[1]所与の判定時間内における瞬きの頻度又は速度に関する統計量、又は[2]所与の判定時間内における開眼時間又は閉眼時間の割合(つまり、開眼率又は閉眼率)を示す統計量を含んでもよい。この判定時間は、例えば、現在(つまり、判定時点)を起点として所定の時間長さだけ遡った直近の時間帯であってもよい。統計量の一例として、平均値、最大値、最小値、最頻値、又は中央値などが挙げられる。なお、開閉眼特徴量は、[1]被解析者12の両方の目が同時に検出されている場合、片方又は両方の目から求められてもよく、[2]包帯などにより片方の目が隠れている場合、検出されているもう片方の目から求められてもよい。
【0027】
動き特徴量は、例えば、[1]所与の判定時間内における体動の速度又は加速度に関する統計量、又は[2]所与の判定時間内における被解析者12の特定の挙動に関する統計量を含んでもよい。体動の速度又は加速度は、オプティカルフローを含む様々な解析手法を用いて算出される。特定の挙動の一例として、被解析者12が、自身に装着されている器具類に触れようとする行為などが挙げられる。
【0028】
反応特徴量は、例えば、[1]所与の判定時間内における特定の物体の速度又は加速度に関する統計量、又は[2]特定の物体が動く前後にわたる開閉眼特徴量又は動き特徴量の時間変化に関する特徴量を含んでもよい。特定の物体は、ベッド16の周辺にいる別の人物(例えば、医療従事者や付添人など)であってもよいし、被解析者12の周辺に配置される医療機器であってもよい。例えば、この反応特徴量は、[1]人物や物体が被解析者12に接近してきた場合や、[2]被解析者12が自身に接近してきた人物や物体に顔や視線を向ける場合に、より大きな値をとり得る。
【0029】
分類部46は、第1生成部44により生成された各種特徴量を用いて、予め定められた複数のレベルのうちいずれに属するかを分類する。複数のレベルは、具体的には、[1]GCS(Glasgow Coma Scale)又はJCS(Japan Coma Scale)を含む意識スケール、[2]RASS(Richmond Agitation-Sedation Scale)を含む鎮静スケール、[3]独自に定義されたスケール、又は[4]上記したスケールの任意の組み合わせ、のいずれかに従って分類されてもよい。後述するように、GCSでは、4段階の開眼レベル(E1~E4)、5段階の言語反応レベル(V1~V5)及び6段階の運動反応レベル(M1~M6)がそれぞれ定義されている。
【0030】
少なくとも開閉眼特徴量が用いられる場合、分類部46は、開閉眼特徴量の種類及び判定時間の長さの組み合わせが異なる複数種類の判定処理を通じて、被解析者12の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類してもよい。ここでは、特徴量の種類に関して、値の定義、値の個数、又は算出方法のうちの少なくとも1つが異なる場合、それぞれ異なる種類として定義される。また、判定時間の長さは、例えば、数秒間から数十分間までの範囲の中から任意に選択される。この判定時間の長さは、具体的には、[1]短期的な判定では、数秒間から数十秒間までの範囲、[2]中期的な判定では、数十秒間から数分間までの範囲、[3]長期的な判定では、数分間から数十分間までの範囲からそれぞれ選択される。
【0031】
少なくとも動き特徴量が用いられる場合、分類部46は、動き特徴量の種類及び判定時間の長さが異なる複数種類の判定処理を通じて、被解析者12の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類してもよい。ここでは、特徴量の種類に関して、値の定義、値の個数、又は算出方法のうちの少なくとも1つが異なる場合、それぞれ異なる種類として定義される。また、判定時間の長さは、例えば、数十秒間から数十分間までの範囲の中から任意に選択される。
【0032】
少なくとも反応特徴量が用いられる場合、分類部46は、反応特徴量が小さいほど重症度が高くなるように、又は、反応特徴量が大きいほど重症度が低くなるように意識状態を推定してもよい。あるいは、分類部46は、反応特徴量が閾値を上回っている時間帯を除外して被解析者12の意識状態を推定してもよい。あるいは、分類部46は、反応特徴量が閾値を上回っている時間帯を除外して被解析者12の意識状態を推定してもよい。
【0033】
また、分類部46は、被解析者12への鎮静剤の投与の有無に応じて異なる規則に従って分類してもよい。この「異なる規則」とは、[1]判定処理に用いられる特徴量の種類、[2]判定処理に用いられる閾値、[3]判定時間の長さ、[4]判定処理における条件分岐、[5]分類されるレベルの定義・個数、[6]判定処理の実行数、[7]判定処理の採否、及び[8]判定処理の実行順のうち少なくとも1つが異なることを意味する。
【0034】
第2生成部48は、分類部46が行う分類処理を通じて得られる推定結果を示す推定情報60を生成するとともに、当該推定情報60を被解析者12と対応付ける。
【0035】
報知指示部42は、状態推定部40により得られる推定結果に基づいて外部への報知の要否を判定し、報知が必要であると判定された場合に報知を指示する。具体的には、報知指示部42は、推定情報60を含む報知データを、通信部30(図2)を通じて、該当する端末装置22に送信する制御を行う。
【0036】
記憶部34は、制御部32が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部34は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ROM(Read Only Memory)、CD(Compact Disc)-ROM、フラッシュメモリなどの可搬媒体、コンピュータシステムに内蔵されるハードディスク(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)などの記憶装置である。
【0037】
本図の例では、記憶部34には、被解析者12としての患者に関するデータベース(以下、「患者DB50」という)が構築されるとともに、画像データ52、学習パラメータ群54、判定情報56,58、及び推定情報60が格納されている。
【0038】
患者DB50を構成するレコードには、例えば、[1]患者の識別情報である「患者ID(Identification)」と、[2]患者の身体的情報や診断情報を含む「カルテ情報」と、[3]報知先の「ネットワーク情報」と、[4]意識状態の「推定日時」と、[5]推定情報60により特定される「推定結果」と、[6]報知の有無と、が含まれる。
【0039】
画像データ52は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示すデータである。例えば、カメラ18が可視光カメラである場合、フレーム毎の画像は、RGBの色値をそれぞれ示す3つのカラーチャンネルを有する。また、カメラ18が可視光カメラとTOFカメラを組み合わせたカメラユニットである場合、フレーム毎の画像は、RGBの色値と奥行き(D)をそれぞれ示す4つのカラーチャンネルを有する。
【0040】
学習パラメータ群54は、物体検出部38(より詳しくは、物体検出モデル)の演算に用いられる学習パラメータの集合体である。学習パラメータ群54は、学習時の更新対象である「可変パラメータ」と、学習時の更新対象でない「固定パラメータ」(いわゆるハイパーパラメータ)から構成される。可変パラメータの一例として、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度などが挙げられる。固定パラメータの一例として、演算ユニットの個数、中間層の数、畳み込み演算のカーネルサイズなどが挙げられる。
【0041】
判定情報56,58は、意識状態を推定するための判定処理を記述する情報である。判定条件は、上述した開閉眼特徴量、動き特徴量、及び反応特徴量のうちの少なくとも1つに関する。個々の判定条件は、例えば、判定ID、判定項目、及び分類結果と対応付けられている。分類結果は「YES/NO」による2つの条件分岐であってもよいし、3つ以上の条件分岐があってもよい。また、判定情報56,58は、被解析者12に対する鎮静剤の投与の有無に応じて別々に設けられてもよい。
【0042】
推定情報60は、状態推定部40による意識状態の推定結果を示す情報であり、例えば、特徴量の各値、意識レベル・鎮静レベルなどの分類、重症化スコア、報知の要否などが含まれる。
【0043】
[サーバ装置20の動作]
この実施形態における観察システム10は、以上のように構成される。続いて、サーバ装置20による解析動作(より詳しくは、意識状態の推定動作)について、図3図11を参照しながら説明する。
【0044】
図3は、意識障害の重症度を示すGCSの得点表を示す図である。このGCSの評価項目は、[1]開眼(Eスコア)、[2]最良言語反応(Vスコア)、及び[3]最良運動反応(Mスコア)の3つから構成される。「開眼」は、軽症レベルに相当する「4」から重症レベルに相当する「1」までの4段階で評価される。「最良言語反応」は、軽症レベルに相当する「5」から重症レベルに相当する「1」までの5段階で評価される。「最良運動反応」は、軽症レベルに相当する「6」から重症レベルに相当する「1」までの6段階で評価される。
【0045】
従来の手法では、医師や看護師などの専門家が、被解析者12の挙動を観察し、各評価項目における得点を付与して意識状態を推定する。この場合、観察・評価による専門家の負担が大きくなるという問題がある。これに対して、この観察システム10によれば、カメラ18の撮影で得られる画像データ52を用いて被解析者12の意識状態を自動的に推定可能になるので、専門家の負担を大幅に軽減することができる。
【0046】
<基本動作>
続いて、図1及び図2のサーバ装置20の基本動作について、図4のフローチャート及び図5図7を参照しながら説明する。
【0047】
図4のステップSP10において、制御部32(より詳しくは、画像取得部36)は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示す画像データ52を取得する。
【0048】
図5は、図1の室14内の一例を示す斜視図である。被解析者12は、室14内に設けられるベッド16上で臥床している。ベッド16の前方には、被解析者12の体内に酸素を吸入するための医療機器80が配置されている。被解析者12には、医療機器80から供給される酸素を導入するためのチューブ82が装着されている。また、ベッド16の側方には、被解析者12の様子を伺う医療従事者84が立っている。本図の例では、被解析者12の目12eは、医療従事者84の方を向いている。
【0049】
この室14内を撮影して得られた画像には、[1]被解析者12の形態を示す「第1人領域」、[2]ベッド16の形態を示す「ベッド領域」、[3]医療機器80の形態を示す「機器領域」、[4]チューブ82の形態を示す「チューブ領域」、及び[5]医療従事者84の形態を示す「第2人領域」が含まれる。また、第1人領域の頭部位置には、被解析者12の目12eを示す「目領域」が含まれる。
【0050】
図4のステップSP12において、制御部32(より詳しくは、物体検出部38)は、ステップSP10で取得された画像データ52に対して物体検出処理を施し、[1]被解析者12の有無・位置・姿勢、[2]目12eの位置・開閉状態、[3]特定の物体(例えば、医療機器80、チューブ82、医療従事者84)の有無・位置・姿勢、[4]特定の物体に対する被解析者12の反応の有無・程度(例えば、位置・姿勢の時間変化)などを検出する。
【0051】
ステップSP14において、制御部32(より詳しくは、状態推定部40)は、ステップSP12での検出結果に基づいて被解析者12の意識状態を推定する。このステップSP14は、[1]各種特徴量の生成(ステップSP14A)、[2]意識状態の分類(ステップSP14B)及び[3]推定情報60の生成(ステップSP14C)の3つのサブステップから構成される。
【0052】
ステップSP14Aにおいて、状態推定部40(より詳しくは、第1生成部44)は、ステップSP12での検出結果に基づいて、分類処理に必要な各種特徴量(例えば、開閉眼特徴量、動き特徴量、反応特徴量など)を生成する。
【0053】
ステップSP14Bにおいて、状態推定部40(より詳しくは、分類部46)は、ステップSP14Aで生成された各種特徴量を用いて、被解析者12の意識状態を分類するための分類処理を行う。この分類処理は、例えば、図6及び図7に示す判定情報56,58に従って行われる。
【0054】
図6は、開閉眼の時間変化に関する判定情報56により特定される判定条件の一例を示す図である。本図の例では、判定情報56には、3つの判定条件(つまり、開閉眼判定X1,X2,X3)が記述されている。個々の判定条件は、判定ID、判定項目及び分類結果と対応付けられている。
【0055】
判定IDが「X1」である判定項目「開眼の有無」(つまり、開閉眼判定X1)によれば、開眼状態が検出された場合にGCSのEスコアが「2~4」のいずれかであると分類される一方、開眼状態が検出されなかった場合にGCSのEスコアが「1」であると分類される。
【0056】
判定IDが「X2」である判定項目「瞬目の頻度」(つまり、開閉眼判定X2)によれば、直近3分間のうち開眼状態である時間の割合(つまり、開眼率)が閾値Th1(単位:%)以上である場合にGCSのEスコアが「2~3」のいずれかであると分類される一方、Th1を下回った場合にGCSのEスコアが「4」であると分類される。
【0057】
判定IDが「X3」である判定項目「表情」(つまり、開閉眼判定X3)によれば、直近3分間のうちの開眼率が閾値Th2(単位:%)以上である場合に被解析者12が「混乱状態」であると分類される一方、Th2を下回った場合に被解析者12が「覚醒状態」又は「混乱状態」であると分類される。
【0058】
図7は、被解析者12の体動に関する判定情報58により特定される判定条件の一例を示す図である。本図の例では、判定情報56には、3つの判定条件(つまり、体動判定Y1,Y2,Y3)が記述されている。個々の判定条件は、判定ID、判定項目及び分類結果と対応付けられている。
【0059】
判定IDが「Y1」である判定項目「体動の有無」(「体動判定Y1」ともいう)によれば、直近30秒間のうち体動が検出された場合にGCSのMスコアが「4~6」のいずれかであると分類される一方、体動が検出されなかった場合にGCSのMスコアが「判別不可」であると分類される。
【0060】
判定IDが「Y2」である判定項目「混乱の有無」(「体動判定Y2」ともいう)によれば、直近3分間のうち体動の加速度のピーク数が閾値Th3(単位:個)以上である場合に被解析者12が「混乱状態」であると分類される一方、当該ピーク数がTh3を下回った場合に被解析者12が「覚醒状態」であると分類される。
【0061】
判定IDが「Y3」である判定項目「処置の有無」(「体動判定Y3」ともいう)によれば、直近30秒間のうち閾値Th4(単位:mm/s2)よりも大きい体動の加速度が継続的に検出された場合に被解析者12に対して「処置中である」と分類される一方、当該加速度が継続的に検出されなかった場合に被解析者12に対して「処置中でない」と分類される。
【0062】
図4のステップSP14Cにおいて、状態推定部40(より詳しくは、第2生成部48)は、ステップSP14Bでの分類による推定結果を示す推定情報60を生成する。制御部32は、ステップSP14を実行した後、次のステップSP16に進む。
【0063】
ステップSP16において、制御部32(より詳しくは、報知指示部42)は、ステップSP14での推定結果に基づいて、外部への報知が必要であるか否かを判定する。必要であると判定された場合(ステップSP16:YES)、報知指示部42は、次のステップSP18に進む。一方、必要でないと判定された場合(ステップSP16:NO)、制御部32は、ステップSP18の実行をスキップし、図4に示すフローチャートの動作を終了する。
【0064】
ステップSP18において、報知指示部42は、ステップSP16にて報知が必要であると判定された場合に、推定情報60を含む報知データを、通信部30を通じて、該当する端末装置22に送信する制御を行う。そうすると、端末装置22は、この報知データを受信した後、自身が有する出力機能部を用いて外部に報知する。その後、制御部32は、図4に示すフローチャートの動作を終了する。
【0065】
このように、サーバ装置20が、定期的に又は不定期に、図4のフローチャートを繰り返し実行することで、医療従事者は、被解析者12の意識状態を観察することができる。
【0066】
<推定動作の具体例>
続いて、図6及び図7の判定情報56,58を利用した場合における推定動作の具体例について、図8図11のフローチャートを参照しながら説明する。ここでは、被解析者12に対して鎮静剤の投与がない場合、つまり、被解析者12が「鎮静状態」ではない場合を例に挙げて説明する。
【0067】
図8において、状態推定部40は、開閉眼判定X1を行う(ステップSP30)。所与の条件を満たす場合(ステップSP30:YES)、状態推定部40は、GCSのEスコアが「2~4」のいずれかであると分類するとともに、次のステップSP32に進む。一方、所与の条件を満たさない場合(ステップSP30:NO)、状態推定部40は、Eスコアが「1」であると分類するとともに、後述する図11のフローチャート(端点C)に進む。
【0068】
Eスコアに関する1次分類が終了した後、状態推定部40は、被解析者12とは異なる特定の物体が検出されなかったか否かを判定する(ステップSP32)。特定の物体が検出されなかった場合(ステップSP32:YES)、状態推定部40は、被解析者12の瞬きが「自発性瞬目」であり、かつEスコアが「4」であると分類するとともに、後述する図9のフローチャート(端点A)に進む。一方、所与の条件を満たさない場合(ステップSP32:NO)、状態推定部40は、被解析者12の瞬きが「随意性瞬目」又は「反射性瞬目」であると分類するとともに、次のステップSP34に進む。
【0069】
瞬きの種類に関する分類が終了した後、状態推定部40は、開閉眼判定X2を行う(ステップSP34)。所与の条件を満たす場合(ステップSP34:YES)、状態推定部40は、Eスコアが「4」であると分類するとともに、後述する図9のフローチャート(端点B)に進む。一方、所与の条件を満たさない場合(ステップSP34:NO)、状態推定部40は、Eスコアが「2~3」のいずれかであると分類するとともに、後述する図10のフローチャート(端点C)に進む。
【0070】
図9において、Eスコアに関する1次分類が終了した後(図8の端点A参照)、状態推定部40は、体動判定Y1を行う(ステップSP36)。所与の条件を満たす場合(ステップSP36:YES)、状態推定部40は、GCSのMスコアが「4~6」のいずれかであると分類するとともに、次のステップSP38に進む。一方、所与の条件を満たさない場合(ステップSP36:NO)、状態推定部40は、Mスコアが「判定不明」であると分類するとともに、次のステップSP38に進む。
【0071】
Mスコアに関する分類が終了した後、状態推定部40は、開閉眼判定X3を行う(ステップSP38)。所与の条件を満たす場合(ステップSP38:YES)、状態推定部40は、被解析者12が「混乱状態」であると分類するとともに、ステップSP42に進む。一方、所与の条件を満たさない場合(ステップSP38:NO)、状態推定部40は、被解析者12が「混乱状態」又は「覚醒状態」であると分類するとともに、ステップSP40に進む。
【0072】
次いで、状態推定部40は、体動判定Y2を行う(ステップSP40)。所与の条件を満たす場合(ステップSP40:YES)、状態推定部40は、被解析者12が「混乱状態」であると分類するとともに、次のステップSP42に進む。一方、所与の条件を満たさない場合(ステップSP40:NO)、状態推定部40は、被解析者12が「覚醒状態」であると分類するとともに、図8図11のフローチャートに示す動作を終了する。
【0073】
被解析者12が「混乱状態」である場合、状態推定部40は、報知指示部42に対して報知の指示をすべき旨を通知した後(ステップSP42)、図8図11のフローチャートに示す動作を終了する。
【0074】
図10において、Eスコアに関する2次分類が終了した後(図8の端点B参照)、状態推定部40は、体動判定Y3を行う(ステップSP44)。所与の条件を満たす場合(ステップSP44:YES)、状態推定部40は、被解析者12が「処置中」であると分類し、所定の時間長さだけ待機した後(ステップSP46)、ステップSP38に戻る。一方、所与の条件を満たさない場合(ステップSP44:NO)、状態推定部40は、被解析者12が「処置中」でないとして、次のステップSP48に進む。
【0075】
被解析者12に対して処置がなされていない場合、状態推定部40は、体動判定Y1を行う(ステップSP48)。所与の条件を満たす場合(ステップSP48:YES)、状態推定部40は、GCSのMスコアが「4~6」のいずれかであり、かつ被解析者12が「発声状態」又は「苦痛状態」であると分類するとともに、フローチャートに示す動作を終了する。一方、所与の条件を満たさない場合(ステップSP48:NO)、状態推定部40は、被解析者12が「発声状態」、「苦痛状態」又は「無反応状態」のいずれかであると分類するとともに、次のステップSP50に進む。
【0076】
被解析者12が「無反応状態」である可能性がある場合、状態推定部40は、報知指示部42に対して報知の指示をすべき旨を通知した後(ステップSP50)、図8図11のフローチャートに示す動作を終了する。
【0077】
図11において、Eスコアに関する分類が終了した後(図8の端点C参照)、状態推定部40は、体動判定Y1を行う(ステップSP52)。所与の条件を満たす場合(ステップSP52:YES)、状態推定部40は、GCSのMスコアが「1~6」のいずれかであると分類するとともに、次のステップSP54に進む。
【0078】
Mスコアの分類ができない場合、状態推定部40は、被解析者12とは異なる特定の物体が検出されなかったか否かを判定する(ステップSP54)。特定の物体が検出されなかった場合(ステップSP54:YES)、状態推定部40は、GCSのMスコアが「4~6」のいずれかであると分類するとともに、フローチャートに示す動作を終了する。一方、特定の物体が検出された場合(ステップSP54:NO)、状態推定部40は、上述した図10のフローチャート(端点D)におけるステップSP44に進む。
【0079】
ところで、ステップSP52に戻って、所与の条件を満たさない場合(ステップSP52:NO)、状態推定部40は、GCSのMスコアが「1~3」のいずれかであり、かつ被解析者12が「発声状態」、「苦痛状態」又は「無反応状態」であると分類するとともに、次のステップSP54に進む。
【0080】
被解析者12が「無反応状態」である可能性がある場合、状態推定部40は、報知指示部42に対して報知の指示をすべき旨を通知した後(ステップSP54)、図8図11のフローチャートの動作を終了する。このように、サーバ装置20が、定期的に又は不定期に、図8図11のフローチャートを繰り返し実行することで、医療従事者は、被解析者12の意識状態を観察することができる。
【0081】
ここでは、被解析者12が「鎮静状態」ではない場合を例に挙げて説明したが、被解析者12に対して鎮静剤の投与があった場合についても、図8図11と同様のフローチャートに従って意識状態を推定してもよい。ただし、この場合、GCSの代わりにRASSを用いるなど、必要に応じて規則が適宜変更され得る。
【0082】
[実施形態のまとめ]
以上のように、この実施形態における意識状態解析装置としてのサーバ装置20は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示す画像データ52を取得する画像取得部36と、画像取得部36により取得された画像データ52に対して物体検出処理を施して、被解析者12の開閉眼の時間変化を検出する物体検出部38と、少なくとも、物体検出部38により検出された開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者12の意識状態を推定する状態推定部40と、を備える。
【0083】
また、この実施形態における意識状態解析方法又はプログラムによれば、1つ又は複数のコンピュータ(あるいは、プロセッサ)が、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示す画像データ52を取得する取得ステップ(SP10)と、取得された画像データ52に基づいて、被解析者12の開閉眼の時間変化を検出する検出ステップ(SP12)と、少なくとも、検出された開閉眼の時間変化に関する開閉眼特徴量を用いて、被解析者12の意識状態を推定する推定ステップ(SP14)と、を実行する。
【0084】
このように、検出された開閉眼の時間変化に関する開閉眼特徴量を用いて意識状態を推定するので、時々刻々と変化し得る様々な状況下にて被解析者12の意識状態の推定精度をより高めることができる。
【0085】
また、状態推定部40は、判定時間の長さが異なる複数種類の判定処理を通じて、被解析者12の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類してもよい。複数種類の判定処理を通じて、開眼レベルを段階的に分類することができる。
【0086】
また、開閉眼特徴量は、瞬きの頻度又は速度に関する統計量、あるいは、開眼時間又は閉眼時間の割合を示す統計量を含んでもよい。これにより、例えば、瞬きの有無・種類や、顔の表情などを解析可能となり、意識状態の推定精度をより高めることができる。
【0087】
また、物体検出部38が被解析者12の体動を検出する場合、状態推定部40は、物体検出部38により検出された体動に関する動き特徴量をさらに用いて、被解析者12の意識状態を推定してもよい。開閉眼特徴量及び体動特徴量を組み合わせることで、意識状態の推定精度をより高めることができる。
【0088】
また、状態推定部40は、判定時間の長さが異なる複数種類の判定処理を通じて、被解析者12の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類してもよい。複数種類の判定処理を通じて、運動反応レベルを段階的に分類することができる。
【0089】
また、動き特徴量は、体動の速度、加速度又は被解析者12の特定の挙動に関する統計量を含んでもよい。これにより、例えば、体動・混乱・処置の有無などを解析可能となり、意識状態の推定精度をより高めることができる。
【0090】
また、物体検出部38が被解析者12の周辺にある特定の物体(具体的には、医療機器80、チューブ82、医療従事者84など)を検出する場合、状態推定部40は、物体検出部38により検出された特定の物体に対する被解析者12の反応の大きさに関する反応特徴量をさらに用いて、被解析者12の意識状態を推定してもよい。開閉眼特徴量及び反応特徴量を組み合わせることで、意識状態の推定精度をより高めることができる。
【0091】
また、状態推定部40は、反応特徴量が小さいほど重症度が高くなるように、又は、反応特徴量が大きいほど重症度が低くなるように意識状態を推定してもよい。被解析者12の反応の大きさと意識の重症度との間に高い相関性があることを考慮することで、意識状態の推定精度をより高めることができる。
【0092】
また、状態推定部40は、反応特徴量が閾値を上回っている時間帯を除外して被解析者12の意識状態を推定してもよい。被解析者12が特定の物体に強く反応している可能性がある時間帯を演算対象から予め除外することで、意識状態の推定精度をより高めることができる。
【0093】
また、状態推定部40は、被解析者12への鎮静剤の投与の有無に応じて異なる推定規則に従って、被解析者12の意識状態を推定してもよい。鎮静剤の投与の有無に応じて被解析者12の挙動が変化し得ることを考慮することで、意識状態の推定精度をより高めることができる。
【0094】
また、この実施形態における観察システム10は、ベッド16上の被解析者12及び被解析者12の周辺を撮影して得られる画像の時系列を示す画像データ52を出力するカメラ18と、カメラ18から出力された画像データ52に基づいて、外部への報知を指示するサーバ装置20と、サーバ装置20からの報知の指示に応じて外部に報知する報知装置(ここでは、端末装置22)と、を備える。
【0095】
この場合、サーバ装置20は、状態推定部40により得られる推定結果に基づいて外部への報知の要否を判定し、報知が必要であると判定された場合に報知を指示する報知指示部42を備える。これにより、被解析者12の意識状態が変化した旨を、必要に応じて、端末装置22のユーザに対して速やかに知らせることができる。
【0096】
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
【符号の説明】
【0097】
10‥観察システム、12‥被解析者、16‥ベッド、18‥カメラ、20‥サーバ装置(意識状態解析装置)、22‥端末装置(報知装置)、36‥画像取得部、38‥物体検出部、40‥状態推定部、42‥報知指示部、52‥画像データ、80‥医療機器(特定の物体)、82‥チューブ(特定の物体)、84‥医療従事者(特定の物体)

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
【手続補正書】
【提出日】2022-09-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する画像取得部と、
前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する物体検出部と、
少なくとも、前記物体検出部により検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
を備える、意識状態解析装置。
【請求項2】
前記物体検出部は、前記被解析者の開閉眼の時間変化をさらに検出し、
前記状態推定部は、前記物体検出部により検出された前記開閉眼の時間変化に関する開閉眼特徴量をさらに用いて、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項3】
前記状態推定部は、前記開閉眼特徴量の種類及び判定時間の長さの組み合わせが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の開眼レベルのうちのいずれに属するかを分類する、
請求項に記載の意識状態解析装置。
【請求項4】
前記開閉眼特徴量は、瞬きの頻度又は速度に関する統計量を含む、
請求項に記載の意識状態解析装置。
【請求項5】
前記開閉眼特徴量は、開眼時間又は閉眼時間の割合を示す統計量を含む、
請求項に記載の意識状態解析装置。
【請求項6】
前記物体検出部は、前記被解析者の体動をさらに検出し、
前記状態推定部は、前記物体検出部により検出された前記体動に関する動き特徴量をさらに用いて、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項7】
前記状態推定部は、前記動き特徴量の種類及び判定時間の長さが異なる複数種類の判定処理を通じて、前記被解析者の意識状態が、複数の運動反応レベルのうちのいずれに属するかを分類する、
請求項に記載の意識状態解析装置。
【請求項8】
前記動き特徴量は、前記体動の速度、前記体動の加速度、又は前記被解析者の特定の挙動に関する統計量を含む、
請求項に記載の意識状態解析装置。
【請求項9】
前記状態推定部は、前記反応特徴量が小さいほど重症度が高くなるように、又は、前記反応特徴量が大きいほど重症度が低くなるように前記意識状態を推定する、
請求項に記載の意識状態解析装置。
【請求項10】
前記状態推定部は、前記反応特徴量が閾値を上回っている時間帯を除外して前記被解析者の意識状態を推定する、
請求項に記載の意識状態解析装置。
【請求項11】
前記状態推定部は、前記被解析者への鎮静剤の投与の有無に応じて異なる規則に従って、前記被解析者の意識状態を推定する、
請求項1に記載の意識状態解析装置。
【請求項12】
前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部をさらに備える、
請求項1に記載の意識状態解析装置。
【請求項13】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを取得する取得ステップと、
取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する検出ステップと、
少なくとも、検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する推定ステップと、
を1つ又は複数のコンピュータに実行させる、意識状態解析プログラム。
【請求項14】
ベッド上の被解析者及び前記被解析者の周辺を撮影して得られる画像の時系列を示す画像データを出力するカメラと、
前記カメラから出力された前記画像データに基づいて、外部への報知を指示する意識状態解析装置と、
前記意識状態解析装置からの前記報知の指示に応じて外部に報知する報知装置と、
を備え、
前記意識状態解析装置は、
前記カメラにより出力された前記画像データを取得する画像取得部と、
前記画像取得部により取得された前記画像データに対して物体検出処理を施して、前記被解析者の周辺にある特定の物体を検出する物体検出部と、
少なくとも、前記物体検出部により検出された前記特定の物体に対する前記被解析者の反応の大きさに関する反応特徴量を用いて、前記被解析者の意識状態を推定する状態推定部と、
前記状態推定部により得られる推定結果に基づいて外部への報知の要否を判定し、前記報知が必要であると判定された場合に前記報知を指示する報知指示部と、
を備える、観察システム。