知財求人 - 知財ポータルサイト「IP Force」
▶ ＮＥＣソリューションイノベータ株式会社の特許一覧 ▶ 瀧浪 将貴の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023137981
(43)【公開日】2023-09-29
(54)【発明の名称】行動判定装置、行動判定方法、プログラム及び記録媒体
(51)【国際特許分類】
G16H 40/00 20180101AFI20230922BHJP
【ＦＩ】
G16H40/00
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022044449
(22)【出願日】2022-03-18
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(71)【出願人】
【識別番号】522111482
【氏名又は名称】瀧浪 将貴
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】廣野 孝行
(72)【発明者】
【氏名】近藤 昌紀
(72)【発明者】
【氏名】竹内 拓也
(72)【発明者】
【氏名】瀧浪 将貴
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA03
(57)【要約】
【課題】 Ｘ線被ばく量を低減可能な行動判定装置を提供する。
【解決手段】 本発明の行動判定装置は、視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する。
【選択図】 図１
【解決手段】 本発明の行動判定装置は、視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する、
行動判定装置。
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する、
行動判定装置。
【請求項2】
前記視線情報取得部は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、請求項１に記載の行動判定装置。
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、請求項１に記載の行動判定装置。
【請求項3】
さらに、視線方向判定部を含み、
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
請求項１又は２記載の行動判定装置。
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
請求項１又は２記載の行動判定装置。
【請求項4】
さらに、合成画像生成部を含み、
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
請求項１から３のいずれか一項に記載の行動判定装置。
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
請求項１から３のいずれか一項に記載の行動判定装置。
【請求項5】
前記合成画像生成部は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
請求項１から４のいずれか一項に記載の判定装置。
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
請求項１から４のいずれか一項に記載の判定装置。
【請求項6】
前記判定対象物は、ディスプレーである、
請求項１から５のいずれか一項に記載の判定装置。
請求項１から５のいずれか一項に記載の判定装置。
【請求項7】
前記ディスプレーは、医療機器のディスプレーである、
請求項６記載の判定装置。
請求項６記載の判定装置。
【請求項8】
視線情報取得工程、行動判定工程、判定結果出力工程を含み、
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する、
行動判定方法。
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する、
行動判定方法。
【請求項9】
視線情報取得手順、行動判定手順、判定結果出力手順を含み、
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラム。
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラム。
【請求項10】
請求項９記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、行動装置、行動判定方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
内視鏡的逆行性膵胆管造影術（ＥＲＣＰ：endoscopic retrograde cholangiopancreatography）は、内視鏡とＸ線診断を併用した医療検査方法である。特許文献１には、ＥＲＣＰ及び超音波内視鏡ガイド下穿刺術（ＦＮＡ：Fine Needle Aspiration）を１つの内視鏡装置で実施することにより、患者への負担を軽減でき、且つ術者へ煩雑な手技を強いることなく、施術時間を短くでき、さらには病院の導入費用の削減、及び洗浄消毒などの回数を減らすことで衛生管理し易い技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－４９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ＥＲＣＰでは、Ｘ線撮影を伴うことから、Ｘ線の被ばく量の低減の要請がある。この要請は、ＥＲＣＰに限らず、他の医療装置及び他の産業装置等においても同様である。
【0005】
そこで、本発明は、Ｘ線被ばく量を低減可能な行動判定装置、行動判定方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の行動判定装置は、
視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する。
視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する。
【0007】
本発明の行動判定方法は、
視線情報取得工程、行動判定工程、判定結果出力工程を含み、
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する。
視線情報取得工程、行動判定工程、判定結果出力工程を含み、
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する。
【0008】
本発明のプログラムは、
視線情報取得手順、行動判定手順、判定結果出力手順を含み、
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラムである。
視線情報取得手順、行動判定手順、判定結果出力手順を含み、
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラムである。
【0009】
本発明の記録媒体は、前記本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0010】
本発明によれば、前記判定対象者が前記判定対象物を見ているか否かが判定できる。本発明を、例えば、ＥＲＣＰに適用すれば、術者がＸ線撮影画像を表示するモニターを見ているか否かを判断することができ、見ている時はＸ線撮影をオンにし、見ていないときはＸ線撮影をオフにすることで、Ｘ線照射時間を短縮することができ、その結果、Ｘ線被ばく量を低減することが可能である。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本発明の行動判定装置において、例えば、前記視線情報取得部は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
【0013】
本発明の行動判定装置は、例えば、さらに、視線方向判定部を含み、
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
【0014】
本発明の行動判定装置は、例えば、
さらに、合成画像生成部を含み、
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
さらに、合成画像生成部を含み、
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0015】
本発明の行動判定装置において、例えば、前記合成画像生成部は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0016】
本発明の行動判定装置において、例えば、前記判定対象物は、ディスプレーであり、より具体的には、医療機器のディスプレーである、という態様であってもよい。
【0017】
本発明の行動判定方法において、例えば、前記視線情報取得工程は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定工程は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
前記行動判定工程は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
【0018】
本発明の行動判定方法は、例えば、さらに、視線方向判定工程を含み、
前記視線方向判定工程は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
前記視線方向判定工程は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
【0019】
本発明の行動判定方法は、例えば、
さらに、合成画像生成工程を含み、
前記合成画像生成工程は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得工程は、判定対象者画像を取得し、
前記判定結果出力工程は、前記行動判定工程が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
さらに、合成画像生成工程を含み、
前記合成画像生成工程は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得工程は、判定対象者画像を取得し、
前記判定結果出力工程は、前記行動判定工程が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0020】
本発明の行動判定方法において、例えば、前記合成画像生成工程は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0021】
本発明の行動判定方法において、例えば、前記判定対象物は、ディスプレーであり、より具体的には、医療機器のディスプレーである、という態様であってもよい。
【0022】
本発明のプログラムにおいて、例えば、前記視線情報取得手順は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定手順は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
前記行動判定手順は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、という態様であってもよい。
【0023】
本発明のプログラムは、例えば、さらに、視線方向判定手順を含み、
前記視線方向判定手順は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
前記視線方向判定手順は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、という態様であってもよい。
【0024】
本発明のプログラムは、例えば、
さらに、合成画像生成手順を含み、
前記合成画像生成手順は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得手順は、判定対象者画像を取得し、
前記判定結果出力手順は、前記行動判定手順が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
さらに、合成画像生成手順を含み、
前記合成画像生成手順は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得手順は、判定対象者画像を取得し、
前記判定結果出力手順は、前記行動判定手順が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0025】
本発明のプログラムにおいて、例えば、前記合成画像生成手順は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、という態様であってもよい。
【0026】
本発明のプログラムにおいて、例えば、前記判定対象物は、ディスプレーであり、より具体的には、医療機器のディスプレーである、という態様であってもよい。
【0027】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0028】
［実施形態１］
図１は、本実施形態の行動判定装置１０Ａの一例の構成を示すブロック図である。図１に示すように、本装置１０Ａは、視線情報取得部１１、行動判定部１２、判定結果出力部１３を含む。また、本装置１０Ａは、図示していないが、記憶部を含んでもよい。
図１は、本実施形態の行動判定装置１０Ａの一例の構成を示すブロック図である。図１に示すように、本装置１０Ａは、視線情報取得部１１、行動判定部１２、判定結果出力部１３を含む。また、本装置１０Ａは、図示していないが、記憶部を含んでもよい。
【0029】
本装置１０Ａは、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０Ａは、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０Ａは、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。本装置１０Ａは、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0030】
図２に、本装置１０Ａのハードウェア構成のブロック図を例示する。本装置１０Ａは、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、通信デバイス１０７等を含む。本装置１０Ａの各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0031】
中央処理装置１０１は、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０Ａの全体の制御を担う。本装置１０Ａにおいて、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、視線情報取得部１１、行動判定部１２、及び判定結果出力部１３として機能する。本装置１０Ａは、演算装置として、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。
【0032】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0033】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0034】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１０Ａが前記記憶部を含む場合、例えば、記憶装置１０４は、前記記憶部として機能する。前記記憶部は、例えば、取得した前記視線情報、前記判定結果等を記憶できる。
【0035】
本装置１０Ａにおいて、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０Ａによって生成した情報、本装置１０Ａが処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ１０２及び記憶装置１０４は、例えば、前記判定対象者の情報（例えば、視線情報、識別情報）等、前記判定対象物の情報（装置識別番号、装置種類等）を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0036】
本装置１０Ａは、例えば、さらに、入力装置１０５、出力装置１０を備える。入力装置１０５は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０６は、例えば、ＬＥＤディスプレー、液晶ディスプレー等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態１において、入力装置１０５と出力装置１０６とは、別個に構成されているが、入力装置１０５と出力装置１０６とは、タッチパネルディスプレーのように、一体として構成されてもよい。
【0037】
つぎに、本実施形態の行動判定方法の一例を、図３のフローチャートＳ１０Ａに基づき説明する。本実施形態の行動判定方法は、例えば、図１又は図２の行動判定装置１０Ａを用いて、次のように実施する。なお、本実施形態の行動判定方法は、図１又は図２の装置１０Ａの使用には限定されない。
【0038】
まず、視線情報取得部１１により、視線方向情報を含む視線情報を取得する（Ｓ１１Ａ、視線情報取得工程）。前記視線方向情報は、例えば、顔画像から視線方向を判定する視線方向判定装置を用いて得ることができる。例えば、カメラ等により判定対象者の顔画像を撮像し、顔画像の特性から視線方向が判定される。このような視線判定装置は、市販品又はライセンス供与されている。視線情報取得部１１は、通信回線網を介して、視線方向判定装置が判定した視線方向情報を取得してもよい。本発明において、判定対象者は一名であってもよいし複数名であってもよい。本発明において、判定対象物は、一つでもよいし、複数でもよい。また、視線情報取得部１１は、例えば、前記判定対象者と前記判定対象物までの距離情報を取得してもよい。前記距離情報は、例えば、対象物間の距離を測定する距離センサ等を用いて得ることができる。例えば、前記距離センサ等により判定対象物から判定対象者までの距離を測定し、視線情報取得部１１は、例えば、通信回線網を介して、測定した前記距離情報を取得してもよい。前記判定対象物は、特に制限されず、例えば、ディスプレー等の表示装置があげられ、具体例としては、医療機器のディスプレーが挙げられる。前記医療機器は、例えば、Ｘ線撮像に関連する機器であることが好ましく、ＥＲＣＰに用いる医療機器のディスプレーであることがさらに好ましい。
【0039】
次に、行動判定部１２により、前記視線方向情報を基にして前記判定対象者が前記判定対象物を見ているか否かを判定する（Ｓ１２Ａ、行動判定工程）。行動判定部１２は、例えば、前記視線方向情報により、前記判定対象者の前記視線方向に前記判定対象物が存在する場合は、「見ている」と判定する。また、行動判定部１２は、例えば、前記判定対象者の前記視線方向に前記判定対象物が存在しない場合は、「見ていない」と判定する。なお、行動判定部１２による処理はこれには限定されず、行動判定部１２は、例えば、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定してもよい。具体的に、行動判定部１２は、例えば、前記視線方向情報及び前記距離情報に基づいて、前記判定対象者が見ている空間の座標を算出し、前記空間座標に前記判定対象物が存在する場合、「見ている」と判定できる。また、この場合、行動判定部１２は、例えば、前記空間座標に前記判定対象物が存在しない場合は、「見ていない」と判定できる。また、行動判定部１２は、例えば、さらに、前記判定対象者と前記判定対象物までの距離情報が閾値以内の判定対象者についてのみ、判定対象物を見ているか否かを判定してもよい。前記閾値は、特に制限されず、任意に設定できる。これにより、例えば、ＥＲＣＰを実施している医師が、医療機器のディスプレーを見ているか否かを判定でき、また、医師でない者（例えば、看護師）が、ディスプレーを見ているか否かを判定してしまうことを抑制できる。
【0040】
行動判定部１２は、例えば、前記視線方向情報により、前記判定対象者の前記視線方向に判定対象物が存在する状態が一定時間以上続いた場合に、「見ている」と判定してもよい。また、行動判定部１２は、例えば、前記判定対象者の前記視線方向に判定対象物が存在する状態が一定時間以上続いた後、前記視線方向にある判定対象物が存在しない状態が一定時間続いた場合に、「見ていない」と判定してもよい。また、行動判定部１２は、例えば、さらに、前記視線方向にある判定対象物が存在しない状態が一定時間続いた場合、かつ、前記一定時間が経過する前に、前記判定対象者の視線方向に判定対象物が存在する状態を検知した場合、前記「見ていない」と判定する一定時間のカウントをリセットしてもよい。このような態様によれば、例えば、いわゆる「チラ見」による誤判定を抑制することができる。
【0041】
そして、判定結果出力部１３は、「見ている」又は「見ていない」という判定結果を出力する（Ｓ１３Ａ、判定結果出力工程）。出力は、例えば、画像出力でもよいし（例えば、ディスプレーに判定結果を表示）、音声出力（例えば、「見ている」時にスピーカで音を発声）、制御信号出力（判定対象物の制御、例えば、判定対象装置のオンオフ、モニターのオンオフ等）等がある。ERCP等のＸ線を使用する装置の場合、前記判定結果の出力により、Ｘ線撮影のオンオフを制御（自動又は手動）してもよい。
【0042】
［実施形態２］
本実施形態の装置１０Ｂのブロック図を図４に示し、本実施形態の装置１０Ｂのハードウェアの構成図を図５に示す。図４及び図５に示すように、本装置１０Ｂでは、視線方向判定部１４を含み、実施形態１で説明した前記視線方向判定部装置の機能を備える。これ以外は、本実施形態は、実施形態１と同様である。
本実施形態の装置１０Ｂのブロック図を図４に示し、本実施形態の装置１０Ｂのハードウェアの構成図を図５に示す。図４及び図５に示すように、本装置１０Ｂでは、視線方向判定部１４を含み、実施形態１で説明した前記視線方向判定部装置の機能を備える。これ以外は、本実施形態は、実施形態１と同様である。
【0043】
つぎに、本実施形態の行動判定方法の一例を、図６のフローチャートＳ１０Ｂに基づき説明する。本実施形態の行動判定方法は、例えば、図４又は図５の行動判定装置１０Ｂを用いて、次のように実施する。なお、本実施形態の行動判定方法は、図４又は図５の装置１０Ｂの使用には限定されない。
【0044】
まず、視線方向判定部１４により、カメラ等で撮影された判定対象者の顔画像から視線方向を判定し、視線方向情報を生成する（Ｓ１１Ｂ、視線方向判定工程）。これ以降の処理は、実施形態１と同様である。
【0045】
［実施形態３］
本実施形態の装置１０Ｃのブロック図を図７に示し、本実施形態の装置１０Ｃのハードウェアの構成図を図８に示す。図７及び図８に示すように、本装置１０Ｃでは、合成画像生成部１５を含み、画像合成部１５は、前記判定対象者の標識画像を合成画像として生成し、視線情報取得部１１は、判定対象者画像を取得し、判定結果出力部１３は、行動判定部１２が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する。これ以外は、本実施形態は、実施形態１と同様である。
本実施形態の装置１０Ｃのブロック図を図７に示し、本実施形態の装置１０Ｃのハードウェアの構成図を図８に示す。図７及び図８に示すように、本装置１０Ｃでは、合成画像生成部１５を含み、画像合成部１５は、前記判定対象者の標識画像を合成画像として生成し、視線情報取得部１１は、判定対象者画像を取得し、判定結果出力部１３は、行動判定部１２が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する。これ以外は、本実施形態は、実施形態１と同様である。
【0046】
つぎに、本実施形態の行動判定方法の一例を、図９のフローチャートＳ１０Ｃに基づき説明する。本実施形態の行動判定方法は、例えば、図７又は図８の行動判定装置１０Ｃを用いて、次のように実施する。なお、本実施形態の行動判定方法は、図７又は図８の行動判定装置１０Ｃの使用には限定されない。
【0047】
まず、視線情報取得部１１により、判定対象者画像を取得する（Ｓ１１Ｃ、視線情報取得工程）。前記判定対象者画像は、例えば、前記判定対象者が撮像された画像であり、前述の判定対象者の顔画像でもよい。視線情報取得部１１は、例えば、通信回線網を介して、カメラ等の撮像装置により判定対象者を撮像した判定対象者画像を取得してもよい。また、視線情報取得部１１は、前記実施形態１と同様に、前記視線情報も取得する。
【0048】
つぎに、合成画像生成部１５により、前記判定対象者の標識画像を合成画像として生成する（Ｓ１１Ｃ、合成画像生成工程）。前記合成画像は、例えば、後述する判定対象者画像に含まれる判定対象者を区別するための情報であり、例えば、判定対象者を囲うための枠線の画像等があげられる。前記標識画像は、例えば、一種類でもよいし、二種類以上の複数でもよい。また、合成画像生成部１５は、例えば、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成してもよい。前記視線方向表示画像は、例えば、前記判定対象者の視線を視覚化した画像であり、例えば、判定対象者の目と判定対象物を結ぶ線（例えば、「目線ビーム」ともいう）等があげられる。
【0049】
つぎに、行動判定部１２により、前記実施形態１のＳ１２Ａと同様にして行動判定工程を実施する。
【0050】
そして、判定結果出力部１３は、行動判定部１２により、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する。具体的に、判定結果出力部１３は、例えば、前記判定対象者画像において、前記判定対象物を見ていると判定された前記判定対象者を前記標識画像（枠線画像）で囲った合成画像を生成し、表示できる。前記標識画像の合成位置は、特に制限されず、判定結果出力部１３は、例えば、顔認識技術により前記判定対象者画像に含まれる判定対象者の顔画像を認識し、前記顔画像の位置に前記標識画像を合成してもよいし、判定対象者の全身を囲うように前記標識画像を合成してもよい。なお、前記標識画像が二種類以上の複数ある場合、例えば、前記判定対象物を見ていると判定された前記判定対象者と、前記判定対象物を見ていないと判定された前記判定対象者とについて、異なる種類の標識画像を合成して表示してもよい。具体的には、前記見ていると判定された判定対象者を赤枠線で囲い、前記見ていないと判定された判定対象者を白枠線で囲う処理があげられる。また、前記視線方向表示画像が生成されている場合、判定結果出力部１３は、例えば、前記判定対象者画像に前記視線方向表示画像を合成して表示してもよい。
【0051】
本実施形態の装置１０Ｃによれば、例えば、判定対象物を見ていると判定された判定対象者について、前記標識画像を合成して表示することができるため、より容易に前記判定対象者が前記判定対象物を見ているか否かを判断できる。
【0052】
［実施形態４］
つぎに、実施形態１の装置１０Ａ、実施形態２の装置１０Ｂ、又は実施形態３の装置１０Ｃ（各装置をまとめて装置１０という。）をＥＲＣＰに適用した例を、図１０から図１３に示す。本実施形態では、装置１０をＥＲＣＰに適用した例であるため、前記判定対象物は、例えば、医療機器のディスプレーである。
つぎに、実施形態１の装置１０Ａ、実施形態２の装置１０Ｂ、又は実施形態３の装置１０Ｃ（各装置をまとめて装置１０という。）をＥＲＣＰに適用した例を、図１０から図１３に示す。本実施形態では、装置１０をＥＲＣＰに適用した例であるため、前記判定対象物は、例えば、医療機器のディスプレーである。
【0053】
図１０に、検査室モニターＭ１～Ｍ４、撮像装置（カメラ）Ｃ１、本装置１０、及び判定結果表示装置（ディスプレー）Ｄ１の関係図を示す。４個の検査室モニターＭ１～Ｍ４は、上下左右に二個となるように配置されている。モニターＭ１は、カルテ画面表示モニターであり、モニターＭ２は、内視鏡画像表示モニターであり、モニターＭ３は、録画したレントゲン表示モニターであり、モニターＭ４は、リアルタイムのレントゲン表示モニターである。前記「録画したレントゲン表示モニター」とは、例えば、本装置１０外部のレントゲン装置が撮像したレントゲン画像をキャプチャ（録画）した画像を表示しているモニターである。本実施形態において、装置１０により判定対象者が見ているか否かを判定する判定対象「★」は、モニターＭ４である。４個のモニターＭ１～Ｍ４の中央にカメラＣ１が配置されている。カメラＣ１は、本装置１０と接続している。本装置１０は、ディスプレーＤ１と接続している。
【0054】
図１１及び図１２に、モニターＭ４を見ているか否かの判定の様子を示す。両図に示すように、判定範囲内にいる人物（２名)の視線方向を推定し、右下モニターＭ４を見ているかをリアルタイムで判定しており、見ている場合は、ディスプレーＤ１に「利用中」の文字が表示され（図１１）、見ていない場合は、ディスプレーＤ１に「利用者なし」の文字が表示される（図１２）。なお、図示していないが、見ている場合は、スピーカから信号音を発生し、見ていない場合は、信号音を発生しない（又はその逆）でもよいし、見ている場合の信号音と見ていない場合とで異なる信号音を発生してもよい。
【0055】
図１３では、モニターＭ４に判定状態を表示している。同図において、判定対象者は、四角枠で顔が囲まれて表示されており、四角枠が、本発明の判定対象者の標識画像である。また、同図において、判定対象者の視線方向を示すラインが示されており、ラインが本発明の視線方向表示画像である。なお、図１３では、モニターＭ４に判定状態を表示しているが、本発明はこれに限定されず、例えば、図１０～１２のディスプレーＤ１に表示してもよい。
【0056】
［実施形態５］
さらに、本発明において、下記のような態様であってもよい。
さらに、本発明において、下記のような態様であってもよい。
【0057】
本発明において、いわゆる「チラ見」を排除するために、例えば、一定時間未満のモニターを見ている場合は、見ていると判定せず、一定時間以上モニターを見ている時に、見ていると判定してもよい。これにより、例えば、別の物を見ている判定対象者が、判定対象物を「チラ見」した場合に、「見ている」と誤判定することを抑制できる。さらに、例えば、一定時間以上モニターを見ていると判定した場合、例えば、視線が外れてから一定時間経過した後に「見ていない」と判定してもよい。この場合、例えば、さらに、視線が外れてから「見ていない」と判定する一定時間の間に、判定対象者が判定対象物に視線を向けた場合、前記「見ていない」と判定する一定時間のカウントをリセットしてもよい。これにより、例えば、判定対象者が判定対象のモニターとは別の物を「チラ見」した場合に「見ていない」と誤判定することを抑制できる。また、一定時間以上のモニター注視を検知した場合は、モニター外周に赤枠線・利用中を表す文言表示、およびスピーカからアラーム音を出力し、視線がモニターから外れたら表示と音出力を止めてもよい。
【0058】
さらに、本発明において、カメラが撮像した画像において、カメラから一定距離の範囲（判定範囲）に居るヒトを判定対象者とし、判定範囲外の人は判定対象者としない、としてもよい。なお、カメラからの距離は、カメラで撮像された画像において、ヒトの両目の間隔から推定してもよい。
【0059】
さらに、本発明において、カメラで撮像された画像において、複数フレームにまたがって検出された人が同一人物かどうかを判定してもよい（トラッキング）。
【0060】
さらに、本発明において、カメラが撮像した画像において、複数フレームの視線情報を平均化し（例えば、視線角度の平均化）、突発的な誤検知を抑止してもよい。
【0061】
［実施形態６］
本実施形態のプログラムは、前述の行動判定方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、視線情報取得手順、行動判定手順、及び判定結果出力手順を実行させるためのプログラムである。
本実施形態のプログラムは、前述の行動判定方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、視線情報取得手順、行動判定手順、及び判定結果出力手順を実行させるためのプログラムである。
【0062】
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力する。
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力する。
【0063】
また、本実施形態のプログラムは、コンピュータを、視線情報取得手順、行動判定手順、及び判定結果出力手順として機能させるプログラムということもできる。
【0064】
本実施形態のプログラムは、前記本発明の行動判定装置および行動判定方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【0065】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0066】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する、
行動判定装置。
（付記２）
前記視線情報取得部は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記１に記載の行動判定装置。
（付記３）
さらに、視線方向判定部を含み、
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記１又は２記載の行動判定装置。
（付記４）
さらに、合成画像生成部を含み、
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１から３のいずれかに記載の行動判定装置。
（付記５）
前記合成画像生成部は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１から４のいずれかに記載の判定装置。
（付記６）
前記判定対象物は、ディスプレーである、
付記１から５のいずれかに記載の判定装置。
（付記７）
前記ディスプレーは、医療機器のディスプレーである、
付記６記載の判定装置。
（付記８）
視線情報取得工程、行動判定工程、判定結果出力工程を含み、
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する、
行動判定方法。
（付記９）
前記視線情報取得工程は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定工程は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記８に記載の行動判定方法。
（付記１０）
さらに、視線方向判定工程を含み、
前記視線情報判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記８又は９記載の行動判定方法。
（付記１１）
さらに、合成画像生成工程を含み、
前記合成画像生成工程は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記行動判定工程が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１０記載の行動判定方法。
（付記１２）
前記合成画像生成工程は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１０又は１１記載の行動判定方法。
（付記１３）
前記判定対象物は、ディスプレーである、
付記８から１２のいずれかに記載の行動判定方法。
（付記１４）
前記ディスプレーは、医療機器のディスプレーである、
付記１３記載の行動判定方法。
（付記１５）
視線情報取得手順、行動判定手順、判定結果出力手順を含み、
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラム。
（付記１６）
前記視線情報取得手順は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定手順は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記１５に記載のプログラム。
（付記１７）
さらに、視線方向判定手順を含み、
前記視線情報判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記１５又は１６記載のプログラム。
（付記１８）
さらに、合成画像生成手順を含み、
前記合成画像生成手順は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記行動判定手順が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１５から１７のいずれかに記載のプログラム。
（付記１９）
前記合成画像生成手順は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１５から１８のいずれかに記載のプログラム。
（付記２０）
前記判定対象物は、ディスプレーである、
付記１５から１９のいずれかに記載のプログラム。
（付記２１）
前記ディスプレーは、医療機器のディスプレーである、
付記２０記載のプログラム。
（付記２２）
付記１５から２１のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
視線情報取得部、行動判定部、判定結果出力部を含み、
前記視線情報取得部は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定部は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力部は、前記判定結果を出力する、
行動判定装置。
（付記２）
前記視線情報取得部は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定部は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記１に記載の行動判定装置。
（付記３）
さらに、視線方向判定部を含み、
前記視線方向判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記１又は２記載の行動判定装置。
（付記４）
さらに、合成画像生成部を含み、
前記合成画像生成部は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得部は、判定対象者画像を取得し、
前記判定結果出力部は、前記行動判定部が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１から３のいずれかに記載の行動判定装置。
（付記５）
前記合成画像生成部は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得部は、前記判定対象者画像を取得し、
前記判定結果出力部は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１から４のいずれかに記載の判定装置。
（付記６）
前記判定対象物は、ディスプレーである、
付記１から５のいずれかに記載の判定装置。
（付記７）
前記ディスプレーは、医療機器のディスプレーである、
付記６記載の判定装置。
（付記８）
視線情報取得工程、行動判定工程、判定結果出力工程を含み、
前記視線情報取得工程は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定工程は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力工程は、前記判定結果を出力する、
行動判定方法。
（付記９）
前記視線情報取得工程は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定工程は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記８に記載の行動判定方法。
（付記１０）
さらに、視線方向判定工程を含み、
前記視線情報判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記８又は９記載の行動判定方法。
（付記１１）
さらに、合成画像生成工程を含み、
前記合成画像生成工程は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記行動判定工程が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１０記載の行動判定方法。
（付記１２）
前記合成画像生成工程は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得工程は、前記判定対象者画像を取得し、
前記判定結果出力工程は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１０又は１１記載の行動判定方法。
（付記１３）
前記判定対象物は、ディスプレーである、
付記８から１２のいずれかに記載の行動判定方法。
（付記１４）
前記ディスプレーは、医療機器のディスプレーである、
付記１３記載の行動判定方法。
（付記１５）
視線情報取得手順、行動判定手順、判定結果出力手順を含み、
前記視線情報取得手順は、判定対象者の視線方向情報を含む視線情報を取得し、
前記行動判定手順は、前記視線方向情報を基に、前記判定対象者が判定対象物を見ているか否かを判定し、
前記判定結果出力手順は、前記判定結果を出力し、
前記各手順が、コンピュータにより実行される、プログラム。
（付記１６）
前記視線情報取得手順は、さらに、前記判定対象者と前記判定対象物までの距離情報を取得し、
前記行動判定手順は、前記視線方向情報及び前記距離情報を基に、前記判定対象者が判定対象物を見ているか否かを判定する、付記１５に記載のプログラム。
（付記１７）
さらに、視線方向判定手順を含み、
前記視線情報判定部は、前記判定対象者の顔画像情報に基づき視線方向を判定して前記視線方向情報を生成する、
付記１５又は１６記載のプログラム。
（付記１８）
さらに、合成画像生成手順を含み、
前記合成画像生成手順は、前記判定対象者の標識画像を合成画像として生成し、
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記行動判定手順が、前記判定対象者が前記判定対象物を見ていると判定した場合に、前記標識画像及び前記判定対象者画像を合成して表示する、
付記１５から１７のいずれかに記載のプログラム。
（付記１９）
前記合成画像生成手順は、前記視線方向情報に基づき、前記判定対象者毎に視線方向表示画像を生成し、
前記視線情報取得手順は、前記判定対象者画像を取得し、
前記判定結果出力手順は、前記視線方向表示画像及び前記判定対象者画像を合成して表示する、
付記１５から１８のいずれかに記載のプログラム。
（付記２０）
前記判定対象物は、ディスプレーである、
付記１５から１９のいずれかに記載のプログラム。
（付記２１）
前記ディスプレーは、医療機器のディスプレーである、
付記２０記載のプログラム。
（付記２２）
付記１５から２１のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0067】
本発明によれば、対象者が対象物を見ているか否かを判定でき、ＥＲＣＰ等のモニターを有する装置等の様々な分野において広く有用である。
【符号の説明】
【0068】
１０（１０Ａ、１０Ｂ、１０Ｃ） 行動判定装置
１１ 視線情報取得部
１２ 行動判定部
１３ 判定結果出力部
１４ 視線方向判定部
１５ 合成画像生成部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
１１ 視線情報取得部
１２ 行動判定部
１３ 判定結果出力部
１４ 視線方向判定部
１５ 合成画像生成部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】