(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-27
(45)【発行日】2022-05-11
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06F 3/16 20060101AFI20220428BHJP
G02B 21/36 20060101ALI20220428BHJP
G02B 23/24 20060101ALI20220428BHJP
G06F 3/0487 20130101ALI20220428BHJP
G06F 3/01 20060101ALI20220428BHJP
G10L 15/10 20060101ALI20220428BHJP
G10L 15/04 20130101ALI20220428BHJP
G01N 21/17 20060101ALI20220428BHJP
【ＦＩ】
G06F3/16 610
G02B21/36
G02B23/24 B
G06F3/0487
G06F3/01 510
G06F3/16 650
G06F3/16 620
G10L15/10 500Z
G10L15/04 300Z
G01N21/17 A
【請求項の数】
18
(21)【出願番号】P 2018095449
(22)【出願日】2018-05-17
(65)【公開番号】P2019200651
(43)【公開日】2019-11-21
【審査請求日】2021-05-14
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】堀内 一仁
(72)【発明者】
【氏名】渡辺 伸之
(72)【発明者】
【氏名】金子 善興
(72)【発明者】
【氏名】西村 英敏
【審査官】菅原 浩二
(56)【参考文献】
【文献】特開２０１７－０１６１９８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１２９３０３（ＵＳ，Ａ１）
【文献】特開２０１８－０２８５６２（ＪＰ，Ａ）
【文献】特開２０１６－１８１２４５（ＪＰ，Ａ）
【文献】特開２０１５－０５６１４１（ＪＰ，Ａ）
【文献】特開２００９－０８６７５０（ＪＰ，Ａ）
【文献】特開平０８－０８３０９３（ＪＰ，Ａ）
【文献】特開２０１１－１０２７３１（ＪＰ，Ａ）
【文献】特開２０１８－０５７７９９（ＪＰ，Ａ）
【文献】特開２０１８－４１１８３（ＪＰ，Ａ）
【文献】特開２０１７－１６１９８（ＪＰ，Ａ）
【文献】特開２０１７－１３４５７７（ＪＰ，Ａ）
【文献】国際公開第２０１７／１２２４００（ＷＯ，Ａ１）
【文献】特開２０１４－１４４８９（ＪＰ，Ａ）
【文献】特開２００９－１４２３８８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／１６
Ｇ０２Ｂ ２１／３６
Ｇ０２Ｂ ２３／２４
Ｇ０６Ｆ ３／０４８７
Ｇ０６Ｆ ３／０１
Ｇ１０Ｌ １５／１０
Ｇ１０Ｌ １５／０４
Ｇ０１Ｎ ２１／１７
(57)【特許請求の範囲】
【請求項1】
外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された発声期間を重要期間として設定する設定部と、外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定部が設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析部と、
を備える情報処理装置。
【請求項2】
前記設定部は、外部から入力されるキーワードと指数とが対応付けられた重要単語情報に基づいて、前記重要期間を設定する
請求項１に記載の情報処理装置。
【請求項3】
前記設定部は、予め登録された複数のキーワードの各々と指数とが対応付けられた重要単語情報に基づいて、前記重要期間を設定する
請求項１に記載の情報処理装置。
【請求項4】
前記解析部は、前記視線データに基づいて、前記利用者の視線の注視度を解析した注視期間を抽出し、かつ、該注視期間と前記重要期間とに基づいて、前記音声データの前記重要期間に前後する前記視線データの前記注視期間に対して前記対応視線期間を割り当てる
請求項１～３のいずれか一つに記載の情報処理装置。
【請求項5】
前記解析部は、前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか１つを検出することによって、前記注視度を解析する
請求項４に記載の情報処理装置。
【請求項6】
前記音声データを文字情報に変換する変換部をさらに備え、前記キーワードは文字情報の形態であり、前記設定部は、前記文字情報と前記キーワードに基づいて、前記重要期間を設定する
請求項１～５のいずれか一つに記載の情報処理装置。
【請求項7】
外部から入力される画像データに対応する画像上に前記解析部が解析した前記対応視線期間および該対応視線期間の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える請求項６に記載の情報処理装置。
【請求項8】
前記解析部は、前記視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する
請求項７に記載の情報処理装置。
【請求項9】
前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記対応視線期間に対応する前記視線マッピングデータの少なくとも一部の領域を前記表示部に強調表示させる
請求項７に記載の情報処理装置。
【請求項10】
前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する請求項７～９のいずれか一つに記載の情報処理装置。
【請求項11】
外部から入力された操作信号に応じて指定されたキーワードを前記変換部によって変換された前記文字情報から抽出する抽出部と、前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部と、
をさらに備え、
前記表示制御部は、前記抽出部によって抽出された前記文字情報に関連付けられた前記視線マッピングデータの少なくとも一部の領域を前記表示部に強調表示させ、かつ、前記文字情報を前記表示部に表示させる
請求項７に記載の情報処理装置。
【請求項12】
前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、
をさらに備える
請求項１～６のいずれか一つに記載の情報処理装置。
【請求項13】
複数の利用者の各々を識別する識別情報を検出する検出部をさらに備え、前記解析部は、前記複数の利用者の各々の視線を検出した複数の前記視線データに基づいて、前記複数の利用者の各々の前記注視度を解析し、かつ、該注視度と前記識別情報とに基づいて、前記複数の利用者の各々の前記視線データに前記対応視線期間を割り当てる
請求項４に記載の情報処理装置。
【請求項14】
標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部と、
をさらに備え、
前記視線検出部は、前記顕微鏡の接眼部に設けられ、
前記解析部は、前記観察倍率に応じて前記対応視線期間の重み付けを行う
請求項１２に記載の情報処理装置。
【請求項15】
被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、をさらに備える
請求項１２に記載の情報処理装置。
【請求項16】
前記解析部は、前記操作部が受け付けた操作履歴に関する操作履歴に基づいて前記対応視線期間の重み付けを行う請求項１５に記載の情報処理装置。
【請求項17】
外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された期間を重要期間として設定する設定ステップと、外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定ステップで設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析ステップと、
を含む情報処理方法。
【請求項18】
情報処理装置に、外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された期間を重要期間として設定する設定ステップと、
外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定ステップで設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析ステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声データと視線データとを処理する情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、画像データ等の情報を処理する情報処理装置において、利用者の音声を検出したときから、所定の時間遡った期間において、表示部が表示する画像上における複数の表示領域に対して、利用者の視線が最も長く停留した画像の表示領域を注目情報として検出するとともに、この注目情報と音声とを対応付けて記録する技術が知られている（特許文献１参照）。
【0003】
また、注視注釈システムにおいて、コンピューティングデバイスの表示デバイスが表示する画像に対して、注視追跡デバイスによって検出された利用者が注視する注視点の近くに注釈アンカーを表示するとともに、この注釈アンカーに音声によって情報を入力する技術が知られている（特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第４２８２３４３号公報
【文献】特開２０１６－１８１２４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、利用者の視線を音声入力によって行うためのキューとして利用しているにすぎないため、音声の重要度に応じた、視線領域の把握はできなかった。
【0006】
本開示は、上記に鑑みてなされたものであって、音声(発話内容)の重要度に応じた、注視領域を把握することができる情報処理装置、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された発声期間を重要期間として設定する設定部と、外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定部が設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析部と、を備える。
【0008】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、外部から入力されるキーワードと指数とが対応付けられた重要単語情報に基づいて、前記重要期間を設定する。
【0009】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、予め登録された複数のキーワードの各々と指数とが対応付けられた重要単語情報に基づいて、前記重要期間を設定する。
【0010】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線データに基づいて、前記利用者の視線の注視度を解析した注視期間を抽出し、かつ、該注視期間と前記重要期間とに基づいて、前記音声データの前記重要期間に前後する前記視線データの前記注視期間に対して前記対応視線期間を割り当てる。
【0011】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線の移動速度、一定の時間内における前記視線の移動距離、一定領域内における前記視線の滞留時間のいずれか１つを検出することによって、前記注視度を解析する。
【0012】
また、本開示に係る情報処理装置は、上記開示において、前記音声データを文字情報に変換する変換部をさらに備え、前記設定部は、前記文字情報と前記キーワードに基づいて、前記重要期間を設定する。
【0013】
また、本開示に係る情報処理装置は、上記開示において、外部から入力される画像データに対応する画像上に前記解析部が解析した前記対応視線期間および該対応視線期間の座標情報を関連付けた視線マッピングデータを生成する生成部をさらに備える。
【0014】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記視線データに基づいて、前記利用者の視線の軌跡をさらに解析し、前記生成部は、前記解析部が解析した前記軌跡を前記画像上にさらに関連付けて前記視線マッピングデータを生成する。
【0015】
また、本開示に係る情報処理装置は、上記開示において、前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部をさらに備え、前記表示制御部は、前記対応視線期間に対応する前記視線マッピングデータの少なくとも一部の領域を前記表示部に強調表示させる。
【0016】
また、本開示に係る情報処理装置は、上記開示において、前記生成部は、前記座標情報に前記文字情報をさらに関連付けて前記視線マッピングデータを生成する。
【0017】
また、本開示に係る情報処理装置は、上記開示において、外部から入力された操作信号に応じて指定されたキーワードを前記変換部によって変換された前記文字情報から抽出する抽出部と、前記視線マッピングデータに対応する視線マッピング画像を表示部に表示させる表示制御部と、をさらに備え、前記表示制御部は、前記抽出部によって抽出された前記文字情報に関連付けられた前記視線マッピングデータの少なくとも一部の領域を前記表示部に強調表示させ、かつ、前記文字情報を前記表示部に表示させる。
【0018】
また、本開示に係る情報処理装置は、上記開示において、前記利用者の視線を連続的に検出することによって前記視線データを生成する視線検出部と、前記利用者の音声の入力を受け付けて前記音声データを生成する音声入力部と、をさらに備える。
【0019】
また、本開示に係る情報処理装置は、上記開示において、複数の利用者の各々を識別する識別情報を検出する検出部をさらに備え、前記解析部は、前記複数の利用者の各々の視線を検出した複数の前記視線データに基づいて、前記複数の利用者の各々の前記注視度を解析し、かつ、該注視度と前記識別情報とに基づいて、前記複数の利用者の各々の前記視線データに前記対応視線期間を割り当てる。
【0020】
また、本開示に係る情報処理装置は、上記開示において、標本を観察する観察倍率を変更可能であり、前記利用者が前記標本の観察像を観察可能な接眼部を有する顕微鏡と、前記顕微鏡に接続され、前記顕微鏡が結像した前記標本の観察像を撮像することによって画像データを生成する撮像部と、をさらに備え、前記視線検出部は、前記顕微鏡の接眼部に設けられ、前記解析部は、前記観察倍率に応じて前記対応視線期間の重み付けを行う。
【0021】
また、本開示に係る情報処理装置は、上記開示において、被検体に挿入可能な挿入部の先端部に設けられ、被検体内の体内を撮像することによって画像データを生成する撮像部と、視野を変更するための各種の操作の入力を受け付ける操作部と、を有する内視鏡と、
をさらに備える。
をさらに備える。
【0022】
また、本開示に係る情報処理装置は、上記開示において、前記解析部は、前記操作部が受け付けた操作履歴に関する操作履歴に基づいて前記対応視線期間の重み付けを行う。
【0023】
また、本開示に係る情報処理方法は、外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された期間を重要期間として設定する設定ステップと、外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定ステップで設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析ステップと、を含む。
【0024】
また、本開示に係るプログラムは、情報処理装置に、外部から入力される利用者の音声データに対して、音声重要度が高いキーワードが発声された期間を重要期間として設定する設定ステップと、外部から入力される前記利用者の視線データであって、前記音声データと同じ時間軸が対応付けられた視線データに対して、前記設定ステップで設定した前記重要期間に応じた対応視線期間を割り当てて記録部へ記録する解析ステップと、を実行させる。
【発明の効果】
【0025】
本発明によれば、音声の重要度に応じた、注視領域を把握することができるという効果を奏する。
【図面の簡単な説明】
【0026】
【発明を実施するための形態】
【0027】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものでない。
【0028】
（実施の形態１）
〔情報処理装置の構成〕
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される視線データ、音声データおよび画像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０から出力された各種データを表示する表示部２０と、を備える。なお、情報処理装置１０と表示部２０は、無線または有線によって双方向に接続されている。
〔情報処理装置の構成〕
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される視線データ、音声データおよび画像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０から出力された各種データを表示する表示部２０と、を備える。なお、情報処理装置１０と表示部２０は、無線または有線によって双方向に接続されている。
【0029】
〔情報処理装置の構成〕
まず、情報処理装置１０の構成について説明する。
図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、または外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、設定部１１と、解析部１２と、生成部１３と、記録部１４と、表示制御部１５と、を備える。
まず、情報処理装置１０の構成について説明する。
図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、または外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、設定部１１と、解析部１２と、生成部１３と、記録部１４と、表示制御部１５と、を備える。
【0030】
設定部１１は、外部から入力される利用者の音声データの重要期間を設定する。具体的には、設定部１１は、外部から入力される重要単語情報に基づいて、外部から入力される利用者の音声データの重要期間を設定する。例えば、設定部１１は、外部から入力されるキーワードが癌や出血等であり、各々の指数が「１０」と「８」の場合、周知の音声パターンマッチング等を用いてキーワードが発せられた期間（区間または時間）を重要期間に設定する。外部から入力される利用者の音声データは、図示しないマイク等の音声入力部によって生成されたものである。なお、設定部１１は、キーワードが発せられた期間の前後、例えば１秒から２秒程度を含むように重要期間を設置してもよい。設定部１１は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）およびＧＰＵ（Graphics Processing Unit）等を用いて構成される。なお、重要単語情報はあらかじめデータベース（音声データ、文字情報）で記憶されているものを使用しても良いし、使用者の入力（音声データ・キーボード入力）によるものでも良い。
【0031】
解析部１２は、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に応じた対応視線期間（例えば「癌」の場合、指数の「１０」）を割り当てて記録部１４へ記録する。ここで、対応視線期間とは、音声データにおいて重要なキーワードが発せられた重要期間で利用者の視線が注視する注視期間に、キーワードの指数に応じてランクが設定されたものである。また、解析部１２は、外部から入力される利用者の視線を検出した所定時間の視線データに基づいて、利用者の視線の注視度を解析する。ここで、視線データとは、角膜反射法に基づくものである。具体的には、視線データは、図示しない視線検出部（アイトラッキング）に設けられたＬＥＤ光源等から近赤外線が利用者の角膜赤に照射された際に、視線検出部である光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータである。そして、視線データは、光学センサが角膜上の瞳孔点と反射点を撮像することによって生成されたデータに対して画像処理等を行うことによって解析した解析結果に基づく利用者の瞳孔点と反射点のパターンから利用者の視線を算出したものである。
【0032】
また、図示していないが、視線検出部を備える装置が視線データを計測する際には、対応する画像データを使用者（利用者）に提示したうえで、視線データを計測している。この場合、図示しない視線検出部を備える装置は、使用者に表示している画像が固定している場合、すなわち表示領域の時間とともに絶対座標が変化しないとき、視線に計測領域と画像の絶対座標の相対的に位置関係を固定値として与えていれば良い。ここで、絶対座標とは、画像の所定の１点を基準に表記している座標を指している。
【0033】
利用形態が内視鏡システムや光学顕微鏡の場合、視線を検出するために提示している視野が画像データの視野となるため、画像の絶対座標にたいする観察視野の相対的な位置関係は変わらない。また、利用形態が内視鏡システムや光学顕微鏡においては、動画として記録している場合、視野のマッピングデータを生成するために、視線検出データと、視線の検出と同時に記録された画像または提示された画像を用いる。
【0034】
一方で、利用形態がＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）では、顕微鏡のスライドサンプルの一部を視野として使用者が観察しており、時刻とともに観察視野が変化する。この場合、画像データのどの部分が視野として提示されているか、すなわち表示領域の絶対座標の切り替えの時間情報も、視線・音声の情報と同じく同期化して記録されている。
【0035】
解析部１２は、外部から入力される利用者の視線を検出した所定時間の視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。なお、図示しない視線検出部は、所定の場所に載置されることによって利用者を撮像することによって視線を検出するものであってもよいし、利用者が装着することによって利用者を撮像することによって視線を検出するものであってもよい。また、視線データは、これ以外にも、周知のパターンマッチングによって生成されたものであってもよい。解析部１２は、例えばＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【0036】
生成部１３は、外部から入力される画像データに対応する画像上に解析部１２が解析した対応視線期間を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部１４および表示制御部１５へ出力する。この場合、生成部１３は、上述の様に視線マッピングデータを画像の絶対座標として得るとき、視線を計測した際の表示と画像の絶対座標の相対的位置関係を使用する。また、上述の様に、生成部１３は、観察視野が時々刻々と変化する場合には、表示領域＝視野の絶対座標（例えば表示画像の左上が元の画像データに絶対座標でどこに位置するか）の経時変化を入力する。具体的には、生成部１３は、外部から入力される画像データに対応する画像上の所定領域毎に、解析部１２が解析した対応視線期間を画像上の座標情報に関連付けた視線マッピングデータを生成する。さらに、生成部１３は、注視度に加えて、外部から入力される画像データに対応する画像上に解析部１２が解析した利用者の視線の軌跡を関連付けて視線マッピングデータを生成する。生成部１３は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【0037】
記録部１４は、設定部１１が設定した音声データと、視線データと、解析部１２が解析した対応視線期間と、を対応付けて記録する。また、記録部１４は、解析部１２が解析した視線データと、注視度と、を対応付けて記録する。さらに、記録部１４は、生成部１３から入力された視線マッピングデータを記録する。さらにまた、記録部１４は、情報処理装置１０が実行する各種プログラムおよび処理中のデータを記録する。記録部１４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。
【0038】
表示制御部１５は、外部から入力される画像データに対応する画像上に、生成部１３が生成した視線マッピングデータを重畳して外部の表示部２０に出力することによって表示させる。表示制御部１５は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。なお、上述した設定部１１、解析部１２、生成部１３および表示制御部１５をＣＰＵ、ＦＰＧＡおよびＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡおよびＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。
【0039】
〔表示部の構成〕
次に、表示部２０の構成について説明する。
表示部２０は、表示制御部１５から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部２０は、例えば有機ＥＬ（Electro Luminescence）や液晶等の表示モニタを用いて構成される。
次に、表示部２０の構成について説明する。
表示部２０は、表示制御部１５から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部２０は、例えば有機ＥＬ（Electro Luminescence）や液晶等の表示モニタを用いて構成される。
【0040】
〔情報処理装置の処理〕
次に、情報処理装置１０の処理について説明する。図２は、情報処理装置１０が実行する処理の概要を示すフローチャートである。
次に、情報処理装置１０の処理について説明する。図２は、情報処理装置１０が実行する処理の概要を示すフローチャートである。
【0041】
図２に示すように、まず、情報処理装置１０は、外部から入力される視線データ、音声データ、キーワードおよび画像データを取得する（ステップＳ１０１）。
【0042】
続いて、設定部１１は、外部から入力されたキーワードに基づいて、音声データにおいて重要単語であるキーワードが発せられた発声期間を判定し（ステップＳ１０２）、音声データにおいて重要単語が発せられた発声期間を重要期間に設定する（ステップＳ１０３）。ステップＳ１０３の後、情報処理装置１０は、後述するステップＳ１０４へ移行する。
【0043】
図３は、設定部１１による音声データに対する重要期間を設定する設定方法を模式的に説明する図である。図３の（ａ）および図３の（ｂ）において、横軸が時間を示し、図３の（ａ）の縦軸が音声データ（発声）を示し、図３の（ｂ）の縦軸が音声重要度を示す。また、図３の（ａ）の曲線Ｌ１が音声データの時間変化を示し、図３の（ｂ）の曲線Ｌ２が音声重要度の時間変化を示す。
【0044】
図３に示すように、設定部１１は、音声データに対して周知の音声パターンマッチングを用いることによって、外部から入力された重要単語のキーワードが「癌」である場合、この「癌」が発せられた音声データの発声期間（発声時間）の前後を重要度が高い重要期間Ｄ１に設定する。これに対して、設定部１１は、利用者が音声を発声しているが、重要単語のキーワードが含まれていない期間Ｄ０を重要期間に設定しない。なお、設定部１１は、周知の音声パターンマッチング以外に、音声データを文字情報に変換した後に、この文字情報に対してキーワードに対応する期間を重要度が高い重要期間として設定してもよい。
【0045】
図２に戻り、ステップＳ１０４以降の説明を続ける。
ステップＳ１０４において、解析部１２は、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に対応する期間（時間）に重要単語のキーワードに割り当てられた指数（例えば「癌」の場合、指数が「１０」）に応じた対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録する。ステップＳ１０４の後、情報処理装置１０は、後述するステップＳ１０５へ移行する。
ステップＳ１０４において、解析部１２は、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に対応する期間（時間）に重要単語のキーワードに割り当てられた指数（例えば「癌」の場合、指数が「１０」）に応じた対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録する。ステップＳ１０４の後、情報処理装置１０は、後述するステップＳ１０５へ移行する。
【0046】
図４は、解析部１２が対応視線期間を割り当てる方法を模式的に説明する図である。図４の（ａ）、図４の（ｂ）および図４の（ｃ）において、横軸が時間を示し、図４の（ａ）の縦軸が音声重要度を示し、図４の（ｂ）の縦軸が視線移動速度を示し、図４の（ｃ）の縦軸が注視度を示す。
【0047】
解析部１２は、設定部１１によって設定された音声の重要度が設定された期間Ｄ１に基づき、対応する視線データの期間を設定する。解析部１２は、期間Ｄ１に対して、開始時間差および終了時間差を設定し、対応視線期間Ｄ２を設定する。
【0048】
なお、実施の形態１では、予め利用者の注視度と発音（発声）との時間差を算出し（キャリブレーションデータ）、この算出結果に基づいて利用者の注視度と発音（発声）とのずれを補正するキャリブレーション処理を行ってもよい。単純に音声重要度が高いキーワードが発声された期間を重要期間として、その一定時間の前後、あるいは、シフトした期間を対応視線期間としても良い。
【0049】
図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、生成部１３は、画像データに対応する画像上に解析部１２が解析した対応視線期間を関連付けた視線マッピングデータを生成する。
ステップＳ１０５において、生成部１３は、画像データに対応する画像上に解析部１２が解析した対応視線期間を関連付けた視線マッピングデータを生成する。
【0050】
続いて、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータを重畳して外部の表示部２０に出力する（ステップＳ１０６）。ステップＳ１０６の後、情報処理装置１０は、本処理を終了する。
【0051】
図５は、表示部２０が表示する画像の一例を模式的に示す図である。図５に示すように、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ１を表示部２０に表示させる。図５においては、注視度が高いほど、等高線の本数が多い。ヒートマップＭ１～Ｍ５の視線マッピング画像Ｐ１を表示部２０に表示させる。この中で、音声重要度の高い期間に対応した視線がマッピングされた領域に関して強調表示を行う（ここでは等高線の外枠を太くする表示）。なお、図５において、表示制御部１５は、音声重要度の内容を模式的に示すため、メッセージＱ１およびメッセージＱ２を視線マッピング画像Ｐ１上に重畳して表示部２０に表示させているが、メッセージＱ１およびメッセージＱ２を非表示であってもよい。
【0052】
図６は、表示部２０が表示する画像の別の一例を模式的に示す図である。図６に示すように、表示制御部１５は、画像データに対応する画像上に、生成部１３が生成した視線マッピングデータに重畳した視線マッピング画像Ｐ２を表示部２０に表示させる。図６においては、マークＭ１１～Ｍ１５は、視線の滞留時間が長いほど円の領域が大きい、この中で音声重要度の高い期間に対応した視線がマッピングされた領域に関して強調表示を行う。さらに、表示制御部１５は、利用者の視線の軌跡Ｋ１および対応視線期間のランクの順番を数字で表示部２０に表示させる。なお、図６においては、表示制御部１５は、各対応視線期間の期間（時間）で利用者が発した音声データを、周知の文字変換技術を用いて変換した文字情報（例えばメッセージＱ１およびメッセージＱ２）を、マークＭ１１～Ｍ１５の近傍または重畳して表示部２０に表示させてもよい。
【0053】
以上説明した実施の形態１によれば、解析部１２が音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に対応する期間に重要単語のキーワードに割り当てられた指数に応じた対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録するので、視線データのどの期間が重要であるか否かを把握することができる。
【0054】
さらにまた、実施の形態１では、生成部１３が外部から入力される画像データに対応する画像上に解析部１２が解析した対応視線期間、および対応視線期間の座標情報を関連付けた視線マッピングデータを生成するので、利用者が直感的に画像上における重要な位置を把握することができる。
【0055】
また、実施の形態１では、記録部１４が解析部１２によって対応視線期間が割り当てられた視線データを記録するので、ディープラーニング等の機械学習で用いる視線のマッピングに基づく画像データと視線との対応関係を学習する際の学習データを容易に取得することができる。
【0056】
（実施の形態２）
次に、本開示の実施の形態２について説明する。上述した実施の形態１では、解析部１２が音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に対応する期間に対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録させていたが、実施の形態２では、解析部１２が解析した視線の注視度と設定部１１が設定した重要期間とに基づいて、視線データに対応視線期間を割り当てる。以下においては、実施の形態２に係る情報処理システムの構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は、省略する。
次に、本開示の実施の形態２について説明する。上述した実施の形態１では、解析部１２が音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの重要期間に対応する期間に対応視線期間を割り当てて音声データと視線データとを同期化させて記録部１４に記録させていたが、実施の形態２では、解析部１２が解析した視線の注視度と設定部１１が設定した重要期間とに基づいて、視線データに対応視線期間を割り当てる。以下においては、実施の形態２に係る情報処理システムの構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は、省略する。
【0057】
〔情報処理システムの構成〕
図７は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図７に示す情報処理システム１ａは、上述した実施の形態１に係る情報処理装置１０に換えて、情報処理装置１０ａを備える。情報処理装置１０ａは、上述した実施の形態１に係る解析部１２に換えて、解析部１２ａを備える。
図７は、実施の形態２に係る情報処理システムの機能構成を示すブロック図である。図７に示す情報処理システム１ａは、上述した実施の形態１に係る情報処理装置１０に換えて、情報処理装置１０ａを備える。情報処理装置１０ａは、上述した実施の形態１に係る解析部１２に換えて、解析部１２ａを備える。
【0058】
解析部１２ａは、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。そして、解析部１２ａは、利用者の視線の注視度を解析した注視期間を抽出し、かつ、この注視期間と設定部１１が設定した音声データの重要期間とに基づいて、音声データの重要期間に前後する視線データの注視期間に対して対応視線期間を割り当てて記録部１４に記録する。
【0059】
〔情報処理装置の処理〕
次に、情報処理装置１０ａが実行する処理について説明する。図８Ａは、情報処理装置１０ａが実行する処理の概要を示すフローチャートである。図８Ａにおいて、ステップＳ２０１～ステップＳ２０３は、上述した図２のステップＳ１０１～ステップＳ１０３それぞれに対応する。
次に、情報処理装置１０ａが実行する処理について説明する。図８Ａは、情報処理装置１０ａが実行する処理の概要を示すフローチャートである。図８Ａにおいて、ステップＳ２０１～ステップＳ２０３は、上述した図２のステップＳ１０１～ステップＳ１０３それぞれに対応する。
【0060】
ステップＳ２０４において、解析部１２ａは、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線の移動速度を検出することによって、視線（注視点）の注視度を解析する。
【0061】
続いて、解析部１２ａは、ステップＳ２０４において解析した注視度の注視期間と設定部１１が設定した音声データの重要期間とに基づいて、視線データに対応視線期間を割り当てて記録部１４に記録する（ステップＳ２０５）。具体的には、解析部１２ａは、音声データの重要期間前後の注視度に対してキーワードに応じた係数（例えば１～９の数字）を乗じた値（ランク）を対応視線期間として割り当てて記録部１４に記録する。これにより、利用者が注視する注視期間で重要な期間を解析して記録部１４に記録することができる。ステップＳ２０５の後、情報処理装置１０ａは、後述するステップＳ２０６へ移行する。ステップＳ２０６およびステップＳ２０７は、上述した図２のステップＳ１０５およびステップＳ１０６それぞれに対応する。
【0062】
図８Ｂは、解析部１２aが視線データに重要度を設定する設定方法を模式的に説明する図である。図８Ｂの（ａ）、図８Ｂの（ｂ）および図８Ｂの（ｃ）において、横軸が時間を示し、図８Ｂの（ａ）の縦軸が音声重要度を示し、図８Ｂの（ｂ）の縦軸が視線移動速度を示し、図８Ｂの（ｃ）の縦軸が視線重要度を示す。また、図８Ｂの曲線Ｌ２が音声重要度の時間変化を示し、図８Ｂの（ｂ）の曲線Ｌ３が視線の視線移動速度の時間変化を示し、図８Ｂの（ｃ）の曲線Ｌ４が注視度の時間変化を示す。
【0063】
一般には、視線の移動速度が大きいほど、利用者の注視度が低く、視線の移動速度が小さいほど、利用者の視線の注視度が高いと解析することができる。即ち、図８Ｂの曲線Ｌ１に示すように、解析部１２は、利用者の視線の移動速度が大きいほど、利用者の視線の注視度が低いと解析し、視線の移動速度が小さいほど（視線の移動速度が小さい期間Ｄ２を参照）、利用者の視線の注視度が高いと解析する。このように、解析部１２は、外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに対して、設定部１１が設定した音声データの音声重要度が高い重要期間Ｄ１に前後する期間であって、利用者の視線の注視度が高い注視期間Ｄ２を対応視線期間として割り当てる（図８Ｂの（ｃ）の曲線Ｌ４を参照）。なお、図８Ｂでは、解析部１２は、利用者の視線の移動速度を解析することによって、利用者の視線の注視度を解析していたが、これに限定されることなく、一定の時間内における利用者の視線の移動距離および一定領域内における利用者の視線の滞留時間のいずれか１つを検出することによって、視線の注視度を解析してもよい。
【0064】
以上説明した実施の形態２によれば、解析部１２ａが外部から入力された利用者の視線データであって、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線（注視点）の注視度を解析した後、注視度を解析した注視期間を注視、かつ、この注視期間と設定部１１が設定した音声データの重要期間とに基づいて、音声データの重要期間に前後する視線データの注視期間に対して対応視線期間を割り当てて記録部１４に記録するので、視線データに対して利用者が注視する注視期間のうちで重要な期間を把握することができる。
【0065】
（実施の形態３）
次に、本開示の実施の形態３について説明する。実施の形態１では、外部から視線データ、音声データおよびキーワードの各々が入力されていたが、実施の形態３では、視線データおよび音声データを生成するとともに、予めキーワードと係数とが対応付けられた重要単語情報が記録されている。以下においては、実施の形態３に係る情報処理装置の構成を説明後、実施の形態３に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
次に、本開示の実施の形態３について説明する。実施の形態１では、外部から視線データ、音声データおよびキーワードの各々が入力されていたが、実施の形態３では、視線データおよび音声データを生成するとともに、予めキーワードと係数とが対応付けられた重要単語情報が記録されている。以下においては、実施の形態３に係る情報処理装置の構成を説明後、実施の形態３に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0066】
図９は、実施の形態３に係る情報処理装置の構成を示す概略図である。図１０は、実施の形態３に係る情報処理装置の構成を示す概略図である。図１１は、実施の形態３に係る情報処理装置の機能構成を示すブロック図である。
【0067】
図９～図１１に示す情報処理装置１ｂは、解析部１２と、表示部２０と、視線検出部３０と、音声入力部３１と、制御部３２と、時間計測部３３と、記録部３４と、変換部３５と、抽出部３６と、操作部３７と、設定部３８と、生成部３９と、プログラム記憶部３４４と、重要単語記憶部３４５と、を備える。
【0068】
視線検出部３０は、近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ等）と、を用いて構成される。視線検出部３０は、利用者Ｕ１が表示部２０を視認可能な情報処理装置１ｂの筐体の側面に設けられる（図９および図１０を参照）。視線検出部３０は、制御部３２の制御のもと、表示部２０が表示する画像に対する利用者Ｕ１の視線を検出した視線データを生成し、この視線データを制御部３２へ出力する。具体的には、視線検出部３０は、制御部３２の制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ１の角膜に照射し、光学センサが利用者Ｕ１の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、視線検出部３０は、制御部３２の制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ１の瞳孔点と反射点のパターンから利用者の視線や視線を連続的に算出することによって所定時間の視線データを生成し、この視線データを後述する視線検出制御部３２１へ出力する。なお、視線検出部３０は、単に光学センサのみで利用者Ｕ１の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者Ｕ１の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者Ｕ１の視線を検出することによって視線データを生成してもよい。
【0069】
音声入力部３１は、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルの音声データに変換するとともに、この音声データを増幅することによって制御部３２へ出力する音声コーデックと、を用いて構成される。音声入力部３１は、制御部３２の制御のもと、利用者Ｕ１の音声の入力を受け付けることによって音声データを生成し、この音声データを制御部３２へ出力する。なお、音声入力部３１は、音声の入力以外にも、音声を出力することができるスピーカ等を設け、音声出力機能を設けてもよい。
【0070】
制御部３２は、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、視線検出部３０、音声入力部３１および表示部２０を制御する。制御部３２は、視線検出制御部３２１と、音声入力制御部３２２と、表示制御部３２３と、を有する。
【0071】
視線検出制御部３２１は、視線検出部３０を制御する。具体的には、視線検出制御部３２１は、視線検出部３０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を視線検出部３０に撮像させることによって視線データを生成させる。また、視線検出制御部３２１は、視線検出部３０から入力された視線データに対して、各種の画像処理を行って記録部３４へ出力する。
【0072】
音声入力制御部３２２は、音声入力部３１を制御し、音声入力部３１から入力された音声データに対して各種の処理、例えばゲインアップやノイズ低減処理等を行って記録部３４へ出力する。
【0073】
表示制御部３２３は、表示部２０の表示態様を制御する。表示制御部３２３は、記録部３４に記録された画像データに対応する画像または生成部１３によって生成された視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる。
【0074】
時間計測部３３は、タイマーやクロックジェネレータ等を用いて構成され、視線検出部３０によって生成された視線データおよび音声入力部３１によって生成された音声データ等に対して時刻情報を付与する。
【0075】
記録部３４は、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成され、情報処理装置１ｂに関する各種の情報を記録する。記録部３４は、視線データ記録部３４１と、音声データ記録部３４２と、画像データ記録部３４３と、を有する。
【0076】
視線データ記録部３４１は、視線検出制御部３２１から入力された視線データを記録するとともに、視線データを解析部１２へ出力する。
【0077】
音声データ記録部３４２は、音声入力制御部３２２から入力された音声データを記録するとともに、音声データを変換部３５へ出力する。
【0078】
画像データ記録部３４３は、複数の画像データを記録する。この複数の画像データは、情報処理装置１ｂの外部から入力されたデータ、または記録媒体によって外部の撮像装置によって撮像されたデータである。
【0079】
変換部３５は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部３６へ出力する。なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま重要度を設定し、その後文字情報に変換するようにしても良い。
【0080】
抽出部３６は、後述する操作部３７から入力された指示信号に対応するキーワード（単語や文字）または後述する重要単語記憶部３４５が記録する複数のキーワードを、変換部３５によって変換された文字情報から抽出し、この抽出結果を設定部３８へ出力する。
【0081】
操作部３７は、マウス、キーボード、タッチパネルおよび各種スイッチ等を用いて構成され、利用者Ｕ１の操作の入力を受け付け、入力を受け付けた操作内容を制御部３２へ出力する。
【0082】
設定部３８は、抽出部３６によって抽出されたキーワードが音声データ上において発声された期間を重要期間として設定し、この設定結果を解析部１２へ出力する。
【0083】
生成部３９は、表示部２０が表示する画像データに対応する画像上に解析部１２が解析した対応視線期間および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成し、この視線マッピングデータを画像データ記録部３４３または表示制御部３２３へ出力する。
【0084】
プログラム記憶部３４４は、情報処理装置１ｂが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えば辞書情報やテキスト変換辞書情報）および各種プログラムの実行中の処理データを記録する。
【0085】
重要単語記憶部３４５は、複数のキーワードと指数とを対応付けた重要単語情報を記録する。例えば、重要単語記憶部３４５は、キーワードが「癌」の場合、指数に「１０」が対応付けられ、キーワードが「出血」の場合、指数に「８」が対応付けられ、キーワードが「異常なし」の場合、指数に「０」が対応付けられている。
【0086】
〔情報処理装置の処理〕
次に、情報処理装置１ｂが実行する処理について説明する。図１２は、情報処理装置１ｂが実行する処理の概要を示すフローチャートである。
次に、情報処理装置１ｂが実行する処理について説明する。図１２は、情報処理装置１ｂが実行する処理の概要を示すフローチャートである。
【0087】
図１２に示すように、まず、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ３０１）。この場合、表示制御部３２３は、操作部３７の操作に応じて選択された画像データに対応する画像を表示部２０に表示させる。
【0088】
続いて、制御部３２は、視線検出部３０が生成した視線データおよび音声入力部３１が生成した音声データの各々と時間計測部３３によって計測された時間とを対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ３０２）。
【0089】
その後、変換部３５は、音声データ記録部３４２が記録する音声データを文字情報に変換する（ステップＳ３０３）。なお、このステップは、後述のＳ３０８の後に行っても良い。
【0090】
続いて、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ３０４：Ｙｅｓ）、情報処理装置１ｂは、後述するステップＳ３０５へ移行する。これに対して、操作部３７から表示部２０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ３０４：Ｎｏ）、情報処理装置１ｂは、ステップＳ３０２へ戻る。
【0091】
ステップＳ３０５～ステップＳ３０８は、上述した図８のステップＳ２０２～ステップＳ２０５それぞれに対応する。ステップＳ３０８の後、情報処理装置１ｂは、後述するステップＳ３０９へ移行する。
【0092】
続いて、生成部３９は、表示部２０が表示する画像データに対応する画像上に解析部１２が解析した対応視線期間および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成する（ステップＳ３０９）。
【0093】
続いて、表示制御部３２３は、生成部３９が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させる（ステップＳ３１０）。
【0094】
図１３は、表示部２０が表示する視線マッピング画像の一例を示す図である。図１３に示すように、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ３を表示部２０に表示させる。視線マッピング画像Ｐ３には、対応視線期間のランクに基づく視線の注視領域に対応するマークＭ１１～Ｍ１５および視線の軌跡Ｋ１が重畳されるとともに、この対応視線期間のタイミングで発せされた音声データの文字情報が関連付けられている。また、マークＭ１１～Ｍ１５は、番号が利用者Ｕ１の視線の順番を示し、大きさ（領域）が対応視線期間のランクの大きさを示す。さらに、利用者Ｕ１が操作部３７を操作してカーソルＡ１を所望の位置、例えばマークＭ１４に移動させた場合、マークＭ１４に関連付けられたメッセージＱ１、例えば「ここで癌があります。」が表示される。なお、図１３では、表示制御部３２３が文字情報を表示部２０に表示させているが、例えば文字情報を音声に変換することによって音声データを出力してもよい。これにより、利用者Ｕ１は、音声で発声した内容と注視していた領域とを直感的に把握することができる。さらに、利用者Ｕ１の観察時における視線の軌跡を直感的に把握することができる。
【0095】
図１４は、表示部２０が表示する視線マッピング画像の別の一例を示す図である。図１３に示すように、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像Ｐ４を表示部２０に表示させる。さらに、表示制御部３２３は、文字情報と、この文字情報が発声された時間とを対応付けたアイコンＢ１～Ｂ５を表示部２０に表示させる。さらに、表示制御部３２３は、利用者Ｕ１が操作部３７を操作してマークＭ１１～Ｍ１５のいずれかを選択した場合、例えばマークＭ１４を選択した場合、マークＭ１４を表示部２０に強調表示するとともに、マークＭ１４の時間に対応する文字情報、例えばアイコンＢ４を表示部２０に強調表示させる（例えば枠をハイライト表示または太線で表示）。これにより、利用者Ｕ１は、重要な音声内容と注視していた領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。
【0096】
図１２に戻り、ステップＳ３１１以降の説明を続ける。
ステップＳ３１１において、操作部３７によって複数の注視領域に対応するマークのいずれか一つが操作された場合（ステップＳ３１１：Ｙｅｓ）、制御部３２は、操作に応じた動作処理を実行する（ステップＳ３１２）。具体的には、表示制御部３２３は、操作部３７によって選択された注視領域に対応するマークを表示部２０に強調表示させる（例えば図１３を参照）。また、音声入力制御部３２２は、注視度の高い領域に関連付けられた音声データを音声入力部３１に再生させる。ステップＳ３１２の後、情報処理装置１ｂは、後述するステップＳ３１３へ移行する。
ステップＳ３１１において、操作部３７によって複数の注視領域に対応するマークのいずれか一つが操作された場合（ステップＳ３１１：Ｙｅｓ）、制御部３２は、操作に応じた動作処理を実行する（ステップＳ３１２）。具体的には、表示制御部３２３は、操作部３７によって選択された注視領域に対応するマークを表示部２０に強調表示させる（例えば図１３を参照）。また、音声入力制御部３２２は、注視度の高い領域に関連付けられた音声データを音声入力部３１に再生させる。ステップＳ３１２の後、情報処理装置１ｂは、後述するステップＳ３１３へ移行する。
【0097】
ステップＳ３１１において、操作部３７によって複数の注視度領域に対応するマークのいずれか一つが操作されていない場合（ステップＳ３１１：Ｎｏ）、情報処理装置１ｂは、後述するステップＳ３１３へ移行する。
【0098】
ステップＳ３１３において、操作部３７から観察の終了を指示する指示信号が入力された場合（ステップＳ３１３：Ｙｅｓ）、情報処理装置１ｂは、本処理を終了する。これに対して、操作部３７から観察の終了を指示する指示信号が入力されていない場合（ステップＳ３１３：Ｎｏ）、情報処理装置１ｂは、上述したステップＳ３１０へ戻る。
【0099】
以上説明した実施の形態２によれば、生成部１３が表示部２０によって表示される画像データに対応する画像上に解析部１２が解析した対応視線期間および変換部３５が変換した文字情報を関連付けた視線マッピングデータを生成するので、利用者Ｕ１は、対応視線期間の内容と注視していたが領域とを直感的に把握することができるうえ、発声した際の内容を直感的に把握することができる。
【0100】
また、実施の形態２によれば、表示制御部３２３は、生成部１３が生成した視線マッピングデータに対応する視線マッピング画像を表示部２０に表示させるので、画像に対する利用者の観察の見逃し防止の確認、利用者の読影等の技術スキルの確認、他の利用者に対する読影や観察等の教育およびカンファレンス等に用いることができる。
【0101】
（実施の形態４）
次に、本開示の実施の形態４について説明する。上述した実施の形態２では、情報処理装置１ｂのみで構成されていたが、実施の形態４では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る顕微鏡システムの構成を説明後、実施の形態４に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
次に、本開示の実施の形態４について説明する。上述した実施の形態２では、情報処理装置１ｂのみで構成されていたが、実施の形態４では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る顕微鏡システムの構成を説明後、実施の形態４に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0102】
【0103】
【0104】
〔顕微鏡の構成〕
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、レボルバ２０４と、対物レンズ２０５と、倍率検出部２０６と、鏡筒部２０７と、接続部２０８と、接眼部２０９と、を備える。
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、本体部２０１と、回転部２０２と、昇降部２０３と、レボルバ２０４と、対物レンズ２０５と、倍率検出部２０６と、鏡筒部２０７と、接続部２０８と、接眼部２０９と、を備える。
【0105】
本体部２０１は、標本ＳＰが載置される。本体部２０１は、略Ｕ字状をなし、回転部２０２を用いて昇降部２０３が接続される。
【0106】
回転部２０２は、利用者Ｕ２の操作に応じて回転することによって、昇降部２０３を垂直方向へ移動させる。
【0107】
昇降部２０３は、本体部２０１に対して垂直方向へ移動可能に設けられている。昇降部２０３は、一端側の面にレボルバが接続され、他端側の面に鏡筒部２０７が接続される。
【0108】
レボルバ２０４は、互いに倍率が異なる複数の対物レンズ２０５が接続され、光軸Ｌ１に対して回転可能に昇降部２０３に接続される。レボルバ２０４は、利用者Ｕ２の操作に応じて、所望の対物レンズ２０５を光軸Ｌ１上に配置する。なお、複数の対物レンズ２０５には、倍率を示す情報、例えばＩＣチップやラベルが添付されている。なお、ＩＣチップやラベル以外にも、倍率を示す形状を対物レンズ２０５に設けてもよい。
【0109】
倍率検出部２０６は、光軸Ｌ１上に配置された対物レンズ２０５の倍率を検出し、この検出した検出結果を情報処理装置１ｃへ出力する。倍率検出部２０６は、例えば対物切り替えのレボルバ２０４の位置を検出する手段を用いて構成される。
【0110】
鏡筒部２０７は、対物レンズ２０５によって結像された標本ＳＰの被写体像の一部を接続部２０８に透過するとともに、接眼部２０９へ反射する。鏡筒部２０７は、内部にプリズム、ハーフミラーおよびコリメートレンズ等を有する。
【0111】
接続部２０８は、一端が鏡筒部２０７と接続され、他端が撮像部２１０と接続される。接続部２０８は、鏡筒部２０７を透過した標本ＳＰの被写体像を撮像部２１０へ導光する。接続部２０８は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。
【0112】
接眼部２０９は、鏡筒部２０７によって反射された被写体像を導光して結像する。接眼部２０９は、複数のコリメートレンズおよび結像レンズ等を用いて構成される。
【0113】
〔撮像部の構成〕
次に、撮像部２１０の構成について説明する。
撮像部２１０は、接続部２０８が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１ｃへ出力する。撮像部２１０は、ＣＭＯＳまたはＣＣＤ等のイメージセンサおよび画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。
次に、撮像部２１０の構成について説明する。
撮像部２１０は、接続部２０８が結像した標本ＳＰの被写体像を受光することによって画像データを生成し、この画像データを情報処理装置１ｃへ出力する。撮像部２１０は、ＣＭＯＳまたはＣＣＤ等のイメージセンサおよび画像データに対して各種の画像処理を施す画像処理エンジン等を用いて構成される。
【0114】
〔視線検出部の構成〕
次に、視線検出部２２０の構成について説明する。
視線検出部２２０は、接眼部２０９の内部または外部に設けられ、利用者Ｕ２の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。視線検出部２２０は、接眼部２０９の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０９の内部に設けられ、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部２２０は、情報処理装置１ｃの制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ２の角膜に照射し、光学センサが利用者Ｕ２の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部２２２は、情報処理装置１ｃの制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ２の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。
次に、視線検出部２２０の構成について説明する。
視線検出部２２０は、接眼部２０９の内部または外部に設けられ、利用者Ｕ２の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。視線検出部２２０は、接眼部２０９の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０９の内部に設けられ、角膜上の瞳孔点と反射点を撮像する光学センサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部２２０は、情報処理装置１ｃの制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ２の角膜に照射し、光学センサが利用者Ｕ２の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部２２２は、情報処理装置１ｃの制御のもと、光学センサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ２の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。
【0115】
〔情報処理装置の構成〕
次に、情報処理装置１ｃの構成について説明する。
情報処理装置１ｃは、上述した実施の形態２に係る情報処理装置１ｂの制御部３２、記録部３４および解析部１２に換えて、制御部３２ｃ、記録部３４ｃ、解析部４０と、を備える。
次に、情報処理装置１ｃの構成について説明する。
情報処理装置１ｃは、上述した実施の形態２に係る情報処理装置１ｂの制御部３２、記録部３４および解析部１２に換えて、制御部３２ｃ、記録部３４ｃ、解析部４０と、を備える。
【0116】
制御部３２ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、表示部２０、音声入力部３１、撮像部２１０および視線検出部２２０を制御する。制御部３２ｃは、上述した実施の形態２の制御部３２の視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、撮影制御部３２４および倍率算出部３２５をさらに備える。
【0117】
撮影制御部３２４は、撮像部２１０の動作を制御する。撮影制御部３２４は、撮像部２１０を所定のフレームレートに従って順次撮像させることによって画像データを生成させる。撮影制御部３２４は、撮像部２１０から入力された画像データに対して処理の画像処理（例えば現像処理等）を施して記録部３４ｃへ出力する。
【0118】
倍率算出部３２５は、倍率検出部２０６から入力された検出結果に基づいて、現在の顕微鏡２００の観察倍率を算出し、この算出結果を解析部４０へ出力する。例えば、倍率算出部３２５は、倍率検出部２０６から入力された対物レンズ２０５の倍率と接眼部２０９の倍率とに基づいて、現在の顕微鏡２００の観察倍率を算出する。
【0119】
記録部３４ｃは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｃは、上述した実施の形態２に係る画像データ記録部３４３に換えて、画像データ記録部３４６を備える。画像データ記録部３４６は、撮影制御部３２４から入力された画像データを記録し、この画像データを生成部１３へ出力する。
【0120】
解析部４０は、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。そして、解析部４０は、解析した注視度の注視期間と、設定部３８が設定した音声データの重要期間と、倍率算出部３２５が算出した算出結果と、に基づいて、視線データに対応視線期間および変換部３５によって変換された文字情報を割り当てて記録部３４ｃに記録する。具体的には、解析部４０は、解析した注視度の注視期間に、倍率算出部３２５が算出した算出結果に基づく係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値と、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応する対応視線期間とを割り当てて記録部３４ｃへ記録する。すなわち、解析部４０は、表示倍率が大きいほど対応視線期間のランクが高くなるような処理を行う。設定部３８ｃは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【0121】
〔顕微鏡システムの処理〕
次に、顕微鏡システム１００が実行する処理について説明する。図１７は、顕微鏡システム１００が実行する処理の概要を示すフローチャートである。
次に、顕微鏡システム１００が実行する処理について説明する。図１７は、顕微鏡システム１００が実行する処理の概要を示すフローチャートである。
【0122】
図１７に示すように、まず、制御部３２ｃは、視線検出部３０が生成した視線データ、音声入力部３１が生成した音声データ、および倍率算出部３２５が算出した観察倍率の各々を時間計測部３３によって計測された時間を対応付けて視線データ記録部３４１および音声データ記録部３４２に記録する（ステップＳ４０１）。ステップＳ４０１の後、顕微鏡システム１００は、後述するステップＳ４０２へ移行する。
【0123】
ステップＳ４０２～ステップＳ４０６は、上述した図１２のステップＳ３０２～ステップＳ３０７それぞれに対応する。ステップＳ４０６の後、顕微鏡システム１００は、ステップＳ４０７へ移行する。
【0124】
ステップＳ４０７において、解析部４０は、解析した注視度と、設定部１１が設定した音声データの重要期間と、倍率算出部３２５が算出した算出結果と、に基づいて、視線データに対応視線期間および変換部３５によって変換された文字情報を割り当てて記録部３４ｃに記録する。具体的には、解析部４０は、解析した注視度に、倍率算出部３２５が算出した算出結果に基づく係数および重要期間のキーワードに応じた係数の各々を乗じた値と、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対して対応視線期間として割り当てて記録部３４ｃへ記録する。ステップＳ４０７の後、顕微鏡システム１００は、ステップＳ４０８へ移行する。
【0125】
ステップＳ４０８～ステップＳ４１２は、上述した図１２のステップＳ３０９～ステップＳ３１３それぞれに対応する。
【0126】
以上説明した実施の形態４によれば、設定部３８ｃが解析部４０によって解析された注視度と倍率算出部３２５が算出した算出結果とに基づいて、視線データと同じ時間軸が対応付けられた音声データに重要度および変換部３５によって変換された文字情報を割り当てて記録部３４ｃすることによって、観察倍率および注視度に基づいた重要度が音声データに割り当てられるので、観察内容および注視度を加味した音声データの重要な期間を把握することができる。
【0127】
なお、実施の形態４では、倍率算出部３２５が算出した観察倍率を記録部１４に記録していたが、利用者Ｕ２の操作履歴を記録し、この操作履歴をさらに加味して視線データの対応視線期間を割り当ててもよい。
【0128】
（実施の形態５）
次に、本開示の実施の形態５について説明する。実施の形態５では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る内視鏡システムの構成を説明後、実施の形態４に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
次に、本開示の実施の形態５について説明する。実施の形態５では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る内視鏡システムの構成を説明後、実施の形態４に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0129】
【0130】
【0131】
〔内視鏡の構成〕
まず、内視鏡４００の構成について説明する。
内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。
まず、内視鏡４００の構成について説明する。
内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。
【0132】
撮像部４０１は、内視鏡４００の挿入部の先端部に設けられる。撮像部４０１は、情報処理装置１ｄの制御のもと、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｄへ出力する。撮像部４０１は、観察倍率を変更することができる光学系と、光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤ等のイメージセンサ等を用いて構成される。
【0133】
操作部４０２は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。
【0134】
〔ウェアラブルデバイスの構成〕
次に、ウェアラブルデバイス５００の構成について説明する。
ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。
次に、ウェアラブルデバイス５００の構成について説明する。
ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。
【0135】
視線検出部５１０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の視線の注視度を検出することによって視線データを生成し、この視線データを情報処理装置１ｄへ出力する。視線検出部５１０は、上述した実施の形態３に係る視線検出部２２０と同様の構成を有するため、詳細な構成は省略する。
【0136】
音声入力部５２０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の音声の入力を受け付けることによって音声データを生成し、この音声データを情報処理装置１ｄへ出力する。音声入力部５２０は、マイク等を用いて構成される。
【0137】
〔入力部の構成〕
入力部６００の構成について説明する。
入力部６００は、マウス、キーボード、タッチパネルおよび各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。
入力部６００の構成について説明する。
入力部６００は、マウス、キーボード、タッチパネルおよび各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｄへ出力する。
【0138】
〔情報処理装置の構成〕
次に、情報処理装置１ｄの構成について説明する。
情報処理装置１ｄは、上述した実施の形態３に係る情報処理装置１ｃの制御部３２ｃ、記録部３４ｃ、設定部３８ｃ、解析部４０に換えて、制御部３２ｄ、記録部３４ｄ、設定部３８ｄおよび解析部４０ｄを備える。さらに、情報処理装置１ｄは、画像処理部４１をさらに備える。
次に、情報処理装置１ｄの構成について説明する。
情報処理装置１ｄは、上述した実施の形態３に係る情報処理装置１ｃの制御部３２ｃ、記録部３４ｃ、設定部３８ｃ、解析部４０に換えて、制御部３２ｄ、記録部３４ｄ、設定部３８ｄおよび解析部４０ｄを備える。さらに、情報処理装置１ｄは、画像処理部４１をさらに備える。
【0139】
制御部３２ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、内視鏡４００、ウェアラブルデバイス５００および表示部２０を制御する。制御部３２ｄは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３、撮影制御部３２４に加えて、操作履歴検出部３２６を備える。
【0140】
操作履歴検出部３２６は、内視鏡４００の操作部４０２が入力を受け付けた操作の内容を検出し、この検出結果を記録部３４ｄに出力する。具体的には、操作履歴検出部３２６は、内視鏡４００の操作部４０２から拡大スイッチが操作された場合、この操作内容を検出し、この検出結果を記録部３４ｄに出力する。なお、操作履歴検出部３２６は、内視鏡４００を経由して被検体Ｕ４の内部に挿入される処置具の操作内容を検出し、この検出結果を記録部３４ｄに出力してもよい。
【0141】
記録部３４ｄは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｄは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、操作履歴記録部３４７をさらに備える。
【0142】
操作履歴記録部３４７は、操作履歴検出部３２６から入力された内視鏡４００の操作部４０２に対する操作の履歴を記録する。
【0143】
生成部３９ｄは、後述する画像処理部４１が生成した統合画像データに対応する統合画像上に、後述する解析部４０ｄが解析した対応視線期間および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する。
【0144】
解析部４０ｄは、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。そして、解析部４０ｄは、解析した注視度と、設定部３８が設定した音声データの重要期間と、操作履歴記録部３４６が記録する操作履歴と、に基づいて、視線データに対応視線期間および変換部３５によって変換された文字情報を割り当てて記録部３４ｃに記録する。具体的には、解析部４０ｄは、解析した注視度に、操作履歴記録部３４６が記録する操作履歴に基づく係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｃへ記録する。すなわち、解析部４０は、重要な操作内容、例えば拡大観察や病変に対する処置対応等の重要な操作内容が大きいほど対応視線期間のランクが高くなるような処理を行う。解析部４０ｄは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【0145】
画像処理部４１は、画像データ記録部３４６が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する。
【0146】
〔内視鏡システムの処理〕
次に、内視鏡システム３００が実行する処理について説明する。図２０は、内視鏡システム３００が実行する処理の概要を示すフローチャートである。
次に、内視鏡システム３００が実行する処理について説明する。図２０は、内視鏡システム３００が実行する処理の概要を示すフローチャートである。
【0147】
図２０に示すように、まず、制御部３２ｄは、視線検出部３０が生成した視線データ、音声入力部３１が生成した音声データ、および操作履歴検出部３２６が検出した操作履歴の各々を時間計測部３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および操作履歴記録部３４６に記録する（ステップＳ５０１）。ステップＳ５０１の後、内視鏡システム３００は、後述するステップＳ５０２へ移行する。
【0148】
ステップＳ５０２～ステップＳ５０６は、上述した図１２のステップＳ３０３～ステップＳ３０７それぞれに対応する。ステップＳ５０６の後、内視鏡システム３００は、ステップＳ５０７へ移行する。
【0149】
ステップＳ５０７において、解析部４０ｄは、解析した注視度と、設定部３８が設定した音声データの重要期間と、操作履歴記録部３４６が記録する操作履歴と、に基づいて、視線データに対応視線期間および変換部３５によって変換された文字情報を割り当てて記録部３４ｃに記録する。具体的には、解析部４０ｄは、解析した注視度に、操作履歴記録部３４６が記録する操作履歴に基づく係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｃへ記録する。
【0150】
続いて、画像処理部４１は、画像データ記録部３４６が記録する複数の画像データを合成することによって３次元画像の統合画像データを生成し、この統合画像データを生成部３９ｄへ出力する（ステップＳ５０８）。図２１は、画像データ記録部３４６が記録する複数の画像データに対応する複数の画像の一例を模式的に示す図である。図２２は、画像処理部４１が生成する統合画像データに対応する統合画像の一例を示す図である。図２１および図２２に示すように、画像処理部４１は、時間的に連続する複数の画像データＰ１１～ＰＮ（Ｎ＝整数）を合成することによって統合画像データに対応する統合画像Ｐ１００を生成する。
【0151】
その後、生成部３９ｄは、画像処理部４１が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部４０ｄが解析した対応視線期間、視線および文字情報を関連付けた視線マッピングデータを生成し、この生成した視線マッピングデータを記録部３４ｄおよび表示制御部３２３へ出力する（ステップＳ５０９）。この場合、生成部３９ｄは、画像処理部４１が生成した統合画像データに対応する統合画像Ｐ１００上に、解析部４０ｄが解析した対応視線期間、視線Ｋ２および文字情報に加えて、操作履歴を関連付けてもよい。ステップＳ５０９の後、内視鏡システム３００は、後述するステップＳ５１０へ移行する。
【0152】
ステップＳ５１０～ステップＳ５１３は、上述した図１２のステップＳ３０８～ステップＳ３１１それぞれに対応する。
【0153】
以上説明した実施の形態５によれば、解析部４０ｄは、解析した注視度に、操作履歴記録部３４６が記録する操作履歴に基づく係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｃへ記録するので、操作内容および注視度を加味した視線データの重要な期間を把握することができる。
【0154】
また、実施の形態５では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【0155】
また、実施の形態５では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。
【0156】
また、実施の形態５では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡および電気メスや検査プローブ等の内視鏡システムであっても適用することができる。
【0157】
（実施の形態６）
次に、本開示の実施の形態６について説明する。上述した実施の形態１～５は、利用者が一人の場合を想定していたが、実施の形態６では、２人以上の利用者を想定する。さらに、実施の形態６では、複数の利用者で画像を閲覧する情報処理システムに情報処理装置を組み込むことによって構成する。以下においては、実施の形態６に係る閲覧システムの構成を説明後、実施の形態６に係る情報処理システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
次に、本開示の実施の形態６について説明する。上述した実施の形態１～５は、利用者が一人の場合を想定していたが、実施の形態６では、２人以上の利用者を想定する。さらに、実施の形態６では、複数の利用者で画像を閲覧する情報処理システムに情報処理装置を組み込むことによって構成する。以下においては、実施の形態６に係る閲覧システムの構成を説明後、実施の形態６に係る情報処理システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ｂと同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0158】
〔情報処理システムの構成〕
図２３は、実施の形態６に係る情報処理システムの機能構成を示すブロック図である。図２３に示す情報処理システム７００は、表示部２０と、第１ウェアラブルデバイス７１０と、第２ウェアラブルデバイス７２０と、検出部７３０と、情報処理装置１ｅと、を備える。
図２３は、実施の形態６に係る情報処理システムの機能構成を示すブロック図である。図２３に示す情報処理システム７００は、表示部２０と、第１ウェアラブルデバイス７１０と、第２ウェアラブルデバイス７２０と、検出部７３０と、情報処理装置１ｅと、を備える。
【0159】
〔第１ウェアラブルデバイスの構成〕
まず、第１ウェアラブルデバイス７１０の構成について説明する。
第１ウェアラブルデバイス７１０は、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第１ウェアラブルデバイス７１０は、第１視線検出部７１１と、第１音声入力部７１２と、を有する。第１視線検出部７１１および第１音声入力部７１２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
まず、第１ウェアラブルデバイス７１０の構成について説明する。
第１ウェアラブルデバイス７１０は、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第１ウェアラブルデバイス７１０は、第１視線検出部７１１と、第１音声入力部７１２と、を有する。第１視線検出部７１１および第１音声入力部７１２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
【0160】
〔第２ウェアラブルデバイスの構成〕
次に、第２ウェアラブルデバイス７２０の構成について説明する。
第２ウェアラブルデバイス７２０は、上述した第１ウェアラブルデバイス７１０と同様の構成を有し、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第２ウェアラブルデバイス７２０は、第２視線検出部７２１と、第２音声入力部７２２と、を有する。第２視線検出部７２１および第２音声入力部７２２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
次に、第２ウェアラブルデバイス７２０の構成について説明する。
第２ウェアラブルデバイス７２０は、上述した第１ウェアラブルデバイス７１０と同様の構成を有し、利用者に装着され、利用者の視線を検出するとともに、利用者の音声の入力を受け付ける。第２ウェアラブルデバイス７２０は、第２視線検出部７２１と、第２音声入力部７２２と、を有する。第２視線検出部７２１および第２音声入力部７２２は、上述した実施の形態４に係る視線検出部５１０および音声入力部５２０と同様の構成を有するため、詳細な構成は省略する。
【0161】
〔検出部の構成〕
次に、検出部７３０の構成について説明する。
検出部７３０は、複数の利用者の各々を識別する識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、複数の利用者の各々を識別する識別情報（例えばＩＤや名前等）を記録するＩＣカードから利用者の識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、例えば、ＩＣカードを読み取るカードリーダ等を用いて構成される。なお、検出部７３０は、複数の利用者の顔を撮像することによって生成した画像データに対応する画像に対して、予め設定された利用者の顔の特徴点および周知のパターンマッチングを用いて利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。もちろん、検出部７３０は、操作部３７からの操作に応じて入力された信号に基づいて、利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。
次に、検出部７３０の構成について説明する。
検出部７３０は、複数の利用者の各々を識別する識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、複数の利用者の各々を識別する識別情報（例えばＩＤや名前等）を記録するＩＣカードから利用者の識別情報を検出し、この検出結果を情報処理装置１ｅへ出力する。検出部７３０は、例えば、ＩＣカードを読み取るカードリーダ等を用いて構成される。なお、検出部７３０は、複数の利用者の顔を撮像することによって生成した画像データに対応する画像に対して、予め設定された利用者の顔の特徴点および周知のパターンマッチングを用いて利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。もちろん、検出部７３０は、操作部３７からの操作に応じて入力された信号に基づいて、利用者を識別し、この識別結果を情報処理装置１ｅへ出力するようにしてもよい。
【0162】
〔情報処理装置の構成〕
次に、情報処理装置１ｅの構成について説明する。
情報処理装置１ｅは、上述した実施の形態４に係る情報処理装置１ｄの制御部３２ｄ、記録部３４ｄおよび解析部４０ｄに換えて、制御部３２ｅ、記録部３４ｅおよび解析部４０ｅを備える。
次に、情報処理装置１ｅの構成について説明する。
情報処理装置１ｅは、上述した実施の形態４に係る情報処理装置１ｄの制御部３２ｄ、記録部３４ｄおよび解析部４０ｄに換えて、制御部３２ｅ、記録部３４ｅおよび解析部４０ｅを備える。
【0163】
制御部３２ｅは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成され、第１ウェアラブルデバイス７１０、第２ウェアラブルデバイス７２０、検出部７３０および表示部２０を制御する。制御部３２ｅは、視線検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、識別検出制御部３２７を備える。
【0164】
識別検出制御部３２７は、検出部７３０を制御し、検出部７３０が取得した取得結果に基づいて、複数の利用者の各々を識別し、この識別結果を記録部３４ｅへ出力する。
【0165】
記録部３４ｅは、揮発性メモリ、不揮発性メモリおよび記録媒体等を用いて構成される。記録部３４ｅは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、識別情報記録部３４８をさらに備える。
【0166】
識別情報記録部３４８は、識別検出制御部３２７から入力された複数の利用者の各々の識別情報を記録する。
【0167】
解析部４０ｅは、音声データと同じ時間軸が対応付けられた視線データに基づいて、視線の移動速度、一定の時間内における視線の移動距離、一定領域内における視線の滞留時間のいずれか１つを検出することによって、視線（注視点）の注視度を解析する。そして、解析部４０ｅは、解析した注視度と、設定部３８が設定した音声データの重要期間と、識別情報記録部３４８が記録する識別情報と、に基づいて、視線データに対応視線期間および変換部３５によって変換された文字情報を割り当てて記録部３４ｅに記録する。具体的には、解析部４０ｅは、解析した注視度に、識別情報記録部３４８が記録する各利用者の識別情報に応じた係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｅへ記録する。すなわち、解析部４０ｅは、重要な利用者（例えば役職に応じて設定されたランク）ほど対応視線期間のランクが高くなる処理を行う。解析部４０ｅは、ＣＰＵ、ＦＰＧＡおよびＧＰＵ等を用いて構成される。
【0168】
〔情報処理システムの処理〕
次に、情報処理システム７００が実行する処理について説明する。図２４は、情報処理システム７００が実行する処理の概要を示すフローチャートである。
次に、情報処理システム７００が実行する処理について説明する。図２４は、情報処理システム７００が実行する処理の概要を示すフローチャートである。
【0169】
図２４に示すように、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ６０１）。
【0170】
続いて、制御部３２ｅは、第１ウェアラブルデバイス７１０および第２ウェアラブルデバイス７２０の各々が生成した視線データ、音声データ、および検出部７３０が取得した識別情報の各々を時間計測部３３によって計測された時間と対応付けて視線データ記録部３４１、音声データ記録部３４２および識別情報記録部３４８に記録する（ステップＳ６０２）。ステップＳ６０２の後、情報処理システム７００は、ステップＳ６０３へ移行する。
【0171】
ステップＳ６０３～ステップＳ６０７は、上述した図１２のステップＳ３０２～ステップＳ３０７それぞれに対応する。ステップＳ６０７の後、情報処理システム７００は、後述するステップＳ６０８へ移行する。
【0172】
続いて、解析部４０ｅは、解析した注視度に、識別情報記録部３４８が記録する各利用者の識別情報に応じた係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の期間（時間）に対応視線期間として割り当てて記録部３４ｃへ記録する（ステップＳ６０８）。
【0173】
ステップＳ６０９～ステップＳ６１３は、上述した図１２のステップＳ３０９～ステップＳ３１３それぞれに対応する。
【0174】
以上説明した実施の形態５によれば、解析部４０ｅが解析した注視度に、識別情報記録部３４８が記録する各利用者の識別情報に応じた係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｅへ記録することによって、識別情報よび注視度に基づいた重要度が第１音声データまたは第２音声データに割り当てられるので、利用者に応じた注視度を加味した音声データの重要な期間を把握することができる。
【0175】
なお、実施の形態５では、解析部４０ｅが解析した注視度に、識別情報記録部３４８が記録する各利用者の識別情報に応じた係数および設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する視線データの注視度の注視期間（時間）に対応視線期間として割り当てて記録部３４ｅへ記録していたが、これに限定されることなく、例えば複数の利用者の各々の位置を検出し、この検出結果を設定部３８が設定した重要期間のキーワードに応じた係数の各々を乗じた値を、音声データの重要期間前後に対応する第１視線データおよび第２視線データの注視度の期間（時間）に対応視線期間として割り当てて、記録部３４ｅへ記録してもよい。
【0176】
（その他の実施の形態）
上述した実施の形態１～５に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～５に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～５で説明した構成要素を適宜組み合わせてもよい。
上述した実施の形態１～５に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～５に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～５で説明した構成要素を適宜組み合わせてもよい。
【0177】
また、実施の形態１～５において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0178】
また、実施の形態１～５に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0179】
また、実施の形態１～５に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１～５に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにすればよい。
【0180】
また、実施の形態１～５では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【0181】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0182】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0183】
１，１ａ 情報処理システム
１ｂ，１ｃ，１ｄ，１ｅ，１０，１０ａ 情報処理装置
１１，３８，３８ｃ，３８ｄ 設定部
１２，１２ａ，４０，４０ｄ，４０ｅ 解析部
１３，３９，３９ｄ 生成部
１４，３４，３４ｃ，３４ｄ，３４ｅ 記録部
１５ 表示制御部
２０ 表示部
３０，２２０，２２２，５１０ 視線検出部
３１，５２０ 音声入力部
３２，３２ｃ，３２ｄ，３２ｅ 制御部
３５ 変換部
３６ 抽出部
３７，４０２ 操作部
４１ 画像処理部
１００ 顕微鏡システム
２００ 顕微鏡
２０１ 本体部
２０２ 回転部
２０３ 昇降部
２０４ レボルバ
２０５ 対物レンズ
２０６ 倍率検出部
２０７ 鏡筒部
２０８ 接続部
２０９ 接眼部
２１０，４０１ 撮像部
３００ 内視鏡システム
３２１ 視線検出制御部
３２２ 音声入力制御部
３２３ 表示制御部
３２４ 撮影制御部
３２５ 倍率算出部
３２６ 操作履歴検出部
３２７ 識別検出制御部
３４１ 視線データ記録部
３４２ 音声データ記録部
３４３ 画像データ記録部
３４４ プログラム記憶部
３４５ 重要単語記憶部
３４６ 操作履歴記録部
３４７ 操作履歴記録部
３４８ 識別情報記録部
４００ 内視鏡
５００ ウェアラブルデバイス
６００ 入力部
７００ 情報処理システム
７１０ 第１ウェアラブルデバイス
７１１ 第１視線検出部
７１２ 第１音声入力部
７２０ 第２ウェアラブルデバイス
７２１ 第２視線検出部
７２２ 第２音声入力部
７３０ 検出部
１ｂ，１ｃ，１ｄ，１ｅ，１０，１０ａ 情報処理装置
１１，３８，３８ｃ，３８ｄ 設定部
１２，１２ａ，４０，４０ｄ，４０ｅ 解析部
１３，３９，３９ｄ 生成部
１４，３４，３４ｃ，３４ｄ，３４ｅ 記録部
１５ 表示制御部
２０ 表示部
３０，２２０，２２２，５１０ 視線検出部
３１，５２０ 音声入力部
３２，３２ｃ，３２ｄ，３２ｅ 制御部
３５ 変換部
３６ 抽出部
３７，４０２ 操作部
４１ 画像処理部
１００ 顕微鏡システム
２００ 顕微鏡
２０１ 本体部
２０２ 回転部
２０３ 昇降部
２０４ レボルバ
２０５ 対物レンズ
２０６ 倍率検出部
２０７ 鏡筒部
２０８ 接続部
２０９ 接眼部
２１０，４０１ 撮像部
３００ 内視鏡システム
３２１ 視線検出制御部
３２２ 音声入力制御部
３２３ 表示制御部
３２４ 撮影制御部
３２５ 倍率算出部
３２６ 操作履歴検出部
３２７ 識別検出制御部
３４１ 視線データ記録部
３４２ 音声データ記録部
３４３ 画像データ記録部
３４４ プログラム記憶部
３４５ 重要単語記憶部
３４６ 操作履歴記録部
３４７ 操作履歴記録部
３４８ 識別情報記録部
４００ 内視鏡
５００ ウェアラブルデバイス
６００ 入力部
７００ 情報処理システム
７１０ 第１ウェアラブルデバイス
７１１ 第１視線検出部
７１２ 第１音声入力部
７２０ 第２ウェアラブルデバイス
７２１ 第２視線検出部
７２２ 第２音声入力部
７３０ 検出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】