特許 7487325 情報処理装置、情報処理装置の作動方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-10

(45)【発行日】2024-05-20

(54)【発明の名称】情報処理装置、情報処理装置の作動方法、及びプログラム

(51)【国際特許分類】

   G16H 30/40 20180101AFI20240513BHJP

【ＦＩ】

G16H30/40

【請求項の数】 15

(21)【出願番号】P 2022553412

(86)(22)【出願日】2020-10-02

(86)【国際出願番号】 JP2020037638

(87)【国際公開番号】W WO2022070423

(87)【国際公開日】2022-04-07

【審査請求日】2022-11-15

(73)【特許権者】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】渡辺 伸之

(72)【発明者】

【氏名】金子 善興

(72)【発明者】

【氏名】堀内 一仁

(72)【発明者】

【氏名】西村 英敏

【審査官】鹿野 博嗣

(56)【参考文献】

【文献】特開２０１９－２０２１３１（ＪＰ，Ａ）

【文献】米国特許第１０００２３１１（ＵＳ，Ｂ１）

【文献】特表２０１９－５３００４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出する語句抽出部と、
前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出するフレーム抽出部と、
前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出する算出部と、
算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価する評価部と、
を備える情報処理装置。

【請求項2】

前記評価部は、算出した前記注視測量が、前記条件を満たす場合、前記条件を満たさない場合よりも前記有用度を高く評価する請求項１に記載の情報処理装置。

【請求項3】

前記算出部は、ＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）における前記フレームによる表示範囲又は観察倍率に基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項4】

前記観察データは、前記利用者の視線の位置座標を検出した視線データを含み、
前記算出部は、所定の期間内における前記視線の前記位置座標の密度に基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項5】

前記算出部は、ＷＳＩにおける前記フレームによる表示領域の所定の期間内の移動量に基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項6】

前記算出部は、前記フレーム間における特徴点の移動量により算出される移動ベクトルに基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項7】

前記観察データは、前記利用者の視線の位置座標を検出した視線データを含み、
前記算出部は、前記視線の前記位置座標の移動速度に基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項8】

前記算出部は、前記利用者が注視している領域の位置及び大きさに基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項9】

前記算出部は、前記利用者が注視している領域の移動速度に基づいて前記注視測量を算出する請求項１又は２に記載の情報処理装置。

【請求項10】

語句抽出部が、外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出し、
フレーム抽出部が、前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出し、
算出部が、前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出し、
評価部が、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価する情報処理装置の作動方法。

【請求項11】

語句抽出部が、外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出し、
フレーム抽出部が、前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出し、
算出部が、前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出し、
評価部が、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価することを情報処理装置に実行させるプログラム。

【請求項12】

顕微鏡を通して対象物を観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出する語句抽出部と、
前記利用者が観察した視野と略一致する視野を撮像部が撮像して出力した画像データを、前記利用者の音声と同期して記録する記録部と、
前記所定の語句が発話された時刻に同期したフレームを前記画像データから抽出するフレーム抽出部と、
前記利用者が前記顕微鏡を通して前記対象物を観察したときの観察態様を記録した観察データから、前記対象物に対する前記利用者の注視度合いを表す注視測量を算出する算出部と、
算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記抽出されたフレームの有用度を評価する評価部と、
を備える情報処理装置。

【請求項13】

前記評価部は、算出した前記注視測量が、前記条件を満たす場合、前記条件を満たさない場合よりも前記有用度を高く評価する請求項１２に記載の情報処理装置。

【請求項14】

前記算出部は、顕微鏡観察における対物レンズの倍率に基づいて前記注視測量を算出する請求項１、１２、又は１３に記載の情報処理装置。

【請求項15】

前記算出部は、顕微鏡観察における所定の期間内のステージの移動量に基づいて前記注視測量を算出する請求項１、１２、又は１３に記載の情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の作動方法、及びプログラムに関する。

【背景技術】

【0002】

従来、患者から採取された標本を病理医が観察して診断を行う病理診断が行われている。病理診断では、病理医が標本の画像を観察して、画像に診断結果（病変の有無、種類、位置等の情報）を付与する。特許文献１には、病理医が標本の画像を観察して、読影レポートを作成することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－００８３４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、病理医が読影レポートを作成するには、画像データを観察しながらキーボードやポインティングデバイスを用いて病変等を含む領域を入力する必要があり、病理医の負担となっていた。

【0005】

本発明は、上記に鑑みてなされたものであって、画像データから容易に有用なフレームを抽出することができる情報処理装置、情報処理装置の作動方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出する語句抽出部と、前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出するフレーム抽出部と、前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出する算出部と、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価する評価部と、を備える。

【0007】

また、本発明の一態様に係る情報処理装置は、前記評価部は、算出した前記注視測量が、前記条件を満たす場合、前記条件を満たさない場合よりも前記有用度を高く評価する。

【0008】

また、本発明の一態様に係る情報処理装置は、前記算出部は、ＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）における前記フレームによる表示範囲又は観察倍率に基づいて前記注視測量を算出する。

【0009】

また、本発明の一態様に係る情報処理装置は、前記観察データは、前記利用者の視線の位置座標を検出した視線データを含み、前記算出部は、所定の期間内における前記視線の前記位置座標の密度に基づいて前記注視測量を算出する。

【0010】

また、本発明の一態様に係る情報処理装置は、前記算出部は、ＷＳＩにおける前記フレームによる表示領域の所定の期間内の移動量に基づいて前記注視測量を算出する。

【0011】

また、本発明の一態様に係る情報処理装置は、前記算出部は、前記フレーム間における特徴点の移動量により算出される移動ベクトルに基づいて前記注視測量を算出する。

【0012】

また、本発明の一態様に係る情報処理装置は、前記観察データは、前記利用者の視線の位置座標を検出した視線データを含み、前記算出部は、前記視線の前記位置座標の移動速度に基づいて前記注視測量を算出する。

【0013】

また、本発明の一態様に係る情報処理装置は、前記算出部は、前記利用者が注視している領域の位置及び大きさに基づいて前記注視測量を算出する。

【0014】

また、本発明の一態様に係る情報処理装置は、前記算出部は、前記利用者が注視している領域の移動速度に基づいて前記注視測量を算出する。

【0015】

また、本発明の一態様に係る情報処理装置の作動方法は、語句抽出部が、外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出し、フレーム抽出部が、前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出し、算出部が、前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出し、評価部が、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価する。

【0016】

また、本発明の一態様に係るプログラムは、語句抽出部が、外部から入力される画像データに含まれるフレームを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出し、フレーム抽出部が、前記所定の語句が発話された時刻に観察していた前記フレームを前記画像データから抽出し、算出部が、前記画像データに対する観察態様を記録した観察データから、前記フレームに対する前記利用者の注視度合いを表す注視測量を算出し、評価部が、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記フレームの有用度を評価することを情報処理装置に実行させる。

【0017】

また、本発明の一態様に係る情報処理装置は、顕微鏡を通して対象物を観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出する語句抽出部と、前記利用者が観察した視野と略一致する視野を撮影し、前記利用者の音声と同期して画像データを記録する記録部と、前記所定の語句が発話された時刻に同期したフレームを前記画像データから抽出するフレーム抽出部と、前記利用者が前記顕微鏡を通して前記対象物を観察したときの観察態様を記録した観察データから、前記対象物に対する前記利用者の注視度合いを表す注視測量を算出する算出部と、算出した前記注視測量と前記所定の語句に対応する前記注視測量の条件とを比較し、前記抽出されたフレームの有用度を評価する評価部と、を備える。

【0018】

また、本発明の一態様に係る情報処理装置は、前記評価部は、算出した前記注視測量が、前記条件を満たす場合、前記条件を満たさない場合よりも前記有用度を高く評価する。

【0019】

また、本発明の一態様に係る情報処理装置は、前記算出部は、顕微鏡観察における対物レンズの倍率に基づいて前記注視測量を算出する。

【0020】

また、本発明の一態様に係る情報処理装置は、前記算出部は、顕微鏡観察における所定の期間内のステージの移動量に基づいて前記注視測量を算出する。

【発明の効果】

【0021】

本発明によれば、画像データから容易に有用なフレームを抽出することができる情報処理装置、情報処理装置の作動方法、及びプログラムを実現することができる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。

【図3】図３は、重要語句に対応する注視測量の条件を表す図である。

【図4】図４は、実施の形態２に係る情報処理装置の構成を示す概略図である。

【図5】図５は、実施の形態２に係る情報処理装置の構成を示す概略図である。

【図6】図６は、実施の形態２に係る情報処理装置の機能構成を示すブロック図である。

【図7】図７は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。

【図8】図８は、実施の形態３に係る顕微鏡システムの機能構成を示すブロック図である。

【図9】図９は、実施の形態３に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。

【図10】図１０は、実施の形態４に係る内視鏡システムの構成を示す概略図である。

【図11】図１１は、実施の形態４に係る内視鏡システムの機能構成を示すブロック図である。

【図12】図１２は、実施の形態４に係る内視鏡システムが実行する処理の概要を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものでない。

【0024】

（実施の形態１）
〔情報処理システムの構成〕
図１は、実施の形態１に係る情報処理システムの機能構成を示すブロック図である。図１に示す情報処理システム１は、外部から入力される視線データ、音声データ、及び画像データに対して各種の処理を行う情報処理装置１０と、情報処理装置１０から出力された各種データを表示する表示部２０と、を備える。なお、情報処理装置１０と表示部２０とは、無線、又は有線によって双方向に接続されている。

【0025】

〔情報処理装置の構成〕
まず、情報処理装置１０の構成について説明する。
図１に示す情報処理装置１０は、例えばサーバやパーソナルコンピュータ等にインストールされたプログラムを用いて実現され、ネットワークを経由して各種データが入力される、又は外部の装置で取得された各種データが入力される。図１に示すように、情報処理装置１０は、語句抽出部１１と、フレーム抽出部１２と、算出部１３と、評価部１４と、記録部１５と、表示制御部１６と、を備える。

【0026】

語句抽出部１１は、外部から入力される利用者の音声データであって、画像データを観察しながら利用者が発した音声を記録した音声データから所定の語句を抽出する。語句抽出部１１は、音声データをテキストデータに変換する変換部１１１と、テキストデータから記録部１５に記録されている重要語句を所定の語句として抽出する抽出部１１２と、を有する。

【0027】

変換部１１１は、音声データに対して周知のテキスト変換処理を行うことによって、音声データを文字情報（テキストデータ）に変換し、この文字情報を抽出部１１２へ出力する。なお、音声の文字変換はこの時点で行わない構成も可能であり、その際には、音声情報のまま画像データに対象領域を設定し、その後文字情報に変換するようにしても良い。

【0028】

抽出部１１２は、予め記録部１５に記録されている重要語句を、変換部１１１によって変換されたテキストデータから抽出し、この重要語句と関連付けて重要語句が発話された時間を記録部１５へ記録する。具体的には、語句抽出部１１は、音声データのフレーム毎に、このフレームにおいて発話されている重要語句を関連付けて記録部１５へ記録する。また、外部から入力される利用者の音声データは、マイク等の音声入力部によって生成されたものである。

【0029】

語句抽出部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて構成される。

【0030】

フレーム抽出部１２は、重要語句が発話された時刻に観察していたフレームを画像データから抽出する。フレーム抽出部１２は、重要語句が発話されている時間（発話開始から終了まで）を含む所定の期間又は所定の枚数に含まれるフレームを抽出してもよい。フレーム抽出部１２は、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成される。

【0031】

算出部１３は、画像データに対する観察態様を記録した観察データから、フレームに対する利用者の注視度合いを表す注視測量を算出する。

【0032】

利用形態がＷＳＩ（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｉｎｇ）では、顕微鏡のスライドサンプル（又はこのスライドサンプル全体を撮像した全体画像）の一部を視野（フレーム）として利用者が観察しており、時間とともに観察視野の倍率及び位置が変化する。この場合、スライドサンプルをどの程度の倍率で、どの部分が視野として提示されているか、すなわちフレームの倍率及び絶対座標が観察データとして、音声データと同期して記録部１５に記録されている。この場合、算出部１３は、例えばフレームの表示範囲又は観察倍率に基づいて注視測量を算出する。換言すると、注視測量は、利用者が注視している領域の位置及び大きさに基づいて算出される。

【0033】

また、利用形態が光学顕微鏡や内視鏡システムを用いる場合には、表示部２０に表示している視野が画像データの視野と一致するため、画像の絶対座標に対する観察視野の相対的な位置関係が変わらない。また、利用形態が光学顕微鏡を用いる場合において、利用者が観察している画像を動画として記録しているとき、すなわち画像データが動画である場合、対物レンズの倍率や、ステージの位置の時間変化を観察データとして、音声データと同期して記録部１５に記録する。この場合、算出部１３は、例えば顕微鏡観察における対物レンズの倍率や、表示領域（利用者が注視している領域）の位置及び大きさに基づいて注視測量を算出する。また、利用形態が内視鏡システムを用いる場合において、利用者が観察している画像を動画として記録しているとき、すなわち画像データが動画である場合、連続するフレーム間の相関関係を表す特徴量や、連続するフレーム間の特徴点の移動量に基づいて算出した移動ベクトルを観察データとして、音声データと同期して記録部１５に記録する。この場合、算出部１３は、例えば表示領域（利用者が注視している領域）の移動速度や移動ベクトルに基づいて注視測量を算出する。算出部１３は、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成される。

【0034】

評価部１４は、算出した注視測量と重要語句に対応する注視測量の条件とを比較し、フレームの有用度を評価する。例えば、注視測量が観察倍率である場合、重要語句に対応して観察倍率の条件が定まり、評価部１４は、各フレームに対応する注視測量がこの条件を満たすか否かに応じてフレームの有用度を評価する。評価部１４は、注視測量が、算出した注視測量が重要語句に対応する注視測量の条件を満たす場合、この条件を満たさない場合よりも有用度が高いと評価する。具体的には、重要語句が「粘膜筋板」、「固有筋層」などのマクロな構造を表す場合、観察倍率が弱～強に含まれるか否かが条件として設定され、各フレームの観察倍率がこの条件を満たす場合に有用度が高く評価される。また、重要語句が「胃底腺」、「腺管」などの中間的なサイズの構造を表す場合、観察倍率が中～強に含まれるか否かが条件として設定され、各フレームの観察倍率がこの条件を満たす場合に有用度が高く評価される。また、重要語句が「核異型」、「印環細胞癌」などの微視的なサイズの構造を表す場合、観察倍率が強に含まれるか否かが条件として設定され、各フレームの観察倍率がこの条件を満たす場合に有用度が高く評価される。評価部１４は、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成される。

【0035】

記録部１５は、語句抽出部１１から入力された音声データと、フレーム抽出部１２から入力された観察データと、算出部１３から入力された画像データとを同期して記録する。また、記録部１５は、予め入力された重要語句と、算出部１３から入力された重要語句と有用度が評価されたフレームとを関連付けて記録する。また、記録部１５は、語句抽出部１１が抽出した重要語句やフレーム抽出部１２が抽出したフレーム、算出部１３が算出した注視測量等を一時記録する際にも用いられる。また、記録部１５は、情報処理装置１０が実行する各種プログラム、及び処理中のデータを記録する。記録部１５は、揮発性メモリ、不揮発性メモリ、及び記録媒体等を用いて構成される。

【0036】

表示制御部１６は、外部から入力される画像データに対応する画像上に、各種情報を重畳して外部の表示部２０に出力することによって表示させる。表示制御部１６は、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成される。なお、上述した語句抽出部１１、フレーム抽出部１２、算出部１３、評価部１４、及び表示制御部１６をＣＰＵ、ＦＰＧＡ、及びＧＰＵのいずれか１つを用いて各機能が発揮できるように構成してもよいし、もちろん、ＣＰＵ、ＦＰＧＡ、及びＧＰＵを組み合わせて各機能が発揮できるように構成してもよい。

【0037】

〔表示部の構成〕
次に、表示部２０の構成について説明する。
表示部２０は、表示制御部１６から入力された画像データに対応する画像や視線マッピングデータに対応する視線マッピング情報を表示する。表示部２０は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）や液晶等の表示モニタを用いて構成される。

【0038】

〔情報処理装置の処理〕
次に、情報処理装置１０の処理について説明する。図２は、実施の形態１に係る情報処理装置が実行する処理の概要を示すフローチャートである。

【0039】

図２に示すように、まず、情報処理装置１０は、外部から入力される画像データ、観察データ、及び音声データを取得する（ステップＳ１０１）。これらのデータは同期されており、互いに時間的に対応付けられている。画像データは、例えばＷＳＩにおいてスライドサンプルの一部に対応するフレームを時系列に沿って撮像した動画であり、観察データは、フレームの表示領域や観察倍率を表す情報であり、音声データは観察を行いながら利用者が発した音声を記録したデータである。

【0040】

続いて、語句抽出部１１は、音声データからキーワード（所定の語句）を抽出する（ステップＳ１０２）。具体的には、まず、変換部１１１は、音声データをテキストデータに変換する。そして、抽出部１１２は、テキストデータから記録部１５に記録されている重要語句を所定の語句として抽出する。重要語句は、例えば「粘膜筋板」、「固有筋層」、「胃底腺」、「腺管」、「核異型」、「印環細胞癌」等の組織の構造を表す語句である。

【0041】

その後、フレーム抽出部１２は、重要語句が発話された時刻に観察していたフレームを画像データから抽出する（ステップＳ１０３）。記録部１５には、観察データとして、時刻とその時刻に表示部２０に表示されている画像の表示範囲又は観察倍率とが関連付けられて記録されている。そして、フレーム抽出部１２は、重要語句が発話された時間（発話開始から終了まで）に含まれる観察データとして、例えば観察倍率を抽出する。なお、フレーム抽出部１２は、重要語句が発話された時間（発話開始から終了まで）に観察していた全てのフレームを抽出してもよいし、観察倍率が最も大きいフレームのみを抽出してもよい。そして、フレーム抽出部１２は、抽出したフレームを記録部１５へ記録する。

【0042】

さらに、算出部１３は、画像データに対する観察態様を記録した観察データから、フレームに対する利用者の注視度合いを表す注視測量を算出する（ステップＳ１０４）。具体的には、算出部１３は、フレームの観察倍率が大きいほど、値が大きくなるように注視測量を算出する。その結果、利用者が観察倍率を大きくして注視したフレームほど、注視測量が大きくなる。

【0043】

そして、評価部１４は、算出した注視測量と重要語句に対応する注視測量の条件とを比較し、フレームの有用度を評価する（ステップＳ１０５）。重要語句が「粘膜筋板」、「固有筋層」などのマクロなサイズの構造を表す場合、評価部１４は、観察倍率が弱～強に対応する注視測量を満たすと有用度を高く評価する。また、重要語句が「胃底腺」、「腺管」などの中間的なサイズの構造を表す場合、観察倍率が中～強に対応する注視測量を満たすと有用度を高く評価する。また、重要語句が「核異型」、「印環細胞癌」などの微視的なサイズの構造を表す場合、観察倍率が強に対応する注視測量を満たすと有用度を高く評価する。さらに、評価部１４は、有用度が評価されたラベル付き画像データを記録部１５に出力し、情報処理装置１０は、本処理を終了する。

【0044】

以上説明した実施の形態１によれば、観察データに基づいて有用度が評価されたラベル付き画像データが生成されるため、画像データから容易に有用なフレームを抽出することができる。この情報処理システム１では、利用者の音声によりフレームを抽出できるため、利用者が観察中にキーボードやポインティングデバイス等を見ることにより、観察が中断されることがないため、観察効率を向上させることができる。

【0045】

また、上述した実施の形態１では、フレーム抽出部１２が、重要語句が発話された時間（発話開始から終了まで）に観察していた全てのフレームを抽出する例を説明したが、これに限られない。例えば、利用者が病変等を発見してから発話するまでの間に時間的な遅れが生じる場合があるため、開始時刻より所定の期間だけ前の時間まで含めたフレームを抽出してもよい。同様に、利用者が発話してから病変等を詳細に観察する場合があるため、終了時刻より所定の期間だけ後の時間まで含めたフレームを抽出してもよい。

【0046】

また、算出部１３は、ＷＳＩにおけるフレームによる表示領域の所定の期間内の移動量に基づいて注視測量を算出してもよい。換言すると、注視測量は、利用者が注視している領域の所定の期間内の移動量に基づいて算出される。具体的には、算出部１３は、所定の期間内のフレームによる表示領域の移動量が小さいほど、値が大きくなるように注視測量を算出する。その結果、利用者がフレームによる表示領域の移動量を小さくして注視したフレームほど、注視測量が大きくなる。

【0047】

また、評価部１４は、観察倍率と移動速度とを用いてフレームの有用度を評価してもよい。具体的には、評価部１４は、フレームの観察倍率が弱（例えば１～４倍）であり、移動速度が観察倍率１倍のフレームの大きさの２０％以下である場合、利用者が大域的な注視を行っていると判断し、有用度を高く評価する。また、評価部１４は、フレームの観察倍率が中（例えば４～１０倍）であり、移動速度が観察倍率４倍のフレームの大きさの２０％以下である場合、利用者が中域的な注視を行っていると判断し、有用度を高く評価する。また、評価部１４は、フレームの観察倍率が強（例えば１０～４０倍）であり、移動速度が観察倍率１０倍のフレームの大きさの１０％以下である場合、利用者が微細部の注視を行っていると判断し、有用度を高く評価する。

【0048】

また、算出部１３は、フレーム間の移動ベクトルに基づいて注視測量を算出してもよい。移動ベクトルは、フレームに含まれる特徴点の移動量に基づいて算出される。具体的には、算出部１３は、フレーム間の移動ベクトルが小さいほど、値が大きくなるように注視測量を算出する。その結果、利用者が注視することにより移動ベクトルが小さいフレームほど、注視測量が大きくなる。

【0049】

（変形例）
次に、実施の形態１の変形例について説明する。図３は、重要語句に対応する注視測量の条件を表す図である。図３の最も左の列は重要語句であり、その行にその重要語句に対する観察倍率と移動速度との条件を記載した。観察倍率は、ＷＳＩにおけるフレームの倍率（１倍～２０倍）を表し、移動速度は、フレームによる表示領域の大きさを１００％とした場合のフレーム間の単位時間（例えば１秒）当たりの移動量（１０％～１００％）を表す。

【0050】

そして、評価部１４は、観察倍率と移動速度とにより定まる条件を満たす場合に有用度を高く評価する。具体的には、評価部１４は、観察倍率及び移動速度が図３に含まれる領域Ａ１又は領域Ａ２に含まれる場合、有用度を高く評価する。その結果、重要語句がマクロなサイズの構造を表す場合には、評価部１４は、観察倍率が弱拡大視野（例えば１～４倍）～中拡大視野（例えば１０倍）、かつ移動速度が小～大を満たすと有用度を高く評価する。また、重要語句が中間的なサイズの構造を表す場合には、評価部１４は、観察倍率が中拡大視野（例えば１０倍）～強拡大視野（例えば２０倍）、かつ移動速度が小～中を満たすと有用度を高く評価する。また、重要語句が微視的なサイズの構造を表す場合には、評価部１４は、観察倍率が強拡大視野（例えば２０倍）、かつ移動速度が小を満たすと有用度を高く評価する。なお、評価部１４は、観察倍率及び移動速度が図３に含まれる領域Ａ１に含まれる場合、有用度を高く評価してもよい。

【0051】

（実施の形態２）
次に、本開示の実施の形態２について説明する。実施の形態１では、外部から観察データ、及び音声データの各々が入力されていたが、実施の形態２では、観察データ、及び音声データを生成する。以下においては、実施の形態２に係る情報処理装置の構成を説明後、実施の形態２に係る情報処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る情報処理システム１と同一の構成には同一の符号を付して詳細な説明は適宜省略する。

【0052】

〔情報処理装置の構成〕
図４、図５は、実施の形態２に係る情報処理装置の構成を示す概略図である。図６は、実施の形態２に係る情報処理装置の機能構成を示すブロック図である。

【0053】

図４～図６に示す情報処理装置１ａは、語句抽出部１１と、表示部２０と、観察情報検出部３０と、音声入力部３１と、制御部３２と、時間計測部３３と、記録部３４と、操作部３５と、を備える。

【0054】

観察情報検出部３０は観察者の視線を検出するものであり、例えば近赤外線を照射するＬＥＤ光源と、角膜上の瞳孔点と反射点を撮像するイメージセンサ（例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）と、を用いて構成される。観察情報検出部３０は、利用者Ｕ１が表示部２０を視認可能な情報処理装置１ａの筐体の側面に設けられる（図４、及び図５を参照）。観察情報検出部３０は、制御部３２の制御のもと、表示部２０が表示する画像に対する利用者Ｕ１の視線を検出した視線データを生成し、この視線データを観察データとして制御部３２へ出力する。具体的には、観察情報検出部３０は、制御部３２の制御のもと、ＬＥＤ光源等から近赤外線を利用者Ｕ１の角膜に照射し、イメージセンサが利用者Ｕ１の角膜上の瞳孔点と反射点を撮像することによって視線データを生成する。そして、観察情報検出部３０は、制御部３２の制御のもと、イメージセンサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者Ｕ１の瞳孔点と反射点のパターンから利用者の視線や視線を連続的に算出することによって所定の期間の視線データを生成し、この視線データを観察データとして後述する観察情報検出制御部３２１へ出力する。換言すると、観察データは、利用者の視線の位置座標を検出した視線データを含む。なお、観察情報検出部３０は、単にイメージセンサのみで利用者Ｕ１の瞳を周知のパターンマッチングを用いることによって瞳を検出することによって、利用者Ｕ１の視線を検出した視線データを生成してもよいし、他のセンサや他の周知技術を用いて利用者Ｕ１の視線を検出することによって視線データを生成してもよい。

【0055】

制御部３２は、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成され、観察情報検出部３０、音声入力部３１、及び表示部２０を制御する。制御部３２は、観察情報検出制御部３２１と、音声入力制御部３２２と、表示制御部３２３と、を有する。

【0056】

音声入力部３１は、音声入力制御部３２２によって制御され、音声が入力されるマイクと、マイクが入力を受け付けた音声をデジタルデータに変換し、音声コーデックを介して音声データ記録部３４２へ出力する。

【0057】

観察情報検出制御部３２１は、観察情報検出部３０を制御する。具体的には、観察情報検出制御部３２１は、観察情報検出部３０を所定のタイミング毎に近赤外線を利用者Ｕ１へ照射させるとともに、利用者Ｕ１の瞳を観察情報検出部３０に撮像させることによって視線データを生成させる。また、観察情報検出制御部３２１は、観察情報検出部３０から入力された視線データに対して、各種の画像処理を行って記録部３４へ出力する。

【0058】

表示制御部３２３は、表示部２０の表示態様を制御する。表示制御部３２３は、記録部３４に記録された画像データに対応する画像等を表示部２０に表示させる。

【0059】

時間計測部３３は、タイマーやクロックジェネレータ等を用いて構成され、観察情報検出部３０によって生成された視線データ、及び音声入力部３１によって生成された音声データ等に対して時間情報を付与する。

【0060】

記録部３４は、揮発性メモリ、不揮発性メモリ、及び記録媒体等を用いて構成され、情報処理装置１ｂに関する各種の情報を記録する。記録部３４は、観察データ記録部３４１と、音声データ記録部３４２と、画像データ記録部３４３と、プログラム記録部３４４と、を有する。

【0061】

観察データ記録部３４１は、観察情報検出制御部３２１から入力された視線データを観察データとして記録するとともに、観察データを算出部１３へ出力する。

【0062】

音声データ記録部３４２は、音声入力制御部３２２から入力された音声データを記録するとともに、音声データを語句抽出部１１へ出力する。

【0063】

画像データ記録部３４３は、複数の画像データを記録するとともに、画像データをフレーム抽出部１２へ出力する。この複数の画像データは、情報処理装置１ａの外部から入力されたデータ、又は記録媒体によって外部の撮像装置によって撮像されたデータである。

【0064】

プログラム記録部３４４は、情報処理装置１ａが実行する各種プログラム、各種プログラムの実行中に使用するデータ（例えば辞書情報やテキスト変換辞書情報）、及び各種プログラムの実行中の処理データを記録する。

【0065】

操作部３５は、マウス、キーボード、タッチパネル、及び各種スイッチ等を用いて構成され、利用者Ｕ１の操作の入力を受け付け、入力を受け付けた操作内容を制御部３２へ出力する。

【0066】

〔情報処理装置の処理〕
次に、情報処理装置１ａが実行する処理について説明する。図７は、実施の形態２に係る情報処理装置が実行する処理の概要を示すフローチャートである。

【0067】

図７に示すように、まず、表示制御部３２３は、画像データ記録部３４３が記録する画像データに対応する画像を表示部２０に表示させる（ステップＳ２０１）。この場合、表示制御部３２３は、操作部３５の操作に応じて選択された画像データに対応する画像を表示部２０に表示させる。

【0068】

続いて、制御部３２は、観察情報検出部３０が生成した観察データ、及び音声入力部３１が生成した音声データの各々と時間計測部３３によって計測された時間とを対応付けて観察データ記録部３４１、及び音声データ記録部３４２に記録する（ステップＳ２０２）。

【0069】

その後、変換部１１１は、音声データ記録部３４２が記録する音声データを文字情報に変換する（ステップＳ２０３）。なお、このステップは後述のＳ２０７の後に行っても良い。

【0070】

続いて、操作部３５から表示部２０が表示する画像の観察を終了する指示信号が入力された場合（ステップＳ２０４：Ｙｅｓ）、情報処理装置１ａは、後述するステップＳ２０５へ移行する。これに対して、操作部３５から表示部２０が表示する画像の観察を終了する指示信号が入力されていない場合（ステップＳ２０４：Ｎｏ）、情報処理装置１ａは、ステップＳ２０２へ戻る。

【0071】

ステップＳ２０５～ステップＳ２０８は、上述した図２のステップＳ１０２～ステップＳ１０５それぞれに対応する。

【0072】

以上説明した実施の形態２によれば、ＷＳＩにおいてスライドサンプルの一部に対応するフレームを観察しながら発話することにより、有用度が評価されたラベル付き画像データを生成することができる。

【0073】

また、実施の形態２において、算出部１３は、視線データを用いて、所定の期間内における視線の位置座標の密度に基づいて注視測量を算出してもよい。算出部１３は、視線データにより、所定の期間内における視線の位置座標の密度が高いフレームほど大きくなるように注視測量を算出し、評価部１４は、注視測量が大きいほど有用度を高く評価する。その結果、利用者の視線の密度が高く、利用者が注視したフレームの有用度が高いと評価される。

【0074】

また、実施の形態２において、算出部１３は、視線データを用いて、所定の期間内の視線の移動量である視線の移動速度に基づいて注視測量を算出してもよい。算出部１３は、視線データにより、視線の移動速度が小さいフレームほど大きくなるように注視測量を算出し、評価部１４は、注視測量が大きいほど有用度を高く評価する。その結果、利用者の視線の移動速度が小さく、利用者が注視したフレームの有用度が高いと評価される。

【0075】

（実施の形態３）
次に、本開示の実施の形態３について説明する。上述した実施の形態２では、情報処理装置１ａのみで構成されていたが、実施の形態３では、顕微鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態３に係る顕微鏡システムの構成を説明後、実施の形態３に係る顕微鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ａと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

【0076】

〔顕微鏡システムの構成〕
図８は、実施の形態３に係る顕微鏡システムの機能構成を示すブロック図である。図８に示すように、顕微鏡システム１００は、情報処理装置１ｂと、表示部２０と、音声入力部３１と、操作部３５と、利用者が対象物を観察するための顕微鏡２００と、を備える。

【0077】

〔顕微鏡の構成〕
まず、顕微鏡２００の構成について説明する。
顕微鏡２００は、筐体部２０１と、筐体部２０１に対して３次元方向に移動可能に取り付けられたステージ２０２と、互いに観察倍率が異なる複数の対物レンズ２０３を有し、ユーザの操作に応じて所望の対物レンズ２０３を配置するレボルバ２０４と、顕微鏡２００が標本を観察する観察倍率を示す倍率情報を検出する倍率検出部２０９と、対物レンズ２０３を経由してステージ２０２上に載置された標本を撮像する撮像部２０５と、対物レンズ２０３を経由して標本の観察像を観察する接眼部２０６と、ユーザの操作に応じてステージ２０２を３次元方向に移動させる操作部２０７を備え、ステージ２０２の位置を検出する位置検出部２０８は、エンコーダ等を用いて構成されている。

【0078】

〔情報処理装置の構成〕
次に、情報処理装置１ｂの構成について説明する。
情報処理装置１ｂは、上述した実施の形態２に係る情報処理装置１ａの制御部３２、及び記録部３４に換えて、制御部３２ｂ、記録部３４ｂと、を備える。

【0079】

制御部３２ｂは、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成され、表示部２０、音声入力部３１、及び顕微鏡２００を制御する。制御部３２ｂは、上述した実施の形態２の制御部３２の観察情報検出制御部３２１、音声入力制御部３２２、表示制御部３２３に加えて、撮影制御部３２４、及び倍率算出部３２５をさらに備える。

【0080】

観察情報検出制御部３２１は、位置検出部２０８が検出した基準位置からのステージ２０２の位置に基づいて、現在のステージ２０２の位置情報を算出し、この算出結果を記録部３４ｂへ出力する。

【0081】

撮影制御部３２４は、撮像部２０５の動作を制御する。撮影制御部３２４は、撮像部２０５を所定のフレームレートに従って順次撮像させることによって映像信号を生成させる。撮影制御部３２４は、撮像部２０５から入力された映像信号に対して処理の画像処理（例えば現像処理等）を施して記録部３４ｂへ出力する。

【0082】

倍率算出部３２５は、倍率検出部２０９から入力された検出結果に基づいて、現在の顕微鏡２００の観察倍率を算出し、この算出結果を記録部３４ｂへ出力する。例えば、倍率算出部３２５は、倍率検出部２０９から入力された対物レンズ２０３の倍率と接眼部２０６の倍率とに基づいて、現在の顕微鏡２００の観察倍率を算出する。

【0083】

記録部３４ｂは、揮発性メモリ、不揮発性メモリ、及び記録媒体等を用いて構成される。記録部３４ｂは、上述した実施の形態２に係る画像データ記録部３４３に換えて、画像データ記録部３４５を備える。画像データ記録部３４５は、撮影制御部３２４から入力された画像データ（ビデオデータ）を利用者の音声と同期して記録し、この画像データをフレーム抽出部１２へ出力する。

【0084】

〔顕微鏡システムの処理〕
次に、顕微鏡システム１００が実行する処理について説明する。図９は、実施の形態３に係る顕微鏡システムが実行する処理の概要を示すフローチャートである。

【0085】

図９に示すように、まず、制御部３２ｂは、観察情報検出制御部３２１が算出したステージ２０２の位置情報、及び倍率算出部３２９が算出した観察倍率を含む観察データ、音声入力部３１が生成した音声データの各々を時間計測部３３によって計測された時間を対応付けて観察データ記録部３４１、及び音声データ記録部３４２に記録する（ステップＳ３０１）。ステップＳ３０１の後、顕微鏡システム１００は、後述するステップＳ３０２へ移行する。

【0086】

ステップＳ３０２～ステップＳ３０５は、上述した図７のステップＳ２０３～ステップＳ２０６それぞれに対応する。ステップＳ３０５の後、顕微鏡システム１００は、ステップＳ３０６へ移行する。

【0087】

続いて、算出部１３は、画像データに対する観察態様を記録した観察データから、フレームに対する利用者の注視度合いを表す注視測量を算出する（ステップＳ３０６）。具体的には、算出部１３は、観察データとしてステージ２０２の位置情報や観察倍率を用いて、フレームの注視測量を算出する。算出部１３は、例えば所定の期間内のステージ２０２の移動量が小さいほど、又は観察倍率が大きいほど注視測量を大きく算出する。なお、観察倍率は、対物レンズ２０３の倍率であってよいが、対物レンズ２０３の倍率と接眼部２０６の倍率とを合成した倍率であってもよい。

【0088】

その後、評価部１４は、算出した注視測量と重要語句に対応する注視測量の条件とを比較し、フレームの有用度を評価する（ステップＳ３０７）。評価部１４は、注視測量が大きいほど、すなわち所定の期間内のステージ２０２の移動量が小さいほど、又は観察倍率が大きいほどフレームの有用度を高く評価する。さらに、評価部１４は、有用度が評価されたラベル付き画像データを記録部３４ｂに出力し、顕微鏡システム１００は、本処理を終了する。

【0089】

以上説明した実施の形態３によれば、利用者は、顕微鏡システム１００を用いて標本を顕微鏡観察しながら録画した画像データに対して、有用度が評価されたラベル付き画像データを生成することができる。このとき、顕微鏡システム１００によれば、利用者の音声によりフレームを抽出できるため、利用者が観察中にキーボードやポインティングデバイス等を見ることにより観察が中断されることがないため、観察効率を向上させることができる。

【0090】

なお、上述した実施の形態３では、算出部１３は、ステージ２０２の位置情報、及び観察倍率を含む観察データを用いて注視測量を算出したがこれに限られない。算出部１３は、画像データを用いて、連続するフレーム間の相関関係を表す特徴量や、連続するフレーム間における移動ベクトルに基づいて、注視測量を算出してもよい。具体的には、算出部１３は、連続するフレーム間の相関関係が大きい（類似度が高い）ほど、利用者がこのフレームを注視していると判定し、このフレームの注視測量を大きく算出する。同様に、算出部１３は、連続するフレーム間における移動ベクトルが小さい（画像間の移動量が小さい）ほど、利用者がこのフレームを注視していると判定しこのフレームの注視測量を大きく算出してもよい。

【0091】

また、顕微鏡２００は、視線検出部を有していてもよい。視線検出部は、接眼部２０６の内部、又は外部に設けられ、利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｂへ出力する。視線検出部は、接眼部２０６の内部に設けられ、近赤外線を照射するＬＥＤ光源と、接眼部２０６の内部に設けられ、角膜上の瞳孔点と反射点を撮像するイメージセンサ（例えばＣＭＯＳ、ＣＣＤ）と、を用いて構成される。視線検出部は、情報処理装置１ｂの制御のもと、ＬＥＤ光源等から近赤外線を利用者の角膜に照射し、イメージセンサが利用者の角膜上の瞳孔点と反射点を撮像することによって生成する。そして、視線検出部は、情報処理装置１ｂの制御のもと、イメージセンサによって生成されたデータに対して画像処理等によって解析した解析結果に基づいて、利用者の瞳孔点と反射点のパターンから利用者の視線を検出することによって視線データを生成し、この視線データを情報処理装置１ｂへ出力する。算出部１３は、実施の形態２と同様に、視線データを用いて注視測量を算出してもよい。

【0092】

（実施の形態４）
次に、本開示の実施の形態４について説明する。実施の形態４では、内視鏡システムの一部に情報処理装置を組み込むことによって構成する。以下においては、実施の形態４に係る内視鏡システムの構成を説明後、実施の形態４に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態２に係る情報処理装置１ａと同一の構成には同一の符号を付して詳細な説明は適宜省略する。

【0093】

〔内視鏡システムの構成〕
図１０は、実施の形態４に係る内視鏡システムの構成を示す概略図である。図１１は、実施の形態４に係る内視鏡システムの機能構成を示すブロック図である。

【0094】

図１０、及び図１１に示す内視鏡システム３００は、表示部２０と、内視鏡４００と、ウェアラブルデバイス５００と、入力部６００と、情報処理装置１ｃと、を備える。

【0095】

〔内視鏡の構成〕
まず、内視鏡４００の構成について説明する。
内視鏡４００は、医者や術者等の利用者Ｕ３が被検体Ｕ４に挿入することによって、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｃへ出力する。内視鏡４００は、撮像部４０１と、操作部４０２と、を備える。

【0096】

撮像部４０１は、内視鏡４００の挿入部の先端部に設けられる。撮像部４０１は、情報処理装置１ｃの制御のもと、被検体Ｕ４の内部を撮像することによって画像データを生成し、この画像データを情報処理装置１ｃへ出力する。撮像部４０１は、観察倍率を変更することができる光学系と、光学系が結像した被写体像を受光することによって画像データを生成するＣＭＯＳやＣＣＤ等のイメージセンサ等を用いて構成される。

【0097】

操作部４０２は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｃへ出力する。

【0098】

〔ウェアラブルデバイスの構成〕
次に、ウェアラブルデバイス５００の構成について説明する。
ウェアラブルデバイス５００は、利用者Ｕ３に装着され、利用者Ｕ３の視線を検出するとともに、利用者Ｕ３の音声の入力を受け付ける。ウェアラブルデバイス５００は、視線検出部５１０と、音声入力部５２０と、を有する。

【0099】

視線検出部５１０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の視線の注視度を検出することによって視線データを生成し、この視線データを情報処理装置１ｃへ出力する。視線検出部５１０は、上述した実施の形態３に係る視線検出部と同様の構成を有するため、詳細な構成は省略する。

【0100】

音声入力部５２０は、ウェアラブルデバイス５００に設けられ、利用者Ｕ３の音声の入力を受け付けることによって音声データを生成し、この音声データを情報処理装置１ｃへ出力する。音声入力部５２０は、マイク等を用いて構成される。

【0101】

〔入力部の構成〕
入力部６００の構成について説明する。
入力部６００は、マウス、キーボード、タッチパネル、及び各種のスイッチを用いて構成される。入力部６００は、利用者Ｕ３の各種の操作の入力を受け付け、受け付けた各種操作に応じた操作信号を情報処理装置１ｃへ出力する。

【0102】

〔情報処理装置の構成〕
次に、情報処理装置１ｃの構成について説明する。
情報処理装置１ｃは、上述した実施の形態３に係る情報処理装置１ｂの制御部３２ｂ、記録部３４ｂに換えて、制御部３２ｃ、及び記録部３４ｃを備える。

【0103】

制御部３２ｃは、ＣＰＵ、ＦＰＧＡ、及びＧＰＵ等を用いて構成され、内視鏡４００、ウェアラブルデバイス５００、及び表示部２０を制御する。制御部３２ｃは、視線データ検出制御部３２１ｃ、音声入力制御部３２２、表示制御部３２３、撮影制御部３２４に加えて、操作履歴検出部３２６を備える。

【0104】

操作履歴検出部３２６は、内視鏡４００の操作部４０２が入力を受け付けた操作の内容を検出し、この検出結果を記録部３４ｃに出力する。具体的には、操作履歴検出部３２６は、内視鏡４００の操作部４０２から拡大スイッチが操作された場合、この操作内容を検出し、この検出結果を記録部３４ｃに出力する。なお、操作履歴検出部３２６は、内視鏡４００を経由して被検体Ｕ４の内部に挿入される処置具の操作内容を検出し、この検出結果を記録部３４ｃに出力してもよい。

【0105】

記録部３４ｃは、揮発性メモリ、不揮発性メモリ、及び記録媒体等を用いて構成される。記録部３４ｃは、上述した実施の形態３に係る記録部３４ｃの構成に加えて、操作履歴記録部３４６をさらに備える。

【0106】

操作履歴記録部３４６は、操作履歴検出部３２６から入力された内視鏡４００の操作部４０２に対する操作の履歴を記録する。

【0107】

〔内視鏡システムの処理〕
次に、内視鏡システム３００が実行する処理について説明する。図１２は、実施の形態４に係る内視鏡システムが実行する処理の概要を示すフローチャートである。

【0108】

図１２に示すように、まず、制御部３２ｃは、撮像部４０１が生成した画像データ、視線検出部５１０が生成した視線データ、音声入力部５２０が生成した音声データ、及び操作履歴検出部３２６が検出した操作履歴の各々を時間計測部３３によって計測された時間と対応付けて画像データ記録部３４５、視線データ記録部３４１ｃ、音声データ記録部３４２、及び操作履歴記録部３４６に記録する（ステップＳ４０１）。ステップＳ４０１の後、内視鏡システム３００は、後述するステップＳ４０２へ移行する。

【0109】

ステップＳ４０２～ステップＳ４０５は、上述した図９のステップＳ３０２～ステップＳ３０５それぞれに対応する。ステップＳ４０５の後、内視鏡システム３００は、ステップＳ４０６へ移行する。

【0110】

続いて、算出部１３は、画像データに対する観察態様を記録した観察データから、フレームに対する利用者の注視度合いを表す注視測量を算出する（ステップＳ４０６）。具体的には、算出部１３は、連続するフレーム間の相関関係を表す特徴量を算出する。そして、算出部１３は、連続するフレーム間の相関関係が大きい（類似度が高い）ほど、利用者がこのフレームを注視していると判定し、このフレームの注視測量を大きく算出する。また、算出部１３は、連続するフレーム間における移動ベクトルを算出してもよい。この場合、算出部１３は、移動ベクトルが小さい（画像間の移動量が小さい）ほど、利用者がこのフレームを注視していると判定し、このフレームの注視測量を大きく算出する。

【0111】

その後、評価部１４は、算出した注視測量と重要語句に対応する注視測量の条件とを比較し、フレームの有用度を評価する（ステップＳ４０７）。評価部１４は、注視測量が大きいほど、すなわち連続するフレーム間の相関関係が大きい、又は移動ベクトルが小さいほどフレームの有用度が高いと評価する。さらに、評価部１４は、有用度が評価されたラベル付き画像データを記録部３４ｃに出力し、顕微鏡システム１００は、本処理を終了する。

【0112】

以上説明した実施の形態４によれば、利用者は、内視鏡システム３００を用いて被検体Ｕ４の体内を内視鏡観察しながら録画した画像データに対して、有用度が算出されたラベル付き画像データを生成することができる。このとき、内視鏡システム３００によれば、利用者の音声によりフレームを抽出できるため、利用者が観察中にキーボードやポインティングデバイス等を見ることにより、観察が中断されることがないため、観察効率を向上させることができる。

【0113】

なお、上述した実施の形態４では、フレーム抽出部１２は、連続するフレーム間の相関関係を表す特徴量や、連続するフレーム間における移動ベクトルに基づいて、対象領域を抽出したがこれに限られない。算出部１３は、ウェアラブルデバイス５００が生成した視線データを用いて、注視測量を算出してもよい。具体的には、算出部１３は、実施の形態２と同様に、視線データを用いて注視測量を算出してもよい。

【0114】

また、実施の形態４では、内視鏡システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、撮像機能を有する携帯電話、及び撮像機能を有するタブレット型端末であっても適用することができる。

【0115】

また、実施の形態４では、軟性の内視鏡を備えた内視鏡システムであったが、硬性の内視鏡を備えた内視鏡システム、工業用の内視鏡を備えた内視鏡システムであっても適用することができる。

【0116】

また、実施の形態４では、被検体に挿入される内視鏡を備えた内視鏡システムであったが、副鼻腔内視鏡、及び電気メスや検査プローブ等の内視鏡システムであっても適用することができる。

【0117】

（その他の実施の形態）
上述した実施の形態１～４に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態１～４に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態１～４で説明した構成要素を適宜組み合わせてもよい。

【0118】

また、実施の形態１～４において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0119】

また、実施の形態１～４に係る情報処理装置に実行させるプログラムは、インストール可能な形式、又は実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0120】

また、実施の形態１～４に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態１～４に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供、又は配布するようにしてもよい。

【0121】

また、実施の形態１～４では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格（例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標））に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。

【0122】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

【0123】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0124】

１ 情報処理システム
１０，１ａ，１ｂ，１ｃ 情報処理装置
１１ 語句抽出部
１２ フレーム抽出部
１３ 算出部
１４ 評価部
１５，３４，３４ｂ，３４ｃ 記録部
１６ 表示制御部
２０ 表示部
３０ 観察情報検出部
３１，５２０ 音声入力部
３２，３２ｂ，３２ｃ 制御部
３３ 時間計測部
３５ 操作部
１００ 顕微鏡システム
１１１ 変換部
１１２ 抽出部
２００ 顕微鏡
２０１ 筐体部
２０２ ステージ
２０３ 対物レンズ
２０４ レボルバ
２０５ 撮像部
２０６ 接眼部
２０７ 操作部
２０８ 位置検出部
２０９ 倍率検出部
４０１ 撮像部
３００ 内視鏡システム
３２１ 観察情報検出制御部
３２１ｃ 視線データ検出制御部
３２２ 音声入力制御部
３２４ 撮影制御部
３２５ 倍率算出部
３２６ 操作履歴検出部
３４１ 観察データ記録部
３４１ｃ 視線データ記録部
３４２ 音声データ記録部
３４３，３４５ 画像データ記録部
３４４ プログラム記録部
３４５ 画像データ記録部
３４６ 操作履歴記録部
４００ 内視鏡
４０２ 操作部
５００ ウェアラブルデバイス
５１０ 視線検出部
６００ 入力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】