(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-31
(45)【発行日】2023-02-08
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20230201BHJP
G02B 21/36 20060101ALI20230201BHJP
G02B 21/34 20060101ALI20230201BHJP
【FI】
H04N7/18 U
G02B21/36
G02B21/34
(21)【出願番号】P 2021501210
(86)(22)【出願日】2019-02-20
(86)【国際出願番号】 JP2019006369
(87)【国際公開番号】W WO2020170369
(87)【国際公開日】2020-08-27
【審査請求日】2022-02-16
(73)【特許権者】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】渡辺 伸之
(72)【発明者】
【氏名】西村 英敏
(72)【発明者】
【氏名】堀内 一仁
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2017-046340(JP,A)
【文献】特開2016-139397(JP,A)
【文献】特開2005-202173(JP,A)
【文献】特開2011-215660(JP,A)
【文献】米国特許出願公開第2018/0137119(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G02B 21/36
G02B 21/34
(57)【特許請求の範囲】
【請求項1】
外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて、前記指示信号によって選択される前記表示領域に対応する表示画像を生成する第1生成部と、
前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、
前記表示領域情報が所定の条件を満たすか否かを判定する第1判定部と、
前記第1判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、
前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する設定部と、
を備える、
情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、
前記表示領域情報は、前記第1画像を基準とした座標系で前記表示画像の位置を表す座標情報と前記表示画像の大ききを表す情報である、
情報処理装置。
【請求項3】
請求項1または2に記載の情報処理装置であって、
前記設定部は、
前記カウント値が大きい領域ほど注目度が高い前記注目領域として設定する、
情報処理装置。
【請求項4】
請求項1~3のいずれか一つに記載の情報処理装置であって、
前記設定部は、
前記カウント値の値が所定値より大きい領域を前記注目領域として設定する、
情報処理装置。
【請求項5】
請求項1~4のいずれか一つに記載の情報処理装置であって、
前記表示画像を表示部に表示させる表示制御部をさらに備え、
前記所定の条件は、
前記表示部において表示された表示時間であり、
前記第1判定部は、
前記表示が所定時間、一定の大きさで所定の移動範囲内で表示されたか否かを判定し、
前記加算部は、
前記第1判定部によって前記表示時間が所定の時間より長く表示されたと判定された前記領域の前記カウント値を加算する、
情報処理装置。
【請求項6】
請求項1~4のいずれか一つに記載の情報処理装置であって、
前記表示画像を表示部に表示させる表示制御部と、
前記第1判定部と異なる所定の条件を判定する第2判定部と、
をさらに備える、
情報処理装置。
【請求項7】
請求項6に記載の情報処理装置であって、
前記第2判定部は、
前記所定の領域毎に、対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいか否かを判定し、
前記加算部は、
前記第2判定部によって対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいと判定された前記領域の前記カウント値を加算する、
情報処理装置。
【請求項8】
請求項6に記載の情報処理装置であって、
前記加算部は、
前記所定の値に対して、前記表示領域が小さいほど重み付けを行って前記カウント値に加算する、
情報処理装置。
【請求項9】
請求項6に記載の情報処理装置であって、
前記第2判定部の所定の条件は、
前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差、または所定時間における前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差であり、 前記加算部は、
前記第2判定部によって前記偏差が所定値以下であると判定された前記領域の前記カウント値を加算する、
情報処理装置。
【請求項10】
請求項1~9のいずれか一つに記載の情報処理装置であって、
前記画像データは、
2次元の平面画像データまたは3次元の立体画像データである、
情報処理装置。
【請求項11】
請求項1~10のいずれか一つに記載の情報処理装置であって、
前記第1画像の特徴量を解析することによって特徴量毎にセグメンテーションを行う画像解析部と、
前記注目領域の注目領域特徴量を解析する特徴量解析部と、
前記注目領域特徴量と前記特徴量とに基づいて、前記第1画像から前記注目領域に類似する領域を抽出する抽出部と、
をさらに備える、
情報処理装置。
【請求項12】
請求項11に記載の情報処理装置であって、
前記注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成するクエリ生成部と、
前記クエリに基づいて、複数の画像データを記憶する画像データベースから画像を検索する検索部をさらに備える、
情報処理装置。
【請求項13】
請求項1~12のいずれか一つに記載の情報処理装置であって、
前記表示画像に前記注目領域を重畳して重畳画像を生成する第2生成部をさらに備える、
情報処理装置。
【請求項14】
請求項1~13のいずれか一つに記載の情報処理装置であって、
前記指示信号に基づいて、前記表示領域の位置を示す表示領域情報を算出する算出部をさらに備える、
情報処理装置。
【請求項15】
請求項14に記載の情報処理装置であって、
前記指示信号は、
顕微鏡に設けられ位置検出部が検出した基準位置からのステージの位置を示す位置情報と、
前記顕微鏡に設けられた倍率検出部が検出した標本を観察する観察倍率を示す倍率情報と、
を含む、
情報処理装置。
【請求項16】
対象物を観察する観察装置を備える情報処理システムであって、
前記観察装置によって選択される前記対象物の選択位置と、少なくとも前記観察装置の視野の大きさを示す視野情報と、所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、
前記視野情報が所定の条件を満たすか否かを判定する第1判定部と、
前記第1判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、
前記カウント値に基づいて、前記対象物に対応する座標系において注目度が高い領域を注目領域として設定する設定部と、
を備える、
情報処理システム。
【請求項17】
請求項16に記載の情報処理システムであって、
前記視野情報は、
被写界を基準とした座標系における前記視野の位置を表す座標情報をさらに含む、
情報処理システム。
【請求項18】
請求項16に記載の情報処理システムであって、
前記対象物の観察像に前記注目領域に係る情報を表示部に表示させる表示制御部をさらに備える、
情報処理システム。
【請求項19】
請求項16に記載の情報処理システムであって、
観察光学系と、
前記観察光学系が結像する前記対象物の観察像に前記注目領域に係る情報を重畳する表示制御部と、
をさらに備える、
情報処理システム。
【請求項20】
情報処理装置が実行する情報処理方法であって、
外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、
前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、
前記表示領域情報が所定の条件を満たすか否かを判定し、
前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、
前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する、
情報処理方法。
【請求項21】
情報処理装置に、
外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、
前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、
前記表示領域情報が所定の条件を満たすか否かを判定し、
前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、
前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像を表示する情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。
【背景技術】
【0002】
従来、バーチャルスライドによってデジタル化された標本画像の一部を拡大することによって表示する技術が知られている(例えば特許文献1参照)。この技術によれば、複数の画像をつなぎ合わせて合成することで、顕微鏡の視野よりも大きなデジタルの標本画像を表示し、ユーザが操作ダイヤルを操作することによって標本画像の表示位置を上下左右に移動したり、ズーム用ホイールを操作することによって表示倍率を変更したりすることで、標本画像内から診断上重要となる注目領域を探索しながら観察を行っている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1では、ユーザが操作ダイヤルやズーム用ホイールを操作することによって、その都度、画像の表示領域の位置や表示領域の倍率を変更することによって表示させているため、ユーザが画像から注目領域を探索するのに膨大な作業が生じることで、操作が煩雑になるという問題点があった。
【0005】
本開示は、上記に鑑みてなされたものであって、簡易な操作で画像の注目領域を提示することができる情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る情報処理装置は、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて、前記指示信号によって選択される前記表示領域に対応する表示画像を生成する第1生成部と、前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、前記表示領域情報が所定の条件を満たすか否かを判定する第1判定部と、前記第1判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する設定部と、を備える。
【0007】
また、本開示に係る情報処理装置は、上記開示において、前記表示領域情報は、前記第1画像を基準とした座標系で前記表示画像の位置を表す座標情報と前記表示画像の大ききを表す情報である。
【0008】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記カウント値が大きい領域ほど注目度が高い前記注目領域として設定する。
【0009】
また、本開示に係る情報処理装置は、上記開示において、前記設定部は、前記カウント値の値が所定値より大きい領域を前記注目領域として設定する。
【0010】
また、本開示に係る情報処理装置は、上記開示において、前記表示画像を表示部に表示させる表示制御部をさらに備え、前記所定の条件は、前記表示部において表示された表示時間であり、前記第1判定部は、前記表示が所定時間、一定の大きさで所定の移動範囲内で表示されたか否かを判定し、前記加算部は、前記第1判定部によって前記表示時間が所定の時間より長く表示されたと判定された前記領域の前記カウント値を加算する。
【0011】
また、本開示に係る情報処理装置は、上記開示において、前記表示画像を表示部に表示させる表示制御部と、前記第1判定部と異なる所定の条件を判定する第2判定部と、をさらに備える。
【0012】
また、本開示に係る情報処理装置は、上記開示において、前記第2判定部は、前記所定の領域毎に、対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいか否かを判定し、前記加算部は、前記第2判定部によって対象時刻における前記表示領域が対象時刻の前後の表示領域より大きいと判定された前記領域の前記カウント値を加算する。
【0013】
また、本開示に係る情報処理装置は、前記加算部は、前記所定の値に対して、前記表示領域が小さいほど重み付けを行って前記カウント値に加算する。
【0014】
また、本開示に係る情報処理装置は、上記開示において、前記画像データは、2次元の平面画像データまたは3次元の立体画像データである。
【0015】
また、本開示に係る情報処理装置は、上記開示において、前記第2判定部の所定の条件は、前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差、または所定時間における前記表示画像の表示位置および前記表示画像の表示領域の大きさの偏差であり、 前記加算部は、前記第2判定部によって前記偏差が所定値以下であると判定された前記領域の前記カウント値を加算する。
【0016】
また、本開示に係る情報処理装置は、上記開示において、前記画像データは、2次元の平面画像データまたは3次元の立体画像データである。
【0017】
また、本開示に係る情報処理装置は、上記開示において、前記第1画像の特徴量を解析することによって特徴量毎にセグメンテーションを行う画像解析部と、前記注目領域の注目領域特徴量を解析する特徴量解析部と、前記注目領域特徴量と前記特徴量とに基づいて、前記第1画像から前記注目領域に類似する領域を抽出する抽出部と、をさらに備える。
【0018】
また、本開示に係る情報処理装置は、上記開示において、前記注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成するクエリ生成部と、前記クエリに基づいて、複数の画像データを記憶する画像データベースから画像を検索する検索部をさらに備える。
【0019】
また、本開示に係る情報処理装置は、上記開示において、前記表示画像に前記注目領域を重畳して重畳画像を生成する第2生成部をさらに備える。
【0020】
また、本開示に係る情報処理装置は、上記開示において、前記指示信号に基づいて、前記表示領域の位置を示す表示領域情報を算出する算出部をさらに備える。
【0021】
また、本開示に係る情報処理装置は、上記開示において、前記指示信号は、顕微鏡に設けられ位置検出部が検出した基準位置からのステージの位置を示す位置情報と、前記顕微鏡に設けられた倍率検出部が検出した標本を観察する観察倍率を示す倍率情報と、を含む。
【0022】
また、本開示に係る情報処理システムは、対象物を観察する観察装置を備える情報処理システムであって、前記観察装置によって選択される前記対象物の選択位置と、少なくとも前記観察装置の視野の大きさを示す視野情報と、所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部と、前記視野情報が所定の条件を満たすか否かを判定する第1判定部と、前記第1判定部が前記所定の条件を満たすと判定した前記領域の前記カウント値に所定の値を加算する加算部と、前記カウント値に基づいて、前記対象物に対応する座標系において注目度が高い領域を注目領域として設定する設定部と、を備える。
【0023】
また、本開示に係る情報処理システムは、上記開示において、前記視野情報は、被写界を基準とした座標系における前記視野の位置を表す座標情報をさらに含む。
【0024】
また、本開示に係る情報処理システムは、上記開示において、前記対象物の観察像に前記注目領域に係る情報を表示部に表示させる表示制御部をさらに備える。
【0025】
また、本開示に係る情報処理システムは、上記開示において、観察光学系と、前記観察光学系が結像する前記対象物の観察像に前記注目領域に係る情報を重畳する表示制御部と、をさらに備える。
【0026】
また、本開示に係る情報処理方法は、情報処理装置が実行する情報処理方法であって、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、前記表示領域情報が所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する。
【0027】
また、本開示に係るプログラムは、情報処理装置に、外部装置から入力される画像データと、外部装置から入力される指示信号であって、前記画像データに対応する画像における所定の表示領域を選択する指示信号と、に基づいて、前記画像データに対応する第1画像を用いて前記指示信号によって選択される前記表示領域に対応する表示画像を生成し、前記第1画像における前記表示領域の位置を示す表示領域情報と、前記第1画像における所定の領域毎の表示頻度を示すカウント値と、を記憶する記憶部から前記表示領域情報を取得し、前記表示領域情報が所定の条件を満たすか否かを判定し、前記所定の条件を満たすと判定した前記領域の前記カウント値をカウントアップし、前記カウント値に基づいて、前記第1画像において注目度が高い領域を注目領域として設定する。
【発明の効果】
【0028】
本開示によれば、簡易な操作で画像の注目領域を提示することができるという効果を奏する。
【図面の簡単な説明】
【0029】
【
図1】
図1は、実施の形態1に係る情報処理システムの機能構成を示すブロック図である。
【
図2】
図2は、情報処理装置が実行する処理の概要を示すフローチャートである。
【
図3】
図3は、
図2の加算処理の概要を示すフローチャートである。
【
図4】
図4は、実施の形態1に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。
【
図5】
図5は、実施の形態1の変形例2に係る加算処理の概要を示すフローチャートである。
【
図6】
図6は、実施の形態1の変形例2に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。
【
図7】
図7は、実施の形態1の変形例3に係る加算処理の概要を示すフローチャートである。
【
図8】
図8は、実施の形態1の変形例3に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。
【
図9】
図9は、実施の形態1の変形例4に係る加算処理の概要を示すフローチャートである。
【
図10】
図10は、実施の形態1の変形例4に係る表示制御部が表示部に表示させる重畳画像の一例を示す図である。
【
図11】
図11は、実施の形態2に係る情報処理システムの機能構成を示すブロック図である。
【
図12】
図12は、実施の形態2に係る取得部が取得した第1画像の一例を模式的に示す図である。
【
図13】
図13は、セグメンテーションを行った第1画像の一例を模式的に示す図である。
【
図16】
図16は、実施の形態3に係る情報処理システムの機能構成を示すブロック図である。
【
図17】
図17は、実施の形態4に係る情報処理システムの機能構成を示す概略図である。
【
図18】
図18は、実施の形態4に係るステージを模式的に示す図である。
【
図19】
図19は、実施の形態4に係るステージに対応するレジスタを模式的に示す図である。
【
図20】
図20は、実施の形態4に係る重畳画像の一例を模式的に示す図である。
【
図21】
図21は、実施の形態4に係るスライドガラス上におけるカバーガラスの位置を模式的に示す図である。
【
図22】
図22は、実施の形態4の変形例1に係る情報処理システムの機能構成を示す概略図である。
【
図23】
図23は、実施の形態4の変形例2に係る情報処理システムの機能構成を示す概略図である。
【
図24】
図24は、実施の形態4の変形例3に係る情報処理システムの機能構成を示す概略図である。
【
図25】
図25は、実施の形態5に係る情報処理システムの機能構成を示すブロック図である。
【
図26】
図26は、実施の形態5に係るCT画像の一例を模式的に示す図である。
【
図27】
図27は、実施の形態5に係る断面像毎に表示頻度のカウント値を加算する際の加算方法を模式的に示す図である。
【
図28】
図28は、実施の形態5に係るCT画像上に注目領域を立体的に重畳表示した際を模式的に示す図である。
【発明を実施するための形態】
【0030】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさ、および位置関係のみに限定されるものでない。
【0031】
(実施の形態1)
〔情報処理システムの構成〕
図1は、実施の形態1に係る情報処理システムの機能構成を示すブロック図である。
図1に示す情報処理システム1は、情報処理装置10と、画像データベース20(以下、「画像DB20」という)と、操作部30と、表示部40と、を備える。
【0032】
情報処理装置10は、ユーザによる操作部30の操作に応じて、画像DB20が記録する複数の画像データから所望の画像データを取得し、この画像データを操作部30の操作に応じた指示信号に応じた表示領域(観察視野)に対応する表示画像を表示部40に出力する。ここで、画像データは、標本や試料を顕微鏡等で撮像した2次元の平面データである。なお、情報処理装置10の詳細な構成は、後述する。
【0033】
画像DB20は、顕微鏡等によって標本や試料を撮像することによって生成された2次元の複数の画像データを記憶する。画像DB20は、ネットワークを経由するサーバシステム、または、ローカルのHDD(Hard Disk Drive)およびSSD(Solid State Drive)等を用いて構成される。
【0034】
操作部30は、ユーザの操作を受け付け、受け付けた操作に応じた指示信号を情報処理装置10へ出力する。操作部30は、キーボード、マウスおよびタッチパネル等を用いて構成される。
【0035】
表示部40は、情報処理装置10の制御のもと、情報処理装置10から入力された画像データに対応する画像を表示する。表示部40は、液晶や有機EL(Electro Luminescence)等の表示パネルを用いて構成される。
【0036】
〔情報処理装置の構成〕
次に、情報処理装置10の詳細な構成について説明する。情報処理装置10は、取得部11と、記憶部12と、制御部13と、を備える。
【0037】
取得部11は、制御部13の制御のもと、操作部30から入力される指示信号に応じて、画像DB20が記憶する2次元平面の複数の画像データから操作部30から入力される指示信号に応じて選択された画像データを取得する。取得部11は、例えば所定のI/F回路を用いて構成される。なお、取得部11は、有線または無線によって画像DB20から画像データを取得する。
【0038】
記憶部12は、表示部40が表示する画像における表示領域であって、取得部11が取得した画像データに対応する第1画像(以下、「対象画像」という)における所定の表示領域の位置を示す表示領域情報を記憶する表示情報記憶部121と、表示部40が表示する対象画像における表示領域における所定の領域毎の表示頻度を示すカウント値(以下、単に「カウント値」という)を記憶するカウント値記憶部122と、情報処理システム1が実行する各種のプログラムを記憶するプログラム記録部123と、を有する。記憶部12は、揮発性メモリ、不揮発性メモリ、HDD、SSDおよびメモリーカード等を用いて構成される。
【0039】
制御部13は、情報処理システム1を構成する各部を制御する。制御部13は、メモリおよびCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)およびASIC(Application Specific Integrated Circuit)等のプロセッサを有するハードウェアを用いて構成される。制御部13は、第1生成部131と、算出部132と、第1判定部133と、加算部134と、第2判定部135と、設定部136と、第2生成部137と、表示制御部138と、を備える。
【0040】
第1生成部131は、取得部11が取得した画像データと、操作部30から入力される指示信号であって、対象画像における所定の表示領域を選択する指示信号とに基づいて、対象画像を用いて、指示信号で選択される表示領域に対応する表示画像を生成する。具体的には、第1生成部131は、対象画像を用いて、指示信号で選択される表示領域を切り出すトリミング処理を行ってトリミング画像を生成し、このトリミング画像を表示部40の表示領域までに拡大・縮小処理または補間処理するリサイズ処理を行って表示画像を生成する。
【0041】
算出部132は、取得部11が取得した対象画像における表示画像の位置と大きさを示す表示領域情報を算出し、この算出結果を表示情報記憶部121に記憶する。具体的には、算出部132は、対象画像における所定の位置を原点、例えば対象画像の左上端部の画素を原点(0,0)とした場合、対象画像における表示領域の位置を示す画素アドレスを表示領域情報をとして算出する。ここで、対象画像における表示領域の位置を示す画素アドレスとしては、対象画像における表示領域の右下端部または矩形の各頂点の画素アドレス等である。
【0042】
第1判定部133は、表示情報記憶部121が記憶する表示領域情報に基づいて、対象画像における所定の領域毎に所定の条件を満たすか否かを判定する。ここで、所定の条件とは、表示部40によって対象画像が表示された表示時間である。第1判定部133は、対象画像における所定の領域毎に、表示時間が所定の時間より長く表示されたか否かを判定する。
【0043】
加算部134は、第1判定部133が所定の条件を満たすと判定した領域のカウント値をカウントアップする。具体的には、加算部134は、第1判定部133が所定の条件を満たすと判定した領域のカウント値を、例えば「1」をカウントアップすることによってカウント値を加算する。
【0044】
第2判定部135は、第1判定部133と異なる所定の条件を判定する。具体的には、第2判定部135は、所定の領域毎に、対象時刻における表示領域が対象時刻の前後の表示領域より大きいか否かを判定する。
【0045】
設定部136は、カウント値記憶部122が記憶するカウント値に基づいて、取得部11が取得した画像データに対応する対象画像において注目度が高い領域を注目領域として設定する。具体的には、設定部136は、カウント値記憶部122が記憶するカウント値が大きい領域ほど注目度が高い注目領域として設定する。さらに、設定部136は、カウント値記憶部122が記憶するカウント値の値が所定値より大きい領域を注目領域として設定する。
【0046】
第2生成部137は、設定部136が設定した注目領域に関する注目情報を、取得部11が取得した画像データに対応する対象画像に重畳した重畳画像を生成する。この場合、第2生成部137は、設定部136が設定した注目領域のカウント値に基づいて、注目領域に対応する枠を注目情報として識別可能に重畳した重畳画像を生成する。なお、第2生成部137は、設定部136が設定した注目領域のカウント値に基づいて、注目領域の彩度、色味およびコントラストを強調することによって注目情報として識別可能に重畳した重畳画像を生成してもよい。
【0047】
表示制御部138は、第1生成部131によって生成された表示画像または第2生成部137によって生成された重畳画像を表示部40に表示させる。また、表示制御部138は、情報処理システム1に関する各種の情報を表示部40に表示させる。
【0048】
〔情報処理装置の処理〕
次に、情報処理装置10が実行する処理について説明する。
図2は、情報処理装置10が実行する処理の概要を示すフローチャートである。
【0049】
図2に示すように、まず、取得部11は、操作部30から入力される指示信号に応じた画像データを画像DB20か取得する(ステップS1)。
【0050】
続いて、第1生成部131は、取得部11が取得した画像データに対応する対象画像に対して、操作部30から入力された対象画像における表示領域を指示する指示信号に基づいて、指示信号で選択される表示領域に対応する表示画像を生成する(ステップS2)。
【0051】
その後、算出部132は、対象画像の座標における表示範囲(全表示領域)における所定の位置を基準とする相対座標(ワールド座標)と、表示領域の大きさとを含む表示領域情報を算出する(ステップS3)。具体的には、算出部132は、対象画像(第1画像)を基準とした座標系における表示範囲の左上端部を基準(0,0)とする表示画像の相対座標(xk,yk)と、表示画像の表示範囲の大きさ(wk,hk)と、を含む表示領域情報を算出する。この場合、算出部132は、表示領域情報を表示情報記憶部121に記憶する。
【0052】
続いて、第1判定部133は、表示情報記憶部121が記憶する表示領域情報に基づいて、対象画像における所定の領域毎に所定の条件を満たすか否かを判定する(ステップS4)。ここで、所定の条件とは、表示部40によって表示された表示時間に基づく。また、第1判定部133による所定の条件の判定方法は、例えば、所定時間間隔Δtごとに、表示情報、例えば上述したステップS1において選択した画像データ上で、上述したステップS2において生成した時刻tの表示画像の表示情報表示の開始点(xt,yt)と、大きさ(wt,ht)を取得し(上述したステップSS3を参照)、その大きさが一定時間不変、すなわち倍率が一定であり、開始点(xt,yt)が一定時間で所定の範囲内で有るかどうか、以下
xt-Δ<xk<xt+Δ、かつ、yt-Δ<yk<yt+Δ
(k=t,t+Δt,・・・nΔt、Δt:ステップ幅)
の条件を満たしているとき、「所定の条件を満たす」とする。なお、表示領域のアスペクト比が一定と仮定できる場合は、wt,htのどちらか一方を記憶すれば良い。第1判定部133によって所定の条件を満たすと判定された場合(ステップS4:Yes)、情報処理装置10は、ステップS5へ移行する。これに対して、第1判定部133によって所定の条件を満たさないと判定された場合(ステップS4:No)、情報処理装置10は、後述するステップS6へ移行する。
【0053】
ステップS5において、加算部134は、表示部40によって表示された対象画像における所定の領域毎に表示頻度のカウント値を加算する加算処理を実行する。なお、
図2では、所定間隔での表示情報の生成→条件判別→加算処理の順番で実施した例を示しているが、所定間隔での表示情報(xk,yk,wk,hk)を生成し、一旦記憶部12に保持した後に再度読みだして評価する様にしても良い。その際には上記の一定時間不変の条件は、時刻tの前後を使用しても良い。
【0054】
〔加算処理の概要〕
図3は、上述した
図2のステップS5の加算処理の概要を示すフローチャートである。
【0055】
加算部134は、表示領域情報の開始点(xk,yk)、幅(wk)および高さ(hk)を設定する(ステップS101)。以下では、画像DB20から取得した対象画像の幅をW、高さをHと表記する。対象画像をm×m画素の領域で分割し、p×q個の加算用レジスタを用意する。W、H、m、p、qの関係は、以下の式(1)、(2)によって表すことができる。
W=m×p ・・・(1)
H=m×q ・・・(2)
【0056】
続いて、加算部134は、表示画像に対応した上記の加算用レジスタのアドレスを算出する。(ステップS102)。
ps=floor(xk/m)
qs=floor(yk/m)
pe=floor((xk+wk)/m)
qe=floor((yk+hk)/m)
ここで、0<pi≦p、0<qs≦qを満たす。
【0057】
その後、加算部134は、表示画像における領域毎の縦方向のアドレス(for pi in range(ps,pe))を設定し(ステップS103)、表示画像における領域毎の幅方向のアドレス(for qi in range(qs,qe))を設定する(ステップS104)。
【0058】
続いて、加算部134は、上述したステップS106で指定したレジスタF(pi,qi)を順次頻度のカウントアップする(ステップS105)。
(F’(pi,qi)=F’(pi,qi)+1)
【0059】
続いて、第2判定部135は、表示画像の領域が高さ方向qeに到達(qi=qe?)したか否かを判定する(ステップS106)。第2判定部135によって表示画像の領域が高さ方向qeに到達(qi=qe?)したと判定された場合(ステップS106:Yes)、情報処理装置10は、後述するステップS107へ移行し、第2判定部135によって表示画像の領域が高さ方向qeに到達(qi=qe?)していないと判定された場合(ステップS106:No)、情報処理装置10は、上述したステップS104へ戻る。
【0060】
ステップS107において、第2判定部135は、表示画像の領域が幅方向peに到達(pi=pe?)したか否かを判定する(ステップS107)。第2判定部135によって表示画像の領域が幅方向peに到達(pi=pe?)したと判定された場合(ステップS107:Yes)、情報処理装置10は、
図2のメインルーチンへ戻る。これに対して、第2判定部135によって表示画像の領域が幅方向peに到達(pi=pe?)していないと判定された場合(ステップS107:No)、情報処理装置10は、上述したステップS103へ戻る。
【0061】
図2に戻り、ステップS5以降の説明を続ける。
ステップS6において、情報処理装置10は、表示部40による表示画像の表示、すなわち次の画像の生成を行わないとき、終了判定(ステップS6:Yes)とし、後述するステップS7へ移行する。これに対して、表示部40による表示画像の表示を終了しない場合(ステップS6:No)、情報処理装置10は、上述したステップS2へ移行することによって表示画像の生成を行う。また、情報処理装置10は、前記の様に、所定間隔での表示情報(xk,yk,wk,hk)を生成し、一旦記憶部12に保持した後に、表示情報を再度読みだして評価する場合において、上述したステップS6において、終了しない場合(ステップS6:No)のとき、上述したステップS4へ戻り、判定処理を行ってもよい。
【0062】
全ての表示画像に対応するカウントアップが終了した後、ステップS7において、設定部136は、カウント値記憶部122が記憶する対象画像における所定の領域毎のカウント値に基づいて、注目領域を設定する。
【0063】
続いて、第2生成部137は、設定部136が生成した注目領域に関する注目領域情報を生成し(ステップS8)、対象画像に注目領域情報を重畳した重畳画像を生成する(ステップS9)。
【0064】
その後、表示制御部138は、第2生成部137が生成した重畳画像を表示部40に表示させる(ステップS10)。
図4は、表示制御部138が表示部40に表示させる重畳画像の一例を示す図である。
図4に示すように、表示制御部138は、対象画像に対して設定部136が設定した注目領域上に、第2生成部137によって生成された注目領域情報F1~F6が重畳された重畳画像P1を表示部40に表示させる。これにより、ユーザは、対象画像における注目領域を直感的に把握することができる。ステップS10の後、情報処理装置10は、本処理を終了する。
【0065】
以上説明した実施の形態1によれば、設定部136がカウント値記憶部122によって記憶された所定の領域毎の表示頻度を示すカウント値に基づいて、対象画像において注目度が高い領域を提示することができる(例えば
図4)。
【0066】
また、実施の形態1によれば、設定部136によってカウント値が大きい領域ほど注目度が高い注目領域として設定されるため、ユーザは、注目領域毎に重要度を把握することができる。
【0067】
また、実施の形態1によれば、設定部136によってカウント値が所定値より大きい領域を注目領域として設定されるため、表示回数が少ない領域を注目領域から除外することができる。
【0068】
また、実施の形態1によれば、加算部134が第1判定部133によって表示時間が所定の時間より長く表示された領域のカウント値を加算するため、誤って表示された領域が注目領域として設定されることを防止することができる。
【0069】
(実施の形態1の変形例1)
次に、実施の形態1の変形例1について説明する。実施の形態1の変形例1は、加算部134が実行する加算処理が異なる。上述した実施の形態1では、表示履歴を記憶することによってN回繰り返し処理を行っていたが、実施の形態1の変形例1では、所定の時間間隔で表示頻度の加算を行う。
【0070】
(実施の形態1の変形例2)
次に、実施の形態1の変形例2について説明する。実施の形態1の変形例2では、加算部134が実行する加算処理が異なる。具体的には、実施の形態1の変形例2では、標本画像に対する表示画像の表示領域の倍率に応じて、表示頻度に重み付けを行って加算する。このため、以下においては、実施の形態1の変形例2に係る加算部134が実行する加算処理について説明する。
【0071】
〔加算処理〕
図5は、実施の形態1の変形例2に係る加算処理の概要を示すフローチャートである。
図5において、ステップS301~ステップS304、ステップS306,ステップS307は、上述した
図3のステップS101~104およびステップS106,ステップS107それぞれに対応し、ステップS305のみ異なる。このため、以下においては、ステップS307のみについて説明する。
【0072】
ステップS305において、加算部134は、対象画像の全体サイズをW、表示画像の表示領域の幅をWkとしたとき、表示頻度のカウント値に表示倍率を加味することによって加算する(F’(pi,qi)=F’(pi,qi)+α(w/wk))。この場合、加算部134は、カウント値に冪指数(α(w/wk))βのように、表示画像の表示倍率毎にカウント値に重み付けを行ってカウントアップする。さらに、加算部134は、表示倍率が所定値を超えていない場合、注視でなく、画像全体を観察していると判断し、表示頻度のカウントアップを禁止してもよい。これにより、
図6に示すように、表示制御部138は、第2生成部137が対象画像に対して設定部136が設定した注目領域上に注目領域情報F10~F15を重畳した重畳画像P2を表示部40に表示させる。
【0073】
以上説明した実施の形態1の変形例2によれば、上述した実施の形態1と同様の効果を有するとともに、倍率に応じた注視度の設定に関して、より詳細な条件を設定する事ができる。
【0074】
また、実施の形態1の変形例2によれば、第1判定部133によって対象時刻における前記表示領域が対象時刻の前後の表示領域より小さいと判定された領域のカウント値を加算するので、ユーザが注視している領域に対して注目領域を設定することができる。
【0075】
(実施の形態1の変形例3)
次に、実施の形態1の変形例3について説明する。実施の形態1の変形例3では、加算部134が実行する加算処理に含まれる判別基準が異なる。具体的には、実施の形態1の変形例3では、表示部40が現在表示している表示画像における表示領域と、この表示画像が表示された所定時間前に表示された表示画像または所定時間経過後に表示された表示画像の表示領域とを比較し、表示倍率が大きいか否かを判定することによって表示頻度のカウント値を加算する。実施の形態1の変形例3の前提としては、表示画像に係る表示領域情報(xt,yt,wt,ht)を蓄積した後に行う。そのため、以下においては、後述するステップS402で説明する様に、判定の対象とする時刻kの前後のデータを取得できるとしている。
【0076】
〔加算処理〕
図7は、実施の形態1の変形例3に係る加算処理の概要を示すフローチャートである。
図7において、ステップS403~ステップS405、ステップS407,ステップS408は、上述した
図3のステップS102~ステップS104、ステップS106およびステップS107それぞれに対応する。このため、以下においては、ステップS401、ステップS402およびステップS406について説明する。
【0077】
ステップS401において、加算部134は、対象時刻の表示領域情報の開始点(xk,yk)、幅(wk)および高さ(hk)、対象時刻より前のu回前の幅(wk-u)、対象時刻より後のv回後の幅(wk+v)を設定する。
【0078】
続いて、第2判定部135は、対象時刻の幅wkがu回前の幅wk-uより小さく(wk<wk-u)、かつ、対象時刻の幅wkがv回後の幅wk+vより小さい(wk<wk+v)場合(ステップS402:Yes)、情報処理装置10は、ステップS403へ移行する。この場合、例えば、第2判定部135は、ユーザが標本画像に対する表示領域の倍率変更操作を、4倍→10倍→4倍と行った場合、10倍表示を注目したと想定できるので、加算部134は、ステップS405へ移行する。これに対して、第2判定部135は、対象時刻の幅wkがu回前の幅wk-uより小さくなく(wk<wk-u)、かつ、対象時刻の幅wkがv回後の幅wk+vより小さくない(wk<wk+v)場合(ステップS402:No)、情報処理装置10は加算処理の終了し、
図2のメインルーチンへ戻る。例えば、第2判定部135によってユーザが標本画像に対する表示領域の倍率変更操作を、4倍→10倍→20倍という操作を行ったと判定された場合、ユーザが注目したと想定できる状態が20倍観察時である。このため、加算部134は、第2判定部135によって対象時刻の幅Wkが10倍観察時と判定された場合、カウント値を加算することなく、加算処理の終了し、
図2のメインルーチンへ戻る。
【0079】
このように、加算部134は、第2判定部135の判定結果に基づいて、同じ10倍観察の状態でも注視の有無の差が現れるため、表示領域の倍率情報だけなく、その前後関係の倍率情報に基づいて、注視度を設定することによって表示頻度のカウント値を加算する。
【0080】
ステップS406において、加算部134は、標本画像の全体サイズをW、表示画像の表示領域の幅をWkとしたとき、表示頻度のカウント値に表示倍率を加味することによって加算する(F’(pi,qi)=F’(pi,qi)+α×(W/Wk))。これにより、
図8に示すように、表示制御部138は、対象画像に対して設定部136が設定した注目領域上に注目領域情報F20を重畳した重畳情報P3を表示部40に表示させる。ステップS406の後、加算部134は、ステップS405へ移行する。
【0081】
以上説明した実施の形態1の変形例3によれば、上述した実施の形態1と同様の効果を有するとともに、倍率の変更プロセスに基づき、より詳細な注視領域推定の条件を設定する事ができる。
【0082】
また、実施の形態1の変形例3によれば、加算部134が表示領域の大きさに応じてカウント値に加算する値に重み付けを行って加算するため、ユーザの注視度に応じたカウント値を加算することができる。
【0083】
(実施の形態1の変形例4)
次に、実施の形態1の変形例4について説明する。実施の形態1の変形例4では、加算部134が実行する加算処理が異なる。具体的には、実施の形態1の変形例4では、過去n個のデータの偏差に応じて表示頻度のカウント値を加算する。このため、以下においては、実施の形態1の変形例4に係る加算部134が実行する加算処理について説明する。
【0084】
〔加算処理〕
図9は、実施の形態1の変形例4に係る加算処理の概要を示すフローチャートである。
図9において、ステップS503~ステップS508は、上述したステップS403~ステップS408それぞれに対応し、ステップS501およびステップS502のみ異なる。以下においては、ステップS501およびステップS502について説明する。
【0085】
図9に示すように、加算部134は、対象時刻の表示領域情報の開始点(xk,yk),(xk-1,yk-1)、・・・,(xk-n,yk-n)、幅(wk),(wk‐1),・・・,(wk-n)および高さ(hk),(hk‐1),・・・,(hk-n)を設定する(ステップS501)。
【0086】
続いて、第2判定部135は、過去n個のデータの偏差の合計が一定値以下(Thr1,Thr1)であるか否かを判定する(ステップS502)。第2判定部135によって過去n個のデータの偏差の合計が一定値以下であると判定された場合(ステップS502:Yes)、情報処理装置10は、ステップS503へ移行する。これに対して、第2判定部135によって過去n個のデータの偏差の合計が一定値以下でないと判定された場合(ステップS502:No)、情報処理装置10は、上述した
図2のメインルーチンへ戻る。
【0087】
このように、加算部134は、第2判定部135の判定結果に基づいて、同じ10倍観察の状態でも注視したかいないかの差が現れるため、表示領域の倍率情報だけなく、その前後関係の倍率情報に基づいて、注視度を仮定することによって表示頻度のカウント値を加算する。これにより、
図10に示すように、表示制御部138は、対象画像に対して設定部136が設定した注目領域上に注目領域情報F30を重畳した重畳情報P4を表示部40に表示させる。
【0088】
以上説明した実施の形態1の変形例4によれば、上述した実施の形態1と同様の構成を有するとともに、表示領域の偏差を考慮した詳細な注視領域推定の条件を設定する事ができる。
【0089】
また、実施の形態1の変形例4によれば、加算部134が第1判定部133によって偏差が所定値以下であると判定された領域のカウント値を加算するので、ユーザの注視した領域に対して確実にカウント値を加算することができる。
【0090】
(実施の形態2)
次に、実施の形態2について説明する。上述した実施の形態1では、表示頻度のカウント値に基づいて、注目領域を設定することによって対象画像上に注目領域を重畳表示していたが、実施の形態2では、対象画像の特徴量の解析を行った後に特徴量による画像のセグメンテーションを行い、注目領域に類似する類似領域を抽出する。以下においては、実施の形態2に係る情報処理システムの構成について説明する。なお、上述した実施の形態1に係る情報処理システムと同一の構成には同一の符号を付して詳細な説明は省略する。
【0091】
〔情報処理システムの構成〕
図11は、実施の形態2に係る情報処理システムの機能構成を示すブロック図である。
図11に示す情報処理システム1Aは、上述した実施の形態1に係る情報処理システム1の情報処理装置10に換えて、情報処理装置10Aを備える。
【0092】
〔情報処理装置の構成〕
情報処理装置10Aは、上述した実施の形態1に係る制御部13に換えて、制御部13Aを備える。さらに、制御部13Aは、上述した実施の形態1に係る制御部13の構成に加えて、画像解析部141と、特徴量解析部142と、抽出部143と、をさらに備える。
【0093】
画像解析部141は、取得部11が取得した標本画像に対して周知の特徴量を解析する解析処理を行って、標本画像に対して特徴量毎のセグメンテーションを行う。
【0094】
特徴量解析部142は、設定部136が設定した複数の注目領域の各々の特徴量を解析する。
【0095】
抽出部143は、画像解析部141が解析した特徴量毎のセグメンテーションと特徴量解析部142が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出する。
【0096】
このように構成された情報処理装置10Aは、まず、取得部11が操作部30の操作に応じた画像データを画像DB20から出力する。具体的には、
図12に示すように、取得部11が画像データに対応する対象画像P10を取得する。
【0097】
続いて、画像解析部141は、取得部11が取得した対象画像に対して周知の特徴量を解析する解析処理を行って、対象画像に対して特徴量毎のセグメンテーションを行う。具体的には、
図13に示すように、画像解析部141は、取得部11が取得した対象画像P10に対して周知の特徴量を解析する解析処理を行って、対象画像P10に対して特徴量毎のセグメンテーションを行った画像P11を生成する。
【0098】
その後、特徴量解析部142は、設定部136が設定した複数の注目領域の各々の特徴量を解析する。具体的には、
図14に示すように、設定部136が設定した対象画像P10における複数の注目領域F30~F32の各々の特徴量を解析する。
図14では、模式的に矩形状の枠で注目領域を表しているが、これに限定されることなく、例えば注目領域における表示頻度のカウント値が高いほど濃度が濃くなるように表示してもよい。
【0099】
続いて、抽出部143は、画像解析部141が解析した特徴量毎のセグメンテーションと特徴量解析部142が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出する。具体的には、
図15に示すように、抽出部143は、対象画像P10において、注目領域Z1に類似する類似領域Z11~Z15を抽出する。この場合、表示制御部138は、抽出部143が抽出した類似領域Z11~Z15を対象画像P13に重畳表示することによって表示部40に表示させてもよい。なお、表示制御部138は、抽出部143が抽出した類似領域Z11~Z15の各々を表示部40に所定の時間毎に順次全画面表示させてもよい。
【0100】
以上説明した実施の形態2によれば、簡易な操作で画像の注目領域を提示することができる。
【0101】
また、実施の形態2によれば、抽出部143が画像解析部141によって解析された特徴量毎のセグメンテーションと特徴量解析部142が解析した複数の注目領域の各々の特徴量との比較し、注目領域に類似する類似領域を抽出するので、対象画像に対する読影を行う領域の見逃しを防止することができるうえ、類似領域を優先的に読影するため、対象画像に対する読影を効率的に行うことができる。
【0102】
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3では、注目領域の特徴量を解析し、この解析結果をクエリ(Query)として画像データベースから検索を行う。以下においては、実施の形態3に係る情報処理システムの構成について説明する。なお、上述した実施の形態1,2に係る情報処理システム1,1Aと同一の構成には同一の符号を付して詳細な説明は省略する。
【0103】
〔情報処理システムの構成〕
図16は、実施の形態3に係る情報処理システムの機能構成を示すブロック図である。
図16に示す情報処理システム1Bは、上述した実施の形態1に係る情報処理システム1の情報処理装置10に換えて、情報処理装置10Bを備える。さらに、特徴量が解析された複数の画像データを記憶する特徴解析済画像データベース50(以下、「特徴解析済画像DB50」という)をさらに備える。
【0104】
〔情報処理装置の構成〕
情報処理装置10Bは、上述した実施の形態2に係る制御部13Aの構成から画像解析部141および抽出部143に換えて、クエリ生成部150と、検索部151を備え、それ以外は、制御部13Aと同様の構成を有する。
【0105】
クエリ生成部150は、特徴量解析部142が解析した注目領域特徴量に基づいて、複数の画像データから類似する画像データを検索するためのクエリを生成する。具体的には、クエリ生成部150は、特徴量解析部142が解析した注目領域特徴量の特徴量毎にクエリを生成する。
【0106】
検索部151は、クエリ生成部150が生成したクエリに基づいて、特徴解析済画像DB50から複数の類似画像データを検索することによって取得する。
【0107】
このように構成された情報処理装置10Bは、検索部151がクエリ生成部150によって生成されたクエリに基づいて、特徴解析済画像DB50から複数の類似画像データを検索することによって、注目領域の特徴量に類似する類似画像データを取得する。その後、表示制御部138は、検索部151が取得した類似画像データに対応する類似画像を表示部40に表示させる。
【0108】
以上説明した実施の形態3によれば、上述した実施の形態1と同様の効果を有するうえ、簡易な操作で画像の注目領域を提示することができる。
【0109】
また、実施の形態3によれば、検索部151がクエリ生成部150によって生成されたクエリに基づいて、特徴解析済画像DB50から複数の類似画像データを検索することによって、注目領域の特徴量に類似する類似画像データを取得するため、類似画像データに対応する類似画像と見比べながら読影することができる。
【0110】
(実施の形態4)
次に、実施の形態4について説明する。実施の形態4では、顕微鏡が撮像した画像データに対応する画像における表示領域の表示頻度に基づいて、注目領域を設定する。以下においては、実施の形態4に係る情報処理システムの構成について説明する。なお、上述した実施の形態1に係る情報処理システム1と同一の構成には同一の符号を付して詳細な説明を省略する。
【0111】
〔情報処理システムの構成〕
図17は、実施の形態4に係る情報処理システムの機能構成を示す概略図である。
図17に示す情報処理システム1Cは、情報処理装置10Cと、表示部40と、顕微鏡100と、を備える。
【0112】
情報処理装置10Cは、顕微鏡100から画像データを取得し、取得した画像データに対応する画像を表示部40に表示させる。なお、情報処理装置10Cの詳細な構成は、後述する。
【0113】
顕微鏡100は、略C字状をなす筐体部101と、筐体部101に対して3次元方向に移動可能に取り付けられたステージ102と、互いに観察倍率が異なる複数の対物レンズ103を有し、ユーザの操作に応じて所望の対物レンズ103を配置するレボルバ104と、対物レンズ103を経由してステージ102上に載置された標本を撮像するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成された撮像部105と、対物レンズ103を経由して標本の観察像を観察する接眼部106と、ユーザの操作に応じてステージ102を3次元方向に移動させる操作部107と、基準位置からのステージ102の位置を検出する位置検出部108は、エンコーダ等を用いて構成され、顕微鏡100が標本を観察する観察倍率を示す倍率情報を検出する倍率検出部109と、を備える。なお、実施の形態4では、顕微鏡100が観察装置として機能する。さらに、実施の形態4では、対物レンズ103が観察光学系として機能する。
【0114】
〔情報処理装置の構成〕
次に、情報処理装置10Cの詳細な構成について説明する。情報処理装置10Cは、上述した実施の形態1に係る取得部11、記憶部12および制御部13に換えて、取得部11C、記憶部12Cおよび制御部13Cを備える。
【0115】
取得部11Cは、顕微鏡100の撮像部105から画像データを取得する。さらに、取得部11Cは、位置検出部108からステージ102の位置に関する位置情報と、倍率検出部109から倍率情報と、を指示信号として取得する。
【0116】
記憶部12Cは、上述した実施の形態1に係る記憶部12の構成に加えて、視野情報記憶部124をさらに備える。視野情報記憶部124は、顕微鏡100によって選択される対象物の選択位置と、少なくとも顕微鏡100の視野の大きさを示す視野情報と、を記憶する。さらに、視野情報には、視野情報記憶部124は、被写界を基準とした座標系における前記視野の位置を表す座標情報が含まれる。
【0117】
制御部13Cは、上述した実施の形態1に係る制御部13の算出部132および第2生成部137に換えて、算出部132Cおよび第2生成部137Cを備える。
【0118】
算出部132Cは、位置検出部108が検出したステージ102の位置情報と、倍率検出部109が検出した倍率情報と、に基づいて、撮像部105が生成した画像データに対応する画像の表示領域(視野領域)を算出し、この算出結果を表示情報記憶部121に記憶する。
【0119】
第2生成部137Cは、算出部132Cが算出した算出結果に基づいて、第1生成部131が生成したライブビュー画像上に設定部136によって設定された注目領域を重畳した重畳画像を生成する。
【0120】
このように構成された情報処理システム1Cが実行する表示領域の表示頻度のカウント値の加算方法について説明する。
図18は、ステージ102を模式的に示す図である。
図19は、ステージ102に対応するレジスタを模式的に示す図である。
図20は、スライドガラス101A上におけるカバーガラス101Bの位置を模式的に示す図である。
【0121】
図18および
図19に示すように、算出部132Cが算出した物体面上の表示領域の開始基準位置の座標を(Xs,Ys)とし、表示領域の終了位置の座標を(X,Y)=(Xe,Ye)とし、表示頻度を加算するためのレジスタの開始位置の座標を(0,0)=(p,q)とし、レジスタの終了位置の座標を(pe,qe)とした場合、
図20に示すように、スライドガラス101A上のカバーガラス101Bを含むように余白を設けて設定する。
【0122】
算出部132Cは、位置検出部108が検出したステージ102の位置情報に基づいて、ステージ102と撮像部105との位置関係に基づく光学中心軸に相当する物体面(対象物)上の位置を表示領域情報または対象物の選択位値として算出することによって特定する。さらに、算出部132Cは、倍率検出部109が検出した倍率情報に基づいて、被写界を基準とした座標系における光学中心位置からの視野角(表示領域)に相当する物体面上の選択位置を表示領域情報として算出することによって特定する。これにより、加算部134は、算出部132Cが取得した物体面上の表示領域情報(観察視野情報)に基づいて、上述した実施の形態1および実施の形態1に係る変形例1~4のいずれか一つの加算処理を行うことによって表示頻度のカウント値を加算する加算処理を行う。
【0123】
その後、設定部136は、加算部134が加算したカウント値に基づいて、標本全体の中で、どの位置の表示頻度が高く、注目されたことを示す注目領域を設置する。具体的には、設定部136は、加算部134が加算したカウント値に基づいて、標本全体に対応する座標系において、どの位置の表示頻度が高く、注目度が高い領域を注目されたことを示す注目領域として設定する。
【0124】
続いて、
図21に示すように、第2生成部137Cは、標本全体を撮影した対象画像上に注目領域F101~F106を重畳した重畳画像P100を生成する。この場合、
図15に示すように、第2生成部137Cは、注目領域のカウント値が高いほど他の画素よりも濃くなるように重畳画像P100を生成する。これにより、ユーザや他の観察者は、ユーザが注目した注目領域を直感的に把握することができる。
【0125】
以上説明した実施の形態4によれば、簡易な操作で標本画像の注目領域を提示することができる。
【0126】
(実施の形態4の変形例1)
次に、実施の形態4の変形例1について説明する。実施の形態4の変形例1では、同一のスライドを再度観察する場合、撮像部105が生成した画像データに対応するライブビュー画像に注目領域を表示部40に重畳表示させる。なお、上述した実施の形態4に係る情報処理システム1Dと同一の部分には同一の符号を付して詳細な説明は省略する。
【0127】
〔情報処理システムの構成〕
図22は、実施の形態4の変形例1に係る情報処理システムの機能構成を示す概略図である。
図22に示す情報処理システム1Dは、上述した実施の形態4に係る情報処理システム1Cの情報処理装置10Cに換えて、情報処理装置10Dを備える。
【0128】
〔情報処理装置の構成〕
情報処理装置10Dは、上述した実施の形態4に係る情報処理装置10Cの記憶部12に換えて、記憶部12Dを備える。記憶部12Dは、上述した実施の形態4に係る記憶部12の構成に加えて、標本画像と、ステージの位置情報と、表示頻度のカウント値と、を関係付けて記憶する全体画像記憶部125を有する。
【0129】
このように構成された情報処理システム1Dでは、物体面が標本の位置でなく、ステージ102の位置を基準としているため、標本を含むスライドガラス101Aをステージ102から取り外しても後に、再度ステージ102上に載置した場合において、位置ずれが生じているときであっても、全体画像記憶部125が対象画像(標本画像)と、ステージの位置情報と、表示頻度のカウント値と、を関係付けて記憶しているので、再度、同一の標本を観察した場合、表示部40のライブビュー画像上に注目領域を重畳して表示することができる。
【0130】
以上説明した実施の形態4の変形例1によれば、簡易な操作で標本画像の注目領域を提示することができる。
【0131】
(実施の形態4の変形例2)
次に、実施の形態4の変形例2について説明する。実施の形態4の変形例2では、標本画像の全体を用いて位置合わせを行うことによってライブビュー画像上に注目領域を表示部40に重畳表示させる。なお、上述した実施の形態4に係る情報処理システム1Dと同一の部分には同一の符号を付して詳細な説明は省略する。
【0132】
〔情報処理システムの構成〕
図23は、実施の形態4の変形例2に係る情報処理システムの機能構成を示す概略図である。
図23に示す情報処理システム1Eは、上述した実施の形態4の変形例1に係る情報処理システム1Dの情報処理装置10Dに換えて、情報処理装置10Eを備える。
【0133】
〔情報処理装置の構成〕
情報処理装置10Eは、上述した実施の形態4の変形例1に係る情報処理装置10Dの制御部13Cに換えて、制御部13Eを備える。制御部13Eは、上述した実施の形態4の変形例1に係る制御部13Cの構成に加えて、位置合わせ処理部160をさらに有する。
【0134】
位置合わせ処理部160は、取得部11Cが顕微鏡100から取得した画像データに対応する画像と、全体画像記憶部125が記憶する前回観察時の全体画像データに対応する標本画像との位置合わせを行う位置合わせ処理を行う。
【0135】
このように構成された情報処理システム1Eは、再度、ユーザが標本を再観察した場合、カウント値記憶部122が記憶する表示領域の表示頻度のカウント値に基づいて、再観察時の物体面の位置にライブビュー画像との表示位置を対応させるため、再観察時の表示領域を取得することで、再観察時のライブビュー画像上に注目領域を適切な位置に重畳表示することができる。
【0136】
以上説明した実施の形態4の変形例2によれば、簡易な操作で標本画像の注目領域を提示することができる。
【0137】
(実施の形態4の変形例3)
次に、実施の形態4の変形例3について説明する。実施の形態4の変形例3では、観察像に注目領域を重畳する。なお、上述した実施の形態4に係る情報処理システム1Cと同一の部分には同一の符号を付して詳細な説明は省略する。
【0138】
〔情報処理システムの構成〕
図24は、実施の形態4の変形例3に係る情報処理システムの機能構成を示す概略図である。
図24に示す情報処理システム1Fは、上述した実施の形態4に係る顕微鏡100に換えて、顕微鏡100Fを備える。
【0139】
顕微鏡100Fは、上述した実施の形態4に係る顕微鏡100の構成に加えて、中間鏡筒110と、中間鏡筒110に設けられ、対物レンズ103が結像した観察像を撮像部105および接眼部106へ透過するとともに、後述する表示部60から出射された画像を撮像部105および接眼部106へ反射するハーフミラー111と、制御部13Cの制御のもと、ハーフミラー111へ向けて画像を出射する表示部60と、を備える。
【0140】
このように構成された情報処理システム1Fは、物体面の表示領域における表示頻度のカウント値の対応が取れているため、再度、標本の観察時に表示領域(観察視野)と倍率情報とを取得することで、接眼レンズ106を通して観察される観察像上に注目領域を直接的に重畳表示することができる。
【0141】
以上説明した実施の形態4の変形例3によれば、簡易な操作で観察像の注目領域を提示することができる。
【0142】
(実施の形態5)
次に、実施の形態5について説明する。上述した実施の形態1~4では、2次元の標本画像等の平面画像に対する注目領域を設定したが、実施の形態5では、CT画像、MRI画像および3次元の標本画像等の立体画像に対する注目領域を設定する。なお、上述した実施の形態1に係る情報処理システム1と同一の構成には同一の符号を付して詳細な説明は省略する。
【0143】
〔情報処理システムの構成〕
図25は、実施の形態5に係る情報処理システムの機能構成を示すブロック図である。
図25に示す情報処理システム1Gは、上述した実施の形態1に係る情報処理システム1の画像DB20および情報処理装置10に換えて、CT画像、MRI画像および3次元の標本画像等の複数の立体画像データを記憶する画像DB20Gおよび情報処理装置10Gを備える。
【0144】
〔情報処理装置の構成〕
情報処理装置10Gは、上述した実施の形態1に係る情報処理装置10の制御部13に換えて、制御部13Gを備える。制御部13Gは、上述した実施の形態1に係る加算部134に換えて、加算部134Gを備える。
【0145】
加算部134Gは、三次元画像の表示頻度のカウント値をカウントアップすることによって加算する。加算部134Gは、3次元画像に対して、上述した実施の形態1~4と同様の処理を行う。
【0146】
このように構成された情報処理装置10Gは、
図26に示すように、2次元の断面像が断層方向に複数積み重なっているCT画像の場合、加算部134Gが断面像F300毎に表示頻度のカウント値を加算する(
図27を参照)。この場合、
図28に示すように、表示制御部138は、CT画像上に注目領域Q100を立体的に重畳表示する。
【0147】
以上説明した実施の形態5によれば、簡易な操作で標本画像の注目領域を提示することができる。
【0148】
(その他の実施の形態)
上述した実施の形態1~5に開示されている複数の構成要素を適宜組み合わせることによって、種々の実施の形態を形成することができる。例えば、上述した実施の形態1~5に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した実施の形態1~5で説明した構成要素を適宜組み合わせてもよい。
【0149】
また、実施の形態1~5において、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0150】
また、実施の形態1~5に係る情報処理装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0151】
また、実施の形態1~5に係る情報処理装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、実施の形態1~6に係る情報処理装置に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するようにしてもよい。
【0152】
また、実施の形態1~5では、伝送ケーブルを経由して各種機器から信号を送信していたが、例えば有線である必要はなく、無線であってもよい。この場合、所定の無線通信規格(例えばWi-Fi(登録商標)やBluetooth(登録商標))に従って、各機器から信号を送信するようにすればよい。もちろん、他の無線通信規格に従って無線通信を行ってもよい。
【0153】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0154】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表し、かつ記述した特定の詳細、および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【0155】
1,1A,1B,1C,1D,1E,1F,1G 情報処理システム
10,10A,10B,10C,10D,10E,10G 情報処理装置
11,11C 取得部
12,12C,12D 記憶部
13,13A,13C,13E,13G 制御部
20 画像DB
30 操作部
40,60 表示部
50 特徴解析済画像DB
100,100F 顕微鏡
101 筐体部
101A スライドガラス
101B カバーガラス
102 ステージ
103 対物レンズ
104 レボルバ
105 撮像部
106 接眼部
107 操作部
108 位置検出部
109 倍率検出部
110 中間鏡筒
111 ハーフミラー
121 表示情報記憶部
122 カウント値記憶部
123 プログラム記録部
124 視野情報記憶部
125 全体画像記憶部
131 第1生成部
132,132C 算出部
133 第1判定部
134 第2判定部
135,135G 加算部
136 設定部
137,137C 第2生成部
138 表示制御部
141 画像解析部
142 特徴量解析部
143 抽出部
151 検索部
160 位置合わせ処理部