特許第6495508号(P6495508)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧 ▶ 公益財団法人がん研究会の特許一覧

特許6495508表示制御装置、表示制御方法、およびプログラム
<>
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000004
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000005
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000006
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000007
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000008
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000009
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000010
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000011
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000012
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000013
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000014
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000015
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000016
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000017
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000018
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000019
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000020
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000021
  • 特許6495508-表示制御装置、表示制御方法、およびプログラム 図000022
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6495508
(24)【登録日】2019年3月15日
(45)【発行日】2019年4月3日
(54)【発明の名称】表示制御装置、表示制御方法、およびプログラム
(51)【国際特許分類】
   G06F 3/0485 20130101AFI20190325BHJP
   G09G 5/34 20060101ALI20190325BHJP
   G09G 5/00 20060101ALI20190325BHJP
   G09B 29/00 20060101ALI20190325BHJP
【FI】
   G06F3/0485
   G09G5/34 E
   G09G5/00 510D
   G09G5/00 530Z
   G09B29/00 A
【請求項の数】14
【全頁数】22
(21)【出願番号】特願2018-63906(P2018-63906)
(22)【出願日】2018年3月29日
(62)【分割の表示】特願2015-522500(P2015-522500)の分割
【原出願日】2014年5月22日
(65)【公開番号】特開2018-142331(P2018-142331A)
(43)【公開日】2018年9月13日
【審査請求日】2018年5月1日
(31)【優先権主張番号】特願2013-128084(P2013-128084)
(32)【優先日】2013年6月19日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(73)【特許権者】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(74)【代理人】
【識別番号】100104215
【弁理士】
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【弁理士】
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【弁理士】
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100117330
【弁理士】
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100160989
【弁理士】
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100168745
【弁理士】
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【弁理士】
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【弁理士】
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【弁理士】
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】大橋 武史
(72)【発明者】
【氏名】吉岡 重篤
(72)【発明者】
【氏名】見留 徹
(72)【発明者】
【氏名】成平 拓也
【審査官】 菊池 伸郎
(56)【参考文献】
【文献】 特開2011−227473(JP,A)
【文献】 特開2012−252559(JP,A)
【文献】 特開2007−286593(JP,A)
【文献】 特開2003−161621(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
3/048−3/0489
3/14−3/153
G09B 23/00−29/14
G09G 5/00−5/36
5/377−5/42
(57)【特許請求の範囲】
【請求項1】
入力画像を取得する取得部と、
所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、
前記表示制御部は、前記入力画像において被写体が存在する領域である被写体領域を抽出し、前記スクロールさせるときの速度であるスクロール速度と前記被写体領域に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
表示制御装置。
【請求項2】
前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
請求項2に記載の表示制御装置。
【請求項4】
前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
請求項1乃至3のいずれか1項に記載の表示制御装置。
【請求項5】
前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させる
請求項4に記載の表示制御装置。
【請求項6】
前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定する
請求項に記載の表示制御装置。
【請求項7】
前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定する
請求項6に記載の表示制御装置。
【請求項8】
前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記被写体領域に、前記スクリーンに表示されない領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行う
請求項に記載の表示制御装置。
【請求項9】
生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備え、
前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定する
請求項1乃至8のいずれか1項に記載の表示制御装置。
【請求項10】
前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させる
請求項6に記載の表示制御装置。
【請求項11】
前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部を
さらに備える請求項6に記載の表示制御装置。
【請求項12】
表示制御装置の表示制御方法において、
前記表示制御装置による、
入力画像を取得する取得ステップと、
所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御ステップとを含み、
前記表示制御ステップは、前記入力画像において被写体が存在する領域である被写体領域を抽出し、前記スクロールさせるときの速度であるスクロール速度と前記被写体領域に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
表示制御方法。
【請求項13】
コンピュータを、
入力画像を取得する取得部と、
所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部として機能させ、
前記表示制御部は、前記入力画像において被写体が存在する領域である被写体領域を抽出し、前記スクロールさせるときの速度であるスクロール速度と前記被写体領域に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
プログラム。
【請求項14】
コンピュータを、
移動経路となるルートを含む地図を入力画像として取得する取得部と、
所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部と
を含む地図表示機能ブロックと、
コンテンツを再生するコンテンツ再生ブロックと
して機能させ、
前記表示制御部は、前記入力画像において被写体が存在する領域である被写体領域を抽出し、前記スクロールさせるときの速度であるスクロール速度と前記被写体領域に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示制御装置、表示制御方法、およびプログラムに関し、特に、例えば、病理診断の対象とする細胞組織を観察する場合に用いて好適な表示制御装置、表示制御方法、およびプログラムに関する。
【背景技術】
【0002】
従来、医療の場において、腫瘍などの細胞組織を診断する方法として、患者から細胞組織の一部を採取して薄く切り、その切片(以下、生検と称する)をスライドガラス上に載置して染色することによりプレパラートを作成し、顕微鏡などで観察、診断する方法がある。
【0003】
さらに、該プレパラートをスキャニングして得られるプレパラート画像をディスプレイに表示して観察、診断することも提案されている(例えば、特許文献1参照)。
【0004】
図1は、プレパラート画像を観察、診断する従来方法の概要を示している。従来の方法では、プレパラート画像10における生検11の形状に合わせてスクロールライン12が決定される。そして、スクロールライン12の一端(始点)から他端(終点)までが順にスクロールセンタ13とされて、該スクロールセンタ13を中心とする所定の領域が拡大表示される。例えば、スクロールライン12の始点がスクロールセンタ13とされたときには、拡大画面14が表示される。また、スクロールライン12の中間付近がスクロールセンタ13とされたときには、拡大画面15が表示される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2012−252559号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上述したように、プレパラート画像10をスクロールライン12に沿って順次拡大表示させた場合、これを見る観察者に対して、いわゆるスクロール酔いなどの不快感を与えてしまうことがある。
【0007】
具体的には、スクロールライン12の曲率が高い部位においてスクロール速度が速かったり、表示拡大率が小さかったりすると観察者に不快感を与えてしまうことがある。
【0008】
本開示はこのような状況に鑑みてなされたものであり、画像を拡大スクロール表示するに際して、観察者に不快感を与えないようにするものである。
【課題を解決するための手段】
【0009】
本開示の第1の側面である表示制御装置は、入力画像を取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
【0010】
前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
【0011】
前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
【0012】
前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
【0013】
前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させることができる。
【0014】
前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定することができる。
【0015】
前記入力画像は、所定の観察対象を含むことができ、前記表示制御部は、前記観察対象に基づき前記スクロールラインを設定することができる。
【0016】
前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定することができる。
【0017】
前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記スクリーンに表示されない前記観察対象の領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行うことができる。
【0018】
本開示の第1の側面である表示制御装置は、生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備えることができ、前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定することができる。
【0019】
前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させることができる。
【0020】
本開示の第1の側面である表示制御装置は、前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部をさらに備えることができる。
【0021】
本開示の第1の側面である表示制御方法は、表示制御装置の表示制御方法において、前記表示制御装置による、入力画像を取得する取得ステップと、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御ステップとを含み、前記表示制御ステップは、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
【0022】
本開示の第1の側面であるプログラムは、コンピュータを、入力画像を取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部として機能させ、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
【0023】
本開示の第1の側面においては、入力画像が取得され、所定のスクロールラインに沿って前記入力画像がスクロールされてスクリーンに表示される。なお、スクロールさせるときの速度であるスクロール速度に応じて、異なるスクロールラインに沿って入力画像がスクロールされる。
【0024】
本開示の第2の側面であるコンピュータを、移動経路となるルートを含む地図を入力画像として取得する取得部と、所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを含む地図表示機能ブロックと、コンテンツを再生するコンテンツ再生ブロックとして機能させ、前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる。
【0025】
本開示の第2の側面においては、移動経路となるルートを含む地図が入力画像として取得され、所定のスクロールラインに沿って前記入力画像がスクロールされてスクリーンに表示される。なお、スクロールさせるときの速度であるスクロール速度に応じて、異なるスクロールラインに沿って入力画像がスクロールされる。
【発明の効果】
【0026】
本開示の第1の側面によれば、入力画像を拡大スクロール表示するに際して、観察者に不快感を与えてしまうことを抑止できる。
【0027】
本開示の第2の側面によれば、地図を拡大スクロール表示するに際して、観察者に不快感を与えてしまうことを抑止できる。
【図面の簡単な説明】
【0028】
図1】プレパラート画像を観察、診断する従来方法の概要を示す図である。
図2】第1の実施の形態である表示制御装置の構成例を示すブロック図である。
図3図2のスクロール制御部の構成例を示すブロック図である。
図4】スクロールラインの算出手順を示す図である。
図5】スクロールラインの選択の概要を示す図である。
図6】遷移ラインの設定の概要を示す図である。
図7】曲率に対応する最大スクロール速度の一例を示す図である。
図8】表示されない観察領域をなくす対策を説明する図である。
図9】スクロール方向の表示例を示す図である。
図10】第1のスクロール表示処理を説明するフローチャートである。
図11】第2のスクロール表示処理を説明するフローチャートである。
図12】拡大スクロール表示の変形例を示す図である。
図13】スクロールラインの設定方法の他の例を示す図である。
図14】地図を閲覧する場合に本開示を適用したときの表示例を示す図である。
図15】ルートに沿って地図をスクロールさせる場合に本開示を適用したときの表示例を示す図である。
図16】第2の実施の形態である情報処理装置および情報処理サーバの構成例を示すブロック図である。
図17】第3の実施の形態であるモバイル端末の構成例を示すブロック図である。
図18】モバイルアプリケーションにより実現される機能ブロックを示す図である。
図19】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0029】
以下、本開示を実施するための最良の形態(以下、実施の形態と称する)について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
【0030】
<1.第1の実施の形態>
[表示制御装置の構成例]
図2は、本開示の第1の実施の形態である表示制御装置の構成例を示している。該表示制御装置30は、例えば、細胞組織などの生検が載置されたプレパラートをスキャニングして得られるプレパラート画像などを、拡大、スクロールさせてディスプレイに表示させるものである。
【0031】
表示制御装置30は、操作入力部31、画像入力部32、スクロール制御部33、および表示制御部34から構成される。
【0032】
操作入力部31は、ユーザから入力される各種の設定操作(表示モード選択、スクロール速度設定、表示拡大率設定、スクロールライン設定など)を受け付けて、その設定情報をスクロール制御部33に通知する。操作入力部31のユーザインタフェースは任意であるが、例えば、キーボード、ジョイスティック、タブレット、マウスなどを用いることができる。
【0033】
表示モード選択とは、スクロール速度に応じてスクロールラインを変更する第1の表示モード、またはスクロールラインの曲率に応じてスクロール速度に上限を設ける第2の表示モードにいずれかをユーザが選択することである。
【0034】
スクロール速度設定とは、スクロールライン上をスクロールセンタ(スクロール基準点)が移動する時の速度(単位は、例えばPixel/sec)をユーザが指定することであり、随時変更可能である。表示拡大率設定とは、スクロールセンタを中心として拡大表示する領域を指定することであり、ユーザが随時変更可能である。スクロールライン設定は、ユーザが入力画像上にベーススクロールラインを任意に設定することである。
【0035】
画像入力部32は、ユーザ(観察者)が観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
【0036】
なお、入力画像は、プレパラート画像に限るものではない。プレパラート画像と同様に医療現場で用いられるCT画像、MRI画像、X線画像などの医療画像の他、医療分野に限定されない任意の画像(例えば、各種地図の画像など)を入力画像とすることができる。
【0037】
スクロール制御部33は、操作入力部31から通知される設定情報に基づき、画像入力部31からの入力画像を拡大、スクロール表示するときのスクロールセンタおよび拡大率を決定して表示制御部34に通知する。また、スクロール制御部33は、表示制御部34に対して、現在のスクロールセンタがそれ以降に移動する方向(スクロール方向)を通知する。
【0038】
表示制御部34は、画像入力部32から供給される入力画像から、スクロール制御部33から通知されるスクロールセンタおよび表示拡大率に応じた領域を入力画像と同じ縦横方向で抽出し、拡大して後段のディスプレイに出力する。また、表示制御部34は、スクロール制御部33から通知されるスクロール方向に基づき、拡大表示する入力画像に重畳して、以降のスクロール方向も表示する(図9を参照して後述する)。
【0039】
図3は、スクロール制御部33の詳細な構成例を示している。該スクロール制御部33は、スクロールライン算出部41、スクロールライン選択部42、最大スクロール速度算出部43、スクロール速度決定部44、スクロール指示部45、およびスクロール方向通知部46を有する。
【0040】
スクロールライン算出部41は、入力画像をスクロール表示するときのスクロールセンタの軌道となる複数のスクロールラインを算出する。図4を参照して具体的に説明する。
【0041】
図4は、スクロールラインの算出手順を示している。はじめに、同図Aに示されるような入力画像(プレパラート画像)から、同図Bに示されるように、その細胞組織(生検)領域を検出する。次に、同図Cに示されるように、検出した細胞組織領域の水平方向の中点(略中点でも良い)を検出し、検出した中点を結ぶことによりベーススクロールラインを決定し、その曲率Kを算出する。曲率Kは、水平方向座標値をv、垂直方向座標値をk、ベーススクロールラインをv(k)とすれば、次式(1)に示す公式により算出できる。
【0042】
【数1】
【0043】
なお、ベーススクロールラインを得るためには、上述した方法の他、入力画像の観察対象の領域に対して細線化処理を行ったり、入力画像上から検出される特徴点(例えば、癌細胞として検出された点)を繋ぎ合わせたりしてもよい。また、ベーススクロールラインをユーザが任意に設定できるようにしてもよい。
【0044】
さらに、同図Dに示されるように、ベーススクロールラインにローパスフィルタを適用することにより、カーブをより緩やかにした(曲率を小さくした)サブスクロールラインを1本以上算出する。ローパスフィルタとしては、垂直方向所定幅の単純移動平均を用いたり、ガウシアンフィルタによる畳み込み演算を利用したりすることができる。次式(2)は、ガウシアンフィルタによる畳み込み演算によりサブスクロールラインw(k)を算出する例を示している。ここで、v(k)はベーススクロールライン、u(k)はガウシアンフィルタを表す。
【0045】
【数2】
【0046】
なお、畳み込み演算をベーススクロールライン全体にかけるのではなく、ベーススクロールラインの曲率が所定の閾値を超える部分に対してだけかけるようにしてサブスクロールラインを得るようにしてもよい。また、ローパスフィルタとして、単純移動平均やガウシアンフィルタによる畳み込み演算以外のフィルタを適用するようにしてもよい。
【0047】
また、以降に図面において、説明の便宜上、入力画像上にスクロールラインを重畳表示しているが、後述するスクロール方向をユーザに提示する場合を除き、スクロールライン自体は表示されないものとする。
【0048】
図3に戻る。スクロールライン選択部42は、算出された複数のスクロールライン(ベーススクロールラインおよびサブスクロールライン)の中から、現在のスクロール速度に基づいてスクロールセンタが移動するスクロールラインを選択する。図5を参照して具体的に説明する。
【0049】
図5は、スクロールラインの選択の概要を示している。なお、同図Aは入力画像上にベーススクロールラインを重畳したものであり、同図Bは入力画像上にベーススクロールラインよりも曲率が小さいサブスクロールラインを重畳したものであり、同図Cは入力画像上にさらに曲率が小さいサブスクロールラインを重畳したものである。同図の例では、スクロールラインの数を3本としたが、より多くのスクロールラインを用意するようにしてもよい。
【0050】
スクロールラインの選択では、用意しているスクロールラインの数に対応してスクロール速度の範囲を区分する。図5の例では、スクロール速度の範囲を低速域(0〜75)、中速域、高速域の3つに区切る。そして、スクロール速度が低速域の場合、同図Aのベーススクロールラインを選択し、スクロール速度が中速域になった場合、同図Bのサブスクロールラインを選択し、スクロール速度が高速域になった場合、同図Cのサブスクロールラインを選択するようにする。つまり、スクロール速度が増すと、より曲率の小さいスクロールラインを選択するので、観察者に対してスクロール酔いを軽減させたり、抑止したりすることができる。
【0051】
なお、スクロールライン選択部42にてスクロールラインを選択するに際して、表示拡大率も利用することができる。具体的には、次式(3)によって表記される見かけのスクロール速度を導入し、見かけのスクロール速度と第1および第2の閾値との比較に基づいてスクロールラインを選択する。
見かけのスクロール速度=スクロール速度×10/表示拡大率 ・・・(3)
【0052】
ここで、表示拡大率としては2.5倍、5倍、10倍、40倍などが想定される。見かけのスクロール速度は、表示倍率が低いほど速くなるので、スクロール酔いしにくい曲率が小さくてスクロールラインが選択される。
【0053】
なお、スクロールラインの選択、変更は、スクロール速度や表示拡大率の変更に合わせて随時行なわれる。すなわち、入力画像をスクロール表示している途中でスクロール速度が変更された場合、スクロールラインが変更されることも起こり得る。この場合、スクロールセンタが突然ずれてしまうと観察者に違和感を与えてしまうので、スクロールライン選択部42は、元のスクロールラインから変更されるスクロールラインへと滑らかにスクロールセンタが移動するように遷移ラインを設定する。遷移ラインの設定について図6を参照して説明する。
【0054】
図6は、遷移ラインの設定の概要を示している。現在のスクロールセンタから、変更されるスクロールラインに下ろした垂線の足までの長さをa、該垂線の足から、変更されるスクロールラインと遷移ラインの交点までの直線距離をb、定数であるパラメータをPとした場合、b=P×aを満たすように該交点を決定する。そして、現在のスクロールセンタを始点、該交点を終点とするスプライン曲線を遷移ラインに設定する。パラメータPの値を大きくすれば、緩やかに曲がる遷移ラインを得ることができる。
【0055】
なお、上述したように、先に複数本のスクロールラインを用意し、スクロール速度に応じて選択するのではなく、スクロール速度と表示拡大率の変化に動的に対応してスクロールラインを算出するようにしてもよい。
【0056】
図3に戻る。最大スクロール速度算出部43は、スクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出する。最大スクロール速度を算出について図7を参照して説明する。
【0057】
図7は、クロールラインの曲率と最大スクロール速度の対応の一例を示している。最大スクロール速度を算出するに際しては、はじめにスクロールラインを所定の長さの区間毎に区切り、各区間の最大曲率を求め、次式(4)に従って最大スクロール側を算出する。
最大スクロール速度=1/最大曲率 ・・・(4)
【0058】
図7の例では、スクロールラインが3区間に分けられており、その最大曲率が順に0.005[/pixel],0.020[/pixel],0.010[/pixel]であるので、各区間の最大スクロール速度は順に200[pixel/sec],50[pixel/sec],100[pixel/sec]と算出される。
【0059】
図3に戻る。スクロール速度決定部44は、算出された最大スクロール速度を上限として、操作入力部31からのスクロール速度に関する設定情報に応じて、現在のスクロールセンタにおけるスクロール速度をリアルタイムに決定する。
【0060】
スクロール指示部45は、スクロールライン選択部42により選択されたスクロールラインまたは遷移ライン上を、スクロール速度決定部44により決定されたスクロール速度で移動する点を、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタ(の座標)と表示拡大率を表示制御部34に通知する。
【0061】
ただし、上述したようにスクロール速度と表示拡大率を決定したとしても、入力画像における観察対象(プレパラート画像における生検)を表示しきれない、すなわち、観察者が観察できない領域が発生し得る。この対策について図8を参照して説明する。
【0062】
図8は、観察できない領域をなくする2種類の対策の概要を示している。例えば同図Aに示されるように、決定したスクロール速度が速く、それに対応して選択されたスクロールラインの曲率が低くて、表示拡大率が大きい場合、観察者が観察できない領域が発生し得る。
【0063】
第1の対策としては、同図Bに示されるように、観察者の観察できない領域が生じたことを検知した場合、該領域が生じなくなるまで表示拡大率を下げる方法である。
【0064】
第2の対策としては、同図Cに示されるように、観察者の観察できない領域が生じたことを検知した場合、スクロール速度を下げて、より曲率が高いスクロールラインが選択されるようにすることにより、観察者の観察できない領域が生じないようにする方法である。
【0065】
なお、第1の対策と第2の対策の両方を実行するようにしてもよい。
【0066】
図3に戻る。スクロール方向通知部46は、スクロールセンタの今後の移動方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
【0067】
図9は、表示制御部34がスクロール方向情報に基づいて、観察者にスクロール方向を提示する3種類の表示例を示している。
【0068】
図Aは、拡大スクロール表示される入力画面に対し、スクロールラインを薄く重畳表示する第1の表示例である。
【0069】
図Bは、拡大スクロール表示される入力画面上に、スクロール方向を示す矢印の画像を重畳表示する第2の表示例である。
【0070】
図C、拡大スクロール表示される入力画面上の観察対象(プレパラート画像上の生検)以外の領域に、スクロール方向を示す矢印の画像を重畳表示する第3の表示例である。
【0071】
上述した第1乃至第3の表示例のいずれかによってスクロール方向を提示することにより、観察者に対してスクロール方向の変化に対する心構えを促すことができ、スクロール酔いを軽減または抑止することができる。
【0072】
[動作説明]
次に、表示制御装置30の動作について説明する。
【0073】
図10は、第1の表示モードが選択されている場合の第1のスクロール表示処理を説明するフローチャートである。
【0074】
前提として、既にユーザ(観察者)により、第1の表示モードが選択されているものとする。
【0075】
ステップS1において、画像入力部32は、ユーザが観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
【0076】
スクロール制御部33では、ステップS2において、スクロールライン算出部41が、ベーススクロールラインと、異なるスクロース速度に対応するための、曲率が異なる1本以上のサブスクロールラインを算出する。
【0077】
ステップS3において、操作入力部31はスクロール速度および表示拡大率を設定、変更するユーザからの操作の受付けを開始する。この操作入力に基づき、スクロール速度決定部44は、スクロール速度を決定する。
【0078】
ステップS4において、スクロールライン選択部42は、現在のスクロール速度に基づき、算出された複数のスクロールライン(ベーススクロールラインおよびサブスクロールライン)の中から、スクロールセンタが移動するスクロールラインを選択する。このとき、表示拡大率に基づく見かけのスクロール速度のに基づいてスクロールラインを選択するようにしてもよい。
【0079】
ステップS5において、スクロール指示部45は、選択されたスクロールライン上をスクロール速度で移動する点を、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタ(の座標)と表示拡大率を表示制御部34に通知する。これと同時に、スクロール方向通知部46は、スクロールセンタが以降に移動する方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
【0080】
これらの通知に基づき、表示制御部34は、入力画像の拡大スクロール表示を開始する。
【0081】
ステップS6において、スクロールライン選択部42は、スクロール速度または表示拡大率の少なくとも一方が変更されたか否かを判定する。ここで、少なくとも一方が変更されたと判定された場合、処理はステップS7に進められる。ステップS7において、スクロールライン選択部42は、変更されたスクロール速度または表示拡大率の少なくとも一方に基づいて、スクロールラインを変更する。
【0082】
なお、ステップS6において、スクロール速度および表示拡大率が変更されていないと判定された場合、ステップS7はスキップされて処理はステップS8に進められる。
【0083】
ステップS8において、スクロール指示部45は、スクロールセンタがスクロールラインの終端まで移動したか否かを判定する。ここで、スクロールセンタがスクロールラインの終端まで移動していないと判定された場合、処理はステップS6に戻されて、それ以降が繰り返される。スクロールセンタがスクロールラインの終端まで移動したと判定された場合、該第1のスクロール表示処理は終了される。
【0084】
以上に説明した第1のスクロール表示処理によれば、例えば、スクロール速度が速くなったり、表示拡大率が小さくなったりした場合、スクロールラインをより曲率が小さいものに変更するようにしたので、ユーザ(観察者)にスクロール酔いなどの不快感を与えてしまうことを抑止できる。
【0085】
次に、図11は、第2の表示モードが選択されている場合の第2のスクロール表示処理を説明するフローチャートである。
【0086】
前提として、既にユーザ(観察者)により、第2の表示モードが選択されているものとする。
【0087】
ステップS11において、画像入力部32は、ユーザが観察対象とするプレパラート画像などの入力画像を取得して、スクロール制御部33および表示制御部34に供給する。
【0088】
スクロール制御部33では、ステップS12において、スクロールライン算出部41が、ベーススクロールラインを算出する。なお、ユーザが任意にスクロールラインを設定した場合、スクロールライン算出部41は設定されたベーススクロールラインを所定の区間に区切り、各区間の曲率を算出する。
【0089】
ステップS13において、最大スクロール速度算出部43は、スクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出する。
【0090】
ステップS14において、操作入力部31はスクロール速度および表示拡大率を設定、変更するユーザからの操作の受付けを開始する。
【0091】
ステップS15において、スクロール速度決定部44は、ユーザからの操作入力に基づき、現在のスクロールセンタが位置する区間の最大スクロール速度を上限として、スクロール速度を決定する。スクロール指示部45は、ベーススクロールラインとスクロール速度に基づいて、順次、スクロールセンタを決定する。また、スクロール指示部45は、操作入力部31からの設定情報と入力画像とに基づいて表示拡大率を決定する。スクロール指示部45は、決定したスクロールセンタと表示拡大率を表示制御部34に通知する。これと同時に、スクロール方向通知部46は、スクロールセンタが以降に移動する方向(スクロール方向)を表すスクロール方向情報を表示制御部34に通知する。
【0092】
これらの通知に基づき、表示制御部34は、入力画像の拡大スクロール表示を開始する。
【0093】
ステップS16において、スクロール指示部45は、スクロールセンタがベーススクロールラインの終端まで移動したか否かを判定する。ここで、スクロールセンタがベーススクロールラインの終端まで移動していないと判定された場合、スクロール指示部45は、表示制御部34に対するスクロールセンタと表示拡大率の通知を継続する。スクロールセンタがベーススクロールラインの終端まで移動したと判定された場合、該第2のスクロール表示処理は終了される。
【0094】
以上に説明した第2のスクロール表示処理によれば、ベーススクロールラインの各区間の曲率に応じて最大スクロール速度を設けるようにしたので、例えば、スクロール速度が速くなったり、表示拡大率が小さくなったりした場合、スクロールラインをより曲率が小さいものに変更するようにしたので、ユーザ(観察者)にスクロール酔いなどの不快感を与えてしまうことを抑止できる。
【0095】
上述した第2のスクロール表示処理の説明においては、スクロールセンタはベーススクロールラインを軌道に移動するようにしたが、例えばユーザが選択したサブスクロールラインを軌道としてスクロールセンタを移動させてもよい。その場合、最大スクロール速度算出部43にて、サブスクロールラインを所定の区間に区切り、各区間の曲率に応じた最大スクロール速度を算出しておくようにする。
【0096】
なお、以上の説明においては、表示制御装置30がユーザによって選択された第1の表示モードまたは第2の表示モードで動作するとしたが、一方の表示モードのみが動作可能なように構成してもよい。
【0097】
[変形例]
図12は、拡大スクロール表示の変形例を示している。同図に示されるように、スクロールラインのスクロールセンタにおける傾きに合わせて、拡大表示する領域を、入力画像の縦横方向とは必ずしも一致しない向きで抽出し、拡大スクロール表示するようにしてもよい。この場合においても、スクロールラインの曲率やスクロールセンタにおける傾きに応じて、スクロール速度に上限を設けるようにすることが望ましい。
【0098】
図13は、ベーススクロールラインの設定方法の他の例を示している。ここまでの説明では、ベーススクロールラインは、観察対象(生検)の領域の中点を結ぶ線としていた。同図に示されるように、医療画像を入力画像とし、医療画像における癌や感染症などの疑いが高い部位を検出する画像認識処理によって該部位を検出し、それらを結ぶ線をベーススクロールラインに設定してもよい。
【0099】
また、図示は省略するが、例えば細胞組織領域と背景の境目を抽出するような画像処理によって、細胞組織領域の周囲を巡るようにベーススクロールラインを設定するようにしてもよい。
【0100】
図14は、地図をその地形に合わせてスクロールさせて閲覧する場合に本開示を適用したときの表示例を示している。この場合、地図が入力画像とされ、ベーススクロールラインは、例えば、視聴する地図のサイズに応じて県庁所在地、市町村の中心部などの点を自動的に結んで生成するようにしたり、ユーザが任意に設定したりするようにすればよい。
【0101】
図15は、例えば、ナビゲーション用アプリケーションにおいて、ある地点から別の地点に移動する時のルートに沿って地図をスクロールさせて閲覧する場合に本開示を適用したときの表示例を示している。この場合、地図が入力画像とされ、ナビゲーション用アプリケーションによって設定されるルートがベーススクロールラインとなる。
【0102】
<2.第2の実施の形態>
[情報処理装置の構成例]
図16は、本開示の第2の実施の形態である情報処理装置50および情報処理サーバ80の構成例を示している。
【0103】
第2の実施の形態は、図2に示された第1の実施の形態である表示制御装置30におけるスクロール制御部33を、インターネット70を介して接続する情報処理サーバ80に設けたものである。なお、第2の実施の形態と第1の実施の形態との間で共通する構成要素については、同一の番号を付しているので、その説明は省略する。
【0104】
情報処理装置50の通信部51は、インターネット70を介して情報処理サーバ80に接続し、画像入力部32からの入力画像をスクロール制御部33に供給し、操作入力部31からの設定情報をスクロール制御部33に通知する。また、通信部51は、スクロール制御部33からの、入力画像を拡大、スクロール表示するときのスクロールセンタおよび拡大率、並びに現在のスクロールセンタがそれ以降に移動する方向(スクロール方向)を受信して、表示制御部34に通知する。
【0105】
図16に示された第2の実施の形態によれば、上述した第1のスクロール表示処理または第2のスクロール表示処理を、いわゆるクラウドコンピューティングを用いて制御することができる。
【0106】
<3.第3の実施の形態>
[モバイル端末の構成例]
図17は、本開示の第3の実施の形態であるモバイル端末90の構成例を示している。なお、第3の実施の形態と第1の実施の形態との間で共通する構成要素については、同一の番号を付しているので、その説明は省略する。
【0107】
該モバイル端末90は、具体的にはスマートフォン、携帯電話機、タブレット型PCなどの可搬式コンピュータを想定したものである。
【0108】
モバイル端末90は、CPU91、メモリ92、操作入力部94、通信部95、ディスプレイ96を有し、これらがバス97を介して接続されて構成される。モバイル端末90においては、CPU91がメモリ92に保持されているモバイルアプリ93を読み出して起動することにより、各種の動作を実行することができる。例えば、モバイル通信網100を介して情報処理サーバ80に接続し、情報処理サーバ80に設けられたスクロール制御部33を利用することができる。
【0109】
図18は、CPU91がモバイルアプリ93を起動することによって実現できる機能ブロックの一例を示している。同図の場合、地図表示部121とコンテンツ再生部122が同時に実現されている。地図表示部121は、いわゆるナビゲーション機能を実現する機能ブロックであり、且つ、ある地点から別の地点に移動する時のルートに沿って地図をスクロール表示する場合に、スクロール制御部33を利用することができる。なお、地図表示部121にスクロール制御部33の機能を包含させるようにしてもよい。
【0110】
コンテンツ再生部122は、音楽、動画などのコンテンツを再生する機能ブロックである。
【0111】
図17に示された第3の実施の形態によれば、コンテンツの再生と並行して、ナビゲーションを実行し、それに際して上述した第1のスクロール表示処理または第2のスクロール表示処理を、いわゆるクラウドコンピューティングを用いて制御することができる。
【0112】
また、上述した第1乃至第3の実施の形態では、入力画像の一部を抽出、拡大したものを、ディスプレイの全体に表示する場合について説明したが、ディスプレイ上に設けた子画面(いわゆる、フローティングウィンドウ)上に表示する場合にも、本開示は適用できる。
【0113】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0114】
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0115】
該コンピュータ200において、CPU(Central Processing Unit)201,ROM(ReadOnly Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
【0116】
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続されている。
【0117】
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
【0118】
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205およびバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
【0119】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【0120】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【0121】
なお、本開示は以下のような構成も取ることができる。
(1)
入力画像を取得する取得部と、
所定のスクロールラインに沿って前記入力画像をスクロールさせてスクリーンに表示させる表示制御部とを備え、
前記表示制御部は、前記スクロールさせるときの速度であるスクロール速度に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
表示制御装置。
(2)
前記表示制御部は、前記スクロール速度に応じて、曲率の異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
前記(1)に記載の表示制御装置。
(3)
前記表示制御部は、前記スクロール速度が速いほど、より曲率が低い前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
前記(2)に記載の表示制御装置。
(4)
前記表示制御部は、前記入力画像の表示拡大率に応じて、異なる前記スクロールラインに沿って前記入力画像をスクロールさせて表示させる
前記(1)乃至(3)のいずれかに記載の表示制御装置。
(5)
前記表示制御部は、前記表示拡大率が低いほど、より曲率が低いスクロールラインに沿って前記入力画像をスクロールさせて表示させる
前記(4)に記載の表示制御装置。
(6)
前記表示制御部は、前記スクロール速度に応じて、スクロールライン生成部で生成された複数の前記スクロールラインのうちのいずれかを選択し、選択した前記スクロールライン上を前記スクロール速度で移動する点をスクロール基準点に決定する
前記(1)乃至(5)のいずれかに記載の表示制御装置。
(7)
前記入力画像は、所定の観察対象を含み、
前記表示制御部は、前記観察対象に基づき前記スクロールラインを設定する
前記(1)乃至(6)のいずれかに記載の表示制御装置。
(8)
前記表示制御部は、選択中の前記スクロールラインを変更する場合、変更前のスクロールラインから変更後のスクロールラインに遷移するための遷移ラインを設定し、設定した前記遷移ライン上を前記スクロール速度で移動する点をスクロール基準点として決定する
前記(1)乃至(7)のいずれかに記載の表示制御装置。
(9)
前記表示制御部は、決定される前記スクロール基準点を基準として前記入力画像をスクロールさせて表示させ、前記スクリーンに表示されない前記観察対象の領域が生じる場合、前記表示拡大率を下げるか、またはより曲率が高いスクロールラインが選択されるように前記スクロール速度を下げるかの少なくとも一方を行う
前記(1)乃至(8)のいずれかに記載の表示制御装置。
(10)
生成された前記スクロールラインの所定の区間毎に曲率に応じた最大スクロール速度を設定する最大スクロール速度設定部をさらに備え、
前記表示制御部は、選択された前記スクロールライン上を、設定された前記最大スクロール速度を上限とする前記スクロール速度で移動する点をスクロール基準点に決定する
前記(1)乃至(9)のいずれかに記載の表示制御装置。
(11)
前記表示制御部は、前記スクロール基準点が、前記スクリーン上の前記入力画像を表示する表示領域の略中心に位置するように、前記入力画像をスクロールさせて表示させる
前記(1)乃至(10)のいずれかに記載の表示制御装置。
(12)
前記スクロール基準点の今後の移動方向を表すスクロール方向情報を通知する通知部を
さらに備える前記(1)乃至(11)のいずれかに記載の表示制御装置。
【符号の説明】
【0122】
30 表示制御装置, 31 操作入力部, 32 画像入力部, 33 スクロール制御部, 34 表示制御部, 41 スクロールライン算出部, 42 スクロールライン選択部, 43 最大スクロール速度算出部, 44 スクロール速度決定部, 45 スクロール指示部, 46 スクロール方向通知部, 50 情報処理装置, 80 情報処理サーバ,90 モバイル端末, 93 モバイルアプリケーション,200 コンピュータ, 201 CPU
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19