(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023134912
(43)【公開日】2023-09-28
(54)【発明の名称】情報処理装置、及び情報処理方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230921BHJP
G06F 3/0481 20220101ALI20230921BHJP
G16H 40/60 20180101ALI20230921BHJP
【FI】
G06F3/01 510
G06F3/0481
G16H40/60
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022039842
(22)【出願日】2022-03-15
(71)【出願人】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】小暮 一輝
(72)【発明者】
【氏名】加藤 誉一
【テーマコード(参考)】
5E555
5L099
【Fターム(参考)】
5E555AA22
5E555AA59
5E555AA71
5E555BA22
5E555BA38
5E555BB22
5E555BB38
5E555BE10
5E555CB65
5E555CC24
5E555DB25
5E555DC26
5E555DD04
5E555FA00
5L099AA04
(57)【要約】
【課題】手順書における各項目の表示を適切に調整すること。
【解決手段】作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさを示す値に基づいて表示画面に表示させる表示制御部と、前記表示画面におけるユーザの注視点の位置を示す情報を取得する取得部と、前記複数の表示項目のそれぞれを前記ユーザが見ている時間長に基づいて、前記複数の表示項目のそれぞれの表示の大きさを示す値を修整する決定部と、前記決定部により修整された前記複数の表示項目のそれぞれの表示の大きさを示す値を前記記憶装置に記録させる記録部とを有する情報処理装置が提供される。
【選択図】
図4
【特許請求の範囲】
【請求項1】
作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさを示す値に基づいて表示画面に表示させる表示制御部と、
前記表示画面におけるユーザの注視点の位置を示す情報を取得する取得部と、
前記複数の表示項目のそれぞれを前記ユーザが見ている時間長に基づいて、前記複数の表示項目のそれぞれの表示の大きさを示す値を修整する決定部と、
前記決定部により修整された前記複数の表示項目のそれぞれの表示の大きさを示す値を前記記憶装置に記録させる記録部と
を有する情報処理装置。
【請求項2】
前記決定部は、前記複数の表示項目の内、ユーザが注視した所定の表示項目と前記所定の表示項目の次にユーザが注視した頻度の高い他の表示項目とを近接表示させるように前記複数の表示項目の表示位置を示す値を修整し、
前記記録部は、前記決定部が修整した前記複数の表示項目の表示位置を示す値を前記記憶装置に記録させ、
前記表示制御部は、前記記憶装置に記録されている各表示位置を示す値及び各大きさを示す値に基づいて前記複数の表示項目のそれぞれを前記表示画面に表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記表示制御部は、前記複数の表示項目のそれぞれを、前記記憶装置に記録されている修整前の表示位置を示す値及び大きさを示す値に基づいて表示した後、修整後の各表示位置及び各大きさを示す値に基づいて表示する様に変化させる動画を表示させる、
請求項1または2に記載の情報処理装置。
【請求項4】
作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさを示す値に基づいて表示画面に表示させる表示制御処理と、
前記表示画面におけるユーザの注視点の位置を示す情報を取得する取得処理と、
前記表示画面に表示されている複数の表示項目のそれぞれを前記ユーザが見ている時間長に基づいて、前記複数の表示項目のそれぞれの表示の大きさを示す値を修整する決定処理と、
前記決定処理により修整された前記複数の表示項目のそれぞれの表示の大きさを示す値を前記記憶装置に記録させる記録処理と、
を実行する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、及び情報処理方法に関する。
【背景技術】
【0002】
従来、診断や治療をする際に、医療スタッフが手順書に従って作業を行うことが知られている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、手順書の各項目の表示の大きさ等が適切ではない場合がある。
【0005】
本発明の目的は、手順書における各項目の表示の大きさ等を適切に調整できる情報処理装置、及び情報処理方法を提供することである。
【課題を解決するための手段】
【0006】
本発明に係る第1の態様では、作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさを示す値に基づいて表示画面に表示させる表示制御部と、前記表示画面におけるユーザの注視点の位置を示す情報を取得する取得部と、前記複数の表示項目のそれぞれを前記ユーザが見ている時間長に基づいて、前記複数の表示項目のそれぞれの表示の大きさを示す値を修整する決定部と、前記決定部により修整された前記複数の表示項目のそれぞれの表示の大きさを示す値を前記記憶装置に記録させる記録部とを有する情報処理装置が提供される。
【0007】
また、本発明に係る第2の態様では、作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさを示す値に基づいて表示画面に表示させる表示制御処理と、前記表示画面におけるユーザの注視点の位置を示す情報を取得する取得処理と、前記表示画面に表示されている複数の表示項目のそれぞれを前記ユーザが見ている時間長に基づいて、前記複数の表示項目のそれぞれの表示の大きさを示す値を修整する決定処理と、前記決定処理により修整された前記複数の表示項目のそれぞれの表示の大きさを示す値を前記記憶装置に記録させる記録処理と、を実行する情報処理方法が提供される。
【発明の効果】
【0008】
本発明によれば、手順書における各項目の表示の大きさ等を適切に調整できる。
【図面の簡単な説明】
【0009】
【
図1】実施形態に係る情報処理システムの構成例を示す図である。
【
図2】実施形態に係る情報処理装置のハードウェア構成例を示す図である。
【
図3】実施形態に係る情報処理装置の構成の一例を示す図である。
【
図4】第1の実施形態に係る情報処理装置の処理の一例を示すフローチャートである。
【
図5】第1の実施形態に係る表示設定DBの一例を示す図である。
【
図6】第1の実施形態に係る初期値に基づく表示画面の一例を示す図である。
【
図7】第1の実施形態に係る修整値に基づく表示画面の一例を示す図である。
【
図8】第2の実施形態に係る情報処理装置の処理の一例を示すフローチャートである。
【
図9】第2の実施形態に係る再生態様DBの一例を示す図である。
【発明を実施するための形態】
【0010】
本発明の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本発明の範囲に関する制限を示唆することなく、当業者が本発明を理解および実施するのを助けることを理解されたい。本明細書で説明される発明は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本発明の実施形態を説明する。
【0011】
[第1の実施形態]
<システム構成>
図1を参照し、実施形態に係る情報処理システム1の構成について説明する。
図1は、実施形態に係る情報処理システム1の構成例を示す図である。
図1の例では、情報処理システム1は、情報処理装置10、測定装置20、及び表示装置30を有する。なお、情報処理装置10、測定装置20、及び表示装置30の数は
図1の例に限定されない。
【0012】
図1の例では、情報処理装置10、測定装置20、及び表示装置30は、ネットワークNにより通信できるように接続されている。ネットワークNの例には、例えば、インターネット、移動通信システム、無線LAN(Local Area Network)、BLE(Bluetooth(登録商標) Low Energy)等の近距離無線通信、LAN、及びバス等が含まれる。移動通信システムの例には、例えば、第5世代移動通信システム(5G)、第4世代移動通信システム(4G)、第3世代移動通信システム(3G)等が含まれる。
【0013】
測定装置20は、表示装置30に表示される表示画面におけるユーザの注視点の位置を測定するための装置である。なお、注視点の位置は、例えば、三次元グローバル座標系で規定されるユーザの視線ベクトルと表示装置30の表示画面との交点の位置としてもよい。測定装置20は、例えば、ユーザの目を撮影する1以上のカメラを有していてもよい。
【0014】
表示装置30は、情報処理装置10から受信した情報に基づく表示画面を表示させる表示装置(ディスプレイ)である。表示装置30は、例えば、タブレット、パーソナルコンピュータ、スマートフォン等の端末装置でもよい。
【0015】
情報処理装置10は、例えば、サーバ、パーソナルコンピュータ、スマートフォン等の装置である。情報処理装置10は、手術等の作業の手順を示す情報を表示装置30に表示させる。
【0016】
<ハードウェア構成>
図2は、実施形態に係る情報処理装置10のハードウェア構成例を示す図である。
図2の例では、情報処理装置10(コンピュータ)は、プロセッサ101、メモリ102、通信インターフェイス103を含む。これら各部は、バス等により接続されてもよい。メモリ102は、プログラム104の少なくとも一部を格納する。通信インターフェイス103は、他のネットワーク要素との通信に必要なインターフェイスを含む。
【0017】
プログラム104が、プロセッサ101及びメモリ102等の協働により実行されると、情報処理装置10により本発明の実施形態の少なくとも一部の処理が行われる。メモリ102は、ローカル技術ネットワークに適した任意のタイプのものであってもよい。メモリ102は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ102は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。情報処理装置10には1つのメモリ102のみが示されているが、情報処理装置10にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ101は、任意のタイプのものであってよい。プロセッサ101は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの1つ以上を含んでよい。情報処理装置10は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。
【0018】
本発明の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。
【0019】
本発明はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも1つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本発明のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。
【0020】
本発明の方法を実行するためのプログラムコードは、1つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび/または実装するブロック図内の機能/動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。
【0021】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、CD(Compact Disc)-ROM(Read Only Memory)、CD-R(Recordable)、CD-RW(ReWritable)等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory)等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0022】
<構成>
図3を参照し、実施形態に係る情報処理装置10の構成について説明する。
図3は、実施形態に係る情報処理装置10の構成の一例を示す図である。
図3の例では、情報処理装置10は、表示制御部11、取得部12、決定部13、及び記録部14を有する。これら各部は、情報処理装置10にインストールされた1以上のプログラムと、情報処理装置10のプロセッサ101、及びメモリ102等のハードウェアとの協働により実現されてもよい。
【0023】
表示制御部11は、作業手順を表す複数の表示項目のそれぞれを、記憶装置に記録されている各大きさで表示画面に表示させる。取得部12は、表示制御部11により表示されている表示画面におけるユーザの注視点の位置を示す情報を取得する。
【0024】
決定部13は、表示制御部11により表示されている表示画面における複数の表示項目のそれぞれをユーザが見ている時間長に基づいて、次回以降の手順書データの再生時における当該複数の表示項目のそれぞれの表示の大きさを決定する。記録部14は、決定部13により決定された複数の表示項目のそれぞれの表示の大きさを示す値を記憶装置に記録させる。
【0025】
<処理>
次に、
図4から
図7を参照し、第1の実施形態に係る情報処理装置10処理の一例について説明する。
図4は、第1の実施形態に係る情報処理装置10の処理の一例を示すフローチャートである。
図5は、第1の実施形態に係る表示設定DB501の一例を示す図である。
図6は、第1の実施形態に係る初期値に基づく表示画面の一例を示す図である。
図7は、第1の実施形態に係る修整値に基づく表示画面の一例を示す図である。
【0026】
なお、以下の処理は、各作業手順の情報を表示する各表示画面が表示された際にそれぞれ実行されてもよい。また、以下の処理の順番は、矛盾しない限り、適宜入れ替えてもよい。なお、以下の処理は、全ユーザに共通で実行されてもよいし、ユーザ毎に実行されてもよい。ユーザ毎に実行される場合、ユーザ毎に表示設定DB501が記録されていてもよい。
【0027】
ステップS101において、表示制御部11は、作業手順を表す複数の表示項目のそれぞれを、
図5の表示設定DB501に記録(設定、登録)されている各大きさ及び表示位置を示す値に基づいて表示装置30の表示画面に表示させる。ここで、表示制御部11は、医師等のユーザ(医療スタッフ)により指定された、患者に対する医療の処置を示す情報に応じた手順書のデータを再生して表示させてもよい。なお、表示設定DB501は、情報処理装置10の内部の記憶装置に記憶されていてもよいし、情報処理装置10の外部の記憶装置に記憶されていてもよい。
【0028】
図5の例では、表示設定DB501には、手順書ID及び表示画面IDの組みに対応付けて、再生時間長が記録されている。また、手順書ID、表示画面ID、及び表示項目IDの組みに対応付けて、想定注視時間長、実績注視時間長、表示の大きさ(表示サイズ)の初期値、表示の大きさの修整値、表示位置の初期値、表示位置の修整値、及び次に注視された表示項目毎の頻度が記録されている。
【0029】
手順書IDは、医療の処置(例えば、治療、診断)の手順を示す手順書データの識別情報である。表示画面IDは、手順書データで表示される各表示画面の識別情報である。表示項目IDは、表示画面に表示される各表示項目の識別情報である。再生時間長は、手順書データが再生される際に各表示画面が表示されている時間長である。
【0030】
想定注視時間長は、表示項目がユーザに見られる時間長の想定(予想、設計)値である。実績注視時間長は、表示項目がユーザに見られる時間長の実績値(実測値)の履歴である。実績注視時間長は、例えば、表示項目がユーザに見られる時間長の実測値の代表値(例えば、平均値、最繁値、中央値)でもよい。
【0031】
表示の大きさの初期値は、表示項目の表示サイズの初期値(デフォルト値)である。表示の大きさは、例えば、矩形(正方形を含む)の表示項目の左上の画素の座標、及び右下の画素の座標で示されてもよい。表示の大きさの修整値は、表示項目の表示サイズの修整値である。表示位置の初期値は、表示項目の表示位置の初期値である。表示位置は、例えば、矩形の表示項目の左上の画素の座標で示されてもよい。表示位置の修整値は、表示項目の表示位置の修整値である。次に注視された表示項目毎の頻度は、各表示項目がユーザに注視されたのち、次に他の各表示項目がユーザに注視された回数である。
【0032】
手順書ID、表示画面ID、再生時間長、表示項目ID、想定注視時間長、表示の大きさの初期値、及び表示位置の初期値のデータは、例えば、管理者(オペレータ)等により予め設定されていてもよい。
【0033】
表示制御部11は、
図5の表示設定DB501に表示の大きさ及び表示位置の修整値が記録されている場合は、各修整値に基づく大きさ等で各表示項目を表示させてもよい。一方、表示制御部11は、
図5の表示設定DB501に表示の大きさ及び表示位置の修整値が記録されていない場合は、表示の大きさ及び表示位置の初期値に基づく大きさ等で各表示項目を表示させてもよい。
【0034】
図6の例では、特定の作業内容をユーザに示す表示画面601において、初期値の大きさと位置を示す値に基づいて、動画の表示項目611が領域611Aに、現在再生されている動画の内容を補足する説明文の表示項目612が領域612Aに、作業内容の手順の説明文の表示項目613が領域613Aに表示されている。
【0035】
続いて、取得部12は、表示制御部11により表示されている表示画面におけるユーザの注視点の位置を示す情報を取得する(ステップS102)。ここで、取得部12は、例えば、測定装置20で撮影されたユーザの画像を取得してもよい。そして、取得部12は、例えば、取得した画像に基づいて、ユーザの左右それぞれの眼球の瞳孔中心の位置及び角膜曲率中心の位置をそれぞれ検出してもよい。そして、取得部12は、例えば、検出したユーザの左右それぞれの眼球の瞳孔中心の位置及び角膜曲率中心の位置に基づいて、ユーザの左右それぞれの眼球の視線ベクトルを算出してもよい。そして、取得部12は、例えば、算出した視線ベクトルと表示画面との交点を示す注視点の位置を取得(算出、検出)してもよい。
【0036】
続いて、決定部13は、表示制御部11により表示されている表示画面に表示されている複数の表示項目のそれぞれをユーザが見ている時間長(実績注視時間長)に基づいて、複数の表示項目のそれぞれの表示の大きさ及び表示位置の少なくとも一方を決定する(ステップS103)。ここで、決定部13は、取得部12により取得されたユーザの注視点の位置に基づいて、各表示項目に対する実績注視時間長を算出して表示設定DB501に記録してもよい。この場合、決定部13は、例えば、ユーザの注視点の位置が、ある表示項目の表示範囲内である時間の合計値を、当該表示項目の実績注視時間長として算出してもよい。
【0037】
また、決定部13は、取得部12により取得されたユーザの注視点の位置に基づいて、次に注視された表示項目毎の頻度を算出して表示設定DB501に記録してもよい。この場合、決定部13は、注視点の位置が継続して特定時間長以上特定の表示項目の表示範囲内に留まった後、継続して特定時間長以上他の表示項目の表示範囲内に留まった場合、当該特定の表示項目の次に当該他の表示項目が注視されたと判定してもよい。
【0038】
(表示の大きさを調整する例)
決定部13は、第1表示項目をユーザが見ている第1時間長と、第2表示項目を前記ユーザが見ている第2時間長との比に基づいて、同一の表示画面に表示される第1表示項目及び第2表示項目の表示の大きさをそれぞれ修整してもよい。これにより、例えば、特定の表示項目に対する注視時間が、他の表示項目に対する注視時間と比べて大きい場合に、当該特定の表示項目の表示の大きさを調整することができる。
【0039】
この場合、決定部13は、例えば、表示設定DB501に記録されている、第1表示項目の想定注視時間長E1と、第2表示項目の想定注視時間長E2との比(想定比)の値(E1/E2)を算出してもよい。そして、決定部13は、例えば、表示設定DB501に記録した、第1表示項目の実績注視時間長A1と、第2表示項目の実績注視時間長A2との比(実績比)の値(A1/A2)を算出してもよい。
【0040】
そして、決定部13は、例えば、算出した想定比の値R1(E1/E2)と、算出した実績比の値R2(A1/A2)との比の値(R1/R2)が所定の値の範囲外である場合、第1表示項目及び第2表示項目の表示の大きさをR1/R2の値に応じて修整してもよい。この場合、決定部13は、例えば、各表示項目の表示の大きさを、例えば、各表示項目の実績注視時間長と想定注視時間長との比の値が大きいほど、各表示項目の表示の大きさの初期値よりも大きく修整してもよい。この場合、決定部13は、例えば、第1表示項目の表示の大きさの修整値S1及び第2表示項目の表示の大きさの修整値S2を、以下の式(1)、(2)によりそれぞれ決定してもよい。ここで、I1は、第1表示項目の表示の大きさの初期値であり、I2は、第2表示項目の表示の大きさの初期値である。
S1=R2/R1×I1・・・(1)
S2=R1/R2×I2・・・(2)
但し、R1=E1/E2、R2=A1/A2
【0041】
これにより、例えば、特定の表示項目に対する注視時間長の実績値と初期値(設計値)との比の値が比較的大きく、他の表示項目に対する注視時間長の実績値と初期値との比の値が比較的小さい場合、当該特定の表示項目の表示の大きさを大きくし、当該他の表示項目の表示の大きさを小さくすることができる。
【0042】
(表示位置を調整する例)
決定部13は、表示制御部11により表示画面に表示されている複数の項目をユーザが注視する順番に基づいて、当該複数の表示項目のそれぞれの表示位置を修整してもよい。これにより、例えば、ユーザが特定の表示項目を注視したのち、次に他の表示項目を見る頻度が比較的高い場合、当該特定の表示項目と当該他の表示項目とを対応付けて表示させることができる。
【0043】
この場合、決定部13は、例えば、表示設定DB501に記録している、所定の表示項目をユーザが注視した場合、所定の表示項目の次にユーザが注視した表示項目毎の頻度に基づいて、所定の表示項目と他の表示項目との距離を修整してもよい。この場合、決定部13は、例えば、所定の表示項目を注視したのち次に注視された頻度が最も高い表示項目の表示位置を、所定の表示項目の表示位置の右隣に表示するように修整してもよい。また、決定部13は、例えば、所定の表示項目を注視したのち次に他の表示項目が注視された頻度が高いほど、当該他の表示項目の表示位置を、所定の表示項目の表示位置の近くに表示するように修整してもよい。
【0044】
続いて、記録部14は、決定部13により決定された複数の項目のそれぞれの表示の大きさ及び表示位置の少なくとも一方を示す値を表示設定DB501に記録する(ステップS104)。これにより、今回と同一の手順書のデータが次回以降に再生される場合、ユーザによる注視の状況(動向)に応じて、
図7に示すように表示画面における各表示項目の大きさ及び位置の少なくとも一方が調整される。
【0045】
図7の例では、当該特定の作業内容をユーザに示す表示画面701において、修整値の大きさと位置で、動画の表示項目611が領域611Bに、現在再生されている動画の内容を補足する説明文の表示項目612が領域612Bに、作業内容の手順の説明文の表示項目613が領域613Bに表示されている。
図7の例では、
図6の例と比較して、ユーザに注視される頻度が比較的高い表示項目611が拡大された領域に表示され、ユーザに注視される頻度が比較的低い表示項目613が縮小された領域に表示されている。また、表示項目611が注視されたあとで次に注視される頻度が比較的高い表示項目612が、拡大された表示項目611に対応付けられた位置(右隣)に表示されている。
【0046】
(修整前からの変更内容を示すエフェクトを表示する例)
表示制御部11は、ステップS101の処理で、修整前からの変更内容を示すエフェクトの動画を表示してもよい。これにより、例えば、ユーザは、手順書における表示項目の大きさ及び位置がどのように変更されたかを容易に把握できる。
【0047】
この場合、表示制御部11は、表示画面における複数の表示項目のそれぞれを、修整前の表示位置及び大きさを示す値に基づいて表示した後、表示設定DB501に記録されている各表示位置及び各大きさを示す値に基づいて表示する様に変化させる動画を表示させてもよい。この場合、表示制御部11は、例えば、
図6の表示画面601を表示させた後、各表示項目611、612、613の大きさと位置が
図7の表示画面701での大きさと位置となるように徐々に変化する動画を表示させてもよい。
【0048】
[第2の実施形態]
第1の実施形態では、ユーザの動向に基づいて表示画面における各表示項目の大きさ等を調整する例について説明した。第2の実施形態では、ユーザの動向に基づいてコンテンツの再生態様を調整する例について説明する。なお、第1の実施形態と第2の実施形態とは、適宜組み合わせて実施することができる。以下では、第2の実施形態について、第1の実施形態と異なる部分を主に説明する。
【0049】
第2の実施形態の情報処理システム1の構成、情報処理装置10のハードウェア構成、情報処理装置10の構成は、それぞれ、
図1から
図3に示した第1の実施形態のものと同様でもよい。
【0050】
<構成>
第2の実施形態に係る情報処理装置10の表示制御部11、取得部12、決定部13、及び記録部14のそれぞれは、第1の実施形態での各部の処理に加えて、または代えて、以下の処理を実行する。表示制御部11は、作業手順を表す情報を、記憶装置に記録されているユーザ毎に設定された再生態様の設定に基づいて表示画面に表示させる。取得部12は、ユーザの注視点の位置を示す情報、及びユーザによる作業内容を表す情報の再生を終了させる操作が行われたことを示す情報の少なくとも一方を取得する。
【0051】
決定部13は、取得部12により取得された情報に基づいて、当該ユーザに対する再生態様を修整する。記録部14は、決定部13により修整された当該ユーザに対する再生態様を示す設定値を記憶装置に更新して記録させる。
【0052】
次に、
図8から
図9を参照し、第2の実施形態に係る情報処理装置10処理の一例について説明する。
図8は、第2の実施形態に係る情報処理装置10の処理の一例を示すフローチャートである。
図9は、第2の実施形態に係る再生態様DB901の一例を示す図である。なお、以下の処理は、作業手順の情報が表示された際にそれぞれ実行されてもよい。また、以下の処理の順番は、矛盾しない限り、適宜入れ替えてもよい。なお、情報処理装置10は、ユーザIDを用いたログイン操作等により、ユーザのユーザIDを既に取得していてもよい。
【0053】
<処理>
ステップS201において、表示制御部11は、作業手順を表す表示画面を、再生態様DB901に記録されている、ユーザ毎に設定された再生態様の設定に基づいて再生して表示装置30の表示画面に表示させる。なお、再生態様DB901は、情報処理装置10の内部の記憶装置に記憶されていてもよいし、情報処理装置10の外部の記憶装置に記憶されていてもよい。
【0054】
ここで、表示制御部11は、医師等のユーザ(医療スタッフ)により指定された、患者に対する医療の処置を示す情報に応じた手順書のデータを再生して表示させてもよい。また、表示制御部11は、医療の処置の手順に含まれる複数の作業内容のうち、現在表示(再生)している作業内容を表す情報の再生を終了させる操作がユーザにより行われた場合、次の作業内容を表す情報の再生を開始させてもよい。
【0055】
図9の例では、再生態様DB901には、ユーザID、手順書ID、及び表示画面IDの組みに対応付けて、再生態様が記録されている。ユーザIDは、ユーザの識別情報である。再生態様は、表示画面の再生態様である。ユーザID、手順書ID、表示画面ID、及びデフォルトの再生態様のデータは、例えば、管理者(オペレータ)等により予め設定されていてもよい。
【0056】
続いて、取得部12は、表示制御部11により表示されている表示画面におけるユーザの注視点の位置を示す情報、及びユーザによる作業内容を表す情報の再生を終了させる操作が行われたことを示す情報の少なくとも一方を取得する(ステップS202)。ここで、取得部12は、例えば、測定装置20で撮影されたユーザの画像を取得してもよい。そして、取得部12は、例えば、取得した画像に基づいて、ユーザの左右それぞれの眼球の瞳孔中心の位置及び角膜曲率中心の位置をそれぞれ検出してもよい。そして、取得部12は、例えば、検出したユーザの左右それぞれの眼球の瞳孔中心の位置及び角膜曲率中心の位置に基づいて、ユーザの左右それぞれの眼球の視線ベクトルを算出してもよい。そして、取得部12は、例えば、算出した視線ベクトルと表示画面との交点を示す注視点の位置を取得(算出、検出)してもよい。
【0057】
続いて、決定部13は、取得部12により取得された情報に基づいて、当該ユーザに対する再生態様を修整する(ステップS203)。ここで、決定部13は、取得部12により取得されたユーザの注視点の位置に基づいて、表示画面における各表示項目に対する注視時間長を算出してもよい。この場合、決定部13は、例えば、ユーザの注視点の位置が、ある表示項目の表示範囲内である時間の合計値を、当該表示項目の注視時間長として算出してもよい。特定の作業内容をユーザに示す表示画面601において、
図6に示すように、動画の表示項目611と、現在再生されている動画の内容を補足する説明文の表示項目612と、作業内容の手順の説明文の表示項目613とを含んでいる場合を例に説明する。取得部12は、動画の表示項目611と、現在再生されている動画の内容を補足する説明文の表示項目612と、作業内容の手順の説明文の表示項目613のそれぞれの表示画面上の位置情報と、ユーザの注視点の位置情報とから、ユーザがいずれの表示項目を注視しているかの情報を取得する。決定部13は、当該ユーザが表示画面の動画を見ている時間長が短いほど、当該動画の再生速度が速くなる再生態様に修整してもよい。これにより、例えば、当該ユーザが当該表示画面で示される作業内容の作業に習熟していると考えられる場合は、動画を早送りまたはスキップして再生させることができる。この場合、決定部13は、例えば、当該ユーザが表示画面の動画を見ている時間長が第1閾値よりも短い場合、再生速度を所定速度(例えば、1.5倍)となるように修整してもよい。
【0058】
また、決定部13は、当該ユーザが表示画面に表示されている文字情報を見ている時間長が閾値以上である場合、当該文字情報に対応する音声を出力させる再生態様に修整してもよい。これにより、例えば、当該ユーザが当該表示画面で示される作業内容の作業に習熟していないと考えられる場合は、文字情報に対応する音声ガイダンスを再生させることができる。この場合、決定部13は、例えば、当該文字情報をAI(Artificial Intelligence)により読み上げさせてもよい。また、決定部13は、例えば、当該文字情報に対応付け予め設定されている音声データを再生させてもよい。
【0059】
また、決定部13は、作業内容を表す情報の再生が開始されてから、当該ユーザによる作業内容を表す情報の再生を終了させる操作が行われるまでの時間長が短いほど、当該作業内容を表す情報の再生速度が速くなる再生態様に修整してもよい。これにより、例えば、当該ユーザが当該表示画面で示される作業内容の作業に習熟していると考えられる場合は、動画を早送りまたはスキップして再生させることができる。
【0060】
続いて、記録部14は、決定部13により修整された当該ユーザに対する再生態様の設定を再生態様DB901に更新して記録させる(ステップS204)。これにより、今回と同一の手順書のデータが次回以降に再生される場合、ユーザによる注視の状況(動向)等に応じて、表示画面の再生態様が調整される。
【0061】
<変形例>
情報処理装置10は、一つの筐体に含まれる装置でもよいが、本発明の情報処理装置10はこれに限定されない。情報処理装置10の各部は、例えば1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。この場合、例えば、表示制御部11を有する情報処理装置と、決定部13を有する情報処理装置と、記録部14を有する情報処理装置とを、異なる装置としてもよい。これらのような情報処理装置についても、本発明の「情報処理装置」の一例に含まれる。
【0062】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【0063】
本発明は、SDGsの「すべての人に健康と福祉を」の実現に貢献し、ヘルスケア製品・サービスによる価値創出に寄与する事項を含む。
【符号の説明】
【0064】
1 情報処理システム
10 情報処理装置
11 表示制御部
12 取得部
13 決定部
14 記録部
20 測定装置
30 表示装置