知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119518
(43)【公開日】2024-09-03
(54)【発明の名称】動画再生システム
(51)【国際特許分類】
H04N 5/93 20060101AFI20240827BHJP
G07G 1/00 20060101ALI20240827BHJP
G10L 15/22 20060101ALI20240827BHJP
H04N 5/92 20060101ALI20240827BHJP
H04N 5/765 20060101ALI20240827BHJP
【ＦＩ】
H04N5/93
G07G1/00 331Z
G10L15/22 460Z
H04N5/92 010
H04N5/765
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2023026492
(22)【出願日】2023-02-22
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】金子 達矢
【テーマコード（参考）】
3E142
5C053
【Ｆターム（参考）】
3E142AA10
3E142BA20
3E142CA12
3E142CA20
3E142FA50
3E142JA01
5C053GB06
5C053JA21
5C053LA01
5C053LA06
(57)【要約】
【課題】会話を伴ってなされる複数の人間どうしの対面によるやり取りについての事後の確認作業を容易とする。
【解決手段】実施形態の動画再生システムは、動画取得手段、動画記憶手段、テキスト取得手段、テキスト記憶手段、動画表示手段及びテキスト表示手段を備える。動画記憶手段は、撮影範囲を撮影した動画を表し、動画取得手段により取得された動画データを記憶する。テキスト記憶手段は、撮影範囲の周辺で集音された音声を認識して生成され、テキスト取得手段により取得されたテキストデータを記憶する。動画表示手段は、動画データが表す動画を表示させる。テキスト表示手段は、記憶されたテキストデータのうちから、動画表示手段が表示する動画の撮影タイミングにおいて撮影範囲の周辺で集音された音声を認識したテキストデータを選択し、当該のテキストデータが表すテキストを表示させる。
【選択図】 図１６
【解決手段】実施形態の動画再生システムは、動画取得手段、動画記憶手段、テキスト取得手段、テキスト記憶手段、動画表示手段及びテキスト表示手段を備える。動画記憶手段は、撮影範囲を撮影した動画を表し、動画取得手段により取得された動画データを記憶する。テキスト記憶手段は、撮影範囲の周辺で集音された音声を認識して生成され、テキスト取得手段により取得されたテキストデータを記憶する。動画表示手段は、動画データが表す動画を表示させる。テキスト表示手段は、記憶されたテキストデータのうちから、動画表示手段が表示する動画の撮影タイミングにおいて撮影範囲の周辺で集音された音声を認識したテキストデータを選択し、当該のテキストデータが表すテキストを表示させる。
【選択図】 図１６
【特許請求の範囲】
【請求項1】
予め定められた撮影範囲を撮影した動画を表す動画データを取得する動画取得手段と、
前記動画取得手段により取得された動画データを記憶する動画記憶手段と、
前記撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを取得するテキスト取得手段と、
前記テキスト取得手段により取得されたテキストデータを記憶するテキスト記憶手段と、
前記動画記憶手段に記憶された動画データが表す動画を表示させる動画表示手段と、
前記テキスト記憶手段により記憶されたテキストデータのうちから、前記動画表示手段が表示する動画の撮影タイミングにおいて前記撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを選択し、当該のテキストデータが表すテキストを表示させるテキスト表示手段と、
を具備した動画再生システム。
前記動画取得手段により取得された動画データを記憶する動画記憶手段と、
前記撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを取得するテキスト取得手段と、
前記テキスト取得手段により取得されたテキストデータを記憶するテキスト記憶手段と、
前記動画記憶手段に記憶された動画データが表す動画を表示させる動画表示手段と、
前記テキスト記憶手段により記憶されたテキストデータのうちから、前記動画表示手段が表示する動画の撮影タイミングにおいて前記撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを選択し、当該のテキストデータが表すテキストを表示させるテキスト表示手段と、
を具備した動画再生システム。
【請求項2】
前記撮影範囲を動画撮影して動画データを生成する撮影手段、をさらに備え、
前記動画取得手段は、前記撮影手段により生成された動画データを取得する、
請求項１に記載の動画再生システム。
前記動画取得手段は、前記撮影手段により生成された動画データを取得する、
請求項１に記載の動画再生システム。
【請求項3】
前記撮影範囲の周辺で音声を集音する集音手段、をさらに備え、
前記テキスト取得手段は、前記集音手段により集音された音声を認識して得られたテキストデータを取得する、
請求項１に記載の動画再生システム。
前記テキスト取得手段は、前記集音手段により集音された音声を認識して得られたテキストデータを取得する、
請求項１に記載の動画再生システム。
【請求項4】
前記テキスト表示手段により表示されるテキストの内容の変更指示を入力する入力手段と、
前記入力手段により入力された変更指示に従って前記テキスト表示手段により表示されるテキストの内容を変更するように前記テキスト記憶手段に記憶されたテキストデータを更新する更新手段と、
をさらに具備する請求項１に記載の動画再生システム。
前記入力手段により入力された変更指示に従って前記テキスト表示手段により表示されるテキストの内容を変更するように前記テキスト記憶手段に記憶されたテキストデータを更新する更新手段と、
をさらに具備する請求項１に記載の動画再生システム。
【請求項5】
前記動画取得手段、動画記憶手段、テキスト取得手段及び前記テキスト記憶手段を備えたサーバ装置と、
前記動画表示手段及び前記テキスト表示手段を備えた端末装置と、
を備えた請求項１に記載の動画再生システム。
前記動画表示手段及び前記テキスト表示手段を備えた端末装置と、
を備えた請求項１に記載の動画再生システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、動画再生システムに関する。
【背景技術】
【0002】
店舗窓口などにおいて、会話を伴ってなされる店員による客対応のように、複数の人間どうしが対面してやり取りするケースにおいて、そのやり取りのようすを音声付きの動画ファイルとして記録することは既に行われている。
しかしながら、音声付きの動画ファイルからでは、ある発言がなされている箇所を確認しようとする場合には、確認作業者が画像及び音声を確認しながら探し出すしかなく、確認者の負担が過大であった。
このような事情から、会話を伴ってなされる複数の人間どうしの対面によるやり取りについての事後の確認作業を容易とすることが望まれていた。
しかしながら、音声付きの動画ファイルからでは、ある発言がなされている箇所を確認しようとする場合には、確認作業者が画像及び音声を確認しながら探し出すしかなく、確認者の負担が過大であった。
このような事情から、会話を伴ってなされる複数の人間どうしの対面によるやり取りについての事後の確認作業を容易とすることが望まれていた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５２０６５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、会話を伴ってなされる複数の人間どうしの対面によるやり取りについての事後の確認作業を容易とすることができる動画再生システムを提供することである。
【課題を解決するための手段】
【0005】
実施形態の動画再生システムは、動画取得手段、動画記憶手段、テキスト取得手段、テキスト記憶手段、動画表示手段及びテキスト表示手段を備える。動画取得手段は、予め定められた撮影範囲を撮影した動画を表す動画データを取得する。動画記憶手段は、動画取得手段により取得された動画データを記憶する。テキスト取得手段は、撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを取得する。テキスト記憶手段は、テキスト取得手段により取得されたテキストデータを記憶する。動画表示手段は、動画記憶手段に記憶された動画データが表す動画を表示させる。テキスト表示手段は、テキスト記憶手段により記憶されたテキストデータのうちから、動画表示手段が表示する動画の撮影タイミングにおいて撮影範囲の周辺で集音された音声を認識して生成されたテキストデータを選択し、当該のテキストデータが表すテキストを表示させる。
【図面の簡単な説明】
【0006】
【図1】一実施形態に係る記録システムの概略構成と、当該記録システムに含まれる記録再生装置及び窓口端末の要部回路構成とを表すブロック図。
【図3】対応登録処理のフローチャート。
【図4】登録画面の一例を表す図。
【図5】記録再生処理のフローチャート。
【図6】登録画面の一例を表す図。
【図7】登録画面の一例を表す図。
【図8】登録画面の一例を表す図。
【図9】音声認識処理のフローチャート。
【図10】開始指示画面の一例を表す図。
【図11】停止指示画面の一例を表す図。
【図12】検索処理のフローチャート。
【図13】検索処理のフローチャート。
【図14】検索処理のフローチャート。
【図15】検索画面の一例を表す図。
【図16】再生画面の一例を表す図。
【図17】編集ウィンドウをポップアップ表示している画面の一例を表す図。
【発明を実施するための形態】
【0007】
以下、実施の形態の一例について図面を用いて説明する。なお、本実施の形態では、調剤薬局で調剤を受ける患者に対する窓口における店員による対応（以下、患者対応と称する）を記録する記録システムに動画再生システムを適用した例を説明する。なお調剤薬局で調剤を受ける患者は、調剤薬局の客である。
【0008】
図１は本実施形態に係る記録システム１００の概略構成と、当該記録システム１００に含まれる記録再生装置１及び窓口端末２の要部回路構成とを表すブロック図である。
記録システム１００は、記録再生装置１、窓口端末２、カメラユニット３、スキャナユニット４及びマイクユニット５を含む。記録再生装置１、窓口端末２及びカメラユニット３は、通信ネットワーク２００を介して通信可能とされている。スキャナユニット４及びマイクユニット５は、窓口端末２に接続されている。
記録システム１００は、記録再生装置１、窓口端末２、カメラユニット３、スキャナユニット４及びマイクユニット５を含む。記録再生装置１、窓口端末２及びカメラユニット３は、通信ネットワーク２００を介して通信可能とされている。スキャナユニット４及びマイクユニット５は、窓口端末２に接続されている。
【0009】
通信ネットワーク２００としては、インターネット、ＶＰＮ（virtual private network）、ＬＡＮ、公衆通信網、移動体通信網、あるいはその他のコンピュータ通信用の様々なネットワークを、単独又は適宜に組み合わせて用いることができる。通信ネットワーク２００としては、一例として、インターネットが用いられる。
【0010】
記録再生装置１は、窓口端末２が設置されている窓口での店員による患者対応を記録した動画ファイル及びテキストファイルを保存し、再生するための情報処理を行う情報処理装置である。
窓口端末２は、記録すべき患者対応が行われる窓口が設けられている薬局に設置される端末装置である。窓口端末２は、店員による患者対応に関わる後述の各種の情報処理を行う。
窓口端末２は、記録すべき患者対応が行われる窓口が設けられている薬局に設置される端末装置である。窓口端末２は、店員による患者対応に関わる後述の各種の情報処理を行う。
【0011】
カメラユニット３は、窓口における店員による患者対応の様子が映り込むように定められた撮影範囲を撮影するとともに、当該撮影範囲周辺の音声を入力し、音声付きの動画データを得る。カメラユニット３は、動画データを、通信ネットワーク２００を介して記録再生装置１へと送信する。カメラユニット３としては例えば、いわゆるネットワークカメラと称される既存のユニットを用いることができる。つまりカメラユニット３は、撮影手段としての機能を備える。
スキャナユニット４は、バーコードスキャナを備え、このバーコードスキャナによりバーコードを読み取って得られたバーコードデータを出力する。
スキャナユニット４は、バーコードスキャナを備え、このバーコードスキャナによりバーコードを読み取って得られたバーコードデータを出力する。
【0012】
マイクユニット５は、患者側マイクロホン及び店員側マイクロホンを備える。患者側マイクロホンは、窓口において患者が位置する側に指向方向を向けて設けられ、患者の音声が主体となる周囲音声を受けて音声データ（以下、患者音声データと称する）を出力する。店員側マイクロホンは、窓口の店員が位置する側に指向方向を向けて設けられ、店員の音声が主体となる周囲音声を受けて音声データ（以下、店員音声データと称する）を出力する。つまりマイクユニット５は、カメラユニット３による撮影範囲である窓口の周辺で音声を集音する集音手段の一例である。
【0013】
かくして、窓口端末２、カメラユニット３、スキャナユニット４及びマイクユニット５は、１つの窓口における客対応の記録のためのデバイスセットを構成する。図１では、１つのデバイスセットのみ表しているが、同様な複数のデバイスセットを複数の窓口にそれぞれ対応付けて設けてもよい。
【0014】
記録再生装置１は、プロセッサ１１、メイン記憶ユニット１２、補助記憶ユニット１３、通信ユニット１４及び伝送路１５を備える。
プロセッサ１１、メイン記憶ユニット１２及び補助記憶ユニット１３を伝送路１５により接続することによって、記録再生装置１としての機能を実現するための情報処理を実行するコンピュータが構成されている。
プロセッサ１１、メイン記憶ユニット１２及び補助記憶ユニット１３を伝送路１５により接続することによって、記録再生装置１としての機能を実現するための情報処理を実行するコンピュータが構成されている。
【0015】
プロセッサ１１は、上記コンピュータの中枢部分に相当する。プロセッサ１１は、オペレーティングシステム及びアプリケーションプログラムなどの情報処理プログラムに従って、記録再生装置１としての各種の機能を実現するべく各部を制御するための情報処理を実行する。
【0016】
メイン記憶ユニット１２は、上記コンピュータの主記憶部分に相当する。メイン記憶ユニット１２は、読み出し専用のメモリ領域と書き換え可能なメモリ領域とを含む。メイン記憶ユニット１２は、読み出し専用のメモリ領域では上記の情報処理プログラムの一部を記憶する。またメイン記憶ユニット１２は、プロセッサ１１が各部を制御するための処理を実行する上で必要なデータを読み出し専用のメモリ領域又は書き換え可能なメモリ領域で記憶する場合もある。メイン記憶ユニット１２は、書き換え可能なメモリ領域を、プロセッサ１１によるワークエリアとして使用する。
【0017】
補助記憶ユニット１３は、上記コンピュータの補助記憶部分に相当する。補助記憶ユニット１３は、例えばＥＥＰＲＯＭ（electric erasable programmable read-only memory）、ＨＤＤ（hard disc drive）、ＳＳＤ（solid state drive）、あるいはその他の周知の各種の記憶デバイスを利用できる。補助記憶ユニット１３は、プロセッサ１１が各種の処理を行う上で使用するデータと、プロセッサ１１での処理によって生成されたデータとを記憶する。補助記憶ユニット１３は、上記の情報処理プログラムを記憶する場合もある。補助記憶ユニット１３は、本実施形態では、情報処理プログラムの１つである記録再生プログラムＰＲＡを記憶する。記録再生プログラムＰＲＡは、動画及びテキストの記録と、記録済みの動画及びテキストの再生とを行うための後述する情報処理（以下、記録再生処理と称する）の手順について記述されたアプリケーションプログラムである。補助記憶ユニット１３の記憶領域の一部は、動画ファイル群ＦＩＡ、テキストファイル群ＦＩＢ及び対応管理データＤＡＡを記憶する領域として利用される。動画ファイル群ＦＩＡは、カメラユニット３から送信された動画データを予め定められたファイルフォーマットでデータファイル化した動画ファイルを集積したデータファイル群である。テキストファイル群ＦＩＢは、窓口端末２から後述するように送信されるテキストファイルを集積したデータファイル群である。対応管理データＤＡＡは、窓口で行われた患者対応を管理するためのデータである。対応管理データの詳細については後述する。
【0018】
通信ユニット１４は、通信ネットワーク２００を介したデータ通信を行うための通信処理を実行する。通信ユニット１４は、例えばインターネット用の既存の通信デバイスを用いることができる。
伝送路１５は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
伝送路１５は、アドレスバス、データバス及び制御信号線等を含み、接続された各部の間で授受されるデータ及び制御信号を伝送する。
【0019】
記録再生装置１のハードウェアとしては、例えば汎用のサーバ装置用のコンピュータ装置を用いることができる。このときに記録再生装置１の譲渡は一般に、記録再生プログラムＰＲＡが補助記憶ユニット１３に記憶された状態にて行われる。しかし、記録再生プログラムＰＲＡが補助記憶ユニット１３に記憶されない状態の記録再生装置１のハードウェアと記録再生プログラムＰＲＡとが個別に譲渡されてもよい。そして、補助記憶ユニット１３に、任意の作業者の操作に応じて記録再生プログラムＰＲＡが書き込まれてもよい。あるいは、記録再生プログラムＰＲＡと同種の別バージョンの情報処理プログラムが補助記憶ユニット１３に記憶された状態の記録再生装置１のハードウェアと記録再生プログラムＰＲＡとが個別に譲渡されてもよい。そして、補助記憶ユニット１３に既に記憶されている情報処理プログラムを置き換える形で、記録再生プログラムＰＲＡが書き込まれてもよい。記録再生プログラムＰＲＡの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。記録再生プログラムＰＲＡは、メイン記憶ユニット１２に記憶されてもよい。
【0020】
窓口端末２は、プロセッサ２１、メイン記憶ユニット２２、補助記憶ユニット２３、入出力ユニット２４、インタフェースユニット２５、通信ユニット２６及び伝送路２７を備える。
プロセッサ２１、メイン記憶ユニット２２、補助記憶ユニット２３、通信ユニット２６及び伝送路２７の機能の概略は、プロセッサ１１、メイン記憶ユニット１２、補助記憶ユニット１３、通信ユニット１４及び伝送路１５と同等である。ただし補助記憶ユニット２３は、記録再生プログラムＰＲＡを記憶せず、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤを記憶する。対応登録プログラムＰＲＢは、患者対応の実施状況の管理のために患者対応を登録するための後述する情報処理（以下、対応登録処理と称する）の手順について記述されたアプリケーションプログラムである。動画検索プログラムＰＲＣは、記録再生装置１により記録された動画を検索する際のユーザインタフェースのための情報処理（以下、検索処理と称する）の手順について記述されたアプリケーションプログラムである。音声認識プログラムＰＲＤは、マイクユニット５から出力される音声データを対象とした音声認識処理を制御するための後述する情報処理（以下、音声認識処理と称する）の手順について記述されたアプリケーションプログラムである。
プロセッサ２１、メイン記憶ユニット２２、補助記憶ユニット２３、通信ユニット２６及び伝送路２７の機能の概略は、プロセッサ１１、メイン記憶ユニット１２、補助記憶ユニット１３、通信ユニット１４及び伝送路１５と同等である。ただし補助記憶ユニット２３は、記録再生プログラムＰＲＡを記憶せず、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤを記憶する。対応登録プログラムＰＲＢは、患者対応の実施状況の管理のために患者対応を登録するための後述する情報処理（以下、対応登録処理と称する）の手順について記述されたアプリケーションプログラムである。動画検索プログラムＰＲＣは、記録再生装置１により記録された動画を検索する際のユーザインタフェースのための情報処理（以下、検索処理と称する）の手順について記述されたアプリケーションプログラムである。音声認識プログラムＰＲＤは、マイクユニット５から出力される音声データを対象とした音声認識処理を制御するための後述する情報処理（以下、音声認識処理と称する）の手順について記述されたアプリケーションプログラムである。
【0021】
入出力ユニット２４は、種々のユーザインタフェースデバイスの少なくとも１つを備える。入出力ユニット２４は、ユーザインタフェースデバイスとしては、例えばタッチパネル及びサウンドデバイスを備える。入出力ユニット２４は、ユーザインタフェースデバイスとして、例えばマウス、キーボードなどの様々なデバイスを備えても構わない。
【0022】
インタフェースユニット２５は、外部のデバイスを着脱自在なポートを有し、当該のポートにスキャナユニット４及びマイクユニット５が接続されている。インタフェースユニット２５は、これらのスキャナユニット４及びマイクユニット５などのポートに装着されたデバイスとのデータの授受をインタフェースする。インタフェースユニット２５としては、例えばＵＳＢ（universal serial bus）規格などの既存の規格に準拠した既製のデバイスを用いることができる。
【0023】
窓口端末２のハードウェアとしては、デスクトップコンピュータ、ブック型コンピュータ、タブレットコンピュータ、あるいはスマートフォンなどの様々なタイプの情報処理端末を用いることが可能である。そして窓口端末２は一般に、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤが補助記憶ユニット２３に記憶されない状態のハードウェアと、各プログラムとが個別に譲渡されて、任意の作業者の操作に応じて各プログラムが補助記憶ユニット２３に書き込まれる。しかし、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤが補助記憶ユニット２３に記憶された状態の窓口端末２の譲渡が行われても構わない。あるいは、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤと同種の別バージョンの情報処理プログラムが補助記憶ユニット２３に記憶された状態の窓口端末２のハードウェアと対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤが個別に譲渡されてもよい。そして、補助記憶ユニット２３に既に記憶されている情報処理プログラムを置き換える形で、対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤが書き込まれてもよい。対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤの譲渡は、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介した通信により行うことができる。対応登録プログラムＰＲＢ、動画検索プログラムＰＲＣ及び音声認識プログラムＰＲＤは、メイン記憶ユニット２２に記憶されてもよい。
【0024】
図２は対応管理データＤＡＡのデータ構造を模式的に表す図である。
記録再生装置１が複数の窓口での患者対応についての記録を行うのであれば、対応管理データＤＡＡはそれら複数の窓口のそれぞれに関連付けた複数が補助記憶ユニット１３に記憶される。
対応管理データＤＡＡは、フィールドＦＡＡ，ＦＡＢ，ＦＡＣ，…を含む。フィールドＦＡＡには、関連付けられた窓口の識別子としての窓口コードがセットされる。フィールドＦＡＢ以降の各フィールドには、それぞれ対応データがセットされ得る。なお、対応管理データＤＡＡにいくつの対応データが含まれるかは、記録再生装置１の動作状況に応じて変動する。対応データは、一度の患者対応に関連付けられ、当該の患者対応に関する諸データの集合である。
記録再生装置１が複数の窓口での患者対応についての記録を行うのであれば、対応管理データＤＡＡはそれら複数の窓口のそれぞれに関連付けた複数が補助記憶ユニット１３に記憶される。
対応管理データＤＡＡは、フィールドＦＡＡ，ＦＡＢ，ＦＡＣ，…を含む。フィールドＦＡＡには、関連付けられた窓口の識別子としての窓口コードがセットされる。フィールドＦＡＢ以降の各フィールドには、それぞれ対応データがセットされ得る。なお、対応管理データＤＡＡにいくつの対応データが含まれるかは、記録再生装置１の動作状況に応じて変動する。対応データは、一度の患者対応に関連付けられ、当該の患者対応に関する諸データの集合である。
【0025】
図２に表すように１つの対応データは、フィールドＦＢＡ，ＦＢＢ，ＦＢＣ，ＦＢＤを含む。フィールドＦＢＡには、関連付けられた患者対応の対象となる患者の識別子としての患者コードがセットされる。フィールドＦＢＢには、関連付けられた患者対応の開始日時がセットされる。フィールドＦＢＣには、関連付けられた患者対応に関する後述の編集テキストファイルを特定するためのファイルパス（以下、編集ファイルパスと称する）がセットされる。フィールドＦＢＤには、関連付けられた患者対応に関する後述の原本テキストファイルを特定するためのファイルパス（以下、原本ファイルパスと称する）がセットされる。
【0026】
次に以上のように構成された記録システム１００の動作について説明する。なお、以下に説明する各種の処理の内容は一例であって、一部の処理の順序の変更、一部の処理の省略、あるいは別の処理の追加などは適宜に可能である。
窓口端末２にてプロセッサ２１は、入出力ユニット２４での予め定められた操作によって対応登録処理の実行が指示されると、対応登録プログラムＰＲＢに基づいて対応登録処理を開始する。
窓口端末２にてプロセッサ２１は、入出力ユニット２４での予め定められた操作によって対応登録処理の実行が指示されると、対応登録プログラムＰＲＢに基づいて対応登録処理を開始する。
【0027】
図３は対応登録処理のフローチャートである。
ＡＣＴ１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに登録画面を表示させる。登録画面は、患者対応の開始登録を店員に行わせるためのＧＵＩ（graphical user interface）画面である。
ＡＣＴ１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに登録画面を表示させる。登録画面は、患者対応の開始登録を店員に行わせるためのＧＵＩ（graphical user interface）画面である。
【0028】
図４は登録画面の一例を表す図である。
なお、図４及びその他の図に表す各種の画面は、一部の表示オブジェクトの図示を省略している場合がある。
図４に表すように登録画面は、文字列ＣＳＡ、画像ＩＭＡ、ボタンＢＵＡ及びエリアＡＲＡを含む。
なお、図４及びその他の図に表す各種の画面は、一部の表示オブジェクトの図示を省略している場合がある。
図４に表すように登録画面は、文字列ＣＳＡ、画像ＩＭＡ、ボタンＢＵＡ及びエリアＡＲＡを含む。
【0029】
文字列ＣＳＡは、対応の対象となる患者が持参した処方箋に表示されたバーコードを読み取るよう店員に案内する文字メッセージを表す。画像ＩＭＡは、店員が行うべき作業を店員にイメージさせるための画像である。ボタンＢＵＡは、操作者が対応登録処理の終了を指示するためのソフトキーである。エリアＡＲＡ内には、これまでに登録された患者対応の一覧が表される。なお、プロセッサ２１がＡＣＴ１を実行する際には、まだ患者対応が登録されていないので、エリアＡＲＡに表される一覧には、具体的な情報が本来は表されない。しかしながら図４は、エリアＡＲＡに表される一覧の様子を明らかとするために、具体的な情報を表す状態としている。エリアＡＲＡに表す一覧は、患者対応のそれぞれに関して、対応の対象となった患者の識別子としての患者コード、窓口コード及び対応日時を表す。
【0030】
なお、プロセッサ２１は、登録画面を生成するに当たって、患者対応の一覧に表す情報を、補助記憶ユニット２３に記憶された対応履歴データから取り出しても構わないし、他の情報処理装置により管理されている対応履歴データから取り出しても構わない。他の情報処理装置は、薬局における薬剤販売の管理処理を行うＰＯＳ（point-of-sale）サーバなどが利用できる。
【0031】
さて、患者対応を担当する店員は、新たな患者を対象とする患者対応を開始するならば、その患者が持ち込んだ処方箋に表示されているバーコードを、スキャナユニット４に備えられたバーコードスキャナに読み取らせる。スキャナユニット４は、バーコードスキャナによりバーコードをスキャンしてバーコードデータが得られると、このバーコードデータを出力する。
【0032】
プロセッサ２１は、図３中のＡＣＴ１として登録画面を表示したのちには、ＡＣＴ２へと進む。
ＡＣＴ２としてプロセッサ２１は、コードが入力されるのを待ち受ける。そしてプロセッサ２１は、上記のようにスキャナユニット４から出力されたバーコードデータがインタフェースユニット２５により取り込まれたならば、コードが入力されたとしてＹＥＳと判定し、ＡＣＴ３へと進む。
ＡＣＴ２としてプロセッサ２１は、コードが入力されるのを待ち受ける。そしてプロセッサ２１は、上記のようにスキャナユニット４から出力されたバーコードデータがインタフェースユニット２５により取り込まれたならば、コードが入力されたとしてＹＥＳと判定し、ＡＣＴ３へと進む。
【0033】
ＡＣＴ３としてプロセッサ２１は、バーコードデータに含まれる患者コードの取得を試みる。つまりプロセッサ２１は、処方箋に表示されるバーコードが表すバーコードデータ中の予め定められた位置に、処方箋による薬剤処方の対象となる患者の患者コードが含まれるので、上記の位置のデータを患者コードとして抽出する。
【0034】
ＡＣＴ４としてプロセッサ２１は、正規の患者コードが取得できたか否かを確認する。そしてプロセッサ２１は、正規の患者コードを取得できたならばＹＥＳと判定してＡＣＴ５へと進む。
ＡＣＴ５としてプロセッサ２１は、新たな患者対応の登録を記録再生装置１に対して要求する。プロセッサ２１は例えば、当該の要求のための予め定められた要求データを、記録再生装置１に宛てて、通信ユニット２６から通信ネットワーク２００へと送出する。プロセッサ２１は要求データには、例えば患者コード、窓口端末２が利用されている窓口の識別子としての窓口コード、対応日時を含める。対応日時としてどの日時を採用するかは、例えば対応登録プログラムＰＲＢの作成者などにより適宜に定められてよいが、ＡＣＴ２にてＹＥＳと判定したタイミング、あるいはＡＣＴ３～ＡＣＴ５のいずれかの実行タイミングに関する日時とすることが想定される。
なお、薬剤販売の管理処理を行うＰＯＳサーバへの取引登録のための処方箋のバーコードスキャンと上記の店員によるバーコードスキャンとを共通としても構わない。そしてこの場合にプロセッサ２１はＡＣＴ５としては、ＰＯＳサーバに対しても取引登録を要求する。
ＡＣＴ５としてプロセッサ２１は、新たな患者対応の登録を記録再生装置１に対して要求する。プロセッサ２１は例えば、当該の要求のための予め定められた要求データを、記録再生装置１に宛てて、通信ユニット２６から通信ネットワーク２００へと送出する。プロセッサ２１は要求データには、例えば患者コード、窓口端末２が利用されている窓口の識別子としての窓口コード、対応日時を含める。対応日時としてどの日時を採用するかは、例えば対応登録プログラムＰＲＢの作成者などにより適宜に定められてよいが、ＡＣＴ２にてＹＥＳと判定したタイミング、あるいはＡＣＴ３～ＡＣＴ５のいずれかの実行タイミングに関する日時とすることが想定される。
なお、薬剤販売の管理処理を行うＰＯＳサーバへの取引登録のための処方箋のバーコードスキャンと上記の店員によるバーコードスキャンとを共通としても構わない。そしてこの場合にプロセッサ２１はＡＣＴ５としては、ＰＯＳサーバに対しても取引登録を要求する。
【0035】
上述の要求データが通信ネットワーク２００により記録再生装置１へと伝送されると、当該要求データを通信ユニット１４が受信する。
記録再生装置１にてプロセッサ１１は、メンテナンス作業時などの特別な期間を除き、記録再生プログラムＰＲＡに基づく記録再生処理を基本的に常時実行する。ただしプロセッサ１１は、予め定められたサービス提供時間帯に限って記録再生処理を実行するのでも構わない。
記録再生装置１にてプロセッサ１１は、メンテナンス作業時などの特別な期間を除き、記録再生プログラムＰＲＡに基づく記録再生処理を基本的に常時実行する。ただしプロセッサ１１は、予め定められたサービス提供時間帯に限って記録再生処理を実行するのでも構わない。
【0036】
なお、記録システム１００が、窓口端末２、カメラユニット３、スキャナユニット４及びマイクユニット５からなるデバイスセットを複数の窓口にそれぞれ対応付けて複数備える場合には、それら複数の窓口のそれぞれに関する記録再生処理を並行して実行する。ただし以下においては、図１に表す１つのデバイスセットが備えられた１つの窓口に関する記録再生処理のみを説明することとする。
【0037】
図５は記録再生処理のフローチャートである。
ＡＣＴ１１としてプロセッサ１１は、録画を開始する。つまりプロセッサ１１は、カメラユニット３から送信されて通信ネットワーク２００により伝送されて通信ユニット１４により受信された音声付きの動画データを、予め定められたマルチメディアフォーマットの動画ファイル化し、当該の動画ファイルを動画ファイル群ＦＩＡに追加してゆく。一例としてプロセッサ１１は、動画データを５分毎に切り出して、１つのｍｐ４形式の動画ファイルに変換する。なおプロセッサ１１は、各動画ファイルには、その動画ファイルが表す動画の開始日時及び終了日時を表した時間情報も含める。
ＡＣＴ１１としてプロセッサ１１は、録画を開始する。つまりプロセッサ１１は、カメラユニット３から送信されて通信ネットワーク２００により伝送されて通信ユニット１４により受信された音声付きの動画データを、予め定められたマルチメディアフォーマットの動画ファイル化し、当該の動画ファイルを動画ファイル群ＦＩＡに追加してゆく。一例としてプロセッサ１１は、動画データを５分毎に切り出して、１つのｍｐ４形式の動画ファイルに変換する。なおプロセッサ１１は、各動画ファイルには、その動画ファイルが表す動画の開始日時及び終了日時を表した時間情報も含める。
【0038】
かくしてプロセッサ１１は、カメラユニット３から送信された動画データを取得し、この動画データを含んだ動画ファイルを補助記憶ユニット１３に記憶させているのである。つまり記録再生プログラムＰＲＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは動画取得手段として機能する。また上記の動画ファイルを含んだ動画ファイル群ＦＩＡを記憶する補助記憶ユニット１３は、動画記憶手段の一例である。
【0039】
そしてプロセッサ１１は、上記のように開始した録画を行いつつ、ＡＣＴ１２，ＡＣＴ１３，ＡＣＴ１４，ＡＣＴ１５，ＡＣＴ１６，ＡＣＴ１７の待ち受け状態に移行する。このＡＣＴ１２～ＡＣＴ１７の待ち受け状態にてプロセッサ１１は、登録要求、保存要求、検索要求、ファイル送信要求、原本ファイル要求及びテキスト更新要求のいずれかがなされるのを待ち受ける。
【0040】
そしてプロセッサ１１は、前述のように登録を要求するために窓口端末２から送信された要求データが通信ユニット１４により受信されたならば、登録が要求されたとしてＡＣＴ１２にてＹＥＳと判定し、ＡＣＴ１８へと進む。
ＡＣＴ１８としてプロセッサ１１は、対応管理データＤＡＡを更新する。つまりプロセッサ１１は例えば、要求データに含まれる患者コード及び対応日時をフィールドＦＢＡ，ＦＢＢにセットする。なおプロセッサ１１は、ここで生成する新たな対応データのフィールドＦＢＣ，ＦＢＤは、ブランクとするか、あるいは予め定められたnull値をセットする。プロセッサ１１は、フィールドＦＢＡ，ＦＢＢのみからなる対応データを生成するのでも構わない。
ＡＣＴ１８としてプロセッサ１１は、対応管理データＤＡＡを更新する。つまりプロセッサ１１は例えば、要求データに含まれる患者コード及び対応日時をフィールドＦＢＡ，ＦＢＢにセットする。なおプロセッサ１１は、ここで生成する新たな対応データのフィールドＦＢＣ，ＦＢＤは、ブランクとするか、あるいは予め定められたnull値をセットする。プロセッサ１１は、フィールドＦＢＡ，ＦＢＢのみからなる対応データを生成するのでも構わない。
【0041】
ＡＣＴ１９としてプロセッサ１１は、登録要求に応じた登録が完了した旨の応答を窓口端末２に対して行う。プロセッサ１１は例えば、完了応答のための予め定められた応答データを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。この応答データが通信ネットワーク２００により窓口端末２へと伝送されると、当該応答データを通信ユニット２６が受信する。なおプロセッサ１１はこののち、ＡＣＴ１２～
ＡＣＴ１７の待ち受け状態に戻る。
ＡＣＴ１７の待ち受け状態に戻る。
【0042】
窓口端末２にてプロセッサ２１は、図３中のＡＣＴ５として登録を要求したのちには、ＡＣＴ６へと進む。
ＡＣＴ６としてプロセッサ２１は、上記の登録要求に際して通信エラーが発生したか否かを確認する。そしてプロセッサ２１は、上記のように完了応答のための応答データが通信ユニット２６により受信されたならば、通信エラーはないとしてＮＯと判定し、ＡＣＴ７へと進む。
ＡＣＴ７としてプロセッサ２１は、今回の対応の登録結果を反映するべく登録画面を更新する。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
ＡＣＴ６としてプロセッサ２１は、上記の登録要求に際して通信エラーが発生したか否かを確認する。そしてプロセッサ２１は、上記のように完了応答のための応答データが通信ユニット２６により受信されたならば、通信エラーはないとしてＮＯと判定し、ＡＣＴ７へと進む。
ＡＣＴ７としてプロセッサ２１は、今回の対応の登録結果を反映するべく登録画面を更新する。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
【0043】
図６は登録画面の一例を表す図である。
図６は図４に表す登録画面が表示されている状態から、「０１２３４５６７８９０１２３４５６７８９」なる患者コードの患者への対応が開始された場合の例である。
図６に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図６に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表している。
図６は図４に表す登録画面が表示されている状態から、「０１２３４５６７８９０１２３４５６７８９」なる患者コードの患者への対応が開始された場合の例である。
図６に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図６に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表している。
【0044】
プロセッサ２１は一方、何らかの通信エラーが生じたことを確認したならばＡＣＴ６にてＹＥＳと判定し、ＡＣＴ８へと進む。
ＡＣＴ８としてプロセッサ２１は、通信エラーが発生したことを表すべく登録画面を更新する。
ＡＣＴ８としてプロセッサ２１は、通信エラーが発生したことを表すべく登録画面を更新する。
【0045】
図７は登録画面の一例を表す図である。
図７は図４に表す登録画面が表示されている状態から、「０１２３４５６７８９９９９９９９９９９９」なる患者コードの患者への対応の登録要求に際して通信エラーが発生した場合の例である。
図７に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図７に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表していて、エラーとなったことを表すべく「ＮＧ」なる文字列を含む。また図７に表す登録画面は、図４に表す登録画面に対して文字列ＣＳＢが追加して表されている。文字列ＣＳＢは、通信エラーが生じた旨の文字メッセージを表す。
図７は図４に表す登録画面が表示されている状態から、「０１２３４５６７８９９９９９９９９９９９」なる患者コードの患者への対応の登録要求に際して通信エラーが発生した場合の例である。
図７に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図７に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表していて、エラーとなったことを表すべく「ＮＧ」なる文字列を含む。また図７に表す登録画面は、図４に表す登録画面に対して文字列ＣＳＢが追加して表されている。文字列ＣＳＢは、通信エラーが生じた旨の文字メッセージを表す。
【0046】
プロセッサ２１は、図３中のＡＣＴ８にて登録画面を更新したのち、ＡＣＴ９へと進む。
ＡＣＴ９としてプロセッサ２１は、通信エラー処理を行う。プロセッサ２１はこの通信エラー処理としては例えば、入出力ユニット２４に含まれるサウンドデバイスを動作させて、「通信エラーです」のような音声メッセージを出力するための処理を行う。あるいはプロセッサ２１はこの通信エラー処理としては例えば、入出力ユニット２４に含まれる警報用ランプを点滅させるための処理等の別の適宜の処理を行うのでも構わない。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
ＡＣＴ９としてプロセッサ２１は、通信エラー処理を行う。プロセッサ２１はこの通信エラー処理としては例えば、入出力ユニット２４に含まれるサウンドデバイスを動作させて、「通信エラーです」のような音声メッセージを出力するための処理を行う。あるいはプロセッサ２１はこの通信エラー処理としては例えば、入出力ユニット２４に含まれる警報用ランプを点滅させるための処理等の別の適宜の処理を行うのでも構わない。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
【0047】
窓口端末２が用いられている窓口での対応の対象とならない処方箋に表示されたバーコードなど、不適正なバーコードがスキャンされた場合には、ＡＣＴ３で取得されたコードが正規の患者コードではない。そこでこの場合にプロセッサ２１は、図３中のＡＣＴ４にてＮＯと判定し、ＡＣＴ１０へと進む。
ＡＣＴ１０としてプロセッサ２１は、読み取りエラーが発生したことを表すべく登録画面を更新する。
ＡＣＴ１０としてプロセッサ２１は、読み取りエラーが発生したことを表すべく登録画面を更新する。
【0048】
図８は登録画面の一例を表す図である。
図８は図４に表す登録画面が表示されている状態から、「９９９９５７８ｅ８４６３６ｄ００００ｘｘ」なる、正規の患者コードとは体系の異なるコードが取得された場合の例である。
図８に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図８に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表していて、エラーとなったことを表すべく「ＮＧ」なる文字列を含む。また図８に表す登録画面は、図４に表す登録画面に対して文字列ＣＳＣが追加して表されている。文字列ＣＳＣは、登録に失敗した旨の文字メッセージを表す。
図８は図４に表す登録画面が表示されている状態から、「９９９９５７８ｅ８４６３６ｄ００００ｘｘ」なる、正規の患者コードとは体系の異なるコードが取得された場合の例である。
図８に表す登録画面は、図４に表す登録画面に対してエリアＡＲＢが追加されて、このエリアＡＲＢにＡＣＴ３で取得された患者コードが表されている。また図８に表す登録画面は、エリアＡＲＡに表される一覧の１行目に、今回の登録の結果を表していて、エラーとなったことを表すべく「ＮＧ」なる文字列を含む。また図８に表す登録画面は、図４に表す登録画面に対して文字列ＣＳＣが追加して表されている。文字列ＣＳＣは、登録に失敗した旨の文字メッセージを表す。
【0049】
プロセッサ２１は、図３中のＡＣＴ１０にて登録画面を更新したのち、ＡＣＴ１１へと進む。
ＡＣＴ１１としてプロセッサ２１は、読み取りエラー処理を行う。プロセッサ２１はこの読み取りエラー処理としては例えば、入出力ユニット２４に含まれるサウンドデバイスを動作させて、例えば「登録に失敗しました」のような音声メッセージを出力するための処理を行う。あるいはプロセッサ２１はこの読み取りエラー処理としては例えば、入出力ユニット２４に含まれる警報用ランプを点滅させるための処理等の別の適宜の処理を行うのでも構わない。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
ＡＣＴ１１としてプロセッサ２１は、読み取りエラー処理を行う。プロセッサ２１はこの読み取りエラー処理としては例えば、入出力ユニット２４に含まれるサウンドデバイスを動作させて、例えば「登録に失敗しました」のような音声メッセージを出力するための処理を行う。あるいはプロセッサ２１はこの読み取りエラー処理としては例えば、入出力ユニット２４に含まれる警報用ランプを点滅させるための処理等の別の適宜の処理を行うのでも構わない。そしてプロセッサ２１はこののち、ＡＣＴ２の待ち受け状態に戻る。
【0050】
対応の登録が成功したならば、そののちに店員は、処方箋に基づく患者対応を行う。この患者対応は例えば、一例として次のような手順で行われる。すなわち店員はまず、処方箋に基づく調剤を調剤担当者に依頼する。次に店員は、調剤が完了したならば、調剤済みの薬剤を、説明しながら患者に渡す。そして店員は、薬剤の代金を決済する。
【0051】
窓口端末２にてプロセッサ２１は、入出力ユニット２４での予め定められた操作によって音声認識処理の実行が指示されると、音声認識プログラムＰＲＤに基づいて音声認識処理を開始する。なお店員は、音声認識処理を、患者対応が行われ得る期間中、常時実行させるのでも構わないし、必要に応じて適宜に実行開始させるのでも構わない。
【0052】
図９は音声認識処理のフローチャートである。
ＡＣＴ３１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに開始指示画面を表示させる。開始指示画面は、音声認識の開始指示を受けるためのＧＵＩ画面である。
ＡＣＴ３１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに開始指示画面を表示させる。開始指示画面は、音声認識の開始指示を受けるためのＧＵＩ画面である。
【0053】
図１０は開始指示画面の一例を表す図である。
開始指示画面は、図１０に表すような複数の表示オブジェクトを含むが、そのうちの１つはボタンＢＵＢである。ボタンＢＵＢは、操作者が音声認識の開始を指示するためのソフトキーである。
店員は、患者対応に関わる音声の音声認識を開始させたいならば、例えばボタンＢＵＢをタップするなどの予め定められた操作によって音声認識の開始を指示する。
開始指示画面は、図１０に表すような複数の表示オブジェクトを含むが、そのうちの１つはボタンＢＵＢである。ボタンＢＵＢは、操作者が音声認識の開始を指示するためのソフトキーである。
店員は、患者対応に関わる音声の音声認識を開始させたいならば、例えばボタンＢＵＢをタップするなどの予め定められた操作によって音声認識の開始を指示する。
【0054】
プロセッサ２１は、図９中のＡＣＴ３１として開始指示画面を表示させたのちには、ＡＣＴ３２へと進む。
ＡＣＴ３２としてプロセッサ２１は、開始指示を待ち受ける。そしてプロセッサ２１は、上記のように音声認識の開始が指示されたならばＹＥＳと判定し、ＡＣＴ３３へと進む。
ＡＣＴ３２としてプロセッサ２１は、開始指示を待ち受ける。そしてプロセッサ２１は、上記のように音声認識の開始が指示されたならばＹＥＳと判定し、ＡＣＴ３３へと進む。
【0055】
ＡＣＴ３３としてプロセッサ２１は、音声認識を開始する。例えばプロセッサ２１は、図１には示されないクラウドサーバに対して音声認識の開始を要求する。そしてこののちにプロセッサ２１は、マイクユニット５から出力される患者音声データ及び店員音声データをクラウドサーバに送信する。なお、プロセッサ２１が、音声認識プログラムＰＲＤ、あるいは別の情報処理プログラムに従って、患者音声データ及び店員音声データのそれぞれに関して、各音声データが表す音声に含まれる発話の内容を表したテキストデータを生成するための情報処理を実行するのでも構わない。
ＡＣＴ３４としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに停止指示画面を表示させる。停止指示画面は、音声認識の停止指示を受けるためのＧＵＩ画面である。
ＡＣＴ３４としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに停止指示画面を表示させる。停止指示画面は、音声認識の停止指示を受けるためのＧＵＩ画面である。
【0056】
図１１は停止指示画面の一例を表す図である。
停止指示画面は、図１１に表すような複数の表示オブジェクトを含むが、そのうちの１つはボタンＢＵＣである。ボタンＢＵＣは、操作者が音声認識の停止を指示するためのソフトキーである。
店員は、患者対応に関わる音声の音声認識を停止させたいならば、例えばボタンＢＵＣをタップするなどの予め定められた操作によって音声認識の停止を指示する。
停止指示画面は、図１１に表すような複数の表示オブジェクトを含むが、そのうちの１つはボタンＢＵＣである。ボタンＢＵＣは、操作者が音声認識の停止を指示するためのソフトキーである。
店員は、患者対応に関わる音声の音声認識を停止させたいならば、例えばボタンＢＵＣをタップするなどの予め定められた操作によって音声認識の停止を指示する。
【0057】
プロセッサ２１は、図９中のＡＣＴ３４として停止指示画面を表示させたのちには、ＡＣＴ３５へと進む。
ＡＣＴ３５としてプロセッサ２１は、停止指示を待ち受ける。プロセッサ２１は例えば、このように停止指示を待ち受けている間、マイクユニット５から出力される患者音声データ及び店員音声データをクラウドサーバに送信し続ける。そしてプロセッサ２１は、上記のように音声認識の停止が指示されたならばＹＥＳと判定し、ＡＣＴ３６へと進む。
ＡＣＴ３５としてプロセッサ２１は、停止指示を待ち受ける。プロセッサ２１は例えば、このように停止指示を待ち受けている間、マイクユニット５から出力される患者音声データ及び店員音声データをクラウドサーバに送信し続ける。そしてプロセッサ２１は、上記のように音声認識の停止が指示されたならばＹＥＳと判定し、ＡＣＴ３６へと進む。
【0058】
ＡＣＴ３６としてプロセッサ２１は、音声認識を停止する。つまりプロセッサ２１は例えば、上述のクラウドサーバに対して、患者音声データ及び店員音声データの送信を終了した上で音声認識の停止を要求する。
ＡＣＴ３７としてプロセッサ２１は、音声認識により生成されたテキストファイルを上述のクラウドサーバより取得する。なお、クラウドサーバが音声認識により生成したテキストデータをリアルタイムに送信するのであれば、プロセッサ２１はＡＣＴ３５での待ち受け状態の間に当該のテキストデータを収集しておき、この収集したテキストデータをＡＣＴ３７としてテキストファイル化するのでも構わない。
ＡＣＴ３７としてプロセッサ２１は、音声認識により生成されたテキストファイルを上述のクラウドサーバより取得する。なお、クラウドサーバが音声認識により生成したテキストデータをリアルタイムに送信するのであれば、プロセッサ２１はＡＣＴ３５での待ち受け状態の間に当該のテキストデータを収集しておき、この収集したテキストデータをＡＣＴ３７としてテキストファイル化するのでも構わない。
【0059】
テキストファイルは、一例として「2022/01/01 16:10:10，1，いらっしゃいませ，2022/01/01 16:10:13，2，よろしくお願いします，2022/01/01 16:10:20，1，処方箋をお預かりします，2022/01/01 16:10:31，2，あ お薬手帳，2022/01/01 16:10:37，1，ありがとうございます，2022/01/01 16:10:40，1，お預かりします，2022/01/01 16:10:45，1，お座りになってお待ちください」のような内容を表す。ここで例えば「2022/01/01 16:10:10，1，いらっしゃいませ」は、「2022/01/01 16:10:10」が認識対象の音声の日時を、「1」が店員音声データからの認識結果であることを、そして「いらっしゃいませ」が認識結果であるテキストデータを、それぞれ表す。なお、「2，よろしくお願いします」のうちの「2」は、患者音声データからの認識結果であることを表す。
【0060】
ＡＣＴ３８としてプロセッサ２１は、テキストファイルの保存を記録再生装置１に対して要求する。プロセッサ２１は例えば、この要求のための要求データには、ＡＣＴ３７にて取得したテキストファイルと、音声認識の対象となった音声データが取得された期間を表すデータ（以下、認識期間データと称する）と、を含める。そしてプロセッサ２１はこののち、ＡＣＴ３１以降の処理を上記と同様に繰り返す。
【0061】
さて記録再生装置１にてプロセッサ１１は、テキストファイルの保存要求のための要求データが通信ユニット１４により受信されると、保存要求がなされたとして図５中のＡＣＴ１３にてＹＥＳと判定し、ＡＣＴ２０へと進む。
ＡＣＴ２０としてプロセッサ１１は、上記の窓口端末２からの要求に応じてテキストファイルを保存する。つまりプロセッサ１１は例えば、要求データに含まれるテキストファイルを、同じく要求データに含まれる認識期間データと関連付けつつテキストファイル群ＦＩＢに、編集テキストファイルとして追加する。なお、編集テキストファイルは、後述する編集処理により更新され得るテキストファイルである。そしてプロセッサ１１は、上記の保存した編集テキストファイルのファイルパスを編集ファイルパスとして、対応管理データＤＡＡの末尾のフィールドにセットされている対応データのフィールドＦＢＣにセットする。そしてプロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
ＡＣＴ２０としてプロセッサ１１は、上記の窓口端末２からの要求に応じてテキストファイルを保存する。つまりプロセッサ１１は例えば、要求データに含まれるテキストファイルを、同じく要求データに含まれる認識期間データと関連付けつつテキストファイル群ＦＩＢに、編集テキストファイルとして追加する。なお、編集テキストファイルは、後述する編集処理により更新され得るテキストファイルである。そしてプロセッサ１１は、上記の保存した編集テキストファイルのファイルパスを編集ファイルパスとして、対応管理データＤＡＡの末尾のフィールドにセットされている対応データのフィールドＦＢＣにセットする。そしてプロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
【0062】
かくしてプロセッサ１１は、テキストデータの一例であるテキストファイルを取得し、このテキストファイルを補助記憶ユニット１３に記憶させているのである。つまり記録再生プログラムＰＲＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータはテキスト取得手段として機能する。また、テキストデータの一例であるテキストファイルを含んだテキストファイル群ＦＩＢする補助記憶ユニット１３は、テキスト記憶手段の一例である。
このようにして、窓口での患者対応の様子が、音声ファイル付きの動画ファイル及び音声認識結果を表すテキストファイルとして記録されるとともに、患者対応の実施状況が対応管理データＤＡＡとして記録される。
このようにして、窓口での患者対応の様子が、音声ファイル付きの動画ファイル及び音声認識結果を表すテキストファイルとして記録されるとともに、患者対応の実施状況が対応管理データＤＡＡとして記録される。
【0063】
窓口端末２にてプロセッサ２１は、店員又は管理者などの過去の患者対応を確認しようとする確認作業者により入出力ユニット２４での予め定められた操作によって検索処理の実行が指示されると、動画検索プログラムＰＲＣに基づいて検索処理を開始する。
図１２，図１３及び図１４は検索処理のフローチャートである。
図１２中のＡＣＴ５１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに検索画面を表示させる。検索画面は、患者対応の検索のためのＧＵＩ画面である。
図１２，図１３及び図１４は検索処理のフローチャートである。
図１２中のＡＣＴ５１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに検索画面を表示させる。検索画面は、患者対応の検索のためのＧＵＩ画面である。
【0064】
図１５は検索画面の一例を表す図である。
図１５に表す検索画面は、エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨ及びボタンＢＵＤ，ＢＵＥを含む。エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦは、入力済みの検索条件を表す。エリアＡＲＧは、検索条件に合致する患者対応の一覧を表す。エリアＡＲＨは、選択された１つの患者対応に関する情報を表す。ボタンＢＵＤは、操作者が検索実行を指示するためのソフトキーである。ボタンＢＵＥは、操作者が動画再生を指示するためのソフトキーである。
図１５に表す検索画面は、エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨ及びボタンＢＵＤ，ＢＵＥを含む。エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦは、入力済みの検索条件を表す。エリアＡＲＧは、検索条件に合致する患者対応の一覧を表す。エリアＡＲＨは、選択された１つの患者対応に関する情報を表す。ボタンＢＵＤは、操作者が検索実行を指示するためのソフトキーである。ボタンＢＵＥは、操作者が動画再生を指示するためのソフトキーである。
【0065】
なお、プロセッサ２１がＡＣＴ５１を実行する際には、まだ検索条件が指定されておらず、検索も実行されていないので、エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨに表すべき情報はなく、それぞれブランクとされる。しかしながら図１５は、エリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨに各種情報が表される様子を明らかとするために、具体的な情報を表す状態としている。
【0066】
プロセッサ２１は、図１２中のＡＣＴ５１として検索画面を表示させたのちには、ＡＣＴ５２，ＡＣＴ５３の待ち受け状態へと進む。
ＡＣＴ５２及びＡＣＴ５３としてプロセッサ２１は、検索の実行が指示されるか、検索条件の入力操作がなされるのを待ち受ける。
店員は、記録再生装置１により記録されている患者対応のうちからいくつかの患者対応を絞り込むための条件を検索条件として入力するための予め定められた操作を、例えば入出力ユニット２４にて行う。これに応じてプロセッサ２１はＡＣＴ５３にてＹＥＳと判定し、ＡＣＴ５４へと進む。
ＡＣＴ５２及びＡＣＴ５３としてプロセッサ２１は、検索の実行が指示されるか、検索条件の入力操作がなされるのを待ち受ける。
店員は、記録再生装置１により記録されている患者対応のうちからいくつかの患者対応を絞り込むための条件を検索条件として入力するための予め定められた操作を、例えば入出力ユニット２４にて行う。これに応じてプロセッサ２１はＡＣＴ５３にてＹＥＳと判定し、ＡＣＴ５４へと進む。
【0067】
ＡＣＴ５４としてプロセッサ２１は、行われた操作に応じて検索条件を変更する。なおプロセッサ２１は、変更後の検索条件を表すようにエリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨに表す情報を適宜に更新する。そしてプロセッサ２１はこののち、ＡＣＴ５２及びＡＣＴ５３の待ち受け状態に戻る。
【0068】
確認作業者は、所望の検索条件を設定し終えたならば、例えば検索画面中のボタンＢＵＤをタップするなどの予め定められた操作によって検索の実行を指示する。これに応じてプロセッサ２１はＡＣＴ５２にてＹＥＳと判定し、ＡＣＴ５５へと進む。
ＡＣＴ５５としてプロセッサ２１は、記録再生装置１に対して検索を要求する。プロセッサ２１は例えば、この要求のための要求データには、設定されている検索条件を表すデータを含める。
ＡＣＴ５５としてプロセッサ２１は、記録再生装置１に対して検索を要求する。プロセッサ２１は例えば、この要求のための要求データには、設定されている検索条件を表すデータを含める。
【0069】
さて記録再生装置１にてプロセッサ１１は、検索要求のための要求データが通信ユニット１４により受信されると、検索要求がなされたとして図５中のＡＣＴ１４にてＹＥＳと判定し、ＡＣＴ２１へと進む。
ＡＣＴ２１としてプロセッサ１１は、要求データに含まれるデータが表す検索条件に合致する対応データを対応管理データＤＡＡから全て抽出する。
ＡＣＴ２１としてプロセッサ１１は、要求データに含まれるデータが表す検索条件に合致する対応データを対応管理データＤＡＡから全て抽出する。
【0070】
ＡＣＴ２２としてプロセッサ１１は、上記の抽出した対応データを窓口端末２に対して通知する。つまりプロセッサ１１は、上記の抽出した対応データを含んだ通知データを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。プロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
【0071】
上記の通知データが通信ネットワーク２００により窓口端末２へと伝送されると、当該通知データを通信ユニット２６が受信する。
窓口端末２にてプロセッサ２１は、図１２中のＡＣＴ５５として検索を要求したのちには、ＡＣＴ５６へと進む。
ＡＣＴ５６としてプロセッサ２１は、上記の通知データに含まれる対応データのそれぞれの患者対応の一覧をエリアＡＲＧに表すように検索画面を更新する。なお、この段階での検索画面では、エリアＡＲＨには、患者対応に関する具体的な情報は表さない。
窓口端末２にてプロセッサ２１は、図１２中のＡＣＴ５５として検索を要求したのちには、ＡＣＴ５６へと進む。
ＡＣＴ５６としてプロセッサ２１は、上記の通知データに含まれる対応データのそれぞれの患者対応の一覧をエリアＡＲＧに表すように検索画面を更新する。なお、この段階での検索画面では、エリアＡＲＨには、患者対応に関する具体的な情報は表さない。
【0072】
更新後の検索画面を表示させた状態にてプロセッサ２１は、ＡＣＴ５７，ＡＣＴ５８及びＡＣＴ５９の待ち受け状態となる。このＡＣＴ５７～ＡＣＴ５９の待ち受け状態にてプロセッサ２１は、検索の実行が指示されるか、再生が指示されるか、あるいは検索条件の入力操作がなされるのを待ち受ける。
【0073】
確認作業者は、検索条件を変更して検索をやり直す場合には、検索条件を入力するための予め定められた操作を行う。これに応じてプロセッサ２１はＡＣＴ５９にてＹＥＳと判定し、ＡＣＴ６０へと進む。
ＡＣＴ６０としてプロセッサ２１は、行われた操作に応じて検索条件を変更する。なおプロセッサ２１は、変更後の検索条件を表すようにエリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨに表す情報を適宜に更新する。そしてプロセッサ２１はこののち、ＡＣＴ５７～ＡＣＴ５９の待ち受け状態に戻る。
ＡＣＴ６０としてプロセッサ２１は、行われた操作に応じて検索条件を変更する。なおプロセッサ２１は、変更後の検索条件を表すようにエリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨに表す情報を適宜に更新する。そしてプロセッサ２１はこののち、ＡＣＴ５７～ＡＣＴ５９の待ち受け状態に戻る。
【0074】
確認作業者は、所望の検索条件に変更し終えたならば、例えば検索画面中のボタンＢＵＤをタップするなどの予め定められた操作によって検索の実行を指示する。これに応じてプロセッサ２１はＡＣＴ５７にてＹＥＳと判定し、ＡＣＴ５５以降を前述と同様に繰り返す。
【0075】
確認作業者は、確認すべき患者対応を見つけたならば、その患者対応を、予め定められた操作によって指定した上で、例えば検索画面内のボタンＢＵＥをタップする等の予め定められた操作によって再生を指示する。この指示に応じてプロセッサ２１は、ＡＣＴ５８にてＹＥＳと判定し、ＡＣＴ６１へと進む。
【0076】
ＡＣＴ６１としてプロセッサ２１は、指定された患者対応に関する動画を再生するための再生処理を開始する。つまりプロセッサ２１は例えば、指定された患者対応の対応日時を含む期間に関する動画ファイルを記録再生装置１から取得する。またプロセッサ２１は、取得した動画ファイルの開始日時を含む認識期間を表す認識期間データが関連付けられた編集テキストファイルを記録再生装置１から取得する。具体的にはプロセッサ２１は例えば、指定された患者対応の対応日時の通知を伴って、記録再生装置１に対してファイル送信を要求する。そしてプロセッサ２１は、この要求に応じて記録再生装置１から送られる動画ファイル及び編集テキストファイルがそれぞれ表す動画及びテキストを、同じ日時に関するフレームとテキストとを同期させつつ表した再生画面を、入出力ユニット２４に備えられたタッチパネルに表示させる。またプロセッサ２１は、動画ファイルに含まれる音声データに基づく音声を入出力ユニット２４に備えられたサウンドデバイスから出力させる。
【0077】
なお、記録再生装置１にてプロセッサ１１は、上述のようなファイル送信の要求を受けると、図５中のＡＣＴ１５にてＹＥＳと判定し、ＡＣＴ２３へと進む。
ＡＣＴ２３としてプロセッサ１１は、要求に応じた動画ファイル及び編集テキストファイルを動画ファイル群ＦＩＡ及びテキストファイル群ＦＩＢから取り出して、それら動画ファイル及び編集テキストファイルを窓口端末２へと送信する。プロセッサ１１は例えば、動画ファイルに含まれる時間情報が表す開始日時及び終了日時が、要求に際して通知された対応日時よりも前及び後である動画ファイルを送信対象として動画ファイル群ＦＩＡから取り出す。なおプロセッサ１１は、送信対象とする上記の動画ファイルに対して、その前後のタイミングに関する予め定められた別の動画ファイルも送信対象として取り出しても構わない。つまり例えば、動画ファイルに含まれる時間情報が表す開始日時及び終了日時が、要求に際して通知された対応日時よりも前及び後である動画ファイルと、当該動画ファイルの直前及び直後のタイミングのそれぞれに関する１つずつの動画ファイルとを、いずれも送信対象として取り出しても構わない。またプロセッサ１１は、窓口端末２に関連付けられた窓口コードがフィールドＦＡＡにセットされている対応管理データＤＡＡに含まれる対応データのうちから、要求に際して通知された対応日時がフィールドＦＢＢにセットされている対応データを探し出す。そしてプロセッサ１１は、該当の対応データのフィールドＦＢＣにセットされている編集ファイルパスで特定される編集テキストファイルを送信対象としてテキストファイル群ＦＩＢから取り出す。プロセッサ１１は、このように送信対象として取り出した動画ファイル及び編集テキストファイルを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。プロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
ＡＣＴ２３としてプロセッサ１１は、要求に応じた動画ファイル及び編集テキストファイルを動画ファイル群ＦＩＡ及びテキストファイル群ＦＩＢから取り出して、それら動画ファイル及び編集テキストファイルを窓口端末２へと送信する。プロセッサ１１は例えば、動画ファイルに含まれる時間情報が表す開始日時及び終了日時が、要求に際して通知された対応日時よりも前及び後である動画ファイルを送信対象として動画ファイル群ＦＩＡから取り出す。なおプロセッサ１１は、送信対象とする上記の動画ファイルに対して、その前後のタイミングに関する予め定められた別の動画ファイルも送信対象として取り出しても構わない。つまり例えば、動画ファイルに含まれる時間情報が表す開始日時及び終了日時が、要求に際して通知された対応日時よりも前及び後である動画ファイルと、当該動画ファイルの直前及び直後のタイミングのそれぞれに関する１つずつの動画ファイルとを、いずれも送信対象として取り出しても構わない。またプロセッサ１１は、窓口端末２に関連付けられた窓口コードがフィールドＦＡＡにセットされている対応管理データＤＡＡに含まれる対応データのうちから、要求に際して通知された対応日時がフィールドＦＢＢにセットされている対応データを探し出す。そしてプロセッサ１１は、該当の対応データのフィールドＦＢＣにセットされている編集ファイルパスで特定される編集テキストファイルを送信対象としてテキストファイル群ＦＩＢから取り出す。プロセッサ１１は、このように送信対象として取り出した動画ファイル及び編集テキストファイルを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。プロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
【0078】
図１６は再生画面の一例を表す図である。
図１６に表す再生画面は、図１５に表す状態の検索画面におけるボタンＢＵＥがタップされたことに応じて表示される画面の一例である。
再生画面は、エリアＡＲＩ，ＡＲＪ及びボタンＢＵＦ，ＢＵＧを含む。なお再生画面は、図１５に表す検索画面におけるエリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨ及びボタンＢＵＤと同等の表示オブジェクトを含むが、これらの表示オブジェクトは例えばグレーアウト表示などとした上で、操作の対象とはしない。
図１６に表す再生画面は、図１５に表す状態の検索画面におけるボタンＢＵＥがタップされたことに応じて表示される画面の一例である。
再生画面は、エリアＡＲＩ，ＡＲＪ及びボタンＢＵＦ，ＢＵＧを含む。なお再生画面は、図１５に表す検索画面におけるエリアＡＲＣ，ＡＲＤ，ＡＲＥ，ＡＲＦ，ＡＲＧ，ＡＲＨ及びボタンＢＵＤと同等の表示オブジェクトを含むが、これらの表示オブジェクトは例えばグレーアウト表示などとした上で、操作の対象とはしない。
【0079】
エリアＡＲＩは、再生中の動画をハッチングで表すエリア内に表示するとともに、動画再生をコントロールするための複数のＧＵＩオブジェクトを表す。エリアＡＲＪは、編集テキストファイルが表すテキストを表す。ボタンＢＵＦは、操作者が編集ウィンドウの表示を指示するためのソフトキーである。ボタンＢＵＧは、操作者が検索画面の表示を指示するためのソフトキーである。
【0080】
かくしてプロセッサ２１は、再生画面を表示させることにより、動画データである動画ファイルが表す動画を表示させている。かくして、動画検索プログラムＰＲＣに基づく情報処理をプロセッサ２１が実行することによって、プロセッサ２１を中枢部分とするコンピュータは、動画表示手段として機能する。またプロセッサ２１は、再生画面を表示させることにより、表示させている動画の撮影タイミングにおいて集音された音声を表したテキストを表示させている。かくして、動画検索プログラムＰＲＣに基づく情報処理をプロセッサ２１が実行することによって、プロセッサ２１を中枢部分とするコンピュータは、テキスト表示手段として機能する。
確認作業者は、サウンドデバイスから出力される音声と、エリアＡＲＪに表されたテキストとに基づいて、患者対応における店員及び患者の発話内容を確認することができる。
確認作業者は、サウンドデバイスから出力される音声と、エリアＡＲＪに表されたテキストとに基づいて、患者対応における店員及び患者の発話内容を確認することができる。
【0081】
ただし、エリアＡＲＪに表されるテキストは、音声認識の誤りにより実際の発話内容と異なる恐れがある。確認作業者は、そのような誤りに気づき、その誤りを訂正すべきであると考えたならば、例えばボタンＢＵＦをタップする等の予め定められた操作により編集ウィンドウの表示を指示する。なお確認作業者は、検索画面を改めて確認したいならば、例えばボタンＢＵＧをタップするなどの予め定められた操作により検索画面の表示を指示する。
【0082】
プロセッサ２１は、図１２中のＡＣＴ６１として再生処理を開始したのちには、当該再生処理を継続しつつ、ＡＣＴ６２及びＡＣＴ６３の待ち受け状態となる。このＡＣＴ６２及びＡＣＴ６３の待ち受け状態にてプロセッサ２１は、編集ウィンドウ又は検索画面の表示指示を待ち受ける。そしてプロセッサ２１は、上述のように検索画面の表示が指示されたならば、ＡＣＴ６３にてＹＥＳと判定し、ＡＣＴ６４へと進む。
ＡＣＴ６４としてプロセッサ２１は、ＡＣＴ６１にて再生画面の表示前に表示させていた検索画面を再度タッチパネルに表示させる。そしてプロセッサ２１はこののち、ＡＣＴ５７～ＡＣＴ５９の待ち受け状態に戻る。
ＡＣＴ６４としてプロセッサ２１は、ＡＣＴ６１にて再生画面の表示前に表示させていた検索画面を再度タッチパネルに表示させる。そしてプロセッサ２１はこののち、ＡＣＴ５７～ＡＣＴ５９の待ち受け状態に戻る。
【0083】
プロセッサ２１は、上述のように編集ウィンドウの表示が指示されたならば、ＡＣＴ６２にてＹＥＳと判定し、図１３中のＡＣＴ７１へと進む。
ＡＣＴ７１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに編集ウィンドウをポップアップ表示させる。編集ウィンドウは、編集テキストファイルが表すテキストを編集するためのＧＵＩ画面である。
ＡＣＴ７１としてプロセッサ２１は、入出力ユニット２４に備えられたタッチパネルに編集ウィンドウをポップアップ表示させる。編集ウィンドウは、編集テキストファイルが表すテキストを編集するためのＧＵＩ画面である。
【0084】
図１７は編集ウィンドウＷＩＡをポップアップ表示している画面の一例を表す図である。
編集ウィンドウＷＩＡは、エリアＡＲＫ及びボタンＢＵＨ，ＢＵＩ，ＢＵＪ，ＢＵＫ，ＢＵＬを含む。エリアＡＲＫは、編集ウィンドウの表示指示がなされたときに再生画面のエリアＡＲＪに表されていたテキストの全体を表す。ボタンＢＵＨは、操作者がテキスト編集の開始を指示するためのソフトキーである。ボタンＢＵＩは、操作者が編集済みのテキストの保存を指示するためのソフトキーである。ボタンＢＵＪは、操作者がテキスト編集の終了を指示するためのソフトキーである。ボタンＢＵＫは、エリアＡＲＫに編集済みのテキストが表示されているときに、操作者が編集前の原本のテキストの表示を指示するためのソフトキーである。ボタンＢＵＬは、エリアＡＲＫに表示されたテキストを表すテキストファイルを記録システム１００の外部へと送信することを操作者が指示するためのソフトキーである。
編集ウィンドウＷＩＡは、エリアＡＲＫ及びボタンＢＵＨ，ＢＵＩ，ＢＵＪ，ＢＵＫ，ＢＵＬを含む。エリアＡＲＫは、編集ウィンドウの表示指示がなされたときに再生画面のエリアＡＲＪに表されていたテキストの全体を表す。ボタンＢＵＨは、操作者がテキスト編集の開始を指示するためのソフトキーである。ボタンＢＵＩは、操作者が編集済みのテキストの保存を指示するためのソフトキーである。ボタンＢＵＪは、操作者がテキスト編集の終了を指示するためのソフトキーである。ボタンＢＵＫは、エリアＡＲＫに編集済みのテキストが表示されているときに、操作者が編集前の原本のテキストの表示を指示するためのソフトキーである。ボタンＢＵＬは、エリアＡＲＫに表示されたテキストを表すテキストファイルを記録システム１００の外部へと送信することを操作者が指示するためのソフトキーである。
【0085】
プロセッサ２１は、図１３のＡＣＴ７１として編集ウィンドウを表示させたのちには、ＡＣＴ７２，ＡＣＴ７３，ＡＣＴ７４及びＡＣＴ７５の待ち受け状態となる。このＡＣＴ７２～ＡＣＴ７５の待ち受け状態にてプロセッサ２１は、終了指示、原本表示指示、送信指示及び編集開始指示のいずれかがなされるのを待ち受ける。
【0086】
確認作業者は、エリアＡＲＫに表されたテキストを確認し、編集する必要が無いと判断したならば、例えばボタンＢＵＪにタップするなどの予め定められた操作により終了を指示する。これに応じてプロセッサ２１は、ＡＣＴ７２にてＹＥＳと判定し、ＡＣＴ７６へと進む。
ＡＣＴ７６としてプロセッサ２１は、編集ウィンドウＷＩＡを閉じる。そしてプロセッサ２１は、図１２中のＡＣＴ６２及びＡＣＴ６３の待ち受け状態に戻る。
ＡＣＴ７６としてプロセッサ２１は、編集ウィンドウＷＩＡを閉じる。そしてプロセッサ２１は、図１２中のＡＣＴ６２及びＡＣＴ６３の待ち受け状態に戻る。
【0087】
編集ウィンドウＷＩＡのエリアＡＲＫに表されたテキストは、過去に編集されている可能性がある。そのような編集がなされる前の原本を確認したいと考えるならば確認作業者は、例えばボタンＢＵＫをタップするなどの予め定められた操作により原本表示を指示する。これに応じてプロセッサ２１は、ＡＣＴ７３にてＹＥＳと判定し、ＡＣＴ７７へと進む。
【0088】
ＡＣＴ７７としてプロセッサ２１は、原本のテキストを表示するための原本表示処理を実行する。具体的にはプロセッサ２１は例えば、原本テキストファイルを記録再生装置１に対して要求し、これに応じて記録再生装置１から原本テキストファイルが送られてきたならば、その原本テキストファイルが表すテキストを表した新たなウィンドウを編集ウィンドウＷＩＮに重ねてポップアップ表示させる。プロセッサ２１はこののち、原本の表示終了の指示を待って上記のウィンドウを閉じた上で、ＡＣＴ７２～ＡＣＴ７５の待ち受け状態に戻る。
【0089】
なお、記録再生装置１にてプロセッサ１１は、上記の原本テキストファイルの要求を受けると、図５中のＡＣＴ１６にてＹＥＳと判定し、ＡＣＴ２４へと進む。
ＡＣＴ２４としてプロセッサ１１は、要求に合致する原本テキストファイルをテキストファイル群ＦＩＢから取得し、当該の原本テキストファイルを窓口端末２へと送信する。具体的にはプロセッサ１１は例えば、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤにセットされている原本ファイルパスで特定される原本テキストファイルをテキストファイル群ＦＩＢから取り出す。そしてプロセッサ１１は、当該の原本テキストファイルを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。なお、ＡＣＴ２３で送信した編集テキストファイルが、一度も編集されていない場合には、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤに原本ファイルパスがセットされていない。この場合には、ＡＣＴ２３で送信した編集テキストファイルが原本テキストファイルと同等であるから、プロセッサ２１はＡＣＴ２３で送信した編集テキストファイルを原本テキストファイルとして送信する。あるいはプロセッサ１１は、原本ファイルパスがセットされていない場合には、原本テキストファイルを送信するのに代えて、原本テキストファイルが存在しないことを通知するのでも構わない。プロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
ＡＣＴ２４としてプロセッサ１１は、要求に合致する原本テキストファイルをテキストファイル群ＦＩＢから取得し、当該の原本テキストファイルを窓口端末２へと送信する。具体的にはプロセッサ１１は例えば、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤにセットされている原本ファイルパスで特定される原本テキストファイルをテキストファイル群ＦＩＢから取り出す。そしてプロセッサ１１は、当該の原本テキストファイルを、窓口端末２に宛てて通信ユニット１４から通信ネットワーク２００へと送出する。なお、ＡＣＴ２３で送信した編集テキストファイルが、一度も編集されていない場合には、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤに原本ファイルパスがセットされていない。この場合には、ＡＣＴ２３で送信した編集テキストファイルが原本テキストファイルと同等であるから、プロセッサ２１はＡＣＴ２３で送信した編集テキストファイルを原本テキストファイルとして送信する。あるいはプロセッサ１１は、原本ファイルパスがセットされていない場合には、原本テキストファイルを送信するのに代えて、原本テキストファイルが存在しないことを通知するのでも構わない。プロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
【0090】
なお、上記のように原本テキストファイルが存在しないことがプロセッサ１１により通知された場合、窓口端末２にてプロセッサ２１は図１３中のＡＣＴ７７では、エリアＡＲＫに既に表されているテキストが原本であることを確認作業者に認識させるための表示などを入出力ユニット２４に行わせる。
【0091】
確認作業者は、エリアＡＲＫに表示されたテキストを表すテキストファイルを記録システム１００の外部へと送信することを決定したならば、例えば編集ウィンドウにおけるボタンＢＵＬをタップするなどの予め定められた操作によって送信を指示する。プロセッサ２１は、この指示を受けると、図１３中のＡＣＴ７４にてＹＥＳと判定し、ＡＣＴ７８へと進む。
【0092】
ＡＣＴ７８としてプロセッサ２１は、エリアＡＲＫに表示されたテキストを表すテキストファイルを予め定められた送信先へと送信する。なおプロセッサ２１は、送信先の指定を受け付けた上で、この指定された送信先へとテキストファイルを送信するのでも構わない。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
【0093】
確認作業者は、エリアＡＲＫに表されたテキストを確認し、編集することを決定したならば、編集ウィンドウＷＩＡ中のボタンＢＵＨをタップするなどの予め定められた操作によって編集開始を指示する。プロセッサ２１は、この指示を受けると、ＡＣＴ７５にてＹＥＳと判定し、図１４中のＡＣＴ８１へと進む。
【0094】
ＡＣＴ８１としてプロセッサ２１は、エリアＡＲＫに表されたテキストを表すテキストファイルをコピーして作業用ファイルを生成する。そしてこの後にプロセッサ２１は、ＡＣＴ８２，ＡＣＴ８３，ＡＣＴ８４，ＡＣＴ８５及びＡＣＴ８６の待ち受け状態となる。このＡＣＴ８２～ＡＣＴ８６の待ち受け状態にてプロセッサ２１は、終了指示、原本表示指示、送信指示、編集操作、あるいは保存指示のいずれかがなされるのを待ち受ける。
【0095】
プロセッサ２１は、原本表示指示がなされたならばＡＣＴ８３にてＹＥＳと判定してＡＣＴ８７へと進み、図１３中のＡＣＴ７７と同様に原本表示処理を実行する。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
プロセッサ２１は、送信指示がなされたならば、ＡＣＴ８４にてＹＥＳと判定してＡＣＴ８８へと進み、図１３中のＡＣＴ７８と同様にしてテキストファイルを送信する。ただしここではプロセッサ２１は、作業用ファイルを送信するテキストファイルとする。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
プロセッサ２１は、送信指示がなされたならば、ＡＣＴ８４にてＹＥＳと判定してＡＣＴ８８へと進み、図１３中のＡＣＴ７８と同様にしてテキストファイルを送信する。ただしここではプロセッサ２１は、作業用ファイルを送信するテキストファイルとする。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
【0096】
確認作業者は、エリアＡＲＫに表されたテキストを編集するならば、そのための予め定められた操作を行う。この操作は例えば、既存の様々な情報処理装置でテキスト編集のために行われている操作と同様であってよい。例えば確認作業者は、「あ お薬手帳」が誤って「青薬手帳」と表されていることに気づいたならば、「青」を「あ お」に置き換えるための操作を行う。プロセッサ２１は、このような編集操作がなされたことに応じて、ＡＣＴ８５にてＹＥＳと判定し、ＡＣＴ８９へと進む。このときプロセッサ２１は、編集操作として、テキストの内容の変更指示を入力していることになる。つまり動画検索プログラムＰＲＣに基づく情報処理をプロセッサ２１が実行することによって、プロセッサ２１を中枢部分とするコンピュータは入力手段として機能する。
【0097】
ＡＣＴ８９としてプロセッサ２１は、操作に応じて作業用ファイルを更新する。
ＡＣＴ９０としてプロセッサ２１は、更新後の作業用ファイルが表すテキストをエリアＡＲＫに表すように編集ウィンドウＷＩＡを更新する。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
ＡＣＴ９０としてプロセッサ２１は、更新後の作業用ファイルが表すテキストをエリアＡＲＫに表すように編集ウィンドウＷＩＡを更新する。そしてプロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
【0098】
確認作業者は、編集を終えて、その編集結果を保存することを決定したならば、例えば編集ウィンドウＷＩＡにてボタンＢＵＩにタップするなどの予め定められた操作によって保存を指示する。プロセッサ２１はこの保存指示がなされるとＡＣＴ８６にてＹＥＳと判定し、ＡＣＴ９１へと進む。
ＡＣＴ９１としてプロセッサ２１は、作業用ファイルの通知を伴って、編集テキストファイルの更新を記録再生装置１に対して要求する。プロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
ＡＣＴ９１としてプロセッサ２１は、作業用ファイルの通知を伴って、編集テキストファイルの更新を記録再生装置１に対して要求する。プロセッサ２１はこののち、ＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻る。
【0099】
記録再生装置１にてプロセッサ１１は、上記の更新要求を受けると、図５中のＡＣＴ１７にてＹＥＳと判定し、ＡＣＴ２５へと進む。
ＡＣＴ２５としてプロセッサ１１は、更新すべき編集テキストデータに対応する原本テキストファイルが既に保存されているか否かを確認する。プロセッサ１１は例えば、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤに原本ファイルパスがセットされているか否かを確認する。そしてプロセッサ１１は、該当の原本ファイルパスがセットされていないならば、原本テキストファイルが保存されていないとしてＮＯと判定し、ＡＣＴ２６へと進む。
ＡＣＴ２５としてプロセッサ１１は、更新すべき編集テキストデータに対応する原本テキストファイルが既に保存されているか否かを確認する。プロセッサ１１は例えば、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤに原本ファイルパスがセットされているか否かを確認する。そしてプロセッサ１１は、該当の原本ファイルパスがセットされていないならば、原本テキストファイルが保存されていないとしてＮＯと判定し、ＡＣＴ２６へと進む。
【0100】
ＡＣＴ２６としてプロセッサ１１は、ＡＣＴ２３で送信した編集テキストファイルをテキストファイル群ＦＩＢ内でコピー保存し、これを原本テキストファイルとする。さらにプロセッサ１１は、当該の原本テキストファイルのファイルパスを、ＡＣＴ２３で見つけた対応データのフィールドＦＢＤに原本ファイルパスとしてセットする。
【0101】
プロセッサ１１は、ＡＣＴ２６を終えるとＡＣＴ２７へと進む。またプロセッサ１１は、ＡＣＴ２５にて該当の原本ファイルパスがセットされていることを確認できたならば、原本テキストファイルが保存されているとしてＹＥＳと判定し、ＡＣＴ２６をパスしてＡＣＴ２７へと進む。
【0102】
ＡＣＴ２７としてプロセッサ１１は、ＡＣＴ２３で見つけた対応データのフィールドＦＢＣにセットされている編集ファイルパスにより特定される編集テキストファイルに、通知された作業用ファイルを上書き保存することにより、編集テキストファイルを書き換える。そしてプロセッサ１１はこののち、ＡＣＴ１２～ＡＣＴ１７の待ち受け状態に戻る。
かくして記録再生プログラムＰＲＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは更新手段として機能する。
かくして記録再生プログラムＰＲＡに基づく情報処理をプロセッサ１１が実行することによって、プロセッサ１１を中枢部分とするコンピュータは更新手段として機能する。
【0103】
確認作業者は、編集を終了するならば、例えば編集ウィンドウＷＩＡに表されたボタンＢＵＪにタップするなどの予め定められた操作により終了を指示する。これに応じてプロセッサ２１は、図１４中のＡＣＴ８２にてＹＥＳと判定し、ＡＣＴ９２へと進む。
ＡＣＴ９２としてプロセッサ２１は、編集ウィンドウＷＩＡを閉じる。そしてプロセッサ２１は、図１２中のＡＣＴ６２及びＡＣＴ６３の待ち受け状態に戻る。なお、このときに作業用ファイルの更新が行われているにも関わらず、その保存がなされていない場合には、これまでに確認作業者により行われた編集が破棄されることになる。そこで、保存していない編集が無効となる旨を確認作業者に報知するようにしても構わない。そしてさらに、終了するか否かを確認作業者に指定させて、終了しないことが指定された場合には図１４中のＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻るようにしても構わない。
ＡＣＴ９２としてプロセッサ２１は、編集ウィンドウＷＩＡを閉じる。そしてプロセッサ２１は、図１２中のＡＣＴ６２及びＡＣＴ６３の待ち受け状態に戻る。なお、このときに作業用ファイルの更新が行われているにも関わらず、その保存がなされていない場合には、これまでに確認作業者により行われた編集が破棄されることになる。そこで、保存していない編集が無効となる旨を確認作業者に報知するようにしても構わない。そしてさらに、終了するか否かを確認作業者に指定させて、終了しないことが指定された場合には図１４中のＡＣＴ８２～ＡＣＴ８６の待ち受け状態に戻るようにしても構わない。
【0104】
以上のように記録システム１００は、患者対応の様子を撮影した動画と、その患者対応に関わる発生を音声認識したテキストとを、時間的に同期させつつ表示する。かくして、会話を伴ってなされる複数の人間どうしの対面によるやり取りについての事後の確認作業を容易とすることができる。
【0105】
また記録システム１００は、患者対応の実施状況を記録しておき、過去の患者対応の１つが指定されると、その患者対応に関する動画及びテキストを表示する。このため、確認する必要のある患者対応に関する発話内容を、動画と併せて容易に確認できる。
【0106】
また記録システム１００は、確認作業者による指示に応じてテキストを更新する。このため、音声認識に誤りが生じていても、それに伴うテキストの不備を確認作業者が容易に修正できる。
【0107】
この実施形態は、次のような種々の変形実施が可能である。
再生画面の生成を記録再生装置１にてプロセッサ１１が行っても構わない。この場合は、動画表示手段及びテキスト表示手段としての機能は、プロセッサ１１を中枢とするコンピュータにより実現されることになる。
再生画面の生成を記録再生装置１にてプロセッサ１１が行っても構わない。この場合は、動画表示手段及びテキスト表示手段としての機能は、プロセッサ１１を中枢とするコンピュータにより実現されることになる。
【0108】
動画ファイル群ＦＩＡ及びテキストファイル群ＦＩＢを、窓口端末２にて補助記憶ユニット２３に記憶させるようにし、記録再生処理を窓口端末２にてプロセッサ２１が行っても構わない。この場合は、動画取得手段及びテキスト取得手段としての機能は、プロセッサ２１を中枢とするコンピュータにより実現されることになる。またこの場合、編集結果を反映するためのテキストファイルの更新はプロセッサ２１により行われるべきである。そしてそのようにテイストファイルの更新が実行される場合には、更新手段としての機能は、プロセッサ２１を中枢とするコンピュータにより実現されることになる。
【0109】
検索処理及び音声認識処理の少なくとも一方は、窓口端末２とは別の情報処理装置で実行されても構わない。つまり、窓口端末２とは別の情報処理装置により検索処理が実行されても構わない。また、窓口端末２とは別の情報処理装置により音声認識処理が実行されても構わない。そしてこの場合において、検索処理を実行する情報処理装置と、音声認識処理とは、同一であっても、あるいは別々であっても構わない。
【0110】
プロセッサ１１は、ＡＣＴ２０においては、原本テキストファイルのみをテキストファイル群ＦＩＢに追加するのでもよい。そしてプロセッサ１１は、編集処理がなされた場合にその編集を反映した編集テキストファイルを生成して、テキストファイル群ＦＩＢに追加するのでも構わない。
【0111】
情報処理によりプロセッサ１１、２１が実現する各機能は、その一部又は全てをロジック回路などのようなプログラムに基づかない情報処理を実行するハードウェアにより実現することも可能である。また上記の各機能のそれぞれは、上記のロジック回路などのハードウェアにソフトウェア制御を組み合わせて実現することも可能である。
【0112】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0113】
１…記録再生装置、２…窓口端末、３…カメラユニット、４…スキャナユニット、５…マイクユニット、１１，２１…プロセッサ、１２，２２…メイン記憶ユニット、１３，２３…補助記憶ユニット、１４，２６…通信ユニット、１５，２７…伝送路、２４…入出力ユニット、２５…インタフェースユニット、１００…記録システム、２００…通信ネットワーク。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
