特表-18138826IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
再表2018-138826情報記録システム、情報記録装置、および情報記録方法
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2018年8月2日
【発行日】2019年11月14日
(54)【発明の名称】情報記録システム、情報記録装置、および情報記録方法
(51)【国際特許分類】
   G06F 16/335 20190101AFI20191018BHJP
   G06F 16/338 20190101ALI20191018BHJP
【FI】
   G06F16/335
   G06F16/338
【審査請求】未請求
【予備審査請求】未請求
【全頁数】52
【出願番号】特願2018-564010(P2018-564010)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年1月26日
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(74)【代理人】
【識別番号】100207789
【弁理士】
【氏名又は名称】石田 良平
(72)【発明者】
【氏名】龍田 成示
(57)【要約】
情報記録システムにおいて、音声処理部は、音声情報からテキスト情報への変換の過程において変換候補単語を生成する。記録部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。検索部は、キーワードに基づく検索を行い、かつ前記テキスト情報中の単語および前記変換候補単語のうちキーワードと一致する単語を抽出する。読み出し部は、前記キーワードと一致する前記単語を含む前記テキスト情報を前記記録媒体から読み出す。表示部は、前記テキスト情報を、前記キーワードと一致する前記単語に対応する部分とそれ以外の部分とが区別できるように表示する。
【特許請求の範囲】
【請求項1】
ユーザが発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理部と、
前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する第1の部分を含む前記テキスト情報を前記記録媒体から読み出す読み出し部と、
前記読み出し部によって読み出された前記テキスト情報を、前記第1の部分と、前記第1の部分以外の第2の部分とが区別できるように表示する表示部と、
を有する情報記録システム。
【請求項2】
対象物に関する対象物情報を取得する対象物情報取得部と、
前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得部と、
前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理部と、
前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出し部と、
前記読み出し部によって読み出された前記対象物情報を表示する表示部と、
を有する情報記録システム。
【請求項3】
前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記情報記録システムは、
前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つが所定の条件を満たす状態であるイベント検出部
をさらに有し、
前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示し、
前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索し、
前記表示部は、前記キーワードと一致する前記単語が検出された前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を他の前記対象物情報と区別して表示する
請求項2に記載の情報記録システム。
【請求項4】
前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示し、
前記情報記録システムは、
前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つに基づいてイベントを検出し、前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つが所定の条件を満たす状態であるイベント検出部
をさらに有し、
前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示し、
前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索し、
前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示する
請求項2に記載の情報記録システム。
【請求項5】
前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出する
請求項3または請求項4に記載の情報記録システム。
【請求項6】
前記音声情報は、時系列の音声信号であり、
前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出する
請求項3または請求項4に記載の情報記録システム。
【請求項7】
前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出する
請求項3または請求項4に記載の情報記録システム。
【請求項8】
前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出し、
前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示し、
前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示する
請求項2に記載の情報記録システム。
【請求項9】
前記記録部は、前記対象物情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録し、前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、
前記読み出し部は、前記音声情報を前記記録媒体から読み出し、
前記音声処理部は、前記読み出し部によって読み出された前記音声情報を前記テキスト情報に変換し、かつ前記変換候補単語を生成し、
前記記録部は、前記記録媒体に記録された前記対象物情報および前記時刻情報に前記テキスト情報および前記変換候補単語を関連付け、かつ前記テキスト情報および前記変換候補単語を前記記録媒体に記録し、前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示す
請求項2に記載の情報記録システム。
【請求項10】
ユーザが発した音声に基づく音声情報が入力される入力部と、
前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理部と、
前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す読み出し部と、
を有する情報記録装置。
【請求項11】
対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力される入力部と、
前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理部と、
前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録部と、
キーワードを受け付けるキーワード受付部と、
前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索部と、
前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出し部と、
を有する情報記録装置。
【請求項12】
音声取得部が、ユーザが発した音声に基づく音声情報を取得する音声取得ステップと、
音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理ステップと、
記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する第1の部分を含む前記テキスト情報を前記記録媒体から読み出す読み出しステップと、
表示部が、前記読み出し部によって読み出された前記テキスト情報を、前記第1の部分と、前記第1の部分以外の第2の部分とが区別できるように表示する表示ステップと、
を有する情報記録方法。
【請求項13】
対象物情報取得部が、対象物に関する対象物情報を取得する対象物情報取得ステップと、
音声取得部が、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する音声取得ステップと、
音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理ステップと、
記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出しステップと、
表示部が、前記読み出し部によって読み出された前記対象物情報を表示する表示ステップと、
を有する情報記録方法。
【請求項14】
ユーザが発した音声に基づく音声情報が入力部に入力される入力ステップと、
音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理ステップと、
記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す読み出しステップと、
を有する情報記録方法。
【請求項15】
対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力部に入力される入力ステップと、
音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する音声処理ステップと、
記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録し、前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す記録ステップと、
キーワード受付部がキーワードを受け付けるキーワード受付ステップと、
検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する検索ステップと、
読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す読み出しステップと、
を有する情報記録方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報記録システム、情報記録装置、および情報記録方法に関する。
【背景技術】
【0002】
会議およびインタビューなどの場面において音声を記録し、かつ後でその音声を利用することがよく行われる。例えば、音声を再生し、かつその音声に基づくテキストを作成することにより、議事録および記事を作成することができる。音声認識技術の発達により、音声認識ソフトを使用して音声からテキストを生成することもできる。
【0003】
従来の観察機器は対象物の観察により得られた対象物の情報のみを記録する。データ利用の促進および不正防止のために、観察により得られた情報の記録だけでなく、観察現場の状況の記録が重要視されている。例えば、観察現場の状況の記録に関する例として、研究者のラボノート、医師の所見、および建設現場の配筋レポートなどの例がある。また、少子高齢化および技能者不足はあらゆる現場で課題となっている。技能継承および教育のためにも現場状況の記録の重要性はますます高くなってきている。対象物の情報に加えて、観察者の音声に基づくテキストを記録することにより、観察現場の状況をより詳細に記録することができる。また、テキストにおいて、観察現場の状況を表す単語を検索することにより、所望の状況における対象物の情報を効率的に抽出することができる。
【0004】
対象物の情報と音声とを関連付けて記録する技術が開示されている。例えば、特許文献1に開示された技術では、対象物の外観が撮像され、かつ撮像の際に操作者が発した音声が取得される。取得された対象物の画像と操作者の音声とが関連付けて記録される。特許文献2に開示された技術では、カメラから、画像とそれに対応付けられた音声とがサーバに送信される。サーバは、受信された音声をテキストに変換し、かつその結果に基づいて、画像に付加される情報を生成する。サーバは、受信された画像と、音声に基づいて生成された情報とを関連付けて保管する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】日本国特開2008−199079号公報
【特許文献2】日本国特開2008−085582号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
音声認識処理において、所定の確度以上で認識された複数の候補単語が抽出され、かつその候補単語のうち最も確からしい単語が選択される。単語の選択において、文脈などの要素が考慮される。選択された単語を含むテキストが生成される。しかし、音声認識処理において単語が誤認識される場合がある。このため、テキストに対して所望の単語で検索が行われた場合、その単語を検出できないことによる検索の漏れ(見逃し)が発生しうる。生成されたテキストにおいて所望の単語を漏れなく検索できるようにするためには、テキスト全体に対して、誤認識された単語を手作業により事前に修正する必要があった。
【0007】
本発明は、テキスト情報における単語の検索の漏れを低減することができる情報記録システム、情報記録装置、および情報記録方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の態様によれば、情報記録システムは、音声取得部、音声処理部、記録部、キーワード受付部、検索部、読み出し部、および表示部を有する。前記音声取得部は、ユーザが発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する第1の部分を含む前記テキスト情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記テキスト情報を、前記第1の部分と、前記第1の部分以外の第2の部分とが区別できるように表示する。
【0009】
本発明の第2の態様によれば、情報記録システムは、対象物情報取得部、音声取得部、音声処理部、記録部、キーワード受付部、検索部、読み出し部、および表示部を有する。前記対象物情報取得部は、対象物に関する対象物情報を取得する。前記音声取得部は、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理部は、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録部は、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示する。
【0010】
本発明の第3の態様によれば、第2の態様において、前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記情報記録システムは、イベント検出部をさらに有してもよい。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報を表示してもよい。前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索してもよい。前記表示部は、前記キーワードと一致する前記単語が検出された前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報を他の前記対象物情報と区別して表示してもよい。
【0011】
本発明の第4の態様によれば、第2の態様において、前記記録部は、前記対象物情報、前記音声情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記情報記録システムは、イベント検出部をさらに有してもよい。前記イベント検出部は、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つに基づいてイベントを検出する。前記イベントは、前記記録媒体に記録された前記対象物情報および前記音声情報の少なくとも1つが所定の条件を満たす状態である。前記読み出し部は、前記イベントが発生した時刻であるイベント発生時刻に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示してもよい。前記検索部は、前記イベント発生時刻に対応する前記時刻情報に関連付けられた前記テキスト情報および前記変換候補単語において、前記キーワード受付部によって受け付けられた前記キーワードを検索してもよい。前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示してもよい。
【0012】
本発明の第5の態様によれば、第3または第4の態様において、前記対象物情報が示す前記対象物の状態が、イベント検出条件として予め定義された状態である場合、前記イベント検出部は、前記イベントを検出してもよい。
【0013】
本発明の第6の態様によれば、第3または第4の態様において、前記音声情報は、時系列の音声信号であってもよい。前記音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、前記イベント検出部は、前記イベントを検出してもよい。
【0014】
本発明の第7の態様によれば、第3または第4の態様において、前記音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、前記イベント検出部は、前記イベントを検出してもよい。
【0015】
本発明の第8の態様によれば、第2の態様において、前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報および前記テキスト情報を前記記録媒体から読み出してもよい。前記表示部は、前記読み出し部によって読み出された前記対象物情報および前記テキスト情報を表示してもよい。前記表示部は、前記キーワードと一致する前記テキスト情報中の前記単語を他の単語と区別して表示し、かつ前記キーワードと一致する前記変換候補単語に関連付けられた前記テキスト情報中の前記単語を他の単語と区別して表示してもよい。
【0016】
本発明の第9の態様によれば、第2の態様において、前記記録部は、前記対象物情報、前記音声情報、および前記時刻情報を互いに関連付けて前記記録媒体に記録してもよい。前記時刻情報は、前記対象物情報および前記音声情報の各々が取得された時刻を示す。前記読み出し部は、前記音声情報を前記記録媒体から読み出してもよい。前記音声処理部は、前記読み出し部によって読み出された前記音声情報を前記テキスト情報に変換し、かつ前記変換候補単語を生成してもよい。前記記録部は、前記記録媒体に記録された前記対象物情報および前記時刻情報に前記テキスト情報および前記変換候補単語を関連付け、かつ前記テキスト情報および前記変換候補単語を前記記録媒体に記録してもよい。前記時刻情報は、前記テキスト情報の元になった前記音声情報が取得された時刻を示す。
【0017】
本発明の第10の態様によれば、情報記録装置は、入力部、音声処理部、記録部、キーワード受付部、検索部、および読み出し部を有する。対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが前記入力部に入力される。前記音声処理部は、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録部は、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。
【0018】
本発明の第11の態様によれば、情報記録装置は、入力部、音声処理部、記録部、キーワード受付部、検索部、および読み出し部を有する。ユーザが発した音声に基づく音声情報が前記入力部に入力される。前記音声処理部は、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記検索部は、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付部は、キーワードを受け付ける。前記検索部は、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出し部は、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す。
【0019】
本発明の第12の態様によれば、情報記録方法は、音声取得ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、読み出しステップ、および表示ステップを有する。前記音声取得ステップにおいて、音声取得部が、ユーザが発した音声に基づく音声情報を取得する。前記音声処理ステップにおいて、音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する第1の部分を含む前記テキスト情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記テキスト情報を、前記第1の部分と、前記第1の部分以外の第2の部分とが区別できるように表示する。
【0020】
本発明の第13の態様によれば、情報記録方法は、対象物情報取得ステップ、音声取得ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、読み出しステップ、および表示ステップを有する。前記対象物情報取得ステップにおいて、対象物情報取得部が、対象物に関する対象物情報を取得する。前記音声取得ステップにおいて、音声取得部が、前記対象物を観察する観察者が発した音声に基づく音声情報を取得する。前記音声処理ステップにおいて、音声処理部が、前記音声取得部によって取得された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。前記表示ステップにおいて、表示部が、前記読み出し部によって読み出された前記対象物情報を表示する。
【0021】
本発明の第14の態様によれば、情報記録方法は、入力ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、および読み出しステップを有する。前記入力ステップにおいて、対象物に関する対象物情報と、前記対象物を観察する観察者が発した音声に基づく音声情報とが入力部に入力される。前記音声処理ステップにおいて、音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記対象物情報、前記テキスト情報、前記変換候補単語、および時刻情報を互いに関連付けて記録媒体に記録する。前記時刻情報は、前記対象物情報が取得された時刻を示し、かつ前記テキスト情報の元になった前記音声情報が取得された時刻を示す。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する前記時刻情報に関連付けられた前記対象物情報を前記記録媒体から読み出す。
【0022】
本発明の第15の態様によれば、情報記録方法は、入力ステップ、音声処理ステップ、記録ステップ、キーワード受付ステップ、検索ステップ、および読み出しステップを有する。前記入力ステップにおいて、ユーザが発した音声に基づく音声情報が入力部に入力される。前記音声処理ステップにおいて、音声処理部が、前記入力部に入力された前記音声情報をテキスト情報に変換し、かつ前記音声情報から前記テキスト情報への変換の過程において前記音声に対応する少なくとも1つの変換候補単語を生成する。前記記録ステップにおいて、記録部が、前記テキスト情報および前記変換候補単語を互いに関連付けて記録媒体に記録する。前記キーワード受付ステップにおいて、キーワード受付部がキーワードを受け付ける。前記検索ステップにおいて、検索部が、前記キーワード受付部によって受け付けられた前記キーワードを前記テキスト情報および前記変換候補単語において検索し、かつ前記テキスト情報中の単語および前記変換候補単語のうち前記キーワードと一致する単語を抽出する。前記読み出しステップにおいて、読み出し部が、前記キーワードと一致する前記単語に対応する部分を含む前記テキスト情報を前記記録媒体から読み出す。
【発明の効果】
【0023】
上記の各態様によれば、情報記録システム、情報記録装置、および情報記録方法は、テキスト情報における単語の検索の漏れを低減することができる。
【図面の簡単な説明】
【0024】
図1】本発明の第1の実施形態の情報記録システムの構成を示すブロック図である。
図2】本発明の第1の実施形態の情報記録システムによる処理の手順を示すフローチャートである。
図3】本発明の第1の実施形態の顕微鏡システムの概略構成を示す図である。
図4】本発明の第1の実施形態の情報記録システムにおける検索部による検索の方法を示す参考図である。
図5】本発明の第1の実施形態の情報記録システムにおける表示部の画面を示す参考図である。
図6】本発明の第1の実施形態の情報記録システムにおけるイベント発生時刻とイベント期間との関係を示す参考図である。
図7】本発明の第1の実施形態の第1の変形例の情報記録システムの構成を示すブロック図である。
図8】本発明の第1の実施形態の第2の変形例の情報記録システムの構成を示すブロック図である。
図9】本発明の第1の実施形態の第3の変形例の情報記録システムの構成を示すブロック図である。
図10】本発明の第1の実施形態の第3の変形例の情報記録システムによる処理の手順を示すフローチャートである。
図11】本発明の第1の実施形態の第3の変形例の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
図12】本発明の第1の実施形態の第3の変形例の情報記録システムにおける対象物情報に基づくイベント検出を示す参考図である。
図13】本発明の第1の実施形態の第3の変形例の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
図14】本発明の第1の実施形態の第3の変形例の情報記録システムにおける音声情報に基づくイベント検出を示す参考図である。
図15】本発明の第1の実施形態の第3の変形例の情報記録システムにおける表示部の画面を示す参考図である。
図16】本発明の第2の実施形態の情報記録システムの構成を示すブロック図である。
図17】本発明の第2の実施形態の情報記録装置の構成を示すブロック図である。
図18】本発明の第2の実施形態の情報記録装置による処理の手順を示すフローチャートである。
図19】本発明の第3の実施形態の情報記録システムの構成を示すブロック図である。
図20】本発明の第3の実施形態の情報記録システムによる処理の手順を示すフローチャートである。
図21】本発明の第3の実施形態の情報記録システムにおける音声処理部による確定単語と変換候補単語の生成、および検索部による検索状況を示す参考図である。
図22】本発明の第3の実施形態の情報記録システムにおける表示部によって表示されるテキスト情報を示す参考図である。
図23】本発明の第4の実施形態の情報記録システムの構成を示すブロック図である。
図24】本発明の第4の実施形態の情報記録装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0025】
図面を参照し、本発明の実施形態を説明する。
【0026】
(第1の実施形態)
図1は、本発明の第1の実施形態の情報記録システム10の構成を示す。図1に示すように、情報記録システム10は、対象物情報取得部20、画像取得部30、音声取得部40、音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、読み出し部80、表示部90、および音声出力部100を有する。
【0027】
対象物情報取得部20は、対象物に関する対象物情報を取得する。対象物は、観察の対象となる物体である。観察は、物体の状態を把握する行為である。観察は、診断、診察、および検査などの行為を含んでもよい。観察のために取得される対象物情報は、必ずしも、物体の外部または内部の視覚的な情報すなわち画像情報でなくてもよい。例えば、対象物情報取得部20は、顕微鏡、内視鏡、熱線映像装置、X線装置、およびCT(Computed Tomography)装置などの画像機器に搭載されたカメラである。これらの画像機器は、対象物の画像情報を取得する。これらの画像機器は、センサから得られた信号に基づいて画像情報を生成するカメラを含んでもよい。これらの画像機器によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。対象物情報取得部20は、対象物の温度、加速度、圧力、電圧、および電流などの情報を取得するセンサであってもよい。対象物が生物である場合、対象物情報取得部20は、対象物のバイタル情報を取得するバイタルセンサであってもよい。例えば、バイタル情報は、体温、血圧、脈拍、心電、および血中酸素飽和度などの情報である。対象物情報取得部20は、対象物が発した音に基づく音声情報を取得するマイクであってもよい。例えば、音声情報は、打音検査における音、反響音、心音、および騒音などの情報である。対象物情報取得部20によって取得された対象物情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、対象物情報取得部20は、対象物情報が取得された時刻を示す時刻情報を対象物情報に付加し、かつ時刻情報が付加された対象物情報を出力する。対象物情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が対象物情報に付加される。例えば、対象物情報に関連付けられる時刻情報は、対象物情報の取得が開始された時刻と、サンプリングレートとを含む。
【0028】
画像取得部30は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する。画像取得部30によって取得される画像情報は、対象物情報が取得されるときの対象物と対象物の周辺との少なくとも1つの状態を示す。つまり、画像取得部30によって取得される画像情報は、観察状況を示す。画像取得部30は、カメラを含む画像機器である。画像取得部30は、対象物情報取得部20による対象物情報の取得と並行して、画像情報を取得する。画像取得部30によって取得される画像情報は、動画情報および静止画情報のどちらであってもよい。例えば、画像取得部30は、対象物と対象物の周辺との少なくとも1つを含む画像情報を取得する。例えば、対象物の周辺は、対象物情報取得部20が搭載された機器を含む。この場合、対象物と、対象物情報取得部20が搭載された機器との少なくとも1つを含む画像情報が取得される。対象物の周辺は、対象物を観察する観察者を含んでもよい。この場合、対象物および観察者の少なくとも1つを含む画像情報が取得される。画像取得部30は、対象物と対象物の周辺との少なくとも1つを撮影範囲に含むように配置される。
【0029】
画像取得部30によって取得される画像情報が対象物を含む場合、その画像情報は対象物の一部または全部を含む。画像取得部30によって取得される画像情報が、対象物情報取得部20が搭載された機器を含む場合、その画像情報はその機器の一部または全部を含む。画像取得部30によって取得される画像情報がユーザを含む場合、その画像情報はそのユーザの一部または全部を含む。対象物情報取得部20が画像機器であり、かつ対象物情報が対象物の画像である場合、画像取得部30の撮影視野は、対象物情報取得部20の撮影視野よりも広い。例えば、対象物情報取得部20は対象物の一部の画像情報を取得し、かつ画像取得部30は対象物の全体の画像情報を取得する。画像取得部30は、ユーザすなわち観察者が装着するウェアラブルカメラであってもよい。例えば、ウェアラブルカメラは、観察者の視点に応じた画像情報を取得できるように観察者の目の近傍に装着されるヘッドマウント型のカメラである。したがって、画像取得部30は、対象物とを観察する観察者の視点の位置または視点の近傍位置に配置されてもよい。画像取得部30によって取得された画像情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、画像取得部30は、画像情報が取得された時刻を示す時刻情報を画像情報に付加し、かつ時刻情報が付加された画像情報を出力する。画像情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が画像情報に付加される。例えば、画像情報に関連付けられる時刻情報は、画像情報の取得が開始された時刻と、サンプリングレートとを含む。
【0030】
音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。例えば、音声取得部40は、マイクである。音声取得部40は、観察者が装着するウェアラブルマイクであってもよい。ウェアラブルマイクは、観察者の口の近傍に装着される。音声取得部40は、観察者の音声のみを取得するために指向性を有するマイクであってもよい。この場合、音声取得部40は観察者の口の近傍に装着されなくてもよい。これにより、音声取得部40の配置の自由度が得られる。観察者の音声以外のノイズが排除されるため、テキスト情報の生成および検索における効率が向上する。音声取得部40は、対象物情報取得部20による対象物情報の取得と並行して、音声情報を取得する。音声取得部40によって取得された音声情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声取得部40は、音声情報が取得された時刻を示す時刻情報を音声情報に付加し、かつ時刻情報が付加された音声情報を出力する。音声情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が音声情報に付加される。例えば、音声情報に関連付けられる時刻情報は、音声情報の取得が開始された時刻と、サンプリングレートとを含む。
【0031】
音声処理部50は、音声取得部40によって取得された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも1つの変換候補単語を生成する。例えば、音声処理部50は、音声処理を行う音声処理回路を含む。音声処理部50は、音声認識部500およびテキスト生成部510を有する。音声認識部500は、音声取得部40によって取得された音声情報に基づいてユーザすなわち観察者の音声を認識する。テキスト生成部510は、音声認識部500によって認識された音声をテキスト情報に変換することにより、ユーザの音声に対応するテキスト情報を生成する。テキスト生成部510は、連続する音声を適切なブロックに分け、かつブロックごとにテキスト情報を生成してもよい。例えば、ブロックは、一文または一節を構成する。ブロックは、所定の条件を満たす部分で構成されてもよい。例えば、ブロックは、「あー」という発声部または無音部などで構成されてもよい。ブロックは、後述するイベントに対応していてもよい。また、テキスト生成部510は、音声情報からテキスト情報への変換の過程において音声に対応する少なくとも1つの変換候補単語を生成する。例えば、テキスト生成部510は、音声認識部500によって所定の確度以上で認識された候補単語を抽出する。テキスト生成部510は、候補単語のうち確度が最も高い単語を確定単語として選択する。テキスト生成部510は、確定単語を含むテキスト情報を生成する。また、テキスト生成部510は、候補単語のうち確定単語を除く単語を変換候補単語として生成する。変換候補単語の読み方は確定単語の読み方に類似する。生成された変換候補単語は、テキスト情報を構成する確定単語に関連付けられる。音声処理部50(テキスト生成部510)は、テキスト情報および変換候補単語を出力する。音声処理部50によって生成されたテキスト情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、音声処理部50(テキスト生成部510)は、テキスト情報が生成された時刻を示す時刻情報をテキスト情報に付加し、かつ時刻情報が付加されたテキスト情報を出力する。このとき、音声処理部50(テキスト生成部510)は、時刻情報を確定単語に付加する。あるいは、音声処理部50(テキスト生成部510)は、時刻情報を変換候補単語および確定単語に付加する。つまり、音声処理部50(テキスト生成部510)は、時刻情報を単語ごとにテキスト情報に付加する。時刻情報は、ブロックごと、あるいは後述するイベントごとにテキスト情報に付加されてもよい。テキスト情報が時系列情報である場合、複数の異なる時刻に対応する時刻情報がテキスト情報に付加される。テキスト情報の時刻は、そのテキスト情報に関連付けられた音声情報の開始時刻に対応する。
【0032】
対象物情報取得部20によって取得された対象物情報、画像取得部30によって取得された画像情報、音声取得部40によって取得された音声情報、音声処理部50によって生成されたテキスト情報、および音声処理部50によって生成された変換候補単語は、記録部60に入力される。記録部60は、対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。このとき、記録部60は、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語を、時刻情報に基づいて互いに関連付ける。例えば、記録部60は、情報の記録処理を行う記録処理回路を含む。対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の少なくとも1つは圧縮されてもよい。したがって、記録部60は、情報を圧縮するための圧縮処理回路を含んでもよい。記録部60は、記録処理および圧縮処理のためのバッファを含んでもよい。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。テキスト情報と関連付けられる時刻情報は、そのテキスト情報の元になった音声情報が取得された時刻を示す。例えば、対象物情報、画像情報、音声情報、およびテキスト情報の各々に対して時刻情報が付加される。対象物情報、画像情報、音声情報、およびテキスト情報は、時刻情報を介して互いに関連付けられる。テキスト情報を構成する確定単語および変換候補単語は、互いに関連付けられる。時刻情報が変換候補単語に付加されてもよい。この場合、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、時刻情報を介して互いに関連付けられる。
【0033】
対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、共通の対象物に関する情報として互いに関連付けられる。対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語は、互いに関連する複数の対象物に関する情報として互いに関連付けられてもよい。例えば、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の各々が1つのファイルで構成され、かつ記録部60は各ファイルを記録媒体70に記録する。この場合、対象物情報、画像情報、音声情報、テキスト情報、および変換候補単語の各ファイルを関連付ける情報が記録媒体70に記録される。
【0034】
記録媒体70は、不揮発性の記憶装置である。例えば、記録媒体70は、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、フラッシュメモリ、およびハードディスクドライブの少なくとも1つである。記録媒体70は、観察現場に配置されなくてもよい。例えば、情報記録システム10がネットワークインターフェースを有し、かつ情報記録システム10が、インターネットまたはLAN(Local Area Network)などのネットワークを介して記録媒体70と接続してもよい。情報記録システム10が無線通信インターフェースを有し、かつ情報記録システム10がWi−Fi(登録商標)またはBluetooth(登録商標)などの規格に従った無線通信により記録媒体70と接続してもよい。したがって、情報記録システム10が記録媒体70を直接的に含んでいなくてもよい。
【0035】
キーワード受付部55は、キーワードを受け付ける。例えば、キーワード受付部55は、操作部として構成されている。例えば、操作部は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも1つを含んで構成される。キーワード受付部55は、操作部と無線通信を行う通信部として構成されてもよい。ユーザは、キーワード受付部55を介して検索のためのキーワードを入力する。キーワードは、1つまたは複数の単語で構成されている。
【0036】
検索部65は、キーワード受付部55によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語(確定単語)および変換候補単語のうちキーワードと一致する単語を抽出する。例えば、検索部65は、情報処理を行う情報処理回路を含む。例えば、記録媒体70に記録されたテキスト情報および変換候補単語が読み出し部80によって読み出される。検索部65は、読み出し部80によって読み出されたテキスト情報および変換候補単語においてキーワードを検索する。検索の結果、確定単語および変換候補単語のいずれか1つがキーワードと一致しうる。あるいは、確定単語および変換候補単語のいずれもキーワードと一致しない。また、記録媒体70に記録された時刻情報が読み出し部80によって読み出される。確定単語がキーワードと一致した場合、検索部65は、その確定単語に関連付けられた時刻情報を特定する。これにより、検索部65は、キーワードに対応する音声が発せられた時刻である発声時刻を特定する。変換候補単語がキーワードと一致した場合、検索部65は、変換候補単語もしくはそれに対応する確定単語に関連付けられた時刻情報を特定する。ブロックごとに時刻情報がテキスト情報に関連付けられている場合、検索部65は、そのブロックに関連付けられた時刻情報を特定する。後述するイベントごとに時刻情報がテキスト情報に関連付けられている場合、検索部65は、そのイベントに関連付けられた時刻情報を特定する。記録部60は、検索部65によって特定された発声時刻を記録媒体70に記録してもよい。
【0037】
読み出し部80は、対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す。これによって、読み出し部80は、記録媒体70に記録された対象物情報、画像情報、音声情報、およびテキスト情報を再生する。例えば、読み出し部80は、情報の読み出し処理を行う読み出し処理回路を含む。記録媒体70に記録された対象物情報、画像情報、音声情報、およびテキスト情報の少なくとも1つは圧縮されてもよい。したがって、読み出し部80は、圧縮された情報を伸張するための伸張処理回路を含んでもよい。読み出し部80は、読み出し処理および伸張処理のためのバッファを含んでもよい。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す。例えば、読み出し部80は、検索部65によって特定された発声時刻に対応する同一の時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を読み出す。各情報に関連付けられた時刻情報が互いに同期していない場合、読み出し部80は、基準時刻に対する各時刻情報の差を考慮して各情報を読み出してもよい。
【0038】
表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。表示部90は、液晶ディスプレイなどの表示機器である。例えば、表示部90は、PC(Personal Computer)のモニタである。表示部90は、ユーザが装着するスマートグラスなどのウェアラブルディスプレイであってもよい。表示部90は、対象物情報取得部20が搭載された機器の表示部であってもよい。表示部90は、情報共有用の大型モニタであってもよい。表示部90は、タッチパネルディスプレイであってもよい。例えば、表示部90は、対象物情報、画像情報、およびテキスト情報を同時に表示する。このとき、表示部90は、対象物情報、画像情報、およびテキスト情報を、各情報が並べられた状態で表示する。同一のブロックもしくは後述するイベントなどに対応し、かつ互いに関連付けられた一連の対象物情報、画像情報、およびテキスト情報のうち選択された情報が表示部90に並べて表示されてもよい。また、表示部90に表示される情報をユーザが切り替えることができてもよい。例えば、センサまたはバイタルセンサによって取得された対象物情報は時系列のセンサ信号で構成される。例えば、表示部90は、センサ信号の波形をグラフで表示する。
【0039】
表示部90は、読み出し部80によって読み出された音声情報を文字情報または図表として視覚的に表示してもよい。この場合、表示部90は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて表示する。例えば、音声情報は時系列の音声信号で構成される。例えば、表示部90は、音声信号の振幅またはパワーの時間変化をグラフで表示する。
【0040】
音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。例えば、音声出力部100は、スピーカである。
【0041】
対象物情報取得部20によって取得された対象物情報が画像情報である場合、その対象物情報は、表示部90に出力されてもよい。表示部90は、対象物情報取得部20による対象物情報の取得と並行して、対象物情報を表示してもよい。画像取得部30によって取得された画像情報は、表示部90に出力されてもよい。表示部90は、対象物情報取得部20による対象物情報の取得と並行して、画像取得部30によって取得された画像情報を表示してもよい。これによって、ユーザは、対象物の状態および観察状況をリアルタイムに把握することができる。
【0042】
音声処理部50、記録部60、検索部65、および読み出し部80は、1つまたは複数のプロセッサで構成されてもよい。例えば、プロセッサは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、およびGPU(Graphics Processing Unit)の少なくとも1つである。音声処理部50、記録部60、検索部65、および読み出し部80は、特定用途向け集積回路(ASIC)またはFPGA(Field−Programmable Gate Array)で構成されてもよい。
【0043】
情報記録システム10において、画像情報の取得および記録は必須ではない。したがって、情報記録システム10は、画像取得部30を有していなくてもよい。この場合、記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。時刻情報は、対象物情報および音声情報の各々が取得された時刻を示し、かつテキスト情報の元になった音声情報が取得された時刻を示す。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。
【0044】
情報記録システム10は音声出力部100を有さず、かつ記録部60は音声情報を記録しなくてもよい。この場合、記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。時刻情報は、対象物情報および画像情報の各々が取得された時刻を示し、かつテキスト情報の元になった音声情報が取得された時刻を示す。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【0045】
図2は、情報記録システム10による処理の手順を示す。図2を参照し、情報記録システム10による処理の手順を説明する。
【0046】
対象物情報取得部20は、対象物に関する対象物情報を取得する(ステップS100(対象物情報取得ステップ))。ステップS100において取得された対象物情報は、記録部60内のバッファに蓄積される。対象物情報取得部20による対象物情報の取得と並行して、画像取得部30は、対象物情報がどのような状況で取得されているのかを示す画像情報を取得する(ステップS105(画像取得ステップ))。ステップS105において取得された画像情報は、記録部60内のバッファに蓄積される。対象物情報取得部20による対象物情報の取得と並行して、ステップS110における処理が行われる。ステップS110は、ステップS111(音声取得ステップ)およびステップS112(音声処理ステップ)を含む。ステップS111において音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。ステップS112において音声処理部50は、音声取得部40によって取得された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも1つの変換候補単語を生成する。ステップS110において、ステップS111およびステップS112における処理が繰り返される。ステップS111において取得された音声情報と、ステップS112において生成されたテキスト情報と、ステップS112において生成された変換候補単語とは、記録部60内のバッファに蓄積される。また、各情報が生成された時刻に対応する時刻情報が記録部60内のバッファに蓄積される。
【0047】
ステップS100、ステップS105、およびステップS110の各々における処理の開始タイミングは同一でなくてもよい。ステップS100、ステップS105、およびステップS110の各々における処理の終了タイミングは同一でなくてもよい。ステップS100、ステップS105、およびステップS110の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【0048】
対象物情報、画像情報、および音声情報の取得が終了した後、記録部60は、記録部60内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する(ステップS115(記録ステップ))。
【0049】
ステップS115の後、キーワード受付部55は、キーワードを受け付ける(ステップS120(キーワード受付ステップ))。
【0050】
ステップS120の後、検索部65は、キーワード受付部55によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する(ステップS125(検索ステップ))。
【0051】
ステップS125の後、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す(ステップS130(読み出しステップ))。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【0052】
ステップS130の後、表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する(ステップS135(表示ステップおよび音声出力ステップ))。
【0053】
情報記録システム10が画像取得部30を有していない場合、ステップS105における処理は行われない。また、ステップS115において記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS130において読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体70から読み出す。ステップS135において表示部90は、ステップS130において読み出し部80によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。また、ステップS135において音声出力部100は、ステップS130において読み出し部80によって読み出された音声情報に基づく音声を出力する。
【0054】
情報記録システム10が音声出力部100を有さず、かつ記録部60が音声情報を記録しない場合、ステップS115において記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS130において読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。ステップS135において表示部90は、ステップS130において読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【0055】
従来の観察現場では、ユーザが観察現場の状況を手書きで記録している。一方、現場ではユーザはさまざまな環境および状況で作業をしているため、現場での記録が困難であるケースがある。安全上もしくは衛生上の理由などによりユーザが手を使えないケースもある。これらのようなケースでは、ユーザが観察後にあいまいな記憶を頼りに現場状況を記録することにより、記録漏れまたは誤記録を招く可能性があった。
【0056】
上記のように、対象物情報が対象物情報取得部20によって取得され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が画像取得部30によって取得される。取得された対象物情報および画像情報は、記録部60によって記録媒体70に記録される。これによって、情報記録システム10は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【0057】
上記の方法では、対象物情報がどのような状況で取得されているのかを示す情報の記録にかかるユーザの負担は小さい。また、ユーザが手を使えないケースであっても必要な情報を記録することができ、記録漏れまたは誤記録が減る。したがって、情報記録システム10は、対象物情報がどのような状況で取得されているのかを示す記録を正確かつ効率的に残すことができる。
【0058】
上記の方法では、対象物情報が取得されたときのユーザコメントが音声として記録され、かつその音声に対応するテキストが対象物情報および画像情報と関連付けられて記録される。対象物情報、画像情報、および音声情報に対して、テキストによる“タグ”が付与されることにより、各情報が取得されたときの状況の理解を容易にすることができる。
【0059】
上記の方法では、音声情報からテキスト情報への変換の過程において生成された変換候補単語が記録部60によって記録媒体70に記録される。検索部65は、キーワード受付部55によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する。音声認識処理において誤認識された単語が検索によりテキスト情報から抽出できない場合でも、検索部65は、その誤認識された単語に対応する変換候補単語を抽出することができる。したがって、情報記録システム10は、テキスト情報における単語の検索の漏れ(見逃し)を低減することができる。その結果、情報記録システム10は、キーワード受付部55によって受け付けられたキーワードに対応する対象物情報、画像情報、音声情報、およびテキスト情報をユーザに提供することができる。
【0060】
以下では、情報記録システム10の具体的な例を説明する。図3は、情報記録システム10の例である顕微鏡システム11の概略構成を示す。図3に示すように、顕微鏡システム11は、顕微鏡200、カメラ31a、カメラ31b、カメラ31c、マイク41、サーバ201、およびPC202を有する。
【0061】
顕微鏡200は、対象物OB1を拡大して観察するための機器である。顕微鏡200に接続されたカメラ21が対象物情報取得部20を構成する。このカメラ21は、顕微鏡200により拡大された対象物OB1の画像情報を対象物情報として取得する。例えば、このカメラ21は、動画情報を取得する。
【0062】
カメラ31a、カメラ31b、およびカメラ31cは、画像取得部30を構成する。カメラ31a、カメラ31b、およびカメラ31cの各々の撮影視野は、顕微鏡200に接続されたカメラの撮影視野よりも広い。例えば、カメラ31a、カメラ31b、およびカメラ31cは、動画情報を取得する。
【0063】
カメラ31aは、顕微鏡200の対物レンズ先端の近傍に配置されている。カメラ31aは、顕微鏡200の対物レンズ先端の近傍を撮影することにより、対象物OB1および顕微鏡200の対物レンズ先端を含む画像情報を取得する。これにより、対象物OB1および顕微鏡200の対物レンズ先端の位置関係が画像情報として記録される。観察者であるユーザは、対象物OB1および顕微鏡200の対物レンズ先端に接近してそれらの状態を確認する必要はない。ユーザは、カメラ31aによって取得された画像情報を閲覧することにより、対象物OB1のどの部分が観察されているのか、および顕微鏡200の対物レンズ先端が対象物OB1にどれ位接近しているのかなどの状況を容易に把握することができる。
【0064】
カメラ31bは、観察が行われる室内に配置されている。カメラ31bは、対象物OB1と顕微鏡200との全体を撮影することにより、対象物OB1と顕微鏡200との全体を含む画像情報を取得する。これにより、観察現場の全体の状況が画像情報として記録される。ユーザは、カメラ31bによって取得された画像情報を閲覧することにより、ユーザが注目している部分とは異なる部分で発生する事象などの状況を容易に把握することができる。対象物OB1が生物である場合、対象物OB1の状態が、観察により得られる対象物情報に影響を与える可能性がある。例えば、対象物OB1の死および生に関する状態が対象物情報から判別しにくい場合であっても、ユーザは、カメラ31bによって取得された画像情報を閲覧することにより、対象物OB1の状態を容易に把握することができる。カメラ31bは、ユーザを含む画像情報を取得してもよい。
【0065】
カメラ31cは、ウェアラブルカメラとして構成されている。カメラ31cは、ユーザが頭部に装着できるアクセサリ203に装着されることにより、ウェアラブルカメラとして構成されている。ユーザがアクセサリ203を装着しているとき、カメラ31cは、ユーザの視点の近傍位置に配置される。カメラ31cは、対象物OB1および顕微鏡200を撮影することにより、対象物OB1および顕微鏡200を含む画像情報を取得する。あるいは、カメラ31cは、顕微鏡200を撮影することにより、対象物OB1を含まず、かつ顕微鏡200を含む画像情報を取得する。これにより、観察においてユーザが注目している部分に応じた観察状況が画像情報として記録される。これにより、顕微鏡システム11は、対象物OB1が顕微鏡ステージにセットアップされるまでの状況、顕微鏡200の調整手順、および顕微鏡200の調整状態などの観察の様子を記録することができる。ユーザおよび他の人などは、それを閲覧することにより、リアルタイムに、もしくは観察の終了後に観察時の状況を容易に把握することができる。
【0066】
マイク41は、音声取得部40を構成する。マイク41は、アクセサリ203に装着されることにより、ウェアラブルマイクとして構成されている。
【0067】
サーバ201は、音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、および読み出し部80を有する。カメラ21によって取得された対象物情報と、カメラ31a、カメラ31b、およびカメラ31cによって取得された画像情報と、マイク41によって取得された音声情報とがサーバ201に入力される。
【0068】
PC202は、サーバ201に接続されている。PC202の画面91は、表示部90を構成する。スマートグラスが表示部90を構成してもよい。スマートグラスは、対象物情報の取得と並行して、対象物情報である画像情報と、カメラ31a、カメラ31b、およびカメラ31cの各々によって取得された画像情報とを表示してもよい。ユーザは、スマートグラスを装着することにより、対象物OB1の状態および観察状況をリアルタイムに把握することができる。
【0069】
情報記録システム10は、多光子励起顕微鏡(Multiphoton excitation fluorescence microscope)を使用する顕微鏡システムに適用されてもよい。多光子励起顕微鏡は、暗室内で使用される。多光子励起顕微鏡に接続されたカメラが対象物情報取得部20を構成する。例えば、カメラ31a、カメラ31b、およびカメラ31cが赤外線カメラとして画像取得部30を構成する。赤外線カメラは、対象物と多光子励起顕微鏡との全体を撮影することにより、対象物と多光子励起顕微鏡との全体を含む画像情報を取得する。例えば、観察者であるユーザは、音声取得部40を構成するウェアラブルマイクを装着する。PCなどの機器は、音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、および読み出し部80を有する。多光子励起顕微鏡に接続されたカメラによって取得された対象物情報と、赤外線カメラによって取得された画像情報と、ウェアラブルマイクによって取得された音声情報とが機器に入力される。機器の画面は、表示部90を構成する。
【0070】
暗い環境では、ユーザが顕微鏡の状態および実験の状況を把握すること、および把握された状態および状況をユーザが手で紙に書くことが困難である。情報記録システム10が適用されたシステムでは、ユーザは、顕微鏡の状態および実験の状況を知るために、実験を中断して照明をつける必要はない。また、ユーザは、そのために顕微鏡を一旦停止させる必要および暗室内を覗く必要はない。また、ユーザは、顕微鏡の状態および実験の状況を手で紙に書く必要はない。
【0071】
情報記録システム10は、内視鏡システムに適用されてもよい。内視鏡は、人物すなわち患者の体内を観察するための機器である。ユーザすなわち医師は、内視鏡による検査と同時にコメントを発する。ユーザが発したコメントは、正確な検査記録の作成に使用することができる。この検査記録は、所見、学会発表用の資料、および経験が少ない医師向けの教育用コンテンツの作成などの目的で使用される。
【0072】
情報記録システム10は、救命救急現場における診察システムに適用されてもよい。診察システムにおいて、バイタルセンサが診察を受ける人物すなわち患者に装着される。バイタルセンサは、患者の体温、血圧、および脈拍などの生体情報を対象物情報として取得する。ユーザすなわち医師は、バイタルセンサによる対象情報の取得と同時にコメントを発する。ユーザが発したコメントは、患者に対する現場での所見を他の医師などの人物に正確かつ効率よく伝達するために使用することができる。
【0073】
情報記録システム10は、検査システムに適用されてもよい。検査システムにおいて、プローブは、航空機の機体などの工業製品の表面の欠陥に応じた電流などの信号を対象物情報として取得する。ユーザは、プローブによる対象物情報の取得と同時にコメントを発する。ユーザが発したコメントは、検査に関する作業報告書の作成に使用することができる。情報記録システム10は、工業用内視鏡を使用する検査システムに適用されてもよい。工業用内視鏡は、ボイラ、タービン、エンジン、および化学プラントなどの中空物体の内部における傷および腐食などの対象物の画像情報を取得する。
【0074】
情報記録システム10は、作業記録システムに適用されてもよい。作業記録システムにおいて、カメラは、回路基板などの対象物の画像情報を対象物情報として取得する。ユーザは、カメラによる対象情報の取得と同時にコメントを発する。ユーザが発したコメントは、正確な作業記録の作成に使用することができる。この作業記録は、対象物に対する作業に関する作業報告書および経験が少ない作業者向けの教育用コンテンツの作成などの目的で使用される。また、ユーザは、作業記録を作業履歴として保管することにより、問題が発生したときなどに、作業履歴に基づいて作業を容易にトレースすることができる。
【0075】
以下では、検索部65による検索の方法を説明する。図4は、検索部65による検索の方法を示す。図4に示す例では、「実験条件」というキーワードが指定されている。「実験条件」は、日本語で「jikken jyouken」と発せられる。図4に示す例では、音声認識処理において「実験条件」は正しく認識されず、「十件要件」と認識されている。「十件要件」は、日本語で「jyukken youken」と発せられる。「十件要件」がテキスト情報に含まれている。キーワードである「実験条件」はテキスト情報に含まれていない。このため、従来技術により「実験条件」で検索が行われた場合、これを誤認識した「十件要件」を含む部分はテキスト情報から抽出されない。すなわち検索漏れが生じる。
【0076】
キーワードである「実験条件」は、「実験」および「条件」という2つの単語に分割される。「実験」は、日本語で「jikken」と発せられる。「条件」は、日本語で「jyouken」と発せられる。音声認識処理の後の確定単語であるテキスト情報中の「十件」という単語に対して、「実験」、「事件」、および「受験」という3つの変換候補単語が関連付けられている。これらはいずれも、発音が似通っており、かつ誤認識しやすい単語の例である。「事件」は、日本語で「jiken」と発せられる。「受験」は、日本語で「jyuken」と発せられる。キーワードに含まれる「実験」と、変換候補単語における「実験」とが一致する。同様に、テキスト情報中の「要件」という単語に対して、発音が似ている「証券」、「条件」、および「実験」という3つの変換候補単語が関連付けられている。「証券」は、日本語で「syouken」と発せられる。キーワードに含まれる「条件」と、変換候補単語における「条件」とが一致する。キーワードである「実験条件」は、テキスト情報中の単語と一致しない。しかし、キーワードを構成する2つの単語は、変換候補単語と一致する。このため、検索部65は、変換候補単語に関連付けられた「十件要件」を該当部分としてテキスト情報から抽出する。
【0077】
上記の例では、日本語による検索方法を説明した。上記の方法は、日本語以外の言語における検索に対しても適用できる。
【0078】
以下では、表示部90による各情報の表示の具体例を説明する。図5は、表示部90の画面92を示す。
【0079】
キーワード入力欄300が画面92に表示される。例えば、ユーザは、操作部を操作することにより、キーワードをキーワード入力欄300に入力することができる。キーワードがキーワード入力欄300に入力された場合、キーワード受付部55は、キーワード入力欄300に入力されたキーワードを受け付ける。図5に示す例では、「実験条件」がキーワードとしてキーワード入力欄300に入力されている。
【0080】
検索部65は、キーワード受付部55によって受け付けられたキーワードに基づいて検索を行う。検索部65は、テキスト情報中の単語(確定単語)および変換候補単語のうちキーワードと一致する単語を抽出する。検索部65は、キーワードと一致する単語に対応する時刻情報を特定することにより、発声時刻を特定する。読み出し部80は、発声時刻に対応する同一の時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を関連付けて表示する。同一の対象物に関連付けられた対象物情報、画像情報、およびテキスト情報が画面92に表示される。この例では、図3に示す顕微鏡システム11による観察における各情報が表示される。
【0081】
図5において、対象物情報、画像情報、およびテキスト情報の2つの組が表示されている。テキスト情報は、一文および一節などの適切なブロックごとに表示される。ここではこのブロックに関連付けられる時刻情報に基づいて、対応する対象物情報、画像情報、およびテキスト情報が同一の組として表示されている。同一の組に対応する対象物情報、画像情報、およびテキスト情報は、横方向に並べられる。各組の対象物情報、画像情報、およびテキスト情報は、縦方向の同一の位置に並べられる。第1の組に対応する対象物情報、画像情報、およびテキスト情報は、画面92の領域301に表示される。第2の組に対応する対象物情報、画像情報、およびテキスト情報は、画面92の領域302に表示される。
【0082】
対象物情報は、顕微鏡200に接続されたカメラによって生成された画像である。対象物情報は、画面92の領域303に表示される。画像情報は、画面92の領域304、領域305、および領域306に表示される。顕微鏡の対物レンズ先端の近傍を撮影するカメラ31aによって生成された画像情報は領域304に表示される。対象物OB1と顕微鏡200との全体を撮影するカメラ31bによって生成された画像情報は領域305に表示される。ユーザに装着されたカメラ31cによって生成された画像情報は領域306に表示される。テキスト情報は、画面92の領域307に表示される。第1の組に対応するテキスト情報は、キーワードである「実験条件」を誤認識した「十件要件」を含む。第2の組に対応するテキスト情報は、キーワードである「実験条件」を正しく認識したテキストを含む。
【0083】
記録媒体70に記録された対象物情報が時系列に複数に分割されている場合、読み出し部80は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた対象物情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報を表示する。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。動画情報は、互いに異なる時刻に生成された複数フレームの画像情報を含む。この場合、読み出し部80は、イベント期間に生成された複数フレームの対象物の画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された複数フレームの対象物の画像情報を順次表示する。例えば、ユーザがアイコン401を操作した場合、表示部90は、イベント期間における対象物の動画を表示する。イベント期間については、後述する。
【0084】
記録媒体70に記録された対象物情報が時系列に複数に分割されている場合、読み出し部80は、発声時刻に対応する時刻情報に関連付けられた代表的な対象物情報を記録媒体70から読み出してもよい。表示部90は、読み出し部80によって読み出された代表的な対象物情報を表示してもよい。例えば、対象物情報は対象物の画像情報であり、かつ対象物の画像情報は動画情報である。この場合、読み出し部80は、発声時刻に最も近い時刻に生成された1フレームの対象物の画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された1フレームの対象物の画像情報を表示する。発声時刻に最も近い時刻に生成された1フレームのサムネールが表示されてもよい。
【0085】
記録媒体70に記録された画像情報が時系列に複数に分割されている場合、読み出し部80は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された画像情報を表示する。例えば、画像取得部30によって取得された画像情報は動画情報である。この場合、読み出し部80は、イベント期間に生成された複数フレームの画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された複数フレームの画像情報を順次表示する。例えば、ユーザがアイコン402、アイコン403、およびアイコン404のいずれか1つを操作した場合、表示部90は、イベント期間における観察状況を示す動画を表示する。
【0086】
記録媒体70に記録された画像情報が時系列に複数に分割されている場合、読み出し部80は、発声時刻に対応する時刻情報に関連付けられた代表的な画像情報を記録媒体70から読み出してもよい。表示部90は、読み出し部80によって読み出された代表的な画像情報を表示してもよい。例えば、画像取得部30によって取得された画像情報は動画情報である。読み出し部80は、発声時刻に最も近い時刻に生成された1フレームの画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された1フレームの画像情報を表示する。発声時刻に最も近い時刻に生成された1フレームのサムネールが表示されてもよい。
【0087】
読み出し部80は、発声時刻に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。例えば、読み出し部80は、発声時刻に対応するイベント期間内の時刻情報に関連付けられた音声情報を記録媒体70から読み出す。例えば、ユーザがアイコン405を操作した場合、音声出力部100は、イベント期間における音声を出力する。
【0088】
表示部90は、キーワードと一致するテキスト情報中の単語を他の単語と区別して表示し、かつキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を他の単語と区別して表示してもよい。つまり、表示部90は、キーワードと一致するテキスト情報中の単語を第1の表示形態で表示し、キーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を第2の表示形態で表示し、かつ他の単語を第1および第2の表示形態と異なる第3の表示形態で表示してもよい。第1の表示形態と第2の表示形態とは、同じでもよい。例えば、表示部90は、キーワードと一致するテキスト情報中の単語、およびキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語をそれぞれ他の単語よりも強調して表示する。例えば、表示部90は、上記の単語を他の単語とは異なる色で表示する。表示部90は、上記の単語を他の単語よりも太い文字で表示してもよい。表示部90は、上記の単語を他の単語よりも大きい文字で表示してもよい。特定の単語を他の単語と区別する方法は、上記の方法に限らない。テキスト情報においてキーワードに対応する単語が他の単語と区別されて表示されることにより、ユーザは検索結果を容易に確認することができる。
【0089】
同一の組に対応する対象物情報、画像情報、およびテキスト情報は、縦方向に並べられてもよい。この場合、各組の対象物情報、画像情報、およびテキスト情報は、横方向の同一の位置に並べられる。
【0090】
以下では、イベント期間について説明する。読み出し部80は、発声時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた対象物情報および画像情報を記録媒体70から読み出す。また、読み出し部80は、発声時刻に対応するイベント期間に含まれる時刻に対応する時刻情報に関連付けられた音声情報およびテキスト情報を記録媒体70から読み出す。
【0091】
図6は、イベント発生時刻とイベント期間との関係を示す。イベント発生時刻T20は、イベント開始時刻taからイベント終了時刻tbまでの時刻である。このイベントは、イベント開始時刻taからイベント終了時刻tbまで継続的に発生している。
【0092】
イベント期間T21は、イベント発生時刻T20と同一である。イベント期間T22、イベント期間T23、およびイベント期間T24は、イベント発生時刻T20よりも前の時刻を含む。イベント期間T22の終点はイベント終了時刻tbである。イベント期間T24の終点はイベント開始時刻taである。イベント期間T25、イベント期間T26、およびイベント期間T27は、イベント発生時刻T20よりも後の時刻を含む。イベント期間T25の始点はイベント開始時刻taである。イベント期間T27の始点はイベント終了時刻tbである。イベント期間T28は、イベント発生時刻の一部のみを含む。イベント期間T28は、イベント開始時刻taよりも後の時刻かつイベント終了時刻tbよりも前の時刻のみを含む。
【0093】
上記の説明において、イベント発生時刻よりも前の時刻およびイベント発生時刻よりも後の時刻の少なくとも1つは、予め設定された所定時刻であってもよい。あるいは、これらの少なくとも1つは、イベント期間に対応するイベント発生時刻を基準に、相対的に設定される時刻であってもよい。また、これらの少なくとも1つは、イベント期間に対応するイベントの前または後のイベントの発生時刻を基準に設定されてもよい。イベントは、ある程度の時間連続して検出され続けてもよい。あるいは、イベントは、短時間にトリガ的に検出されてもよい。この場合、イベント発生時刻は、イベント終了時刻とほぼ等しい。例えば、イベント期間は、音声信号の振幅が閾値を超えるイベントが検出される5秒前のタイミングから、対象物の画像において対象物の増加が停止するイベントが検出されるタイミングまでの期間であってもよい。
【0094】
イベント期間は、第1の時刻から第2の時刻までの期間よりも短い。第1の時刻は、対象物情報が関連付けられた時刻情報が示す最も早い時刻である。第2の時刻は、対象物情報が関連付けられた時刻情報が示す最も遅い時刻である。イベント検出部75によって1つのイベントのみが検出された場合、イベント期間は第1の時刻から第2の時刻までの期間と同一であってもよい。画像情報、音声情報、およびテキスト情報の各々に関するイベント期間は、対象物情報に関するイベント期間と同様である。
【0095】
発声時刻は、ユーザが注目するタイミングである。上記のように、発声時刻の前または後の所定期間に対応する情報が記録媒体70から読み出される。このため、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【0096】
(第1の実施形態の第1の変形例)
図7は、本発明の第1の実施形態の第1の変形例の情報記録システム10aの構成を示す。図7に示す構成について、図1に示す構成と異なる点を説明する。
【0097】
情報記録システム10aは、図1に示す情報記録システム10の構成に加えて状況情報取得部110を有する。状況情報取得部110は、対象物情報がどのような状況で取得されているのかを示し、かつ対象物の画像情報を除く情報である状況情報を取得する。例えば、状況情報は、時刻、場所、および対象物の周辺環境の少なくとも1つに関する情報である。例えば、対象物の周辺環境は、温度、湿度、気圧、および照度などの条件を示す。状況情報が時刻情報である場合、状況情報取得部110は、時刻情報を生成する機器から時刻情報を取得する。例えば、状況情報取得部110は、スマートフォンおよびPCなどの端末から時刻情報を取得する。状況情報が場所情報である場合、状況情報取得部110は、場所情報を生成する機器から場所情報を取得する。例えば、状況情報取得部110は、GPS(Global Positioning System)機能が搭載されたスマートフォンなどの端末から場所情報を取得する。状況情報が周辺環境情報である場合、状況情報取得部110は、周辺環境値を測定する機器から周辺環境情報を取得する。例えば、状況情報取得部110は、温度計、湿度計、気圧計、および照度計などのセンサから周辺環境情報を取得する。
【0098】
状況情報は、対象物情報取得部20を含む機器に関する機器情報であってもよい。機器情報は、機器の設定値であってもよい。例えば、多光子励起顕微鏡において、機器の設定値は、レンズ倍率、観察光量、レーザーパワー、およびステージ位置などの値である。状況情報取得部110によって取得された、時刻情報以外の状況情報に対して、時刻情報のような付加情報が付加されてもよい。例えば、状況情報取得部110は、状況情報が取得された時刻を示す時刻情報を状況情報に付加し、かつ時刻情報が付加された状況情報を出力する。状況情報が時系列情報である場合、複数の異なる時刻を特定できる時刻情報が状況情報に付加される。例えば、状況情報に関連付けられる時刻情報は、状況情報の取得が開始された時刻と、サンプリングレートとを含む。
【0099】
記録部60は、対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、状況情報、および時刻情報を互いに関連付けて記録媒体70に記録する。時刻情報は、対象物情報、画像情報、音声情報、テキスト情報、および状況情報の各々が取得された時刻を示す。対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および状況情報は、時刻情報を介して互いに関連付けられる。状況情報は圧縮されてもよい。
【0100】
読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、テキスト情報、および状況情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、テキスト情報、および状況情報を互いに関連付けて表示する。例えば、表示部90は、対象物情報、画像情報、テキスト情報、および状況情報を同時に表示する。このとき、表示部90は、対象物情報、画像情報、テキスト情報、および状況情報を、各情報が並べられた状態で表示する。対象物情報、画像情報、テキスト情報、および状況情報のうち選択された情報が表示部90に表示され、かつ表示部90に表示される情報をユーザが切り替えることができてもよい。
【0101】
上記以外の点について、図7に示す構成は、図1に示す構成と同様である。
【0102】
状況情報が記録されることにより、情報記録システム10aは、対象物情報がどのような状況で取得されているのかを示す情報として、視覚的な情報に加えて、それ以外の情報も記録することができる。これにより、情報記録システム10aは、観察状況をより正確に記録することができる。したがって、ユーザは、正確な手順の再現および検証をより確実に行うことができる。
【0103】
(第1の実施形態の第2の変形例)
図8は、本発明の第1の実施形態の第2の変形例の情報記録システム10bの構成を示す。図8に示す構成について、図1に示す構成と異なる点を説明する。
【0104】
記録部60は、対象物情報、画像情報、音声情報、および時刻情報を互いに関連付けて記録媒体70に記録する。時刻情報は、対象物情報、画像情報、および音声情報の各々が取得された時刻を示す。読み出し部80は、音声情報を記録媒体70から読み出す。音声処理部50は、読み出し部80によって読み出された音声情報をテキスト情報に変換し、かつ変換候補単語を生成する。記録部60は、記録媒体70に記録された対象物情報、画像情報、音声情報、および時刻情報にテキスト情報および変換候補単語を関連付け、かつテキスト情報および変換候補単語を記録媒体70に記録する。時刻情報は、テキスト情報の元になった音声情報が取得された時刻を示す。
【0105】
上記以外の点について、図8に示す構成は、図1に示す構成と同様である。
【0106】
情報記録システム10bにおいて、音声情報の全体が記録媒体70に記録された後、音声処理が音声処理部50によって行われる。一般的に、音声処理の負荷は高い。音声処理速度が音声情報の取得レートよりも遅い場合でも、情報記録システム10bはテキスト情報を記録することができる。
【0107】
(第1の実施形態の第3の変形例)
図9は、本発明の第1の実施形態の第3の変形例の情報記録システム10cの構成を示す。図9に示す構成について、図1に示す構成と異なる点を説明する。
【0108】
情報記録システム10cは、図1に示す情報記録システム10の構成に加えてイベント検出部75を有する。イベント検出部75は、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つに基づいてイベントを検出する。イベントは、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つが所定の条件を満たす状態である。例えば、イベント検出部75は、情報処理を行う情報処理回路を含む。イベント検出部75が画像情報を処理する場合、イベント検出部75は画像処理回路を含む。イベント検出部75が音声情報を処理する場合、イベント検出部75は音声処理回路を含む。例えば、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つが読み出し部80によって読み出される。イベント検出部75は、読み出し部80によって読み出された情報に基づいてイベントを検出する。また、記録媒体70に記録された時刻情報が読み出し部80によって読み出される。イベント検出部75は、読み出し部80によって読み出された時刻情報と、イベントが検出された情報との関連性に基づいて、イベントが発生した時刻であるイベント発生時刻を特定する。記録部60は、イベント検出部75によって特定されたイベント発生時刻を記録媒体70に記録してもよい。
【0109】
読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を表示する。検索部65は、イベント発生時刻に対応する時刻情報に関連付けられたテキスト情報および変換候補単語において、キーワード受付部55によって受け付けられたキーワードを検索する。表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する。つまり、表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を第1の表示形態で表示し、かつ他の対象物情報、画像情報、およびテキスト情報を第1の表示形態と異なる第2の表示形態で表示する。表示形態は、例えば、各情報を表示する枠の色および太さなどの変更による強調表示の程度により区別される。
【0110】
テキスト情報を構成する確定単語には時刻情報が付加されている。あるいは、確定単語および変換候補単語には時刻情報が付加されている。キーワードと一致する単語が検出されたイベント発生時刻は、その単語に付加されている時刻情報が示す時刻である。変換候補単語は、テキスト情報を構成する確定単語に関連付けられている。時刻情報が付加されていない変換候補単語がキーワードと一致する場合、その変換候補単語に関連付けられた確定単語に付加されている時刻情報は、その変換候補単語が検出されたイベント発生時刻を示す。
【0111】
時刻情報は、イベント検出部75によって検出されたイベントごとにテキスト情報に付加されてもよい。つまり、イベント発生時刻がテキスト情報に付加されてもよい。
【0112】
情報記録システム10cが画像取得部30を有していない場合、記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。イベント検出部75は、記録媒体70に記録された対象物情報および音声情報の少なくとも1つに基づいてイベントを検出する。読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【0113】
情報記録システム10cは音声出力部100を有さず、かつ記録部60は音声情報を記録しなくてもよい。この場合、記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。イベント検出部75は、記録媒体70に記録された対象物情報および画像情報の少なくとも1つに基づいてイベントを検出する。読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【0114】
上記以外の点について、図9に示す構成は、図1に示す構成と同様である。
【0115】
図10は、情報記録システム10cによる処理の手順を示す。図10に示す処理について、図2に示す処理と異なる点を説明する。
【0116】
ステップS115の後、イベント検出部75は、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つに基づいてイベントを検出する(ステップS140(イベント検出ステップ))。
【0117】
ステップS140の後、読み出し部80は、イベントが発生した時刻であるイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す(ステップS145(読み出しステップ))。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【0118】
ステップS145の後、表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する(ステップS150(表示ステップおよび音声出力ステップ))。ステップS150の後、ステップS120における処理が行われる。
【0119】
ステップS125の後、表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する(ステップS155(表示ステップ))。
【0120】
上記以外の点について、図10に示す処理は、図2に示す処理と同様である。
【0121】
情報記録システム10cが画像取得部30を有していない場合、ステップS105における処理は行われない。また、ステップS115において記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS140においてイベント検出部75は、記録媒体70に記録された対象物情報および音声情報の少なくとも1つに基づいてイベントを検出する。ステップS145において読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体70から読み出す。ステップS150において表示部90は、読み出し部80によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。また、ステップS150において音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。ステップS155において表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【0122】
情報記録システム10cが音声出力部100を有さず、かつ記録部60が音声情報を記録しない場合、ステップS115において記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS140においてイベント検出部75は、記録媒体70に記録された対象物情報および画像情報の少なくとも1つに基づいてイベントを検出する。ステップS145において読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体70から読み出す。ステップS150において表示部90は、読み出し部80によって読み出された対象物情報およびテキスト情報を互いに関連付けて表示する。ステップS155において表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を他の対象物情報およびテキスト情報と区別して表示する。
【0123】
上記のように、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つに基づいてイベントが検出される。イベントに対応する情報のうちキーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた情報が他の情報と区別されて表示される。これによって、情報記録システム10cは、ユーザによる情報の効率的な閲覧を支援することができる。
【0124】
上記の方法では、情報記録システム10cは、観察現場で記録された複数かつ多量の情報から、ユーザが注目する有用な場面およびそれに関する情報の一覧を抽出することができる。また、情報記録システム10cは、この一覧から、キーワードに対応する情報を抽出することができる。したがって、ユーザは、ユーザが注目するタイミングで発生したイベントに関する情報を効率的に閲覧することができる。
【0125】
以下では、イベント検出部75によるイベント検出の具体例を説明する。
【0126】
図11および図12は、対象物情報に基づくイベント検出の例を示す。図11および図12において、対象物情報は、顕微鏡に接続されたカメラによって取得された対象物の画像情報(顕微鏡画像)である。
【0127】
図11に示すように、対象物OB10が画像G10に含まれる。画像G10が撮影された時刻よりも後の時刻において、画像G11が撮影される。対象物OB10が画像G11に含まれる。画像G10および画像G11の間で対象物OB10の形状は異なる。つまり、対象物OB10の形状は時間に応じて変化する。対象物OB10の形状が変化した場合、イベント検出部75は、イベントを検出する。例えば、イベント検出部75は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物OB10の形状が変化するイベントが発生したか否かを判断する。
【0128】
図12に示すように、対象物OB11、対象物OB12、対象物OB13、および対象物OB14が画像G12に含まれる。画像G12が撮影された時刻よりも後の時刻において、画像G13が撮影される。対象物OB11から対象物OB14に加えて、対象物OB15、対象物OB16、および対象物OB17が画像G13に含まれる。画像G12および画像G13の間で対象物OB15から対象物OB17が加わる。つまり、対象物の数は時間に応じて変化する。対象物の数が変化した場合、イベント検出部75は、イベントを検出する。例えば、イベント検出部75は、異なる時刻に取得された複数フレームの画像情報を比較することにより、対象物の数が変化するイベントが発生したか否かを判断する。
【0129】
対象物情報が示す対象物の状態が、イベント検出条件として予め定義された状態である場合、イベント検出部75は、イベントを検出する。例えば、イベント検出条件は、予め記録媒体70に記録される。読み出し部80は、イベント検出条件を記録媒体70から読み出す。イベント検出部75は、読み出し部80によって読み出されたイベント検出条件に基づいてイベントを検出する。これにより、イベント検出部75は、対象物が所定の状態になる現象をイベントとして検出することができる。
【0130】
画像取得部30は、対象物と対象物の周辺との少なくとも1つを含む画像情報を取得する。画像情報が示す対象物と対象物の周辺との少なくとも1つの状態が、イベント検出条件として予め定義された状態である場合、イベント検出部75は、イベントを検出する。例えば、画像情報の特徴が、イベント検出条件として予め定義された特徴と一致した場合、イベント検出部75は、イベントを検出する。例えば、多光子励起顕微鏡を使用する顕微鏡システムにおいて、暗室に光が入ったことが画像情報から検出された場合、イベント検出部75は、イベントを検出する。例えば、診察システム13において、患者の出血または発作などの状態が画像情報から検出された場合、イベント検出部75は、イベントを検出する。例えば、上記の特徴を示す特徴情報がイベント検出条件として予め記録媒体70に記録される。イベント検出部75は、画像情報から特徴情報を抽出する。読み出し部80は、イベント検出条件を記録媒体70から読み出す。イベント検出部75は、画像情報から抽出された特徴情報と、読み出し部80によって読み出されたイベント検出条件である特徴情報とを比較する。画像情報から抽出された特徴情報と、イベント検出条件である特徴情報とが一致または類似する場合、イベント検出部75は、イベントを検出する。これにより、イベント検出部75は、画像情報が示す観察状況が所定の状態になる現象をイベントとして検出することができる。
【0131】
図13および図14は、音声情報に基づくイベント検出の例を示す。図13および図14において、音声情報は時系列の音声信号(音声データ)である。音声信号は、複数の時刻の各々における音声の振幅情報を含む。図13は音声信号A10のグラフを示し、かつ図14は音声信号A11のグラフを示す。図13および図14のグラフにおける横方向は時間を示し、かつ縦方向は振幅を示す。
【0132】
図13に示す音声信号A10は、工業用内視鏡による検査時の音声である。例えば、図13に示す期間T10、期間T11、および期間T12において音声信号の振幅が閾値を超える。閾値は0よりも大きい。ユーザは検査者である。例えば、期間T10において、ユーザは、250mmの位置に傷があることを意味する音声を発している。例えば、期間T11において、ユーザは、320mmの位置に直径5mmの穴があることを意味する音声を発している。例えば、期間T12において、ユーザは、470mmの位置に錆びがあることを意味する音声を発している。音声信号の振幅が所定の閾値を超えた場合、イベント検出部75は、イベントを検出する。ユーザが一連の音声を発した場合でも、そのときの音声信号には振幅の小さな期間が含まれる。所定時間内に複数のイベントが連続的に検出される場合には、イベント検出部75は、それらを1つのイベントとして集約してもよい。もしくは、イベント検出部75は、所定時間内の振幅の平均値などを代表値として使用し、かつ所定時間ごとにイベントの有無を検出してもよい。このようにして、イベント検出部75は、ユーザが音声を発した期間に対応する期間T10、期間T11、および期間T12においてイベントを検出する。
【0133】
閾値は0よりも小さくてもよい。音声信号の振幅が、0よりも小さい閾値よりも小さい場合、音声信号の振幅が閾値を超える。音声信号のパワーが所定の閾値を超えた場合、イベント検出部75は、イベントを検出してもよい。例えば、音声信号のパワーは、振幅の2乗平均値である。
【0134】
前述したように、音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報は、時系列の音声信号である。音声信号の振幅またはパワーが、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部75は、イベントを検出する。例えば、所定の音声情報の振幅またはパワーに基づいて決定された閾値、または観察者であるユーザによって指定された閾値がイベント検出条件として予め記録媒体70に記録される。読み出し部80は、イベント検出条件を記録媒体70から読み出す。イベント検出部75は、音声取得部40によって取得された音声信号の振幅またはパワーと、読み出し部80によって読み出されたイベント検出条件である閾値とを比較する。音声信号の振幅またはパワーが閾値を超えた場合、イベント検出部75は、イベントを検出する。これにより、イベント検出部75は、ユーザがコメントを発したときの現象をイベントとして検出することができる。
【0135】
図14に示す音声信号A11は、医療用の内視鏡による検査時の音声である。ユーザは医師である。例えば、図14に示す期間T13において、ユーザは「ポリープ」という語を発している。予め「ポリープ」がイベント検出のキーワードとして登録されている場合、イベント検出部75は、期間T13においてイベントを検出する。
【0136】
前述したように、音声取得部40は、対象物を観察する観察者が発した音声に基づく音声情報を取得する。音声情報が示す音声が、イベント検出条件として予め定義されたキーワードの音声と一致した場合、イベント検出部75は、イベントを検出する。例えば、キーワードの音声を取得することにより生成された音声情報がイベント検出条件として予め記録媒体70に記録される。読み出し部80は、イベント検出条件を記録媒体70から読み出す。イベント検出部75は、音声取得部40によって取得された音声情報と、読み出し部80によって読み出されたイベント検出条件である音声情報とを比較する。例えば、2つの音声情報が一致した場合、すなわち2つの音声情報の類似度が所定値以上である場合、イベント検出部75は、イベントを検出する。これにより、イベント検出部75は、観察者であるユーザが所定のキーワードを発したときの現象をイベントとして検出することができる。
【0137】
観察現場において、ユーザが対象物の状態または観察状況を認識し、かつその状態または観察状況に対するコメントを発する場合が多い。このため、イベント検出部75が音声情報に基づいてイベントを検出することにより、イベント検出部75は、ユーザが注目するイベントをより容易に検出することができる。
【0138】
以下では、表示部90による各情報の表示の具体例を説明する。図15は、表示部90の画面93を示す。
【0139】
イベント検出部75は、記録媒体70に記録された対象物情報、画像情報、および音声情報の少なくとも1つに基づいてイベントを検出する。読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。
【0140】
イベント検出部75は、複数のイベント発生時刻を検出する。読み出し部80は、複数のイベント発生時刻の各々に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報をイベント発生時刻毎に互いに関連付けて表示する。この例では、図3に示す顕微鏡システム11による観察における各情報が表示される。
【0141】
図15において、複数のイベントのうち5つのイベントに対応する対象物情報、画像情報、およびテキスト情報が示されている。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、互いに関連付けられて表示される。同一のイベントに対応する対象物情報、画像情報、およびテキスト情報は、横方向に並べられる。各イベントにおける対象物情報、画像情報、およびテキスト情報は、縦方向の同一の位置に関連付けられる。イベント1に対応する対象物情報、画像情報、およびテキスト情報は、画面93の領域308に表示される。イベント2に対応する対象物情報、画像情報、およびテキスト情報は、画面93の領域309に表示される。イベント3に対応する対象物情報、画像情報、およびテキスト情報は、画面93の領域310に表示される。イベント4に対応する対象物情報、画像情報、およびテキスト情報は、画面93の領域311に表示される。イベント5に対応する対象物情報、画像情報、およびテキスト情報は、画面93の領域312に表示される。
【0142】
対象物情報は、顕微鏡200に接続されたカメラによって生成された画像である。対象物情報は、画面93の領域313に表示される。画像情報は、画面93の領域314、領域315、および領域316に表示される。顕微鏡の対物レンズ先端の近傍を撮影するカメラ31aによって生成された画像情報は領域314に表示される。対象物OB1と顕微鏡200との全体を撮影するカメラ31bによって生成された画像情報は領域315に表示される。ユーザに装着されたカメラ31cによって生成された画像情報は領域316に表示される。テキスト情報は、画面93の領域317に表示される。
【0143】
記録媒体70に記録された対象物情報が時系列に複数に分割されている場合、読み出し部80は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた対象物情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された対象物情報を表示する。例えば、ユーザがアイコン401を操作した場合、表示部90は、イベント期間における対象物の動画を表示する。読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な対象物情報を記録媒体70から読み出してもよい。表示部90は、読み出し部80によって読み出された代表的な対象物情報を表示してもよい。例えば、代表的な対象物情報は、イベント発生時刻に最も近い時刻に生成された1フレームの対象物の画像情報である。代表的な対象物情報は、イベント発生時刻に最も近い時刻に生成された1フレームのサムネールであってもよい。
【0144】
記録媒体70に記録された画像情報が時系列に複数に分割されている場合、読み出し部80は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた画像情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出された画像情報を表示する。例えば、ユーザがアイコン402、アイコン403、およびアイコン404のいずれか1つを操作した場合、表示部90は、イベント期間における観察状況を示す動画を表示する。読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた代表的な画像情報を記録媒体70から読み出してもよい。表示部90は、読み出し部80によって読み出された代表的な画像情報を表示してもよい。例えば、代表的な画像情報は、イベント発生時刻に最も近い時刻に生成された1フレームの画像情報である。代表的な画像情報は、イベント発生時刻に最も近い時刻に生成された1フレームのサムネールであってもよい。
【0145】
読み出し部80は、イベント発生時刻に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。例えば、読み出し部80は、イベント発生時刻に対応するイベント期間内の時刻情報に関連付けられた音声情報を記録媒体70から読み出す。例えば、ユーザがアイコン405を操作した場合、音声出力部100は、イベント期間における音声を出力する。
【0146】
第1の実施形態におけるイベント期間の説明は、第1の実施形態の第3の変形例におけるイベント期間の説明に対して適用できる。前述した説明における発声時刻は、イベント発生時刻に置き換えられる。
【0147】
図15に示す各イベントの情報が表示された後、ユーザは、操作部を操作することにより、キーワードをキーワード入力欄300に入力することができる。キーワードがキーワード入力欄300に入力された場合、キーワード受付部55は、キーワード入力欄300に入力されたキーワードを受け付ける。図15に示す例では、「実験条件」がキーワードとしてキーワード入力欄300に入力されている。
【0148】
検索部65は、イベント期間内の時刻情報に関連付けられたテキスト情報および変換候補単語において、キーワード受付部55によって受け付けられたキーワードを検索する。つまり、検索部65は、表示部90によって表示されたテキスト情報と、そのテキスト情報中の単語に関連付けられた変換候補単語とにおいてキーワードを検索する。検索部65は、テキスト情報中の単語(確定単語)および変換候補単語のうちキーワードと一致する単語を抽出する。表示部90は、キーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に対応するイベント期間内の対象物情報、画像情報、およびテキスト情報を他の対象物情報、画像情報、およびテキスト情報と区別して表示する。
【0149】
図15に示す例では、イベント1に対応するテキスト情報は、キーワードである「実験条件」は含まないが、これを誤認識した結果である「十件要件」を含む。また、イベント1に対応するテキスト情報に関連付けられた変換候補単語は、キーワードである「実験条件」を含む。イベント3に対応するテキスト情報は、キーワードである「実験条件」を含む。このため、表示部90は、イベント1およびイベント3の各々に対応する対象物情報、画像情報、およびテキスト情報を、イベント2、イベント4、およびイベント5の各々に対応する対象物情報、画像情報、およびテキスト情報と区別して表示する。具体的には、表示部90は、イベント1およびイベント3の各々に対応する対象物情報、画像情報、およびテキスト情報を、イベント2、イベント4、およびイベント5の各々に対応する対象物情報、画像情報、およびテキスト情報よりも強調して表示する。例えば、イベント1およびイベント3の各々に対応する対象物情報、画像情報、およびテキスト情報は、太い線で囲まれる。
【0150】
表示部90は、イベント1およびイベント3の各々に対応する対象物情報、画像情報、およびテキスト情報を明るく表示してもよい。表示部90は、イベント1およびイベント3の各々に対応する対象物情報、画像情報、およびテキスト情報を拡大表示してもよい。キーワードと一致する単語が検出されたイベント発生時刻に対応するイベントの情報を他のイベントの情報と区別する方法は、上記の方法に限らない。
【0151】
表示部90は、キーワードと一致するテキスト情報中の単語を他の単語と区別して表示し、かつキーワードと一致する変換候補単語に関連付けられたテキスト情報中の単語を他の単語と区別して表示してもよい。
【0152】
上記のように、イベントに対応する情報のうちキーワードと一致する単語が検出されたイベント発生時刻に対応する時刻情報に関連付けられた情報が他の情報と区別されて表示される。このため、ユーザは、所望のキーワードに対応する情報を容易に認識することができる。また、テキスト情報においてキーワードに対応する単語が他の単語と区別されて表示されることにより、ユーザは検索結果を容易に確認することができる。
【0153】
情報記録システム10cは、図7に示す情報記録システム10aにおける状況情報取得部110を有してもよい。状況情報が示す状況が、イベント検出条件として予め定義された状態である場合、イベント検出部75は、イベントを検出してもよい。例えば、状況情報は、温度計から取得された周囲環境情報すなわち温度である。状況情報が示す温度が、イベント検出条件として予め定義された閾値を超えた場合、イベント検出部75は、イベントを検出する。例えば、ユーザによって指定された閾値がイベント検出条件として予め記録媒体70に記録される。読み出し部80は、イベント検出条件を記録媒体70から読み出す。イベント検出部75は、状況情報取得部110によって取得された状況情報が示す温度と、読み出し部80によって読み出されたイベント検出条件である閾値とを比較する。温度が閾値を超えた場合、イベント検出部75は、イベントを検出する。
【0154】
(第2の実施形態)
図16は、本発明の第2の実施形態の情報記録システム10dの構成を示す。図16に示す構成について、図1に示す構成と異なる点を説明する。
【0155】
図16に示すように、情報記録システム10dは、対象物情報取得部20、画像取得部30、音声取得部40、情報記録装置120、表示部90、および音声出力部100を有する。対象物情報取得部20、画像取得部30、音声取得部40、表示部90、および音声出力部100は、図1に示す、各構成に対応する構成と同様である。図16に示す情報記録システム10dにおいて、図1に示す情報記録システム10における音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、および読み出し部80が情報記録装置120に変更される。
【0156】
上記以外の点について、図16に示す構成は、図1に示す構成と同様である。
【0157】
図17は、情報記録装置120の構成を示す。図17に示すように、情報記録装置120は、音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、読み出し部80、入力部130、および出力部140を有する。
【0158】
音声処理部50、キーワード受付部55、記録部60、検索部65、記録媒体70、および読み出し部80は、図1に示す、各構成に対応する構成と同様である。対象物情報取得部20からの対象物情報、画像取得部30からの画像情報、および音声取得部40からの音声情報が入力部130に入力される。例えば、対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと情報記録装置120とは、ケーブルにより接続される。この場合、入力部130は、ケーブルが接続される入力端子である。対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと情報記録装置120とは、無線により接続されてもよい。この場合、入力部130は、対象物情報取得部20、画像取得部30、および音声取得部40の少なくとも1つと無線通信を行う無線通信回路である。
【0159】
出力部140は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。つまり、出力部140は、対象物情報、画像情報、およびテキスト情報を表示部90に出力し、かつ音声情報を音声出力部100に出力する。例えば、表示部90および音声出力部100の少なくとも1つと情報記録装置120とは、ケーブルにより接続される。この場合、出力部140は、ケーブルが接続される出力端子である。表示部90および音声出力部100の少なくとも1つと情報記録装置120とは、無線により接続されてもよい。この場合、出力部140は、表示部90および音声出力部100の少なくとも1つと無線通信を行う無線通信回路である。
【0160】
情報記録装置120が、プログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。つまり、情報記録装置120の機能はソフトウェアにより実現されてもよい。このプログラムは、音声処理部50、記録部60、検索部65、および読み出し部80の動作を規定する命令を含む。このプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。また、上述したプログラムは、このプログラムが保存された記憶装置等を有するコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により情報記録装置120に伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように、情報を伝送する機能を有する媒体である。また、上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、前述した機能をコンピュータに既に記録されているプログラムとの組合せで実現できる差分ファイル(差分プログラム)であってもよい。
【0161】
図1に示す情報記録システム10に適用される様々な変形は、図16に示す情報記録システム10dにも同様に適用されてよい。例えば、情報記録システム10dは画像取得部30を有していなくてもよい。この場合、対象物情報および音声情報が入力部130に入力される。記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報およびテキスト情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された対象物情報、音声情報、およびテキスト情報を出力する。表示部90は、出力部140によって出力された対象物情報およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置120から出力されなくてもよい。音声出力部100は、出力部140によって出力された音声情報に基づく音声を出力する。
【0162】
情報記録システム10dは音声出力部100を有さず、かつ記録部60は音声情報を記録しなくてもよい。この場合、対象物情報、画像情報、および音声情報が入力部130に入力される。記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置120から出力されなくてもよい。
【0163】
図18は、情報記録装置120による処理の手順を示す。図18を参照し、情報記録装置120による処理の手順を説明する。
【0164】
対象物に関する対象物情報が入力部130に入力される(ステップS200(入力ステップ))。ステップS200において入力された対象物情報は、記録部60内のバッファに蓄積される。入力部130への対象物情報の入力と並行して、対象物情報がどのような状況で取得されているのかを示す画像情報が入力部130に入力される(ステップS205(入力ステップ))。ステップS205において入力された画像情報は、記録部60内のバッファに蓄積される。入力部130への対象物情報の入力と並行して、ステップS210における処理が行われる。ステップS210は、ステップS211(音声入力ステップ)およびステップS212(音声処理ステップ)を含む。ステップS211において、対象物を観察する観察者が発した音声に基づく音声情報が入力部130に入力される。ステップS212において音声処理部50は、入力部130に入力された音声情報をテキスト情報に変換し、かつ音声情報からテキスト情報への変換の過程において音声に対応する少なくとも1つの変換候補単語を生成する。ステップS210において、ステップS211およびステップS212における処理が繰り返される。ステップS211において入力された音声情報と、ステップS212において生成されたテキスト情報と、ステップS212において生成された変換候補単語とは、記録部60内のバッファに蓄積される。
【0165】
ステップS200、ステップS205、およびステップS210の各々における処理の開始タイミングは同一でなくてもよい。ステップS200、ステップS205、およびステップS210の各々における処理の終了タイミングは同一でなくてもよい。ステップS200、ステップS205、およびステップS210の各々における処理が行われる期間の少なくとも一部が互いに重なる。
【0166】
対象物情報、画像情報、および音声情報の入力が終了した後、記録部60は、記録部60内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する(ステップS215(記録ステップ))。
【0167】
ステップS215の後、キーワード受付部55は、キーワードを受け付ける(ステップS220(キーワード受付ステップ))。
【0168】
ステップS220の後、検索部65は、キーワード受付部55によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する(ステップS225(検索ステップ))。
【0169】
ステップS225の後、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す(ステップS230(読み出しステップ))。ユーザが各情報の読み出しのタイミングを指定できてもよい。
【0170】
ステップS230の後、出力部140は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を出力する。表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。また、音声出力部100は、出力部140によって出力された音声情報に基づく音声を出力する(ステップS235(出力ステップ、表示ステップ、および音声出力ステップ))。
【0171】
情報記録システム10dが画像取得部30を有していない場合、ステップS205における処理は行われない。また、ステップS215において記録部60は、対象物情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS230において読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、音声情報、およびテキスト情報を記録媒体70から読み出す。ステップS235において出力部140は、ステップS230において読み出し部80によって読み出された対象物情報、音声情報、およびテキスト情報を出力する。また、ステップS235において表示部90は、出力部140によって出力された対象物情報およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置120から出力されなくてもよい。また、ステップS235において音声出力部100は、ステップS230において読み出し部80によって読み出された音声情報に基づく音声を出力する。
【0172】
情報記録システム10dが音声出力部100を有さず、かつ記録部60が音声情報を記録しない場合、ステップS215において記録部60は、対象物情報、画像情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。ステップS230において読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、およびテキスト情報を記録媒体70から読み出す。ステップS235において出力部140は、ステップS230において読み出し部80によって読み出された対象物情報、画像情報、およびテキスト情報を出力する。また、ステップS235において表示部90は、出力部140によって出力された対象物情報、画像情報、およびテキスト情報を互いに関連付けて表示する。テキスト情報は情報記録装置120から出力されなくてもよい。
【0173】
音声処理部50および記録媒体70の少なくとも1つは、情報記録装置120の外部に配置されてもよい。音声処理部50が情報記録装置120の外部に配置された場合、音声処理部50からのテキスト情報が入力部130に入力される。記録媒体70は、情報記録装置120への装着および情報記録装置120からの取り外しができてもよい。情報記録装置120がネットワークインターフェースを有し、かつ情報記録装置120が、ネットワークを介して記録媒体70と接続してもよい。情報記録装置120が無線通信インターフェースを有し、かつ情報記録装置120が無線通信により記録媒体70と接続してもよい。
【0174】
情報記録装置120は、出力部140を有していなくてもよい。例えば、記録媒体70は、情報記録装置120への装着および情報記録装置120からの取り外しができるように構成される。読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた対象物情報、画像情報、音声情報、およびテキスト情報を記録媒体70から読み出す。記録部60は、読み出し部80によって読み出された対象物情報、画像情報、音声情報、およびテキスト情報を互いに関連付けて記録媒体70に記録する。記録媒体70が情報記録装置120から取り外され、かつ情報記録装置120の外部の装置に装着されることにより、その装置は、記録媒体70に記録された情報を利用することができる。情報記録装置120が出力部140を有していない場合、情報記録装置120はステップS235における処理を行わない。
【0175】
上記のように、対象物情報が入力部130に入力され、かつ対象物情報がどのような状況で取得されているのかを示す画像情報が入力部130に入力される。入力された対象物情報および画像情報は、記録部60によって記録媒体70に記録される。これによって、情報記録装置120は、対象物情報がどのような状況で取得されているのかを示す視覚的な情報を記録することができる。
【0176】
上記のように、音声情報からテキスト情報への変換の過程において生成された変換候補単語が記録部60によって記録媒体70に記録される。検索部65は、キーワード受付部55によって受け付けられたキーワードをテキスト情報および変換候補単語において検索し、かつテキスト情報中の単語および変換候補単語のうちキーワードと一致する単語を抽出する。音声認識処理において誤認識された単語が検索時にテキスト情報から抽出できない場合でも、検索部65は、その誤認識された単語に対応する変換候補単語から所望の単語を抽出することができる。したがって、情報記録装置120は、テキスト情報における単語の検索の漏れ(見逃し)を低減することができる。その結果、情報記録装置120は、キーワード受付部55によって受け付けられたキーワードに対応する対象物情報、画像情報、音声情報、およびテキスト情報をユーザに提供することができる。第1の実施形態の情報記録システム10において得られる効果は、第2の実施形態の情報記録装置120においても同様に得られる。
【0177】
第1の実施形態の第1から第3の変形例に開示された事項は、第2の実施形態の情報記録装置120に同様に適用されてもよい。したがって、情報記録システム10dが状況情報取得部110を有し、かつ状況情報取得部110によって取得された状況情報が入力部130に入力されてもよい。あるいは、情報記録装置120は、イベント検出部75を有してもよい。
【0178】
(第3の実施形態)
図19は、本発明の第3の実施形態の情報記録システム10eの構成を示す。図19に示す構成について、図1に示す構成と異なる点を説明する。
【0179】
図19に示す情報記録システム10eは、図1に示す情報記録システム10における対象物情報取得部20および画像取得部30を有していない。記録部60は、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。表示部90は、読み出し部80によって読み出されたテキスト情報を、第1の部分と、第1の部分以外の第2の部分とが区別できるように表示する。
【0180】
また、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す。音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する。
【0181】
情報記録システム10eは音声出力部100を有していなくてもよい。この場合、記録部60は、テキスト情報および変換候補単語を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。変換候補単語は、テキスト情報を構成する確定単語に関連付けられるため、時刻情報は記録されなくてもよい。
【0182】
上記以外の点について、図19に示す構成は、図1に示す構成と同様である。
【0183】
図20は、情報記録システム10eによる処理の手順を示す。図20に示す処理について、図2に示す処理と異なる点を説明する。
【0184】
図2に示すステップS100およびステップS105における処理は行われない。ステップS110の後、記録部60は、記録部60内のバッファに蓄積された音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する(ステップS160(記録ステップ))。
【0185】
ステップS125の後、読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。また、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す(ステップS165(読み出しステップ))。
【0186】
ステップS165の後、表示部90は、読み出し部80によって読み出されたテキスト情報を、第1の部分と、第1の部分以外の第2の部分とが区別できるように表示する。また、音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する(ステップS170(表示ステップおよび音声出力ステップ))。
【0187】
情報記録システム10eが音声出力部100を有していない場合、ステップS160において記録部60は、テキスト情報および変換候補単語を互いに関連付けて記録媒体70に記録する。ステップS165において読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。ステップS170において表示部90は、読み出し部80によって読み出されたテキスト情報を、第1の部分と、第1の部分以外の第2の部分とが区別できるように表示する。
【0188】
上記以外の点について、図20に示す処理は、図2に示す処理と同様である。
【0189】
図21を参照し、検索部65による検索の例を説明する。図21において音声信号A20のグラフが示されている。このグラフにおける横方向は時間を示し、かつ縦方向は振幅を示す。期間T30、期間T31、および期間T32において音声信号の振幅が閾値を超える。これらの期間において、ユーザが音声を発している。
【0190】
期間T30の時刻情報に関連付けられたテキスト情報から、音声処理部50によって変換候補単語が生成される。図21に示す例では、確定単語であるテキスト情報中の「十件」という単語に対して、「実験」、「事件」、および「受験」という3つの変換候補単語が関連付けられている。同様に、テキスト情報中の「要件」という単語に対して、「証券」、「条件」、および「実験」という3つの変換候補単語が関連付けられている。同様に、テキスト情報中の「変更」という単語に対して、「返納」という変換候補単語が関連付けられている。「変更」は、日本語で「henkou」と発せられる。「返納」は、日本語で「hennou」と発せられる。
【0191】
同様に、期間T30および期間T31の各々の時刻情報に関連付けられたテキスト情報から、音声処理部50によって変換候補単語が生成される。図21において、これらの変換候補単語は省略されている。
【0192】
「実験条件」というキーワードが指定されたとき、検索部65は、そのキーワードをテキスト情報および変換候補単語において検索する。検索部65は、期間T30に対応する変換候補単語から、キーワード中の「実験」と一致する変換候補単語およびキーワード中の「条件」と一致する変換候補単語を抽出する。また、検索部65は、期間T32に対応するテキスト情報から、キーワード中の「実験条件」と一致する単語を抽出する。
【0193】
図22は、表示部90によって表示されるテキスト情報を示す。表示部90は、期間T30に対応するテキスト情報TX10と、期間T31に対応するテキスト情報TX11と、期間T32に対応するテキスト情報TX12とを表示する。表示部90は、テキスト情報TX10において、キーワードと一致する単語に対応する第1の部分に枠F10を表示する。テキスト情報TX10における第1の部分は、キーワードと一致する変換候補単語に対応する確定単語を含む。また、表示部90は、テキスト情報TX12において、キーワードと一致する単語に対応する第1の部分に枠F11を表示する。テキスト情報TX12における第1の部分は、キーワードと一致する確定単語を含む。テキスト情報TX10において、枠F10が表示されている第1の部分以外の部分は、キーワードと一致する単語に対応する単語を含まない第2の部分を構成する。テキスト情報TX11は、第2の部分を構成する。テキスト情報TX12において、枠F11が表示されている第1の部分以外の部分は第2の部分を構成する。
【0194】
表示部90は、第1の部分を第1の表示形態で表示し、かつ第2の部分を第1の表示形態と異なる第2の表示形態で表示してもよい。例えば、表示部90は、第1の部分を第2の部分よりも強調して表示する。例えば、表示部90は、第1の部分中の単語を第2の部分中の単語とは異なる色で表示する。表示部90は、第1の部分中の単語を第2の部分中の単語よりも太い文字で表示してもよい。表示部90は、第1の部分中の単語を第2の部分中の単語よりも大きい文字で表示してもよい。第1の部分を第2の部分と区別する方法は、上記の方法に限らない。
【0195】
情報記録システム10eは、テキスト情報における単語の検索の漏れ(見逃し)を低減することができる。その結果、情報記録システム10eは、キーワード受付部55によって受け付けられたキーワードに対応するテキスト情報をユーザに提供することができる。
【0196】
上記のように、テキスト情報において、キーワードと一致する単語に対応する第1の部分と、それ以外の第2の部分とが区別されて表示される。このため、ユーザは検索結果を容易に確認することができる。
【0197】
第1の実施形態の第2の変形例に開示された事項は、第3の実施形態の情報記録システム10eに同様に適用されてもよい。
【0198】
(第4の実施形態)
図23は、本発明の第4の実施形態の情報記録システム10fの構成を示す。図23に示す構成について、図15に示す構成と異なる点を説明する。
【0199】
図23に示す情報記録システム10fは、図15に示す情報記録システム10dにおける対象物情報取得部20および画像取得部30を有していない。
【0200】
上記以外の点について、図23に示す構成は、図15に示す構成と同様である。
【0201】
情報記録装置120の構成は、以下の点を除いて、図17に示す情報記録装置120の構成と同様である。音声取得部40からの音声情報が入力部130に入力される。記録部60は、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する部分を含むテキスト情報を記録媒体70から読み出す。また、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出された音声情報およびテキスト情報を出力する。つまり、出力部140は、テキスト情報を表示部90に出力し、かつ音声情報を音声出力部100に出力する。
【0202】
情報記録システム10fは音声出力部100を有していなくてもよい。この場合、記録部60は、テキスト情報および変換候補単語を互いに関連付けて記録媒体70に記録する。読み出し部80は、キーワードと一致する単語に対応する部分を含むテキスト情報を記録媒体70から読み出す。出力部140は、読み出し部80によって読み出されたテキスト情報を出力する。変換候補単語は、テキスト情報を構成する確定単語に関連付けられるため、時刻情報は記録されなくてもよい。
【0203】
図24は、情報記録装置120による処理の手順を示す。図24に示す処理について、図18に示す処理と異なる点を説明する。
【0204】
図18に示すステップS200およびステップS205における処理は行われない。ステップS210の後、記録部60は、記録部60内のバッファに蓄積された対象物情報、画像情報、音声情報、テキスト情報、変換候補単語、および時刻情報を互いに関連付けて記録媒体70に記録する(ステップS215(記録ステップ))。
【0205】
ステップS225の後、読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。また、読み出し部80は、キーワードと一致する単語に対応する時刻情報に関連付けられた音声情報を記録媒体70から読み出す(ステップS245)。
【0206】
ステップS245の後、出力部140は、読み出し部80によって読み出された音声情報およびテキスト情報を出力する。表示部90は、出力部140によって出力されたテキスト情報を、第1の部分と、第1の部分以外の第2の部分とが区別できるように表示する。また、音声出力部100は、読み出し部80によって読み出された音声情報に基づく音声を出力する(ステップS250(出力ステップ、表示ステップ、および音声出力ステップ))。
【0207】
情報記録システム10fが音声出力部100を有していない場合、ステップS240において記録部60は、テキスト情報および変換候補単語を互いに関連付けて記録媒体70に記録する。ステップS245において読み出し部80は、キーワードと一致する単語に対応する第1の部分を含むテキスト情報を記録媒体70から読み出す。ステップS250において出力部140は、読み出し部80によって読み出されたテキスト情報を出力する。また、ステップS250において表示部90は、読み出し部80によって読み出されたテキスト情報を、第1の部分と、第1の部分以外の第2の部分とが区別できるように表示する。
【0208】
上記以外の点について、図24に示す処理は、図18に示す処理と同様である。
【0209】
情報記録装置120は、テキスト情報における単語の検索の漏れ(見逃し)を低減することができる。その結果、情報記録装置120は、キーワード受付部55によって受け付けられたキーワードに対応するテキスト情報をユーザに提供することができる。
【0210】
上記のように、テキスト情報において、キーワードと一致する単語に対応する第1の部分と、それ以外の第2の部分とが区別されて表示される。このため、ユーザは検索結果を容易に確認することができる。
【0211】
第1の実施形態の第2の変形例に開示された事項は、第4の実施形態の情報記録システム10fに同様に適用されてもよい。
【0212】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【産業上の利用可能性】
【0213】
本発明の各実施形態によれば、情報記録システム、情報記録装置、および情報記録方法は、テキスト情報における単語の検索の漏れを低減することができる。
【符号の説明】
【0214】
10,10a,10b,10c,10d,10e,10f 情報記録システム
11 顕微鏡システム
20 対象物情報取得部
30 画像取得部
31a,31b,31c カメラ
40 音声取得部
41 マイク
50 音声処理部
55 キーワード受付部
60 記録部
65 検索部
70 記録媒体
75 イベント検出部
80 読み出し部
90 表示部
91,92,93 画面
100 音声出力部
110 状況情報取得部
120 情報記録装置
130 入力部
140 出力部
200 顕微鏡
201 サーバ
202 PC
203 アクセサリ
500 音声認識部
510 テキスト生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
【国際調査報告】