特開 2024-168410 情報処理プログラム、情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168410

(43)【公開日】2024-12-05

(54)【発明の名称】情報処理プログラム、情報処理装置および情報処理方法

(51)【国際特許分類】

   G10L 15/10 20060101AFI20241128BHJP

   G10L 17/00 20130101ALI20241128BHJP

   G10L 25/21 20130101ALI20241128BHJP

【ＦＩ】

G10L15/10 200Z

G10L17/00 200C

G10L25/21

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023085051

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000237639

【氏名又は名称】富士通フロンテック株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】西川 麻依子

(72)【発明者】

【氏名】内田 勝

(57)【要約】

【課題】電子文書に添付される音声データの登録や再生に係る作業負荷を軽減する。
【解決手段】処理部１１は、音声データ１５から発話単位で発話データを抽出し、発話データごとに発話者を特定して蓄積データ１２に記録する。処理部１１は、音声データ１５に占める発話者ごとの発話率や発話者ごとの平均音量を算出して統計データ１３に記録する。処理部１１は、発話者１９，２０，２１のうちから統計データ１３にもとづいて音声データ１５における有意な発話者が発話者１９，２１であると絞り込む。処理部１１は、特記事項として、発話者１９の発話データ１６と発話者２１の発話データ１８とを有意な発話データであるとして出力候補に選定する。処理部１１は、出力候補に選定された発話データ１６，１８を電子文書１４に紐づけて、電子文書１４の参照時に発話データ１６，１８をスピーカ等から出力可能にする。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
電子文書に紐づけられた音声データから発話者ごとの発話単位で発話データを抽出し、前記発話者ごとに前記発話データを統計処理した統計データを生成し、前記電子文書の参照時における前記発話データの出力候補を前記統計データにもとづいて絞り込み、前記電子文書の参照時に前記出力候補となった発話データを音出力部から出力可能にする、
処理を実行させる情報処理プログラム。

【請求項2】

前記処理は、
前記発話データを前記電子文書に紐づけて発話データ記憶部に記憶させ、
前記統計データを前記発話者に紐づけて統計データ記憶部に記憶させる、
請求項１記載の情報処理プログラム。

【請求項3】

前記処理は、
前記発話データに当該発話データを出力対象とするか否かを識別可能な情報を付加して前記発話データ記憶部に記憶させる、
請求項２記載の情報処理プログラム。

【請求項4】

前記統計データは、
前記発話者ごとの前記発話データが前記音声データに占める割合に関する割合情報と、前記発話者ごとの前記発話データの音量に関する音量情報とを含む、
請求項２記載の情報処理プログラム。

【請求項5】

電子文書に紐づけられた音声データから発話者ごとの発話単位で発話データを抽出し、前記発話者ごとに前記発話データを統計処理した統計データを生成し、前記電子文書の参照時における前記発話データの出力候補を前記統計データにもとづいて絞り込み、前記電子文書の参照時に前記出力候補となった発話データを音出力部から出力可能にする処理部、
を有する情報処理装置。

【請求項6】

コンピュータが、
電子文書に紐づけられた音声データから発話者ごとの発話単位で発話データを抽出し、前記発話者ごとに前記発話データを統計処理した統計データを生成し、前記電子文書の参照時における前記発話データの出力候補を前記統計データにもとづいて絞り込み、前記電子文書の参照時に前記出力候補となった発話データを音出力部から出力可能にする、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

電子文書の任意位置に対して添付された音声等を含むアノテーションが作業の実施を指示するものである場合に当該作業の実施を指示するものであることを示す作業指示情報を作業サブ属性として取得し、アノテーション管理サーバにより、作業指示情報を対応するアノテーション毎に登録する文書処理方法の提案がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－００４３６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

電子文書に添付される音声には、雑音や周囲環境の音声が含まれる場合があり目的の音声を取得する作業負荷が大きくなる場合があった。また、電子文書への添付時に登録する音声から雑音や周囲環境の音声を除去して登録することには、登録時の作業負荷や登録環境の制約が大きくなる場合があった。

【0005】

１つの側面では、本件は、電子文書に添付される音声データの登録や再生に係る作業負荷を軽減することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、以下に示すような、情報処理装置が提供される。情報処理装置は、電子文書に紐づけられた音声データから発話者ごとの発話単位で発話データを抽出し、発話者ごとに発話データを統計処理した統計データを生成し、電子文書の参照時における発話データの出力候補を統計データにもとづいて絞り込み、電子文書の参照時に出力候補となった発話データを音出力部から出力可能にする処理部、を有する。

【発明の効果】

【0007】

１態様によれば、電子文書に添付される音声データの登録や再生に係る作業負荷を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態の情報処理装置の一例を示す図である。

【図2】第２の実施形態の工程管理システムの一例を示す図である。

【図3】第２の実施形態のサーバのハードウェア構成の一例を示す図である。

【図4】第２の実施形態のサーバの機能ブロックの一例を示す図である。

【図5】第２の実施形態の生産指示書の配布例を示す図である。

【図6】第２の実施形態の特記事項登録画面の一例を示す図である。

【図7】第２の実施形態の発話者確認画面の一例を示す図である。

【図8】第２の実施形態の特記事項確認画面の一例を示す図である。

【図9】第２の実施形態の音声蓄積処理のフローチャートの一例を示す図である。

【図10】第２の実施形態の音声蓄積データの一例を示す図である。

【図11】第２の実施形態の発話蓄積データの一例を示す図である。

【図12】第２の実施形態の発話者データの一例を示す図である。

【図13】第２の実施形態の統計データ更新処理のフローチャートの一例を示す図である。

【図14】第２の実施形態の発話者統計データの一例を示す図である。

【図15】第２の実施形態の発話者統計データの変形例を示す図である。

【図16】第２の実施形態の発話データ確認処理のフローチャートの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本実施形態について図面を参照して説明する。なお各実施形態は、矛盾のない範囲で複数の実施形態を組み合わせて実施することができる。
〔第１の実施形態〕
まず、第１の実施形態について図１を用いて説明する。図１は、第１の実施形態の情報処理装置の一例を示す図である。情報処理装置１０は、電子文書１４に紐づけられた音声データ１５から発話データを抽出し、抽出した発話データのうちから所定基準にしたがって選択された発話データを電子文書の参照時に出力可能にするものである。

【0010】

電子文書１４は、特記事項を追加可能にして電子化された文書であり、たとえばマニュアル、生産指示書等である。特記事項は、電子文書１４に紐づけられて記録され、電子文書１４の出力時に電子文書１４とともに一部または全部が出力可能にされている。特記事項は、電子文書１４に紐づけられて記録された情報であればよく、たとえば、あらかじめ用意された定型文、フリー形式の文章入力（フリー入力）、音声入力等がある。

【0011】

第１の実施形態における情報処理装置１０は、特記事項として音声データ１５が紐づけられた電子文書１４を扱う。音声データ１５は、発話者（特記事項入力者）の発話（メッセージ）を含む。音声データ１５に含まれる発話は、１に限らず２以上の場合がある。また、音声データ１５における発話者は、１人に限らず２人以上の場合がある。また、音声データ１５は、必ずしも良好な録音環境での録音が保証されないことから雑音を含む場合があるし、録音環境に居合わせた第三者の発話を含む場合がある。

【0012】

情報処理装置１０は、いわゆるコンピュータであり、情報処理をおこなう処理部１１を有する。処理部１１は、情報処理装置１０を制御し、所要の処理を実行可能である。処理部１１は、たとえば、情報処理装置１０が有するプロセッサまたは演算回路である。

【0013】

処理部１１は、音声データ１５から発話単位で発話データを抽出し、発話データごとに発話者を特定して蓄積データ１２に記録する。たとえば、処理部１１は、音声データ１５から発話データ１６，１７，１８を抽出する。処理部１１は、発話者１９を特定して発話データ１６を蓄積データ１２に記録し、発話者２０を特定して発話データ１７を蓄積データ１２に記録し、発話者２１を特定して発話データ１８を蓄積データ１２に記録する。蓄積データ１２を記録（記憶）する記憶部は、発話データ記憶部に相当する。

【0014】

処理部１１は、音声データ１５に占める発話者ごとの発話率（占有率）や発話者ごとの平均音量を算出して統計データ１３に記録する。たとえば、処理部１１は、蓄積データ１２が記録する発話データ１６，１７，１８から発話者１９，２０，２１のそれぞれの発話率と平均音量を算出して統計データ１３に記録する。統計データ１３を記録（記憶）する記憶部は、統計データ記憶部に相当する。統計データ１３は、１の電子文書から抽出した発話データに限らず、２以上の電子文書から抽出した発話データを統計処理したデータであってもよい。

【0015】

処理部１１は、発話者１９，２０，２１のうちから統計データ１３にもとづいて音声データ１５における有意な発話者が発話者１９，２１であると絞り込む。処理部１１は、特記事項として、発話者１９の発話データ１６と発話者２１の発話データ１８とを有意な発話データであるとして出力候補に選定する。言い換えれば、処理部１１は、発話者１９，２０，２１のうちから統計データ１３にもとづいて音声データ１５における価値の低い発話データ１７を排除可能である。たとえば、処理部１１は、統計データ１３から発話率が大きい発話データ（たとえば、発話データ１６，１８）が特記事項として価値が高い発話に関するものであると判断できるし、発話率が小さい発話データ（たとえば、発話データ１７）が特記事項として価値が低い発話に関するものであると判断できる。また、処理部１１は、統計データ１３から平均音量が大きい発話データ（たとえば、発話データ１６，１８）が特記事項として価値が高い発話に関するものであると判断できるし、平均音量が小さい発話データ（たとえば、発話データ１７）が特記事項として価値が低い発話に関するものであると判断できる。

【0016】

処理部１１は、出力候補に選定された発話データ１６，１８を電子文書１４に紐づけて、電子文書１４の参照時に発話データ１６，１８を音出力装置（スピーカ等）から出力可能にする。

【0017】

なお、音声データ１５は、図示しない端末装置によって録音されるものであってもよいし、情報処理装置１０によって録音されるものであってもよい。また、電子文書１４は、図示しない端末装置によって参照され、当該端末装置が備える音出力装置によって発話データ１６，１８が再生されるものであってもよい。また、情報処理装置１０は、表示装置を備えて電子文書１４を表示出力可能にし、音出力装置を備えて発話データ１６，１８を音出力可能にするものであってもよい。

【0018】

このように、情報処理装置１０は、電子文書１４の参照時に特記事項として有用でない発話データ１７を排除可能にするとともに、特記事項として有用な発話データ１６，１８を音声出力可能にする。このような情報処理装置１０は、電子文書１４の特記事項として音声録音をおこなうときの環境条件を緩和することができる。たとえば、情報処理装置１０は、特記事項に関する話者以外の第３者がいる環境で音声録音された音声データを取り扱うことができる。また、情報処理装置１０は、電子文書１４の参照時に特記事項として音声データ１５を音声出力することに代えて発話データ１７を排除して発話データ１６，１８を音出力可能にするので電子文書１４の閲覧者（利用者）の作業負担が軽減される。

【0019】

このような、情報処理装置１０は、電子文書に添付される音声データの登録や再生に係る作業負荷を軽減することができる。
〔第２の実施形態〕
次に、第２の実施形態について説明する。第２の実施形態は、生産管理部署から工場（生産部署）に送付する生産指示書を電子文書として、生産指示書に特記事項として紐づける音声の録音と再生とを実現可能にする工程管理システムに関する。

【0020】

まず、工程管理システムのシステム構成について図２を用いて説明する。図２は、第２の実施形態の工程管理システムの一例を示す図である。工程管理システム５０は、ネットワーク３０と、ネットワーク３０に接続するサーバ１００、端末２００（ａ），２００（ｂ），２００（ｃ），・・・を有する。ネットワーク３０は、たとえば、工程管理システム５０を有する企業のイントラネットである。

【0021】

端末２００（ａ），２００（ｂ），２００（ｃ），・・・は、生産指示書に特記事項を登録（入力）可能なコンピュータ、あるいは生産指示書から特記事項を確認（出力）可能なコンピュータである。端末２００（ａ），２００（ｂ），２００（ｃ），・・・は、生産指示書を作成する生産管理部署や生産指示書を確認する工場等に備えられて担当者が操作するＰＣ（Personal Computer）である。あるいは、端末２００（ａ），２００（ｂ），２００（ｃ），・・・は、生産管理部署や工場等に配属されている担当者が持ち運び操作するモバイル端末である。

【0022】

特記事項として音声を登録可能にする端末２００は、音入力装置（マイク）を接続し、特記事項として音声を確認可能にする端末２００は、音出力装置（スピーカ）を接続する。

【0023】

サーバ１００は、生産指示書に特記事項として登録された音声データから抽出した発話データを生産指示書の特記事項として確認可能にする。なお、第２の実施形態のサーバ１００は、第１の実施形態の情報処理装置１０に相当する情報処理装置である。なお、サーバ１００は、端末２００が有する特記事項の登録機能や確認機能を有するものであってもよい。

【0024】

次に、サーバ１００のハードウェア構成について図３を用いて説明する。図３は、第２の実施形態のサーバのハードウェア構成の一例を示す図である。サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１１４を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、たとえばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路で実現してもよい。

【0025】

メモリ１０２は、サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、たとえばＲＡＭ（Random Access Memory）等の揮発性の半導体記憶装置が使用される。

【0026】

バス１１４に接続されている周辺機器としては、ストレージ装置１０３、ＧＰＵ（Graphics Processing Unit）１０４、入力インタフェース１０５および光学ドライブ装置１０６がある。また、バス１１４に接続されている周辺機器としては、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

【0027】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しをおこなう。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、たとえばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0028】

ＧＰＵ１０４には、モニタ３１が接続されている。ＧＰＵ１０４は、プロセッサ１０１からの命令にしたがって、画像をモニタ３１の画面に表示させる。モニタ３１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置等がある。

【0029】

入力インタフェース１０５には、キーボード３２とマウス３３とが接続されている。入力インタフェース１０５は、キーボード３２やマウス３３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス３３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボール等がある。

【0030】

光学ドライブ装置１０６は、レーザ光等を利用して、光ディスク３４に記録されたデータの読み取りをおこなう。光ディスク３４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等がある。

【0031】

機器接続インタフェース１０７は、サーバ１００に周辺機器を接続するための通信インタフェースである。たとえば機器接続インタフェース１０７には、メモリ装置３５やメモリリーダライタ３６を接続することができる。メモリ装置３５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ３６は、メモリカード３７へのデータの書き込み、またはメモリカード３７からのデータの読み出しをおこなう装置である。メモリカード３７は、カード型の記録媒体である。

【0032】

ネットワークインタフェース１０８は、ネットワーク３０に接続されている。ネットワークインタフェース１０８は、ネットワーク３０を介して、他のコンピュータまたは通信機器との間でデータの送受信をおこなう。

【0033】

サーバ１００は、以上のようなハードウェア構成によって、第２の実施形態の処理機能を実現することができる。なお、第１の実施形態に示した情報処理装置１０も、図３に示したサーバ１００と同様のハードウェアにより実現することができる。また、端末２００（ａ），２００（ｂ），２００（ｃ），・・・もサーバ１００と同様のハードウェアにより実現することができる。なお、端末２００（ａ），２００（ｂ），２００（ｃ），・・・は、機器接続インタフェース１０７にマイクやスピーカを接続可能にする構成とすることができる。また、プロセッサ１０１は、第１の実施形態に示した処理部１１の一例である。

【0034】

サーバ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施形態の処理機能を実現する。サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。たとえば、サーバ１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。またサーバ１００に実行させるプログラムを、光ディスク３４、メモリ装置３５、メモリカード３７等の可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、たとえばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。

【0035】

次に、サーバ１００の機能について図４を用いて説明する。図４は、第２の実施形態のサーバの機能ブロックの一例を示す図である。サーバ１００は、処理部１２０と記憶部１３０を有する。処理部１２０は、所要の処理内容を記述したプログラムをプロセッサ１０１が実行することにより実現可能であり、音声処理部１２１と、統計処理部１２２と、出力候補生成部１２３とを含む。記憶部１３０は、ストレージ装置１０３により実現可能であり、蓄積データ１３１と統計データ１３２を含むデータを記憶可能である。

【0036】

音声処理部１２１は、端末２００が録音した音声データから雑音を除去し、雑音を除去した音声データから発話単位で発話データを抽出し、抽出した発話データを蓄積データ１３１に記録する。なお、発話データから抽出する発話データは、発話者単位で抽出されるものであってもよい。たとえば、前者であれば音声データから１の発話者について１以上の発話データが抽出され、後者であれば１の発話者から１の発話データが抽出される。

【0037】

統計処理部１２２は、蓄積データ１３１が記録する発話データについて発話者ごとに統計処理し、統計データ１３２に記録する。統計データ１３２には、発話率や平均音量が含まれる。統計データ１３２の集計範囲は、１の生産指示書の音声データであってもよいし、２以上の生産指示書の音声データであってもよい。２以上の生産指示書の音声データを統計データの集計範囲とする場合、所定のグループに属する生産指示書の音声データを集計範囲とすることができる。なお、所定のグループは、生産指示書の属性（たとえば、指示先、指示元、作成時期等）ごとに分けられることが望ましい。このようなグループ分けは、統計データを一層有意なものとすることができる。

【0038】

出力候補生成部１２３は、生産指示書に特記事項として紐づけられた発話データのうちから出力対象として有意な発話データを出力候補として生成する。出力候補生成部１２３は、所定の基準にしたがう統計データを有する発話者の発話データを、有意な発話データとして選択する。

【0039】

次に、生産指示書に紐づけられた特記事項の登録場面と確認場面について、図５に示す生産指示書の配布例を用いながら説明する。図５は、第２の実施形態の生産指示書の配布例を示す図である。

【0040】

生産指示書は、生産指示書を特定可能な案件ＩＤ、設計部署から製品の設計図を受領して生産管理部署によって作成される。生産指示書は、製品の基本情報（製品名や、型式等）を含むほか、生産指示書の作成理由（モデルチェンジ、コスト削減や不具合対応等の仕様変更等）、開始条件（即時、生産ラインが空き次第、日時指定等）、開始期限日、完了期限日、特記事項を含む。特記事項は、生産指示書の標準フォームにとらわれない事項であり、たとえば製造時の注意事項、制限事項等が特記事項として登録される。

【0041】

生産管理部署は、当該製品を生産する工場に当該製品の設計図と生産指示書を配布する。また、生産管理部署は、当該製品の納品先となり、当該製品を部品として二次製品を生産する工場にも当該製品の設計図と、二次製品の設計図と生産指示書とを配布する。

【0042】

たとえば、設計部署は、製品Ａについて設計図Ａを作成し、製品Ｂについて設計図Ｂを作成し、製品Ｃについて設計図Ｃを作成する。生産管理部署は、製品Ｂを工場Ｂが製作するとき、工場Ｂに生産指示書Ｂと設計図Ｂを配布する。また、生産管理部署は、製品Ｃを工場Ｃが製作するとき、工場Ｃに生産指示書Ｃと設計図Ｃを配布する。また、生産管理部署は、製品Ａと製品Ｂを構成部品（一次製品）とする組立品（二次製品）を工場Ｃが制作するとき、工場Ｃに生産指示書Ｃと設計図Ｃに加えて設計図Ａと設計図Ｂとを配布する。

【0043】

生産指示書は、電子文書として配布され、特記事項として音声を追加（紐づけ）可能である。生産指示書に追加される音声は、生産管理部署において録音される場合があるし、対応する工場において録音される場合もあり得る。たとえば、生産指示書に追加される音声の録音環境は、生産管理部署においては良好とすることができるが、工場においては良好とすることが容易でない場合がある。したがって、生産指示書に追加される音声は、雑音を含む場合があるし、第三者の音声を含む場合があり、目的とする音声だけではない場合がある。

【0044】

次に、生産指示書に特記事項を登録する際に、端末２００に表示される特記事項登録画面について図６を用いて説明する。図６は、第２の実施形態の特記事項登録画面の一例を示す図である。

【0045】

特記事項登録画面は、生産指示書の表示時に特記事項登録メニューを担当者が選択することで表示される画面である。特記事項登録画面は、案件ＩＤ表示、特記事項の登録方法の選択入力表示、録音操作表示、録音時間表示、決定・戻る操作表示を含む。

【0046】

案件ＩＤ表示は、特記事項が紐づけられる生産指示書を特定可能な情報である。特記事項の登録方法の選択入力表示は、選択式入力フォームのＵＩ（User Interface）、たとえばラジオボタンを有し、特記事項を音声入力とするか、フリー入力とするか、定型文とするかを選択可能にする。録音操作表示と録音時間表示と発話者選択表示は、選択入力表示において音声入力を選択しているときに表示される。なお、フリー入力は、文章や画像等の入力を許容する。定型文は、あらかじめ用意している定型文の１つを選択、あるいは２以上の定型文の組合せの選択を許容する。

【0047】

録音操作表示は、録音開始、一時停止、録音終了の各操作をアイコン表示する。録音時間表示は、録音開始、一時停止、録音終了の各操作によって録音された音声の録音時間と、音声再生操作のアイコンを表示する。決定・戻る操作表示は、録音された音声を特記事項とするか否かの操作を受け付けるアイコンを表示する。

【0048】

端末２００は、このような特記事項登録画面を用いて生産指示書に紐づけられた音声データを特記事項として登録可能にする。端末２００は、生産指示書に紐づけられた音声データをサーバ１００に通知することができる。サーバ１００は、取得した音声データから発話単位の発話データを抽出し、発話者を特定して発話者ごとの統計データ１３２を生成することができる。サーバ１００は、生産指示書に特記事項として登録した音声データのうち再生対象となる発話データを統計データ１３２にもとづいて絞り込み出力候補とすることができる。なお、サーバ１００は、発話者を絞り込むことによって発話データの絞り込みをおこなうことができる。

【0049】

端末２００は、サーバ１００が生成した出力候補を確認可能にし、必要に応じて変更可能にする。次に、サーバ１００が生成した出力候補を確認する際に、端末２００に表示される発話者確認画面について図７を用いて説明する。図７は、第２の実施形態の発話者確認画面の一例を示す図である。

【0050】

端末２００は、特記事項登録画面において音声データを特記事項として登録した後に、発話者確認画面を表示する。発話者確認画面は、案件ＩＤ表示、統計区分表示、判定基準表示、再生対象表示、非再生対象表示、発話者入替操作表示、決定・戻る操作表示を含む。

【0051】

案件ＩＤ表示は、特記事項が紐づけられる生産指示書を特定可能な情報である。統計区分表示は、発話者の絞り込みに用いる統計データ１３２の範囲を指定するものである。たとえば、統計データ１３２の範囲は、蓄積データ１３１のすべてとすることができるし、蓄積データ１３１のうち過去１年以内のように期間を限定した一部とすることができるし、案件ＩＤから特定される生産指示書の属性を限定した一部とすることができる。生産指示書の属性は、製品種別や、生産工場等がある。端末２００は、受け付けた統計区分をサーバ１００に通知する。サーバ１００は、受け付けた統計区分にしたがい統計処理をおこなう。

【0052】

判定基準表示は、発話者の絞り込みに用いる統計データ１３２の絞込み判定基準を指定する表示である。判定基準表示は、発話率指定表示と、音量指定表示とを含む。端末２００は、受け付けた統計区分をサーバ１００に通知する。サーバ１００は、受け付けた発話率と音量にしたがい発話者の絞り込みをおこなう。判定基準の１つである発話率は、プルタブから基準値を選択可能にする。図示する判定基準表示は、発話率８０％以上を判定基準の１つとする。また、判定基準の１つである音量は、ラジオボタンから基準値を選択可能にする。図示する判定基準表示は、音量「中」以上を判定基準の１つとする。

【0053】

なお、発話率は、発話者ごとの発話データの合計時間が音声データにおける録音時間に占める割合である。発話率は、発話者ごとの発話データが音声データに占める割合に関する割合情報の１つである。なお、発話率は、音声データに現れる発話者の重要度を時間的尺度で測るものであれば他の算出式によって算出されるものであってもよい。音量は、発話者ごとの発話データの平均音量（ｄＢ）である。音量は、発話者ごとの発話データの音量に関する音量情報の１つである。なお、音量は、たとえば音声データの平均音量と比較して発話データの平均音量が大きいか、同程度か、小さいかなどのように、音声データと発話データとの比較による相対的評価であってもよい。このような音量の相対的評価は、録音環境によらず発話者の音量を評価できる。また、このような音量の相対的評価は、音声データの正規化処理（たとえば、平均音量の補正）を簡潔にできる。

【0054】

再生対象表示と非再生対象表示は、生産指示書に紐づけられた音声データに含まれる発話者の一覧表示である。再生対象表示は、統計データ１３２の絞込み判定基準を満たして再生対象となる発話者の一覧表示であり、非再生対象表示は、統計データ１３２の絞込み判定基準を満たさないことから再生対象とならない発話者の一覧表示である。

【0055】

再生対象表示と非再生対象表示は、それぞれ発話者ごとに、ラジオボタン、識別情報表示、発話再生アイコン、発話者統計情報を含む。再生対象表示と非再生対象表示は、ラジオボタンにチェックを入れて、矢印状のアイコンである発話者入替操作表示を操作することで再生対象表示と非再生対象表示との間で発話者を入れ替えることができる。決定・戻る操作表示は、再生対象表示と非再生対象表示の発話者の構成を確認して決定するか否かの操作を受け付けるアイコンを表示する。端末２００は、再生対象表示と非再生対象表示の発話者の構成に変更があればサーバ１００に変更内容を通知する。

【0056】

なお、再生対象表示に表示される発話者は、サーバ１００が判定基準に合致したとした発話者であり、非再生対象表示は、サーバ１００が判定基準に合致しないとした発話者である。たとえば、端末２００の操作者は、非再生対象表示にある発話者Ｃの発話を再生して特記事項として再生対象としたいとした場合、発話者Ｃのラジオボタンにチェックを入れて発話者入替操作表示を操作することで発話者Ｃを再生対象表示に入れ替えることができる。同様にして、再生対象表示に表示されている発話者を非再生対象表示に入れ替えることができる。端末２００は、発話者の入替結果をサーバ１００に通知し、サーバ１００は、発話者の入替結果にもとづいて生産指示書に紐づけられて再生対象とする発話データを更新する。

【0057】

次に、端末２００から特記事項を確認する際に、端末２００に表示される特記事項確認画面について図８を用いて説明する。図８は、第２の実施形態の特記事項確認画面の一例を示す図である。

【0058】

特記事項確認画面は、生産指示書の表示時に特記事項確認メニューを担当者が選択することで表示される画面である。特記事項確認画面は、案件ＩＤ表示、特記事項の確認方法の選択入力表示、発話者表示、再生操作表示、再生時間表示、戻る操作表示を含む。

【0059】

案件ＩＤ表示は、特記事項が紐づけられる生産指示書を特定可能な情報である。特記事項の確認方法の選択入力表示は、選択式入力フォームのＵＩ、たとえばラジオボタンを有し、確認対象となる特記事項を音声出力とするか、フリー表示とするか、定型文表示とするかを選択可能にする。なお、特記事項として登録されている項目を黒色表示、登録されていない項目をグレー表示として登録の有無を明示する。

【0060】

発話者表示は、生産指示書に紐づけられて再生対象とする発話データに対応する発話者が表示される。ここで表示される発話者は、発話者確認画面において発話者表示に表示される発話者である。発話者表示は、発話者ごとに、ラジオボタン、識別情報表示、発話再生表示、発話者統計情報を含む。発話再生表示は、再生開始、一時停止の各操作をアイコン表示する。再生時間表示は、再生開始、一時停止の各操作によって再生する音声の再生時間を表示する。戻る操作表示は、特記事項確認の終了操作を受け付けるアイコンを表示する。なお、１の発話者に２以上の発話データがある場合、一連の発話データとして連続して再生可能にしてもよいし、それぞれ個別に再生可能にしてもよい。

【0061】

これにより、サーバ１００は、端末２００から特記事項を確認する際に、音声データのすべての確認を求めることを要しない。また、サーバ１００は、端末２００から特記事項を確認する際に、その都度に発話データを選択することを求めずに、適当とされる発話データを確認可能にする。

【0062】

次に、サーバ１００が実行する処理について説明する。まず、端末２００が特記事項として音声データを取得した際に、サーバ１００が実行する音声蓄積処理について図９から図１２を用いて説明する。図９は、第２の実施形態の音声蓄積処理のフローチャートの一例を示す図である。図１０は、第２の実施形態の音声蓄積データの一例を示す図である。図１１は、第２の実施形態の発話蓄積データの一例を示す図である。図１２は、第２の実施形態の発話者データの一例を示す図である。

【0063】

［ステップＳ１１］音声処理部１２１（処理部１２０）は、端末２００が特記事項として登録した音声データを取得する。音声処理部１２１は、取得した音声データを蓄積データ１３１のうちの音声蓄積データとして記憶部１３０に保存する。

【0064】

図１０に示す音声蓄積データ１４０は、音声蓄積データの一例である。音声蓄積データ１４０は、音声データごとに、案件ＩＤ、音声録音時間、音量、日付を含む。音声データは、音声処理部１２１によってユニークな識別情報（たとえば、識別情報「Ｖ－ｘｘｘｘ」）が付される。たとえば、識別情報「Ｖ－ｘｘｘｘ」で特定される音声データは、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」によって紐づけられている生産指示書を特定可能にする。また、識別情報「Ｖ－ｘｘｘｘ」で特定される音声データは、音声録音時間「２’５４”」、音量「５０」、日付（特記事項としての登録日）「ｙ１／ｍ１／ｄ１」とともに音声蓄積データとして記憶部１３０に保存される。なお、音声処理部１２１は、音声データを取得する都度、音声蓄積データとして記憶部１３０に保存する。

【0065】

［ステップＳ１２］音声処理部１２１（処理部１２０）は、取得した音声データからノイズ除去をおこなう。なお、音声処理部１２１は、ノイズ除去に加えて平均音量を規定値に補正する正規化処理等をおこなうようにしてもよい。また、音声処理部１２１は、発話を聞き取りやすくするためのフィルタ処理等をおこなうようにしてもよい。また、音声処理部は、規定以上の無音部を削除するようにしてもよい。

【0066】

［ステップＳ１３］音声処理部１２１（処理部１２０）は、加工した音声データから発話単位で発話データを抽出する。なお、発話単位は、発話者の交代によって区切られるものであってもよいし、同一発話者による規定時間以上の無音期間によって区切られるものであってもよい。また、発話単位は、その他の既知の方法によって区切られるものであってもよい。音声処理部１２１は、抽出した発話データを蓄積データ１３１のうちの発話蓄積データとして記憶部１３０に保存する。

【0067】

図１１に示す発話蓄積データ１５０は、発話蓄積データの一例である。発話蓄積データ１５０は、発話データごとに、案件ＩＤ、発話者、発話時間、音量、再生フラグ、日付、音声ＩＤを含む。なお、再生フラグは、発話データを出力対象（再生対象）とするか否かを識別可能な情報であり、初期値が「０」であり、特記事項における発話者候補（再生候補）となったときに「１」になる。日付は、特記事項としての登録日である。音声ＩＤは、抽出元となる音声データを特定可能な情報である。

【0068】

発話データは、音声処理部１２１によってユニークな識別情報（たとえば、識別情報「ｖ０００００１」）が付される。たとえば、識別情報「ｖ０００００１」で特定される発話データは、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」によって紐づけられている生産指示書を特定可能にする。また、識別情報「ｖ０００００１」で特定される発話データは、発話者「Ａ」、発話時間「２’３６”」、音量「８２」、再生フラグ「０」、日付「ｙ１／ｍ１／ｄ１」、音声ＩＤ「Ｖ－ｘｘｘｘ」とともに発話蓄積データとして記憶部１３０に保存される。

【0069】

なお、発話蓄積データ１５０のうち音声ＩＤ「Ｖ－ｘｘｘｘ」から抽出された発話データは、識別情報「ｖ０００００１」，「ｖ０００００２」，「ｖ０００００３」で特定される発話データである。その余の発話データは、音声ＩＤ「Ｖ－ｘｘｘｘ」以前に抽出された発話データである。このように、音声処理部１２１は、発話データを抽出する都度、発話蓄積データとして記憶部１３０に保存する。

【0070】

［ステップＳ１４］音声処理部１２１（処理部１２０）は、抽出した発話データについて発話者を特定する。まず、音声処理部１２１は、発話データごとに発話者を区別可能な情報により発話者を区別する。音声処理部１２１は、区別した発話者ごとに発話者を特定可能な特定情報があれば特定情報を付与する。

【0071】

なお、発話者を区別可能な情報は、音声の特徴（たとえば、声紋や声域、イントネーション等）によってもよいし、発話に含まれる発話者情報（たとえば、所属、役職、氏名等）によってもよいし、これらの組合せによってもよい。

【0072】

なお、発話者を特定可能な特定情報は、発話者を区別したときに付与する識別情報に代えて表示可能な情報とすることができる。たとえば、識別情報は、Ａ，Ｂ，Ｃ，Ｄ，・・・のような特定の人物を想起容易でない情報であり、特定情報は、「生産管理部〇〇課長」のように特定の人物を想起容易な情報とすることができる。

【0073】

図１２に示す発話者データ１５２は、発話者データの一例である。発話者データ１５２は、発話者を区別可能な識別情報と発話者を特定可能な特定情報との対応関係である。発話者を区別可能な識別情報は、たとえば、Ａ，Ｂ，Ｃ，Ｄ，Ｅである。発話者Ａは、所属「生産管理部」、役職「課長」、名前「山田」として特定されているが、発話者Ｅは、他の発話者と区別されているものの個人が特定されていない。たとえば、新規の発話者は、個人が特定されていないが、特記事項の登録後、あるいは再生後に、本人あるいは本人以外によって発話者が特定されて関連情報が入力される。

【0074】

［ステップＳ１５］統計処理部１２２（処理部１２０）は、発話データを統計処理する統計データ更新処理を実行する。統計処理部１２２は、統計データ更新処理において、発話者データ、あるいは発話者データに加えて音声データを対象にして統計処理をおこない、統計データ１３２の生成と更新をおこなう。統計データ更新処理については、後で図１３を用いて説明する。

【0075】

［ステップＳ１６］出力候補生成部１２３（処理部１２０）は、取得した音声データに紐づけられた生産指示書において特記事項として再生対象となる発話データに係る発話者を発話者候補として統計データ１３２を用いて生成する。

【0076】

［ステップＳ１７］出力候補生成部１２３（処理部１２０）は、取得した音声データに紐づけられた生産指示書において特記事項として再生対象となる発話データのうち発話者候補に係る発話データに再生フラグ「１」をセットする。たとえば、発話蓄積データ１５０において、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」における発話者Ａを発話者候補として生成したとき、発話データ「ｖ０００００１」における再生フラグ「０」を「１」に更新する。

【0077】

これにより、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」により特定される生産指示書は、特記事項における音声再生時に、発話者Ａに係る発話データ「ｖ０００００１」を再生対象とすることができる。

【0078】

次に、サーバ１００が実行する統計データ更新処理について図１３を用いて説明する。統計データ更新処理は、サーバ１００が音声蓄積処理のステップＳ１５において実行する処理である。図１３は、第２の実施形態の統計データ更新処理のフローチャートの一例を示す図である。

【0079】

［ステップＳ２１］統計処理部１２２（処理部１２０）は、統計処理における集計範囲を選択する。集計範囲は、端末２００の利用者によって選択されるものであってもよいし、デフォルトで決められているものであってもよい。集計範囲は、蓄積データ１３１のすべてとすることができるし、蓄積データ１３１のうち特定の属性を有する生産指示書に係るデータとすることができる。たとえば、特定の属性を有する生産指示書は、案件ＩＤによって限定されるものがあるし、特定の発話者の発話を含む音声データと紐づけられているものがあるし、特定の期間に録音された音声データと紐づけられているものがある。

【0080】

［ステップＳ２２］統計処理部１２２（処理部１２０）は、蓄積データ１３１のうち選択された集計範囲に属するデータを集計対象となるデータ（対象データ）として取得する。

【0081】

［ステップＳ２３］統計処理部１２２（処理部１２０）は、対象データを発話者ごとに統計処理する。具体的には、統計処理部は、対象データについて発話者ごとの発話率や平均音量を生成する。

【0082】

［ステップＳ２４］統計処理部１２２（処理部１２０）は、生成した統計データを統計データ１３２として記憶部１３０に保存する。
ここで、統計データ１３２の一例について図１４を用いて説明する。図１４は、第２の実施形態の発話者統計データの一例を示す図である。発話者統計データ１６０は、記憶部１３０に保存される統計データ１３２の１つである。

【0083】

発話者統計データ１６０は、集計範囲を「すべて」とする統計データであり、発話者ごとの発話率と平均音量を含む。発話率は、抽出元となった音声データに占める当該発話者に係る発話データが占める割合である。平均音量は、発話データの平均音量であり、ｄＢ単位で生成される。たとえば、発話者Ａは、発話率「８０（％）」と平均音量「８５（ｄＢ）」の統計データである。発話者ごとの統計データは、発話者候補の生成に用いられる。このような発話者統計データ１６０は、発話者に係る統計データをより多くの集計範囲から生成可能であり、統計データの精度向上を図ることができる。

【0084】

次に、発話者統計データ１６０の変形例について図１５を用いて説明する。図１５は、第２の実施形態の発話者統計データの変形例を示す図である。発話者統計データ１６２は、記憶部１３０に保存される統計データ１３２の１つである。

【0085】

発話者統計データ１６２は、集計範囲を生産指示書ごととする統計データであり、案件ＩＤ別に発話者ごとの発話率と音量評価を含む。発話率は、抽出元となった音声データに占める当該発話者に係る発話データが占める割合である。音量評価は、発話データの平均音量の評価レベルであり、たとえば大、中、小のように３段階の音量レベルで評価される。たとえば、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」における発話者Ａは、発話率「８０（％）」と音量評価「大」の統計データである。また、案件ＩＤ「ＹＹＹＹ－ｙｙｙｙ」における発話者Ａは、発話率「５（％）」と音量評価「小」の統計データである。すなわち、発話者Ａは、案件ＩＤ「ＸＸＸＸ－ｘｘｘｘ」により特定される生産指示書の特記事項において主要な発話者であるが、案件ＩＤ「ＹＹＹＹ－ｙｙｙｙ」により特定される生産指示書の特記事項において主要な発話者でない。案件ＩＤかつ発話者ごとの統計データもまた、発話者候補の生成に用いることができる。このような発話者統計データ１６２は、発話者に係る統計データを特定の集計範囲から生成可能であり、発話者の異動があった時など環境変化に対応して統計データの精度向上を図ることができる。

【0086】

次に、サーバ１００が実行する発話データ確認処理について図１６を用いて説明する。発話データ確認処理は、端末２００が発話者確認画面を表示するときに実行される。図１６は、第２の実施形態の発話データ確認処理のフローチャートの一例を示す図である。

【0087】

［ステップＳ３１］出力候補生成部１２３（処理部１２０）は、端末２００が発話者確認画面を表示する際に、生産指示書に係るすべての発話者と、再生対象となる発話者（音声蓄積処理のステップＳ１７において再生フラグ「１」が設定された発話者）とを端末２００に通知する。端末２００は、当該通知を受けて再生対象となる発話者を再生対象表示（図７参照）に表示し、生産指示書に係るすべての発話者のうち再生対象とならない発話者を非再生対象表示に表示する。

【0088】

［ステップＳ３２］出力候補生成部１２３（処理部１２０）は、端末２００から発話者確認画面を表示する際に、再生対象表示と非再生対象表示の発話者の構成の確認を決定する通知にもとづいて発話データの確認終了を判定する。出力候補生成部１２３は、発話データの確認終了があれば発話データの確認を終了してステップＳ３５に進み、発話データの確認終了がなければステップＳ３３に進む。

【0089】

［ステップＳ３３］出力候補生成部１２３（処理部１２０）は、端末２００から発話再生指示があればステップＳ３４に進み、発話再生指示がなければステップＳ３２に進み、発話再生指示もしくは発話データの確認終了を待ち受ける。

【0090】

［ステップＳ３４］出力候補生成部１２３（処理部１２０）は、発話再生指示にもとづく発話データを端末２００に送信する。
［ステップＳ３５］出力候補生成部１２３（処理部１２０）は、発話データの確認終了の通知とともに、再生対象表示と非再生対象表示の発話者の構成変更に係る通知があるか否か、すなわち出力候補（再生候補）の入替があるか否かを判定する。出力候補生成部１２３は、出力候補の入替がなければ発話データ確認処理を終了し、出力候補の入替があればステップＳ３６に進む。

【0091】

［ステップＳ３６］出力候補生成部１２３（処理部１２０）は、出力候補の入替通知にしたがい発話データの再生フラグを更新する。出力候補生成部１２３は、再生対象となる発話データの再生フラグに「１」をセットし、非再生対象となる発話データの再生フラグに「０」をセットする。なお、サーバ１００は、出力候補の入替通知にもとづく再生フラグの更新情報を保持するようにしてもよく、以降における統計データ１３２にもとづく再生フラグの設定を更新情報にもとづいて上書き更新するようにしてもよい。

【0092】

これにより、サーバ１００は、統計データ１３２にもとづいた再生対象となる発話データを提示したうえで、端末２００の利用者による修正を受け付けることができる。また、サーバ１００は、特記事項の確認時に適切な発話データを出力可能にする。このようなサーバ１００は、生産指示書に紐づけられた発話データの登録や再生に係る作業負荷を軽減することができる。

【0093】

また、開示した実施形態はすべての点で例示されるものであって制限的なものではないと考えられるべきである。また、上述の実施形態および変形例の各構成を組み合わせて適用してもよい。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0094】

１０ 情報処理装置
１１ 処理部
１２ 蓄積データ
１３ 統計データ
１４ 電子文書
１５ 音声データ
１６，１７，１８ 発話データ
１９，２０，２１ 発話者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】