特許 6494828 管理装置、管理方法および管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6494828

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】管理装置、管理方法および管理プログラム

(51)【国際特許分類】

   G06Q 50/12 20120101AFI20190325BHJP

   G10L 17/00 20130101ALI20190325BHJP

   G10L 15/28 20130101ALI20190325BHJP

   G07G 1/12 20060101ALI20190325BHJP

【ＦＩ】

   G06Q50/12

   G10L17/00 200C

   G10L15/28 500

   G10L17/00 400

   G07G1/12 361C

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2018-40767(P2018-40767)

(22)【出願日】2018年3月7日

【審査請求日】2018年8月15日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500257300

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】笹谷 奈翁美

(72)【発明者】

【氏名】山下 達雄

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２００２−２７９２４５（ＪＰ，Ａ）

【文献】 特開２００３−２１９０３８（ＪＰ，Ａ）

【文献】 特開２００１−２７３４２１（ＪＰ，Ａ）

【文献】 特開２０１０−１７０１３７（ＪＰ，Ａ）

【文献】 特開２０１０−１０２２５４（ＪＰ，Ａ）

【文献】 特開２００２−１８２６８０（ＪＰ，Ａ）

【文献】 特開２０１６−０７１０５０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００２／００４９５９８（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

Ｇ０７Ｇ １／１２

Ｇ１０Ｌ １５／２８

Ｇ１０Ｌ １７／００

(57)【特許請求の範囲】

【請求項1】

ユーザによる音声の入力を受け付ける受付部と、
前記受付部により受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別部と、
前記受付部により受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定部と、
前記受付部により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習部と、
前記受付部により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習部と、
を備えることを特徴とする管理装置。

【請求項2】

前記識別部により識別された前記ユーザの識別情報と、前記特定部により特定された前記注文内容とを対応付けした精算情報を用いて、前記注文内容に応じた代金を精算する精算部
をさらに備えることを特徴とする請求項１に記載の管理装置。

【請求項3】

前記受付部は、ユーザによる所定の用語を示す音声の入力をさらに受け付けて、
前記識別部は、該所定の用語を用いて前記ユーザを識別することを特徴とする請求項１または２に記載の管理装置。

【請求項4】

前記受付部は、ユーザの音声以外の生体情報の入力をさらに受け付けて、
前記識別部は、前記音声に代えて前記ユーザの生体情報を用いて該ユーザを識別することを特徴とする請求項１または２に記載の管理装置。

【請求項5】

コンピュータが実行する管理方法であって、
ユーザによる音声の入力を受け付ける受付工程と、
前記受付工程において受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別工程と、
前記受付工程において受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定工程と、
前記受付工程により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習工程と、
前記受付工程により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習工程と、
を含むことを特徴とする管理方法。

【請求項6】

ユーザによる音声の入力を受け付ける受付手順と、
前記受付手順において受け付けられた前記音声と、前記ユーザを識別するための識別モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて前記ユーザを識別する識別手順と、
前記受付手順において受け付けられた前記音声と、注文内容を特定するための特定モデルによって推定された推定結果と、該推定結果に対する正解または不正解を示すユーザの応答結果とを用いて注文内容を特定する特定手順と
前記受付手順により受け付けられた前記音声と、前記推定結果と、前記ユーザの応答結果とを用いて前記識別モデルを生成する識別学習手順と、
前記受付手順により受け付けられた所定のユーザによる音声と、該所定のユーザに対応する前記推定結果と、該所定のユーザの応答結果とを用いて注文内容を特定するための特定モデルを生成する特定学習手順と、
をコンピュータに実行させることを特徴とする管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管理装置、管理方法および管理プログラムに関する。

【背景技術】

【0002】

従来、ユーザの注文を音声認識により受け付ける技術が知られている。例えば、食堂における料理の注文やカタログに掲載されている商品の注文を音声により受け付けて、音声認識により料理や商品を特定して注文情報として取り込む技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−０５４４４２号公報

【特許文献2】特開２０１４−１９１６００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、音声で料理や商品の注文を受け付ける際に、注文したユーザを識別していなかった。そのため、例えば、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することができなかった。

【0005】

本願は、上記に鑑みてなされたものであって、容易にユーザを識別して音声による注文を受け付けることができる管理装置、管理方法および管理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本願に係る管理装置は、ユーザの音声の入力を受け付ける受付部と、前記受付部により受け付けられた前記音声を用いて前記ユーザを識別する識別部と、前記受付部により受け付けられた前記音声を用いて前記ユーザの注文内容を特定する特定部と、を備えることを特徴とする。

【発明の効果】

【0007】

実施形態の一態様によれば、容易にユーザを識別して音声による注文を受け付けることができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る管理処理の一例を示す図である。

【図2】図２は、実施形態に係る管理装置の構成例を示す図である。

【図3】図３は、実施形態に係る識別モデルの一例を示す図である。

【図4】図４は、実施形態に係る特定モデルの一例を示す図である。

【図5】図５は、実施形態に係る精算情報の一例を示す図である。

【図6】図６は、実施形態に係る管理装置が実行する管理処理手順を示すフローチャートである。

【図7】図７は、他の実施形態に係る管理装置が実行する管理処理手順を示すフローチャートである。

【図8】図８は、実施形態に係る管理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る管理装置、管理方法および管理プログラムを実施するための形態（以下、「実施形態」と記載する）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る管理装置、管理方法および管理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0010】

（実施形態）
〔１．管理処理〕
まず、図１を用いて、実施形態に係る管理処理の一例について説明する。図１は、実施形態に係る管理処理の一例を示す図である。図１に示すように、実施形態に係る管理装置によって、メニュー名や数量等の注文内容を示すユーザの音声を用いて、ユーザを識別して注文内容を受け付ける管理処理が行われる。

【0011】

図１には、注文内容がメニュー名「カレーライス」である場合が例示されている。図１に示すように、ユーザが、管理装置に備わるマイクを用いてメニュー名「カレーライス」を発声すると（ステップＳ１）、管理装置は、例えば声紋等を用いてユーザを識別する。

【0012】

次に、管理装置は、ユーザの発声したメニュー名「カレーライス」を音声認識することにより、メニュー名を特定する。そして、管理装置は、特定されたメニュー名を用いて注文を確定する。このように、管理装置は、ユーザが注文内容を発声するだけで、容易にユーザを識別して注文を受け付ける。

【0013】

また、管理装置は、受け付けた注文の日時、メニュー名を、ユーザの識別情報であるユーザＩＤ（IDentification）と対応付けて精算情報１３ｅを生成し、記憶部に蓄積する。管理装置は、ユーザＩＤごとに精算情報１３ｅを集計し、ユーザの注文内容に応じた代金を口座引き落としやクレジットカード払い等の所定の精算方法で精算する。このように、管理装置は、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算する。

【0014】

なお、管理装置には、予めユーザの声紋等の生体情報の特徴を表す識別モデルが、ユーザＩＤと対応付けされて記憶部に記憶されている。管理装置は、ユーザ識別結果を音声あるいはＧＵＩ（Graphical User Interface）等でユーザに確認し、ユーザの応答結果を用いて識別モデルの学習データ（識別用学習データ）を生成し、記憶部に蓄積する。そして、管理装置は、生成した識別用学習データを用いて、識別モデルを学習する。

【0015】

また、管理装置には、予めメニュー名を音声認識により特定するための特定モデルが記憶部に記憶されている。管理装置は、メニュー名の特定結果を音声あるいはＧＵＩ等でユーザに確認し、ユーザの応答結果を用いて特定モデルの学習データ（特定用学習データ）を生成し、記憶部に蓄積する。そして、管理装置は、生成した特定用学習データを用いて、特定モデルを学習する。

【0016】

〔２．管理装置の構成〕
次に、図２を用いて、上記の管理装置１について説明する。図２は、実施形態に係る管理装置１の構成例を示す図である。図２に示すように、管理装置１は、入出力部１１と、制御部１２と、記憶部１３とを備える。

【0017】

（入出力部１１について）
入出力部１１は、マイク、カメラ、指紋センサ、キーボード、またはマウス等の入力装置、ディスプレイやプリンタ等の出力装置等で実現される。入出力部１１には、例えば、ユーザの音声、顔画像、虹彩、あるいは指紋等が入力される。

【0018】

なお、管理装置１は、ＮＩＣ（Network Interface Card）等によって実現される通信部を備え、マイクやカメラ、ディスプレイ等を備えたユーザが使用する端末装置との間で通信部を介して情報の送受信を行ってもよい。

【0019】

（記憶部１３について）
記憶部１３は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示すように、記憶部１３は、識別モデル１３ａおよび特定モデル１３ｂを記憶する。また、記憶部１３は、後述する管理処理により生成される識別用学習データ１３ｃ、特定用学習データ１３ｄ、および精算情報１３ｅを記憶する。

【0020】

（識別モデル１３ａについて）
識別モデル１３ａは、ユーザの声紋等の生体情報の特徴を表すモデルであり、予めユーザＩＤと対応付けて予め記憶部１３に記憶されている。後述する管理処理において、ユーザの音声と識別モデル１３ａとを用いて、ユーザが識別される。なお、ユーザの生体情報は、声紋に限定されず、例えば、顔画像、虹彩あるいは指紋等でもよい。

【0021】

図３は、識別モデル１３ａの一例を示す図である。図３には、ユーザの生体情報が声紋である場合が例示されている。この場合の識別モデル１３ａは、図３に示すように、声紋情報とユーザを識別するユーザＩＤとが対応付けされたものである。言い換えれば、識別モデル１３ａは、声紋情報に、教師ラベルとして、ユーザＩＤのタグが付与されたものである。

【0022】

（特定モデル１３ｂについて）
特定モデル１３ｂは、注文内容を音声認識により特定するためのモデルであり、予め記憶部１３に記憶されている。後述する管理処理において、ユーザの音声と特定モデル１３ｂとを用いて、注文内容が特定される。

【0023】

図４は、特定モデル１３ｂの一例を示す図である。図４には、注文内容がメニュー名である場合が例示されている。この場合の特定モデル１３ｂは、図４に示すように、音声データに、教師ラベルとして、「りんご」等のメニュー名のタグが付与されたものである。

【0024】

（識別用学習データ１３ｃについて）
識別用学習データ１３ｃは、識別モデル１３ａの生成のための学習データであり、後述する管理処理において、識別部１２ｂによる識別結果に対する正解または不正解を示す、ユーザの識別結果の確認に対するユーザの応答結果を用いて生成される。この識別用学習データ１３ｃを用いて識別モデル１３ａが生成され、識別モデル１３ａが更新される。

【0025】

（特定用学習データ１３ｄについて）
特定用学習データ１３ｄは、特定モデル１３ｂの生成のための学習データであり、後述する管理処理において、特定部１２ｄによる特定結果に対する正解または不正解を示す、注文内容の特定結果の確認に対するユーザの応答結果を用いて生成される。この特定用学習データ１３ｄを用いて特定モデル１３ｂが生成され、特定モデル１３ｂが更新される。

【0026】

（精算情報１３ｅについて）
精算情報１３ｅは、後述する管理処理において、識別されたユーザのユーザＩＤと特定された注文内容とを対応付けて生成される情報である。図５は、実施形態に係る精算情報１３ｅの一例を示す図である。図５に示すように、精算情報１３ｅは、「ユーザＩＤ」、「日時」、「メニュー」等が互いに対応付けられた情報である。図５には、注文内容がメニュー名である場合が例示されている。注文内容には、メニュー名の他に、例えば、「一皿」「大盛」等の数量を表す情報が含まれてもよい。

【0027】

「ユーザＩＤ」は、氏名や会員番号等のユーザを識別するユーザ識別情報である。「日時」は、精算情報１３ｅが生成された日時を示す。「メニュー名」は、例えば、食堂等におけるメニュー名を示す。図１に示した例においては、図５に示すように、ユーザＩＤ「Ａさん」、日時「○月×日△時□分」、メニュー名「カレーライス」とした精算情報１３ｅが生成され、記憶部１３に蓄積される。

【0028】

（制御部１２について）
図２の説明に戻る。制御部１２は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、管理装置１内部の記憶装置に記憶されている各種プログラム（管理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0029】

図２に示すように、制御部１２は、受付部１２ａ、識別部１２ｂ、識別学習部１２ｃ、特定部１２ｄ、特定学習部１２ｅおよび精算部１２ｆを有し、以下に説明する管理処理の機能や作用を実現または実行する。

【0030】

（受付部１２ａについて）
受付部１２ａは、ユーザによる音声の入力を受け付ける。具体的には、受付部１２ａは、マイクから入力されるユーザの音声を、入出力部１１を介して受け付ける。また、受付部１２ａは、カメラで撮影されたユーザの顔画像または虹彩、あるいは指紋センサで取得されたユーザの指紋等の入力を受け付けてもよい。

【0031】

（識別部１２ｂについて）
識別部１２ｂは、受付部１２ａにより受け付けられた音声を用いてユーザを識別する。具体的には、識別部１２ｂは、受付部１２ａにより受け付けられた、注文内容を示す音声と、ユーザの声紋等の特徴を表す識別モデル１３ａとを用いて、ユーザを識別する。

【0032】

ここで、識別部１２ｂは、任意の言葉を発声する音声から声紋等の特徴を抽出し、抽出した声紋情報を識別モデル１３ａと対比させて、ユーザＩＤを特定することにより、ユーザを識別する。

【0033】

あるいは、識別部１２ｂは、ユーザによる所定の用語を用いてユーザを識別してもよい。例えば、注文内容以外の「お願いします」等の全ユーザに共通な所定の用語の発声によって、ユーザを識別するようにしてもよい。その場合には、受付部１２ａが、所定の用語を示す音声の入力を受け付ける。また、この場合の識別モデル１３ａは、所定の用語の音声データとユーザＩＤとを対応付けたものである。識別部１２ｂは、受け付けた音声データと識別モデル１３ａとを対比させて、ユーザＩＤを特定することにより、ユーザを識別する。

【0034】

また、上記したとおり、識別モデル１３ａが表すユーザの生体情報は、声紋に限定されず、顔画像、虹彩または指紋等でもよい。その場合には、例えば、ユーザが注文内容を発声する際に、カメラで撮影された顔画像または虹彩、あるいは指紋センサで取得された指紋等を、入出力部１１を介して受付部１２ａが受け付けることにより実現される。

【0035】

識別部１２ｂは、識別結果をユーザに確認し、応答を受け付ける。例えば、「あなたはＡさんですか？」等の識別結果を確認するメッセージを入出力部１１に出力し、「はい」「いいえ」のいずれかの応答を、入出力部１１を介して受け付ける。例えば、識別部１２ｂは、タッチパネル式のディスプレイに識別結果の確認のメッセージを表示して、「はい」「いいえ」のいずれかを選択するユーザの操作入力を受け付ける。音声により識別結果の確認のメッセージを出力したり、ユーザの「はい」「いいえ」のいずれかの音声による応答の入力を受け付けたりしてもよい。

【0036】

なお、識別結果が間違っていた場合には、正解になるまで、ユーザを識別する処理が繰り返される。ここで、正解とは、識別結果が正しく、例えば、ユーザから「はい」を示す応答が得られた場合を意味する。これに対し、識別結果が間違っており、例えば、ユーザから「いいえ」を示す応答が得られた場合は不正解である。また、識別結果の確認は、例えば、識別の精度が所定の閾値より低い場合に実行されるようにしてもよい。

【0037】

また、識別部１２ｂは、受付部１２ａにより受け付けられた音声と、ユーザの応答結果とを用いて、識別用学習データ１３ｃを生成し、記憶部１３に蓄積する。識別用学習データ１３ｃは、正解の教師データあるいは不正解の教師データのいずれでもよい。

【0038】

また、ユーザの識別については、声紋により行った場合には顔認証等、ユーザ識別に用いた生体情報以外の情報を用いた第２の方式との組み合わせ認証を用いて識別を行うことが望ましい。例えば、声紋による識別の成功率は約８０％であるのに対し、組み合わせ認証による識別では、成功率が向上する。あるいは、事後にメールで事実確認を行う等の訂正機構があることが望ましい。

【0039】

（識別学習部１２ｃについて）
識別学習部１２ｃは、識別部１２ｂによる識別結果に対する正解または不正解を示す識別用学習データ１３ｃを用いて、受付部１２ａにより受け付けられた音声を用いてユーザを識別するための識別モデル１３ａを生成する。具体的には、識別学習部１２ｃは、識別用学習データ１３ｃを用いて学習を行い、記憶部１３の識別モデル１３ａを更新する。その場合に、識別部１２ｂは、受付部１２ａにより受け付けられた音声と学習により更新された識別モデル１３ａとを用いて、ユーザを識別する。

【0040】

（特定部１２ｄについて）
特定部１２ｄは、受付部１２ａにより受け付けられた音声を用いて注文内容を特定する。具体的には、識別部１２ｂは、受付部１２ａにより受け付けられた音声と特定モデル１３ｂとを用いて、注文内容を特定する。注文内容は、上記のとおり、例えば、メニュー名である。注文内容には、メニュー名の他に、例えば、「一皿」「大盛」等の数量を表す所定の情報が含まれてもよい。

【0041】

特定部１２ｄは、特定結果をユーザに確認し、応答を受け付ける。例えば、「カレーライスですか？」等の特定結果を確認するメッセージを入出力部１１に出力し、「はい」「いいえ」のいずれかの応答を、入出力部１１を介して受け付ける。例えば、特定部１２ｄは、タッチパネル式のディスプレイに特定結果の確認のメッセージを表示して、「はい」「いいえ」のいずれかを選択するユーザの操作入力を受け付ける。音声により特定結果の確認のメッセージを出力したり、ユーザの「はい」「いいえ」のいずれかの音声による応答の入力を受け付けたりしてもよい。

【0042】

なお、特定結果が間違っていた場合には、正解になるまで、注文内容を特定する処理が繰り返される。ここで、正解とは、特定結果が正しく、例えば、ユーザから「はい」を示す応答が得られた場合を意味する。これに対し、特定結果が間違っており、例えば、ユーザから「いいえ」を示す応答が得られた場合は不正解である。また、特定結果の確認は、例えば、特定の精度が所定の閾値より低い場合に実行されるようにしてもよい。

【0043】

また、特定部１２ｄは、受付部１２ａにより受け付けられた音声と、ユーザの応答結果とを用いて、特定用学習データ１３ｄを生成し、記憶部１３に蓄積する。特定用学習データ１３ｄは、正解の教師データあるいは不正解の教師データのいずれでもよい。

【0044】

（特定学習部１２ｅについて）
特定学習部１２ｅは、特定部１２ｄによる特定結果に対する正解または不正解を示す特定用学習データ１３ｄを用いて、受付部１２ａにより受け付けられた音声を用いて注文内容を特定するための特定モデル１３ｂを生成する。具体的には、特定学習部１２ｅは、特定用学習データ１３ｄを用いて学習を行い、記憶部１３の特定モデル１３ｂを更新する。その場合に、特定部１２ｄは、受付部１２ａにより受け付けられた音声と学習により更新された特定モデル１３ｂとを用いて、注文内容を特定する。

【0045】

（精算部１２ｆについて）
精算部１２ｆは、識別部１２ｂにより識別されたユーザの識別情報と、特定部１２ｄにより特定された注文内容とを対応付けした精算情報１３ｅを用いて、注文内容に応じた代金を精算する。具体的には、精算部１２ｆは、識別部１２ｂにより識別されたユーザのユーザＩＤと、特定部１２ｄにより特定された注文内容とを対応付けして精算情報１３ｅを生成し、記憶部１３に蓄積する。

【0046】

また、精算部１２ｆは、ユーザの退店時あるいは月末等の所定のタイミングで、蓄積された精算情報１３ｅをユーザＩＤごとに集計し、ユーザの注文内容に応じた代金を算出する。そして、精算部１２ｆは、ユーザとの間で予め取り決められた口座引き落としやクレジットカード払い等の所定の精算方法により、算出した各ユーザの代金の精算を行う。これにより、音声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することが可能となる。

【0047】

〔３．処理手順〕
次に、図６を用いて、実施形態に係る管理装置１が実行する処理手順について説明する。図６は、実施形態に係る管理装置１が実行する管理処理手順を示すフローチャートである。

【0048】

図６に示すように、管理装置１において、受付部１２ａは、ユーザが、食堂等に設置されているマイクに向かって注文内容を発声するまで待機する（ステップＳ１，Ｎｏ）。受付部１２ａがユーザの音声の入力を受け付けると（ステップＳ１，Ｙｅｓ）、識別部１２ｂが、受付部１２ａにより受け付けられた音声の声紋等を用いて、ユーザを識別する（ステップＳ２）。また、識別部１２ｂは、識別結果を確認するメッセージをユーザに出力し（ステップＳ３）、応答を受け付ける（ステップＳ４）。また、識別部１２ｂは、ユーザの応答結果を用いて、識別用学習データ１３ｃを生成し、記憶部１３に蓄積する（ステップＳ５）。

【0049】

ユーザの識別結果が正解であった場合に、特定部１２ｄが、ユーザの発声した注文内容を音声認識により特定する（ステップＳ６）。また、特定部１２ｄは、特定結果を確認するメッセージをユーザに出力し（ステップＳ７）、応答を受け付ける（ステップＳ８）。また、特定部１２ｄは、ユーザの応答結果を用いて、特定用学習データ１３ｄを生成し、記憶部１３に蓄積する（ステップＳ９）。

【0050】

ユーザの識別結果および注文内容の特定結果が正解であった場合に（ステップＳ１０，Ｙｅｓ）、特定部１２ｄは、ステップＳ１１に処理を進める。一方、ユーザの識別結果、注文内容の特定結果のいずれかが不正解で、双方がともに正解ではなかった場合には（ステップＳ１０，Ｎｏ）、特定部１２ｄは、ステップＳ１に処理を戻す。

【0051】

ステップＳ１１の処理では、精算部１２ｆが、識別部１２ｂにより識別されたユーザのユーザＩＤと、特定部１２ｄにより特定された注文内容とを対応付けして精算情報１３ｅを生成し、記憶部１３に蓄積する（ステップＳ１１）。また、精算部１２ｆは、所定のタイミングで、蓄積された精算情報１３ｅをユーザＩＤごとに集計し、ユーザの注文内容に応じた代金を算出する。そして、精算部１２ｆは、ユーザとの間で予め取り決められた所定の精算方法により、算出した各ユーザの代金の精算を行う（ステップＳ１２）。これにより、一連の管理処理が終了する。

【0052】

なお、ユーザの識別結果が間違っていた場合には、識別部１２ｂは、正解になるまで、ユーザを識別する処理を繰り返す。また、識別結果の確認は、例えば、識別の精度が所定の閾値より低い場合に実行されるようにしてもよい。

【0053】

また、所定のタイミングで、識別学習部１２ｃが、蓄積された識別用学習データ１３ｃを用いて学習を行い、記憶部１３の識別モデル１３ａを更新する。識別部１２ｂは、それ以降の処理において、更新された識別モデル１３ａを用いてユーザを識別する。

【0054】

また、注文内容の特定結果が間違っていた場合には、特定部１２ｄは、正解になるまで、注文内容を特定する処理を繰り返す。特定結果の確認は、例えば、特定の精度が所定の閾値より低い場合に実行されるようにしてもよい。

【0055】

また、所定のタイミングで、特定学習部１２ｅが、蓄積された特定用学習データ１３ｄを用いて学習を行い、記憶部１３の特定モデル１３ｂを更新する。特定部１２ｄは、それ以降の処理において、更新された特定モデル１３ｂを用いて注文内容を特定する。

【0056】

また、ユーザ識別に関する処理（ステップＳ２〜Ｓ５）と、注文内容特定に関する処理（ステップＳ６〜Ｓ９）との処理順は上記に限定されない。例えば、注文内容特定に関する処理の後にユーザ識別に関する処理が行われてもよい。あるいは、図７に示すように、ユーザ識別に関する処理と、注文特定に関する処理とが並列に行われてもよい。

【0057】

図７は、他の実施形態に係る管理装置１が実行する管理処理手順を示すフローチャートである。図７に示す管理処理では、図６とは、ユーザ識別に関する処理（ステップＳ２〜Ｓ５）と、注文特定に関する処理（ステップＳ６〜Ｓ９）とが並列して行われている点が異なる。その他の処理内容については図６と同様であるので、説明を省略する。

【0058】

〔４．効果〕
上述してきたように、実施形態に係る管理装置１は、受付部１２ａと、識別部１２ｂと、特定部１２ｄとを備える。受付部１２ａは、ユーザによる音声の入力を受け付ける。識別部１２ｂは、受付部１２ａにより受け付けられた音声を用いてユーザを識別する。特定部１２ｄは、受付部１２ａにより受け付けられた音声を用いて注文内容を特定する。これにより、容易にユーザを識別して音声による注文を受け付けることが可能となる。

【0059】

また、実施形態に係る管理装置１は、識別学習部１２ｃをさらに備える。識別学習部１２ｃは、識別部１２ｂによる識別結果に対する正解または不正解を示す識別用学習データ１３ｃを用いて、受付部１２ａにより受け付けられた音声を用いてユーザを識別するための識別モデル１３ａを生成する。その場合に、識別部１２ｂは、受付部１２ａにより受け付けられた音声と識別学習部１２ｃにより生成された識別モデル１３ａとを用いて、ユーザを識別する。これにより、ユーザ識別の精度を向上させることが可能となる。

【0060】

また、実施形態に係る管理装置１は、特定学習部１２ｅをさらに備える。特定学習部１２ｅは、特定部１２ｄによる特定結果に対する正解または不正解を示す特定用学習データ１３ｄを用いて、受付部１２ａにより受け付けられた音声を用いて注文内容を特定するための特定モデル１３ｂを生成する。その場合に、特定部１２ｄは、受付部１２ａにより受け付けられた音声と特定学習部１２ｅにより生成された特定モデル１３ｂとを用いて、注文内容を特定する。これにより、注文内容を特定する音声認識の精度を向上させることが可能となる。

【0061】

また、実施形態に係る管理装置１は、精算部１２ｆをさらに備える。精算部１２ｆは、識別部１２ｂにより識別されたユーザの識別情報と、特定部１２ｄにより特定された注文内容とを対応付けした精算情報１３ｅを用いて、注文内容に応じた代金を精算する。これにより、声で受け付けた同一のユーザによる日時の異なる複数回の注文をユーザ毎に集計して後に精算することが可能となる。このように、ユーザの利便性をさらに向上させることが可能となる。

【0062】

また、実施形態に係る管理装置１において、受付部１２ａは、ユーザによる所定の用語を示す音声の入力をさらに受け付ける。その場合に、識別部１２ｂは、該所定の用語を用いてユーザを識別する。これにより、ユーザ識別の誤りを減少させることが可能となる。

【0063】

また、実施形態に係る管理装置１において、受付部１２ａは、ユーザの音声以外の生体情報の入力をさらに受け付ける。その場合に、識別部１２ｂは、音声に代えてユーザの生体情報を用いて該ユーザを識別する。これにより、管理装置１の使用状況に応じて適切なユーザ識別の方式を適用することが可能となる。

【0064】

〔５．ハードウェア構成〕
また、上述してきた実施形態に係る管理装置１は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、実施形態に係る管理装置１の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0065】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0066】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワークＮを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、ネットワークＮを介して他の機器へ送信する。

【0067】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

【0068】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0069】

例えば、コンピュータ１０００が実施形態に係る管理装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１２の機能を実現する。また、ＨＤＤ１４００には、記憶部１３内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、ネットワークＮを介してこれらのプログラムを取得してもよい。

【0070】

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0071】

〔６．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0072】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

【0073】

また、上述してきた実施形態に記載した各処理は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0074】

また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、受付部１２ａは、受付手段や受付回路に読み替えることができる。

【符号の説明】

【0075】

１ 管理装置
１１ 入出力部
１２ 制御部
１２ａ 受付部
１２ｂ 識別部
１２ｃ 識別学習部
１２ｄ 特定部
１２ｅ 特定学習部
１２ｆ 精算部
１３ 記憶部
１３ａ 識別モデル
１３ｂ 特定モデル
１３ｃ 識別用学習データ
１３ｄ 特定用学習データ
１３ｅ 精算情報

【要約】

【課題】容易にユーザを識別して音声による注文を受け付けることができる管理装置、管理方法および管理プログラムを提供する。
【解決手段】本願に係る管理装置１は、受付部１２ａと、識別部１２ｂと、特定部１２ｄとを備える。受付部１２ａは、ユーザによる音声の入力を受け付ける。識別部１２ｂは、受付部１２ａにより受け付けられた音声を用いてユーザを識別する。特定部１２ｄは、受付部１２ａにより受け付けられた音声を用いて注文内容を特定する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】