(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-21
(45)【発行日】2024-07-01
(54)【発明の名称】非同期対話システム及びプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20240624BHJP
G06Q 50/08 20120101ALI20240624BHJP
【FI】
G06F16/90 100
G06Q50/08
(21)【出願番号】P 2024008004
(22)【出願日】2024-01-23
【審査請求日】2024-01-25
【早期審査対象出願】
(73)【特許権者】
【識別番号】000103769
【氏名又は名称】オリエンタル白石株式会社
(74)【代理人】
【識別番号】100120868
【氏名又は名称】安彦 元
(74)【代理人】
【識別番号】100198214
【氏名又は名称】眞榮城 繁樹
(72)【発明者】
【氏名】西村 信彦
【審査官】松尾 真人
(56)【参考文献】
【文献】特許第7325152(JP,B1)
【文献】特開2022-180282(JP,A)
【文献】米国特許出願公開第2016/0132590(US,A1)
【文献】特開2023-055405(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 16/00-16/958
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
第1ユーザの質問を示す第1質問情報を取得する第1取得手段と、
第2ユーザの質問を示す第2質問情報を取得する第2取得手段と、
第2質問情報と第2ユーザの質問に対する回答を示す第2回答情報とを紐づけて記憶する第2データベースを参照し、前記第1取得手段により取得された第1質問情報に基づいて、前記第2質問情報と前記第2回答情報とを抽出する第1抽出手段と、
第1質問情報と第1ユーザの質問に対する回答を示す第1回答情報とを紐づけて記憶する第1データベースを参照し、前記第2取得手段により取得された第2質問情報に基づいて、前記第1質問情報と前記第1回答情報とを抽出する第2抽出手段と、
前記第1取得手段により取得された第1質問情報を
、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに基づいて質問情報と回答情報との連関度を学習させた第1基盤モデルに入力し、第1回答情報を出力する第1出力手段と、
前記第2取得手段により取得された第2質問情報を
、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに基づいて質問情報と回答情報との連関度を学習させた第2基盤モデルに入力し、第2回答情報を出力する第2出力手段とを備えること
を特徴とする非同期対話システム。
【請求項2】
前記第1取得手段により取得された第1質問情報と前記第1出力手段により出力された第1回答情報とを紐づけて前記第1データベースに記憶する第1記憶手段と、
前記第2取得手段により取得された第2質問情報と前記第2出力手段により出力された第2回答情報とを紐づけて前記第2データベースに記憶する第2記憶手段とをさらに備えること
を特徴とする請求項1に記載の非同期対話システム。
【請求項3】
前記第1記憶手段は、第1質問情報に紐づく第1回答情報の評価を示す第1評価情報を前記第1質問情報と前記第1回答情報とに紐づけて前記第1データベースに記憶し、
前記第2記憶手段は、第2質問情報に紐づく第2回答情報の評価を示す第2評価情報を前記第2質問情報と前記第2回答情報とに紐づけて前記第2データベースに記憶し、
前記第1データベースに記憶された第1質問情報と第1回答情報と第1評価情報とに基づいて、前記第1基盤モデルを学習する第1学習手段と、
前記第2データベースに記憶された第2質問情報と第2回答情報と第2評価情報とに基づいて、前記第2基盤モデルを学習する第2学習手段とをさらに備えること
を特徴とする請求項2に記載の非同期対話システム。
【請求項4】
前記第1記憶手段は、第1ユーザの業務に関する第1業務情報を取得し、取得した前記第1業務情報と前記第1質問情報と前記第1回答情報とを紐づけて前記第1データベースに記憶し、
前記第2記憶手段は、第2ユーザの業務に関する第2業務情報を取得し、取得した前記第2業務情報と前記第2質問情報と前記第2回答情報とを紐づけて前記第2データベースに記憶し、
前記第1出力手段は、前記第1取得手段により取得された第1質問情報を第1基盤モデルに入力し、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに紐づく第2業務情報に基づいて、前記第1回答情報を出力し、
前記第2出力手段は、前記第2取得手段により取得された第2質問情報を第2基盤モデルに入力し、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに紐づく第1業務情報に基づいて、前記第2回答情報を出力すること
を特徴とする請求項2に記載の非同期対話システム。
【請求項5】
前記第1取得手段は、前記第1ユーザとして、工事の作業員の質問を示す前記第1質問情報を取得し、
前記第2取得手段は、前記第2ユーザとして、内勤者の質問を示す前記第2質問情報を取得すること
を特徴とする請求項1に記載の非同期対話システム。
【請求項6】
前記第1出力手段は、前記第1取得手段により取得された第1質問情報を大規模言語モデル(LargeLanguageModel)である第1基盤モデルに入力し、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに基づいて、前記第1回答情報を出力し、
前記第2出力手段は、前記第2取得手段により取得された第2質問情報を大規模言語モデルである第2基盤モデルに入力し、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに基づいて、第2回答情報を出力すること
を特徴とする請求項1に記載の非同期対話システム。
【請求項7】
第1ユーザの質問を示す第1質問情報を取得する第1取得ステップと、
第2ユーザの質問を示す第2質問情報を取得する第2取得ステップと、
第2質問情報と第2ユーザの質問に対する回答を示す第2回答情報とを紐づけて記憶する第2データベースを参照し、前記第1取得ステップにより取得された第1質問情報に基づいて、前記第2質問情報と前記第2回答情報とを抽出する第1抽出ステップと、
第1質問情報と第1ユーザの質問に対する回答を示す第1回答情報とを紐づけて記憶する第1データベースを参照し、前記第2取得ステップにより取得された第2質問情報に基づいて、前記第1質問情報と前記第1回答情報とを抽出する第2抽出ステップと、
前記第1取得ステップにより取得された第1質問情報を
、前記第1抽出ステップにより抽出された第2質問情報と第2回答情報とに基づいて質問情報と回答情報との連関度を学習させた第1基盤モデルに入力し、第1回答情報を出力する第1出力ステップと、
前記第2取得ステップにより取得された第2質問情報を
、前記第2抽出ステップにより抽出された第1質問情報と第1回答情報とに基づいて質問情報と回答情報との連関度を学習させた第2基盤モデルに入力し、第2回答情報を出力する第2出力ステップとをコンピュータに実行させること
を特徴とする非同期対話プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、非同期対話システム及びプログラムに関する。
【背景技術】
【0002】
近年、例えば土木等の工事現場において、ICT(Information and Communication Technology)技術の導入が求められている。このICT技術を効果的に導入するためには、ICT技術者が工事現場の情報を収集する必要がある。しかし、ICT技術者は、工事現場に実際に赴くことが少ない内勤者の場合が多い。このため、工事現場の作業者との密なコミュニケーションが取りにくく、情報収集が困難であった。このことから、例えば特許文献1に示すような、対話型管理システムが注目されている。
【0003】
特許文献1では、建設現場に入退場する作業員にAIロボットと対話させて管理するAIロボットによる対話型管理システムにおいて、AIロボットは、作業員との対話により、作業員の音声データから音声特徴量を、作業員との対話データから会話特徴量を、作業員の画像データから身体的特徴量を、又は、作業員の動画データから行動的特徴量を抽出し、特徴量を個別特徴量データとしてデータベースに保存する個別特徴量検出部を備えることを特徴とするAIロボットによる対話型管理システムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方、特許文献1に開示されている対話型管理システムは、工事現場の作業員との対話を想定しているが、工事現場にいないICT技術者等の内勤者との対話を想定していない。このため、特許文献1に開示されている対話型管理システムは、複数のユーザとの対話の内容を踏まえて適切に回答することができないという問題点があった。
【0006】
そこで本発明は、上述した問題に鑑みて案出されたものであり、その目的とするところは、複数のユーザとの対話の内容を踏まえて適切に回答することができる非同期対話システム及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
第1発明に係る非同期対話システムは、第1ユーザの質問を示す第1質問情報を取得する第1取得手段と、第2ユーザの質問を示す第2質問情報を取得する第2取得手段と、第2質問情報と第2ユーザの質問に対する回答を示す第2回答情報とを紐づけて記憶する第2データベースを参照し、前記第1取得手段により取得された第1質問情報に基づいて、前記第2質問情報と前記第2回答情報とを抽出する第1抽出手段と、第1質問情報と第1ユーザの質問に対する回答を示す第1回答情報とを紐づけて記憶する第1データベースを参照し、前記第2取得手段により取得された第2質問情報に基づいて、前記第1質問情報と前記第1回答情報とを抽出する第2抽出手段と、前記第1取得手段により取得された第1質問情報を、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに基づいて質問情報と回答情報との連関度を学習させた第1基盤モデルに入力し、第1回答情報を出力する第1出力手段と、前記第2取得手段により取得された第2質問情報を、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに基づいて質問情報と回答情報との連関度を学習させた第2基盤モデルに入力し、第2回答情報を出力する第2出力手段とを備えることを特徴とする。
【0008】
第2発明に係る非同期対話システムは、第1発明において、前記第1取得手段により取得された第1質問情報と前記第1出力手段により出力された第1回答情報とを紐づけて前記第1データベースに記憶する第1記憶手段と、前記第2取得手段により取得された第2質問情報と前記第2出力手段により出力された第2回答情報とを紐づけて前記第2データベースに記憶する第2記憶手段とをさらに備えることを特徴とする。
【0009】
第3発明に係る非同期対話システムは、第2発明において、前記第1記憶手段は、第1質問情報に紐づく第1回答情報の評価を示す第1評価情報を前記第1質問情報と前記第1回答情報とに紐づけて前記第1データベースに記憶し、前記第2記憶手段は、第2質問情報に紐づく第2回答情報の評価を示す第2評価情報を前記第2質問情報と前記第2回答情報とに紐づけて前記第2データベースに記憶し、前記第1データベースに記憶された第1質問情報と第1回答情報と第1評価情報とに基づいて、前記第1基盤モデルを学習する第1学習手段と、前記第2データベースに記憶された第2質問情報と第2回答情報と第2評価情報とに基づいて、前記第2基盤モデルを学習する第2学習手段とをさらに備えることを特徴とする。
【0010】
第4発明に係る非同期対話システムは、第2発明において、前記第1記憶手段は、第1ユーザの業務に関する第1業務情報を取得し、取得した前記第1業務情報と前記第1質問情報と前記第1回答情報とを紐づけて前記第1データベースに記憶し、前記第2記憶手段は、第2ユーザの業務に関する第2業務情報を取得し、取得した前記第2業務情報と前記第2質問情報と前記第2回答情報とを紐づけて前記第2データベースに記憶し、前記第1出力手段は、前記第1取得手段により取得された第1質問情報を第1基盤モデルに入力し、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに紐づく第2業務情報に基づいて、前記第1回答情報を出力し、前記第2出力手段は、前記第2取得手段により取得された第2質問情報を第2基盤モデルに入力し、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに紐づく第1業務情報に基づいて、前記第2回答情報を出力することを特徴とする。
【0011】
第5発明に係る非同期対話システムは、第1発明において、前記第1取得手段は、前記第1ユーザとして、工事の作業員の質問を示す前記第1質問情報を取得し、前記第2取得手段は、前記第2ユーザとして、内勤者の質問を示す前記第2質問情報を取得することを特徴とする。
【0012】
第6発明に係る非同期対話システムは、第1発明において、前記第1出力手段は、前記第1取得手段により取得された第1質問情報を大規模言語モデル(LargeLanguageModel)である第1基盤モデルに入力し、前記第1抽出手段により抽出された第2質問情報と第2回答情報とに基づいて、前記第1回答情報を出力し、前記第2出力手段は、前記第2取得手段により取得された第2質問情報を大規模言語モデルである第2基盤モデルに入力し、前記第2抽出手段により抽出された第1質問情報と第1回答情報とに基づいて、第2回答情報を出力することを特徴とする。
【0013】
第7発明に係る非同期対話プログラムは、第1ユーザの質問を示す第1質問情報を取得する第1取得ステップと、第2ユーザの質問を示す第2質問情報を取得する第2取得ステップと、第2質問情報と第2ユーザの質問に対する回答を示す第2回答情報とを紐づけて記憶する第2データベースを参照し、前記第1取得ステップにより取得された第1質問情報に基づいて、前記第2質問情報と前記第2回答情報とを抽出する第1抽出ステップと、第1質問情報と第1ユーザの質問に対する回答を示す第1回答情報とを紐づけて記憶する第1データベースを参照し、前記第2取得ステップにより取得された第2質問情報に基づいて、前記第1質問情報と前記第1回答情報とを抽出する第2抽出ステップと、前記第1取得ステップにより取得された第1質問情報を、前記第1抽出ステップにより抽出された第2質問情報と第2回答情報とに基づいて質問情報と回答情報との連関度を学習させた第1基盤モデルに入力し、第1回答情報を出力する第1出力ステップと、前記第2取得ステップにより取得された第2質問情報を、前記第2抽出ステップにより抽出された第1質問情報と第1回答情報とに基づいて質問情報と回答情報との連関度を学習させた第2基盤モデルに入力し、第2回答情報を出力する第2出力ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【0014】
第1発明から第7発明によれば、本発明の非同期対話システム及びプログラムは、第1質問情報を第1基盤モデルに入力し、第2質問情報と第2回答情報とに基づいて、第1回答情報を出力し、第2質問情報を第2基盤モデルに入力し、第1質問情報と第1回答情報とに基づいて、第2回答情報を出力する。これにより、第1ユーザの対話の内容が第2ユーザへの回答に反映され、第2ユーザの対話の内容が第1ユーザへの回答に反映されるため、複数のユーザとの対話の内容を踏まえた回答を出力することが可能となる。
【0015】
特に、第2発明によれば、本発明の非同期対話システムは、第1質問情報と第1回答情報とを紐づけて記憶し、第2質問情報と第2回答情報とを紐づけて記憶する。これにより、出力された回答情報をさらに学習データとすることが可能となる。このため、より高精度に質問に対して回答することが可能となる。
【0016】
特に、第3発明によれば、本発明の非同期対話システムは、第1質問情報と第1回答情報と第1評価情報とに基づいて、第1基盤モデルを学習し、第2質問情報と第2回答情報と第2評価情報とに基づいて、第2基盤モデルを学習する。これにより、例えば第1ユーザから入力された第2評価情報と第2ユーザから入力された第1評価情報とを用いることにより、複数のユーザからの対話の評価を反映することが可能となる。このため、より高精度に質問に対して回答することが可能となる。
【0017】
特に、第4発明によれば、本発明の非同期対話システムは、第1質問情報を第1基盤モデルに入力し、第2質問情報と第2回答情報とに紐づく第2業務情報に基づいて、第1回答情報を出力し、第2質問情報を第2基盤モデルに入力し、第1質問情報と第1回答情報とに紐づく第1業務情報に基づいて、第2回答情報を出力する。これにより、工事現場の情報や、内勤者の業務の内容等の情報を反映することが可能となる。このため、より柔軟に質問に対して回答することが可能となる。
【0018】
特に、第5発明によれば、本発明の非同期対話システムは、第1ユーザとして、工事の作業員の質問を示す第1質問情報を取得し、第2ユーザとして、内勤者の質問を示す第2質問情報を取得する。これにより、工事現場の作業員と内勤者とが非同期で対話することが可能となる。このため、勤務形態の違いによって、同じ時間に集まって対話をすることが困難な現場作業者と内勤作業者とが対話しなくとも、お互いに対話し、情報を共有することが可能となる。
【0019】
特に、第6発明によれば、本発明の非同期対話システムは、大規模言語モデル(LargeLanguageModel)を用いて回答情報を出力する。これにより、膨大なデータからモデルを学習することが可能となる。このため、より柔軟に質問に対して回答することが可能となる。
【図面の簡単な説明】
【0020】
【
図1】
図1は、第1実施形態を適用した非同期対話システムの構成を示す図である。
【
図2】
図2は、第1実施形態を適用した非同期対話装置の構成を示す図である。
【
図3】
図3は、第1実施形態を適用した非同期対話装置の機能を示す図である。
【
図4】
図4(a)は、第1実施形態を適用した非同期対話システムの第1回答情報を出力する動作についてのフローチャートである。
図4(b)は、第1実施形態を適用した非同期対話システムの第2回答情報を出力する動作についてのフローチャートである。
【
図5】
図5は、回答モデルの連関性を示す図である。
【
図6】
図6は、第2実施形態を適用した非同期対話装置の機能を示す図である。
【
図7】
図7(a)は、第2実施形態を適用した非同期対話システムの第1回答モデルをチューニングする動作についてのフローチャートである。
図7(b)は、第2実施形態を適用した非同期対話システムの第2回答モデルをチューニングする動作についてのフローチャートである。
【発明を実施するための形態】
【0021】
〈第1実施形態〉
以下、本発明を適用した第1実施形態における非同期対話システムの一例について、図面を用いて説明する。
【0022】
図1は、第1実施形態における非同期対話システム100の構成の一例を示す模式図である。非同期対話システム100は、例えば
図1に示すように、非同期対話装置1と、サーバ3と、複数のユーザ端末2とが公共通信網4を介して接続される。また、非同期対話システム100は、例えば公共通信網4を介して接続されるユーザ端末2aとユーザ端末2bとを備えていてもよい。
【0023】
サーバ3は、非同期対話装置1及びユーザ端末2から送信された質問情報及び回答情報等の各種データを記憶する記憶媒体である。また、サーバ3は、必要に応じて記憶した各種データを非同期対話装置1及びユーザ端末2に送信する。サーバ3は、例えば非同期対話装置1の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば非同期対話装置1の代わりに少なくとも一部の処理を行ってもよい。
【0024】
公共通信網4は、例えば非同期対話装置1が通信回路を介して接続されるインターネット網等である。公共通信網4は、いわゆる光ファイバ通信網で構成されてもよい。また、公共通信網4は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。
【0025】
ユーザ端末2は、例えば非同期対話システム100を用いたサービスのユーザ等が保有し、公共通信網4を介して非同期対話装置1と接続される。ユーザ端末2は、例えばデータベースを生成する電子機器を示してもよい。ユーザ端末2は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。ユーザ端末2は、例えば非同期対話装置1の備える機能のうち、少なくとも一部の機能を備えてもよい。ユーザ端末2は、ユーザに情報を提示できる図示しないディスプレイ、又はスピーカを備えていてもよい。また、ユーザ端末2は、それぞれ異なるユーザに保有される端末である。また、ユーザ端末2は、それぞれ異なる場所に設けられた端末でもよい。ユーザ端末2aは、例えば工事現場の作業員等の第1ユーザに保有され、ユーザ端末2bは、例えばICT技術者の内勤者等の第2ユーザに保有される。
【0026】
非同期対話装置1は、第1ユーザの質問を示す第1質問情報に基づいて、第1ユーザの質問に対する回答を示す第1回答情報を出力し、第2ユーザの質問を示す第2質問情報に基づいて、第2ユーザの質問に対する回答を示す第2回答情報を出力する。非同期対話装置1は、例えばパーソナルコンピュータ(PC)等の電子機器が用いられるほか、例えばスマートフォン、タブレット型端末、ウェアラブル端末、IoT(Internet of Things)デバイス等の電子機器、Raspberry Pi(登録商標)等のシングルボードコンピュータが用いられてもよい。
【0027】
次に、
図2を参照して、第1実施形態における非同期対話装置1の一例を説明する。
図2は、第1実施形態における非同期対話装置1の構成の一例を示す模式図であり、
図3は、第1実施形態における非同期対話装置1の機能の一例を示す模式図である。
【0028】
非同期対話装置1は、例えば
図2に示すように、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105~107とを備える。CPU101と、ROM102と、RAM103と、保存部104と、I/F105~107とは、内部バス110により接続される。
【0029】
CPU101は、非同期対話装置1全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、質問情報及び回答情報、基盤モデル等の各種情報が保存される。保存部104は、例えばHDD(Hard Disk Drive)の他、SSD(Solid State Drive)やSDカード、miniSDカード等のデータ保存装置が用いられる。なお、例えば非同期対話装置1は、図示しないGPU(Graphics Processing Unit)を有してもよい。
【0030】
I/F105は、公共通信網4を介して各種情報の送受信を行うためのインターフェースである。I/F106は、入力部108との情報の送受信を行うためのインターフェースである。入力部108として、例えばキーボードが用いられ、非同期対話装置1を利用するユーザ等は、入力部108を介して、各種情報又は非同期対話装置1の制御コマンド等を入力する。I/F107は、表示部109との各種情報の送受信を行うためのインターフェースである。表示部109は、保存部104に保存された劣化情報等の各種情報、又は非同期対話装置1の処理状況等を出力する。表示部109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。
【0031】
非同期対話装置1は、
図3に示すように、それぞれ接続された第1処理部11と、第2処理部12と、第1記憶部13と、第2記憶部14とを備える。なお、第1処理部11と、第2処理部12と、第1記憶部13と、第2記憶部14とは、例えばCPU101が、RAM103を作業領域として、保存部104等に保存されたプログラムを実行することにより実現され、例えば人工知能により制御されてもよい。
【0032】
第1処理部11は、第1質問情報に基づいて、第1回答情報を出力する。第1記憶部13は、第1質問情報と第1回答情報とを紐づけた第1データベースを記憶する。第2処理部12は、第2質問情報に基づいて、第2回答情報を出力する。第2記憶部14は、第2質問情報と第2回答情報とを紐づけた第2データベースを記憶する。
【0033】
第1データベースは、第1ユーザの業務に関する第1業務情報が第1質問情報と第1回答情報と紐づけて記憶されてもよい。また、第1データベースは、第1質問情報に紐づく第1回答情報の評価を示す第1評価情報が第1質問情報と第1回答情報と紐づけて記憶されてもよい。また、第1データベースは、過去の工事現場の情報等の外部情報が第1質問情報と第1回答情報と紐づけて記憶されてもよい。
【0034】
第2データベースは、第2ユーザの業務に関する第2業務情報が第2質問情報と第2回答情報と紐づけて記憶されてもよい。また、第2データベースは、第2質問情報に紐づく第2回答情報の評価を示す第2評価情報が第2質問情報と第2回答情報と紐づけて記憶されてもよい。また、第2データベースは、過去の工事現場の情報等の外部情報が第2質問情報と第2回答情報と紐づけて記憶されてもよい。
【0035】
次に、本発明の第1実施形態を適用した非同期対話システム100の動作について説明をする。
図4は、第1実施形態を適用した非同期対話システム100の動作についてのフローチャートである。
図4(a)は、第1実施形態を適用した非同期対話システム100の第1回答情報を出力する動作についてのフローチャートである。
図4(b)は、第1実施形態を適用した非同期対話システム100の第2回答情報を出力する動作についてのフローチャートである。
【0036】
まず、ステップS11において、第1処理部11は、第1質問情報を取得する。第1処理部11は、例えば、第1ユーザからユーザ端末2aを介して入力された第1質問情報を取得する。また、ステップS11において、第1処理部11は、第1業務情報又は外部情報等の各種情報をさらに取得してもよい。業務情報は、ユーザの業務に関する情報であり、例えばユーザが担当している工事現場の情報、ユーザの所属や属性等の情報であってもよい。第1業務情報は、第1ユーザの業務に関する業務情報である。
【0037】
質問情報は、質問又は指示を示す情報であり、テキスト又は音声形式の情報であってもよい。また、質問情報は、プロンプトであってもよい。また、質問情報は、工事現場に関する質問の情報であってよい。また、質問情報は、ユーザから入力された画像や動画の情報であってもよい。また、質問情報は、質問を形態素解析した情報であってもよい。第1質問情報は、第1ユーザの質問を示す情報である。また、質問情報は、質問を形態素解析した情報であってもよい。第1処理部11は、取得した質問情報が音声又は画像形式である場合、音声認識又は画像認識を用いて、質問情報をテキスト形式に変換してもよい。第1処理部11は、取得した質問情報が画像形式である場合、R-CNN(Region Based Convolutional Neural Networks)、YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等を用いて、質問情報の画像から特徴量を算出して、この特徴量に基づく物体や場所等の名称等のテキスト形式に変換してもよい。第1質問情報は、第1ユーザにより入力された質問情報であってもよい。また、第1質問情報は、第1ユーザが保有するユーザ端末2aを介して入力された質問情報であってもよい。第1ユーザは、例えば外勤の工事現場の作業員であるが、これに限らず任意のユーザであってもよい。
【0038】
次に、ステップS12において、第1処理部11は、ステップS11により取得した第1質問情報に基づいて、第2データベースを検索する。第1処理部11は、第2データベースを参照し、ステップS11により取得した第1質問情報に基づいて、第2質問情報と第2回答情報とを抽出する。第1処理部11は、例えば第2データベースから、ステップS11により取得された第1質問情報に基づいて、検索を行い、ステップS11により取得された第1質問情報と類似する、第2データベースに記憶されている第2質問情報を検索し、検索した第2質問情報に紐づいて記憶されている第2回答情報を抽出する。また、第1処理部11は、例えば第2データベースから、ステップS11により取得された第1質問情報に基づいて、検索を行い、ステップS11により取得された第1質問情報との類似度が基準値よりも高い、第2データベースに記憶されている第2質問情報を2以上検索し、検索した第2質問情報に紐づいて記憶されている第2回答情報を2以上抽出してもよい。かかる場合、第1処理部11は、ステップS11により取得された第1質問情報と第2データベースに記憶されている第2質問情報との類似度を示す類似度情報も取得してよい。また、第1処理部11は、例えば第2データベースから、ステップS11により取得された第1質問情報に基づいて、検索を行い、ステップS11により取得された第1質問情報との類似度が高い上位K個の第2質問情報を検索し、検索したK個の第2質問情報に紐づいて記憶されているK個の第2回答情報を抽出してもよい。第1処理部11は、検索により抽出された第2質問情報及び第2回答情報を検索結果として、新たに第1回答情報を出力するために用いる。また、第1処理部11は、ステップS11により取得された第1質問情報に基づいて、類似度が基準値よりも高い、第2データベースに記憶されている第2質問情報に紐づく外部情報、第2評価情報、又は第2業務情報を抽出し、抽出した各種情報を検索結果として用いてもよい。
【0039】
また、ステップS12において、第1処理部11は、例えば最大内積検索(MIPS; maximum inner-product search)を用いて、ステップS11により取得された第1質問情報に基づいて、検索を行ってもよい。
【0040】
また、ステップS12において、第1処理部11は、第2記憶部14に記憶されている第2データベースに限らず、公共通信網を用いて、通信可能なサーバ等に記憶されているデータベースを参照し、検索を行ってもよい。また、ステップS12において、第1処理部11は、ステップS11において外部情報又は第1業務情報を取得していた場合、取得した情報に紐づく第2質問情報及び第2回答情報を検索してもよい。
【0041】
次に、ステップS13において、第1処理部11は、ステップS11により取得した第1質問情報に基づいて、第1回答情報を出力する。回答情報は、質問情報に含まれる質問に対する回答又は応答を示す情報である。また、回答情報は、回答の根拠を示す情報が含まれてもよい。回答の根拠を示す情報は、例えば道路橋示方書、コンクリート標準示方書等の示方書、及び道路橋定期点検要領、国道交通省又は道路局が発行している要領、各県の橋梁長寿命化修繕計画等、論文、特許公文の記載事項等であってもよい。また、回答情報は、回答を形態素分解した情報であってもよい。第1回答情報は、第1質問情報に含まれる質問に対する回答である。
【0042】
ステップS13において、第1処理部11は、ステップS11により取得した第1質問情報を第1基盤モデルに入力し、ステップS12により抽出された第2質問情報と第2回答情報とに基づいて、第1回答情報を出力する。
【0043】
基盤モデルは、例えば質問情報と回答情報とを学習データとして学習された学習済みモデルである。第1基盤モデルは、第1回答情報を出力するための基盤モデルである。
【0044】
基盤モデルの生成方法として、例えばニューラルネットワークをモデルとした機械学習を用いて、基盤モデルを生成してもよい。基盤モデルはマルチモーダルを用いたモデルであってもよい。基盤モデルは、例えばCNN(Convolution Neural Network) 等のニューラルネットワークをモデルとした機械学習を用いて学習されるほか、任意のモデルが用いられてもよい。また、基盤モデルの生成方法として、例えば検索拡張生成(RAG:Retrieval-Augmented Generation)、seq2seq(Sequence To Sequence)線形判別、サポートベクターマシン、k-近傍法、ランダムフォレスト、ディープラーニング等を用いて、基盤モデルを生成してもよい。
【0045】
かかる場合、基盤モデルには、例えば
図5のように、入力データである質問情報と出力データである回答情報との間における連関度を有する連関性が記憶される。また、かかる場合、質問情報に含まれる形態素又は単語等を入力データとし、回答情報に含まれる形態素又は単語等を出力データとしてもよい。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等の3値以上又は3段階以上で示されるほか、2値又は2段階で示されてもよい。また、連関度の学習に用いられる質問情報及び回答情報は、例えば予め取得した学習データに用いるための質問情報及び回答情報であるがこれに限らず、任意のタイミングで取得した情報を用いてもよい。
【0046】
例えば連関性は、複数の入力データ、対、複数の出力データの間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数を用いた分類器を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。連関性は、例えば
図5に示すように、複数の入力データと、複数の出力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、
図5の「質問情報A」~「質問情報C」のそれぞれの入力データに対し、「回答情報A」~「回答情報C」の複数の出力データとの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、1つの出力データに対して、複数の入力データを紐づけることができる。これにより、入力データに対して多角的な出力データの選択を実現することができる。また、入力データ及び出力データは、これに限らず、任意の種類の情報がさらに用いられてもよい。また、入力データは、例えば質問情報に含まれるテキスト情報及び/又は画像情報であってもよい。
【0047】
連関性は、例えば各入力データと、各出力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、10段階、又は5段階等の3段階以上で示され、例えば線の特徴(例えば太さ等)で示される。例えば、入力データに含まれる「質問情報A」は、出力データに含まれる「回答情報A」との間の連関度AA「73%」を示し、出力データに含まれる「回答情報B」との間の連関度AB「12%」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。
【0048】
このような
図5に示す3段階以上の連関度を予め取得しておく。つまり実際の解の判別を行う上で、入力データと、出力データとの何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで
図5に示す連関度を作り上げておく。
【0049】
例えば、過去において「質問情報B」という入力データに対して、「回答情報B」が最も適合性が高いと判断され、評価されたものとする。このようなデータセットを集めて分析することにより、入力データと出力データとの連関度が強くなる。
【0050】
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例え「質問情報B」という入力データに対して、「回答情報B」が推定される事例が多い場合には、この「質問情報B」と「回答情報B」とにつながる連関度をより高く設定する。
【0051】
また、この連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
【0052】
また、基盤モデルは、入力データと出力データとの間に少なくとも1以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
【0053】
このような連関度が、人工知能でいうところの学習データとなる。このような学習データを予め学習し、実際にステップS13において、第1処理部11は、質問情報と回答情報とを学習データとして学習された第1基盤モデルを参照し、ステップS11により取得した第1質問情報に基づいて、第1回答情報を出力する。出力の際には、例えば予め取得した
図5に示す連関度を参照する。例えば、新たに取得した第1質問情報が「質問情報A」と同一かこれに類似するものである場合には、連関度を介して「回答情報A」との間の連関度AA「73%」、「回答情報B」との間の連関度AB「12%」で関連付けられている。この場合には、連関度の最も高い「質問情報A」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「回答情報B」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
【0054】
このような連関度を参照することにより、質問情報が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。
【0055】
また、基盤モデルは、自然言語モデルであってもよい。自然言語モデルは、質問情報に含まれる指示文の受け付けと、回答情報に含まれる応答文の生成とを交互に行う対話型、いわばチャット型または会話形のモデルであってよい。自然言語モデルは、大量のテキストデータで学習した大規模言語モデル(LLM:LargeLanguageModel)、又は当該大規模言語モデルを転移学習したモデルであってよい。
【0056】
大規模言語モデルは、人間の話す言葉をその出現確率でモデル化した言語モデルと呼ばれるものを、膨大なデータから事前学習する深層学習モデルである。即ち、大規模言語モデルは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことであり、質問情報として文章を入力とし、回答情報として文章を出力する。質疑応答を行うシステムに大規模言語モデルを適用した場合、質問情報として、質問文を大規模言語モデルに入力すると、回答情報として、LLMから回答文が出力される。
【0057】
第1処理部11は、質問情報としてテキストデータ(プロンプト)を受信すると、大規模言語モデルを用いて、受信されたプロンプトに含まれる文章から次の単語の生成確率を統計的に推定し、推定結果に基づく回答情報を出力する。大規模言語モデルとしては、例えば、インターネットサイトとして、「https://chatgpt-lab.com/n/n418d3aa56f0b」や、「https://agirobots.com/chatgpt-mechanism-and-problem/」等に記載されている公知の技術を採用することができる。また、大規模言語モデルとして、例えば、米国OpenAI社が提供するGPT-4を用いてもよい。
【0058】
ステップS13において、第1処理部11は、ステップS12により抽出した検索結果に基づいて、例えば第1基盤モデルの質問情報と回答情報との連関度を再設定してもよい。かかる場合、検索結果に含まれる第2質問情報と第2回答情報と類似する学習データの連関度が高くなるように設定してもよい。また、第1基盤モデルとして、大規模言語モデルを扱う場合、第1処理部11は、検索結果に基づいて、受信されたプロンプトに含まれる文章から次の単語の生成する生成確率を設定してもよい。かかる場合、第1処理部11は、検索結果に含まれる第2質問情報と第2回答情報と外部情報等の情報とに含まれる単語の第1基盤モデルの生成確率が高くなるように設定してもよい。
【0059】
また、ステップS13において、第1処理部11は、ステップS11により取得された第1質問情報を第1基盤モデルに入力し、ステップS12により抽出された第2質問情報と第2回答情報とに紐づく第2業務情報に基づいて、第1回答情報を出力してもよい。かかる場合、第1処理部11は、例えば第2質問情報と第2回答情報と第2業務情報に含まれる単語の第1基盤モデルの生成確率が高くなるように設定してもよい。
【0060】
次に、ステップS14において、第1記憶部13は、ステップS11により取得された第1質問情報と、ステップS13により出力された第1回答情報とを紐づけて第1データベースに記憶する。また、ステップS14において、第1記憶部13は、ステップS11により取得した第1業務情報又は外部情報を、ステップS11により取得された第1質問情報と、ステップS13により出力された第1回答情報とを紐づけて第1データベースに記憶してもよい。かかる場合、第1記憶部13は、第1質問情報と第1回答情報とを紐づけたものに第1業務情報又は外部情報に応じたタグを付与してもよい。
【0061】
これにより、第1実施形態における非同期対話システム100の第1回答情報を出力する動作が終了する。次に、第1実施形態における非同期対話システム100の第2回答情報を出力する動作について説明する。
【0062】
まず、ステップS21において、第2処理部12は、第2質問情報を取得する。第2処理部12は、例えば、第2ユーザからユーザ端末2bを介して入力された第2質問情報を取得する。また、ステップS21において、第2処理部12は、第2業務情報又は外部情報等の各種情報をさらに取得してもよい。第2業務情報は、第2ユーザの業務に関する業務情報である。
【0063】
第2質問情報は、第2ユーザの質問を示す質問情報である。第2質問情報は、第2ユーザにより入力された質問情報であってもよい。また、第2質問情報は、第2ユーザが保有するユーザ端末2bを介して入力された質問情報であってもよい。第2ユーザは、例えば内勤のICT技術者等であるが、これに限らず任意のユーザであってもよい。
【0064】
次に、ステップS22において、第2処理部12は、ステップS21により取得した第2質問情報に基づいて、第1データベースを検索する。ステップS12と同様に、第2処理部12は、第1データベースを参照し、ステップS21により取得した第2質問情報に基づいて、第1質問情報と第1回答情報とを抽出する。
【0065】
次に、ステップS23において、第2処理部12は、ステップS21により取得した第2質問情報に基づいて、第2回答情報を出力する。第2回答情報は、第2質問情報に含まれる質問に対する回答情報である。
【0066】
ステップS23において、ステップS13と同様に、第2処理部12は、ステップS21により取得した第2質問情報を第2基盤モデルに入力し、ステップS22により抽出された第1質問情報と第1回答情報とに基づいて、第2回答情報を出力する。第2基盤モデルは、第2回答情報を出力するための基盤モデルである。
【0067】
次に、ステップS24において、第2記憶部14は、ステップS21により取得された第2質問情報と、ステップS23により出力された第2回答情報とを紐づけて第2データベースに記憶する。また、ステップS24において、第2記憶部14は、ステップS21により取得した第2業務情報又は外部情報を、ステップS21により取得された第2質問情報と、ステップS23により出力された第2回答情報とを紐づけて第2データベースに記憶してもよい。かかる場合、第2記憶部14は、第2質問情報と第2回答情報とを紐づけたものに第2業務情報又は外部情報に応じたタグを付与してもよい。
【0068】
これにより、第1実施形態における非同期対話システム100の第2回答情報を出力する動作が終了する。これにより、第1ユーザの対話の内容が第2ユーザへの回答に反映され、第2ユーザの対話の内容が第1ユーザへの回答に反映されるため、複数のユーザとの対話の内容を踏まえた回答を出力することが可能となる。また、第1ユーザの対話と第2ユーザの対話とをそれぞれ異なるデータベースに分けることにより、ステップS12及びステップS22において、検索の精度が向上するため、より高精度に対話をすることが可能となる。
【0069】
〈第2実施形態〉
以下、本発明を適用した第2実施形態における非同期対話システムの一例について、図面を用いて説明する。第2実施形態は、ユーザからの評価を示す評価情報を用いて、基盤モデルのチューニングを行う点で第1実施形態と異なる。
【0070】
図6は、第2実施形態における非同期対話装置1の機能の一例を示す模式図である。第1記憶部13は、第2ユーザからの評価を示す第1評価情報を第1質問情報及び第1回答情報と紐づけて第1データベースに記憶する。第2記憶部14は、第1ユーザからの評価を示す第2評価情報を第2質問情報及び第2回答情報と紐づけて第2データベースに記憶する。
【0071】
次に、本発明の第2実施形態を適用した非同期対話システム100の基盤モデルをチューニングする動作について説明をする。
図7は、第2実施形態を適用した非同期対話システム100の基盤モデルをチューニングする動作についてのフローチャートである。
図7(a)は、第2実施形態を適用した非同期対話システム100の第1基盤モデルをチューニングする動作についてのフローチャートである。
図7(b)は、第2実施形態を適用した非同期対話システム100の第2基盤モデルをチューニングする動作についてのフローチャートである。
【0072】
まず、第2実施形態を適用した非同期対話システム100の第1基盤モデルをチューニングする動作について説明する。
図7(a)に示すように、ステップS101において、第1記憶部13は、第2ユーザが保有するユーザ端末2bに第1回答情報及び第1回答情報に紐づく第1質問情報を送信する。
【0073】
次に、ステップS102において、第1記憶部13は、第1評価情報を取得する。評価情報は、質問情報に紐づく回答情報の評価を示す情報である。評価情報は、例えば質問情報に含まれる質問に対する回答の正確さを示す情報で合ってもよい。また、評価情報は、修正した回答を示す情報であってもよい。第1評価情報は、第1質問情報に紐づく第1回答情報の優劣の第2ユーザによる評価を示す評価情報である。第1評価情報は、第2ユーザが保有するユーザ端末2bから取得した評価情報であってもよい。
【0074】
第1記憶部13は、ステップS102において、取得した第1評価情報を第1質問情報及び第1回答情報と紐づけて記憶する。
【0075】
次に、ステップS103において、第1処理部11は、第1質問情報と第1回答情報と第1評価情報とに基づいて、第1基盤モデルの再学習を行う。かかる場合、例えば第1処理部11は、例えば第1評価情報に基づいて、第1基盤モデルの連関度の再設定を行ってもよい。かかる場合、例えば第1評価情報が基準値よりも高評価である場合、第1質問情報に基づいて、第1回答情報を出力した際に参照した第1基盤モデルの質問情報と回答情報との連関度を高く設定してもよい。また、第1基盤モデルが大規模言語モデルである場合、第1評価情報の評価の高さに応じて、第1評価情報と紐づく第1質問情報と第1回答情報との単語間の生成確率を変更してもよい。
【0076】
また、第1評価情報が、修正した回答を示す情報である場合、新たに質問情報と修正した回答を示す回答情報とを学習データとして、再学習させてもよい。
【0077】
これにより、第2実施形態を適用した非同期対話システム100の第1基盤モデルをチューニングする動作が終了する。
【0078】
次に、第2実施形態を適用した非同期対話システム100の第2基盤モデルをチューニングする動作について説明する。
図7(b)に示すように、ステップS201において、第2記憶部14は、第1ユーザが保有するユーザ端末2aに第2回答情報及び第2回答情報に紐づく第2質問情報を送信する。
【0079】
次に、ステップS202において、第2記憶部14は、第2評価情報を取得する。第2評価情報は、第2質問情報に紐づく第2回答情報の優劣の第1ユーザによる評価を示す評価情報である。第2評価情報は、第1ユーザが保有するユーザ端末2aから取得した評価情報であってもよい。
【0080】
第2記憶部14は、ステップS202において、取得した第2評価情報を第2質問情報及び第2回答情報と紐づけて記憶する。
【0081】
次に、ステップS203において、第2処理部12は、第2質問情報と第2回答情報と第2評価情報とに基づいて、第2基盤モデルの再学習を行う。かかる場合、例えば第2処理部12は、例えば第2評価情報に基づいて、第2基盤モデルの連関度の再設定を行ってもよい。かかる場合、例えば第2評価情報が基準値よりも高評価である場合、第2質問情報に基づいて、第2回答情報を出力した際に参照した第2基盤モデルの質問情報と回答情報との連関度を高く設定してもよい。また、第2基盤モデルが大規模言語モデルである場合、第2評価情報の評価の高さに応じて、第2評価情報と紐づく第2質問情報と第2回答情報との単語間の生成確率を変更してもよい。
【0082】
また、第2評価情報が、修正した回答を示す情報である場合、新たに質問情報と修正した回答を示す回答情報を学習データとして、再学習させてもよい。
【0083】
これにより、第2実施形態を適用した非同期対話システム100の第2基盤モデルをチューニングする動作が終了する。これにより、第1ユーザの対話への評価が第2ユーザへの回答に反映され、第2ユーザの対話への評価が第1ユーザへの回答に反映される。このため、より高精度に質問に対して回答することが可能となる。
【0084】
本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0085】
1 非同期対話装置
2 ユーザ端末
3 サーバ
4 公共通信網
11 第1処理部
12 第2処理部
13 第1記憶部
14 第2記憶部
100 非同期対話システム
101 CPU
102 ROM
103 RAM
104 保存部
105 I/F
106 I/F
107 I/F
108 入力部
109 表示部
110 内部バス
【要約】
【課題】複数のユーザとの対話の内容を踏まえて適切に回答することができる非同期対話システム及びプログラムを提供する。
【解決手段】本発明に係る非同期対話システムは、第2質問情報と第2回答情報とを紐づけて記憶する第2データベースを参照し、第1質問情報に基づいて、前記第2質問情報と前記第2回答情報とを抽出する第1抽出手段と、第1質問情報と第1回答情報とを紐づけて記憶する第1データベースを参照し、第2質問情報に基づいて、前記第1質問情報と前記第1回答情報とを抽出する第2抽出手段と、第1質問情報を第1基盤モデルに入力し、第2質問情報と第2回答情報とに基づいて、第1回答情報を出力する第1出力手段と、第2質問情報を第2基盤モデルに入力し、第1質問情報と第1回答情報とに基づいて、第2回答情報を出力する第2出力手段とを備えることを特徴とする。
【選択図】
図3