(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024148129
(43)【公開日】2024-10-17
(54)【発明の名称】車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法、及び装置
(51)【国際特許分類】
G06N 5/043 20230101AFI20241009BHJP
G10L 15/00 20130101ALI20241009BHJP
G06N 3/042 20230101ALI20241009BHJP
G06N 3/096 20230101ALI20241009BHJP
G06F 21/53 20130101ALI20241009BHJP
【FI】
G06N5/043
G10L15/00 200J
G10L15/00 200T
G06N3/042
G06N3/096
G06F21/53
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023113935
(22)【出願日】2023-07-11
(31)【優先権主張番号】202310350105.9
(32)【優先日】2023-04-04
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520308536
【氏名又は名称】浙江▲稜▼▲鏡▼全息科技有限公司
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】唐 ▲崢▼巍
(57)【要約】 (修正有)
【課題】車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法及び装置を提供する。
【解決手段】方法は、車両データ情報及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップと、Transformerモデルを使用して前記基礎データセットに対して訓練を行い、中間GPTモデルを構築するステップと、前記中間GPTモデルを車両メーカーのプライベートクラウド端末にデプロイするステップと、ユーザーと車載システムとのインタラクションに障害が存在する場合、外部GPTモデルを呼び出すステップと、を含む。中間GPTモデルを、パブリックGPTモデルサーバでなく、車両メーカーのプライベートクラウド端末にデプロイすることにより、ユーザーデータ情報や中間GPTモデルにおけるデータプライバシーを保護し、システムの安全性、及びデータプライバシーの保護能力を向上させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法であって、
車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップと、
Transformerモデルを使用して前記基礎データセットに対して訓練を行い、中間GPTモデルを構築するステップと、
前記中間GPTモデルを車両メーカーのプライベートクラウド端末に配置するステップと、
ユーザーが前記中間GPTモデルによって車載システムとのインテリジェントインタラクションを実現し、ユーザーと車載システムとのインタラクションに障害が存在する場合、外部GPTモデルを呼び出すステップと、を含む、ことを特徴とする、車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項2】
外部GPTモデルを呼び出す前記ステップの後、
前記外部GPTモデルの問答フィードバックをターゲット語句として呼び出し、ターゲット語句と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築し、問答インタラクションチェーンによって前記中間GPTモデルを訓練するステップをさらに含む、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項3】
Transformerモデルを使用して前記基礎データセットに対して訓練を行い、中間GPTモデルを構築する前記ステップは、
ユーザー問い合わせ情報を取得し、前記ユーザー問い合わせ情報におけるキーワード情報を抽出するステップと、
前記キーワード情報と前記車両データ情報とを前記Transformerモデルに入力して事前訓練を行い、複数の初期語句を得るステップと、
予め設定されたルールに基づいて複数の初期語句をソートし、且つ、ソート順序に従って初期語句を出力することで問い合わせ過程を完了するステップと、
もし初期語句がユーザーのニーズを満たすなら、初期語句をターゲット語句として決定し、ターゲット文と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築するステップと、
問答インタラクションチェーンによって前記中間GPTモデルを構築するステップと、を含む、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項4】
前記事前訓練の方法は、教師なし事前訓練と、教師あり事前訓練とを含む、ことを特徴とする、請求項3に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項5】
車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成する前記ステップは、
ユーザーが登録するときに、ユーザーが提出したユーザー問い合わせ情報を収集して、前記基礎データセットに記憶するステップと、
前記ユーザーが提出したユーザー問い合わせ情報を前記中間GPTモデルに入力して訓練を行い、訓練後の前記中間GPTモデルに対して更新を行うステップと、を含む、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項6】
前記ユーザーが登録するときに、
ユーザーの個人情報を取得するステップと、
前記個人情報に基づいてユーザー特徴を抽出するステップと、
前記ユーザー特徴に基づいてユーザー画像を抽出するステップと、
前記ユーザー画像に基づいてユーザーに対する好み設定を生成するステップと、をさらに含む、ことを特徴とする、請求項5に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項7】
車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成する前記ステップの後、
前記基礎データセットにおけるデータに対して前処理、及びクリーニングを行うステップを含む、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項8】
前記車両メーカーのプライベートクラウド端末は、1つである、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項9】
車両ネットワーク、及び音声システムによって前記車両データ情報、及び前記ユーザー問い合わせ情報を取得する、ことを特徴とする、請求項1に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法。
【請求項10】
車載インテリジェントインタラクションに用いられる装置であって、メモリと、プロセッサと、を含み、
前記メモリは、実行可能命令を記憶するように構成され、
前記プロセッサは、前記メモリにおいて記憶された前記実行可能命令を実行することで、請求項1~9のうちのいずれか1項に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法を実現するように構成される、ことを特徴とする、車載インテリジェントインタラクションに用いられる装置。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、車載ヒューマンコンピュータインタラクションの技術分野に関し、具体的には、車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法、及び装置に関する。
【背景技術】
【0002】
自動車の分野で、車載インテリジェントインタラクションは、広く応用されている。伝統的な車載インタラクション方式、たとえば、物理的なボタンやタッチパネル等の物理的な方式によって自動車とインタラクションする方式は、既にユーザーのニーズを満たすことができなくなっており、科学技術の継続的な進歩に伴い、ユーザーは、よりインテリジェントで、自然なインタラクション方式を使用する必要がある。
【0003】
従来技術では、ますます多くの自動車会社は、人工知能技術を車載システムに応用し始め、人工知能で処理する車載システムは、運転者、及び乗客とインテリジェントインタラクションをより自然に行うことができ、ユーザーのインタラクション体験を向上させている。しかしながら、人工知能を使用して処理する車載システムにはいくつかの制限がまだ存在し、たとえば、ユーザーデータの安全性保護、及びデータのプライバシー保護の面には欠陥がまだ存在している。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、従来技術におけるユーザーデータに対するプライバシー保護性が悪いという欠点を解消し、車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法、及び装置を提供し、中間GPTモデルを新規作成し、パブリックGPTモデルサーバでなく、車両メーカーのプライベートクラウド端末に配置することによって、基礎データセットにおいて記憶されたユーザーデータ情報を効果的に保護し、中間GPTモデルにおけるデータのプライバシーを保護し、ヒューマンコンピュータインタラクションシステムの安全性、及びデータプライバシーの保護能力を向上させる。
【課題を解決するための手段】
【0005】
以上の技術的課題を解決するために、本発明の技術的手段は、以下のとおりである。
本発明は、車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法を提供し、
車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップと、
Transformerモデルを使用して前記基礎データセットに対して訓練を行い、中間GPTモデルを構築するステップと、
前記中間GPTモデルを車両メーカーのプライベートクラウド端末に配置するステップと、
ユーザーが前記中間GPTモデルによって車載システムとのインテリジェントインタラクションを実現し、ユーザーと車載システムとのインタラクションに障害が存在する場合、外部GPTモデルを呼び出すステップと、を含む。
【0006】
中間GPTモデルに対して訓練を行うことによって、車載システムの中間GPTモデルへの適応性を向上させ、ユーザーとの効果的なインテリジェントインタラクションを実現することができ、ユーザーと車載システムとのインタラクションに障害が存在する場合、中間GPTモデルは、外部GPTモデルのデータを取得することができ、ヒューマンコンピュータインタラクションの使用体験をさらに向上させる。
【0007】
それと同時に、中間GPTモデルが車両メーカーのプライベートクラウド端末に配置され、パブリックGPTモデルサーバに記憶されることでないため、外部GPTモデルが車載システムに直接アクセスすることによる安全ホールの問題を効果的に回避し、車両が他の外部命令により制御されないように保護し、車両システムが攻撃され、又は破壊されることを回避し、車両システムの安全を保護し、それと同時に、基礎データセットにおいて記憶されたユーザーデータ情報を効果的に保護し、中間GPTモデルにおけるデータプライバシーを保護し、ヒューマンコンピュータインタラクションシステムの安全性、及びデータプライバシーの保護能力を向上させる。
【0008】
好適なものとして、外部GPTモデルを呼び出す前記ステップの後、
前記外部GPTモデルの問答フィードバックをターゲット文として呼び出し、ターゲット文と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築し、問答インタラクションチェーンによって前記中間GPTモデルを訓練するステップをさらに含む。
【0009】
好適なものとして、Transformerモデルを使用して前記基礎データセットに対して訓練を行い、中間GPTモデルを構築する前記ステップは、
ユーザー問い合わせ情報を取得し、前記ユーザー問い合わせ情報におけるキーワード情報を抽出するステップと、
前記キーワード情報と前記車両データ情報とを前記Transformerモデルに入力して事前訓練を行い、複数の初期文を得るステップと、
予め設定されたルールに基づいて複数の初期文をソートし、且つ、ソート順序に従って初期文を出力することで問い合わせ過程を完了するステップと、
もし初期文がユーザーのニーズを満たすなら、初期文をターゲット文として決定し、ターゲット文と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築するステップと、
問答インタラクションチェーンによって前記中間GPTモデルを構築するステップと、を含む。
【0010】
基礎データセットにおけるユーザー問い合わせ情報と車両データ情報とを対応する問答インタラクションチェーンとして構築して、中間GPTモデルを構築することによって、ユーザーと車載システムとのヒューマンコンピュータインタラクションの問答の精度を向上させる。
【0011】
好適なものとして、前記事前訓練の方法は、教師なし事前訓練と、教師あり事前訓練とを含む。
【0012】
基礎データセットにおける大量のデータ情報に対して教師なし事前訓練を行うことによって、Transformerモデルを中間GPTモデルとして構築し、教師あり事前訓練によって中間GPTモデルに対して微調整を行い、中間GPTモデルのデータ精度をさらに向上させ、ユーザーと車載システムとの間のヒューマンコンピュータインタラクション体験を向上させる。
【0013】
好適なものとして、車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成する前記ステップは、
ユーザーが登録するときに、ユーザーが提出したユーザー問い合わせ情報を収集して、前記基礎データセットに記憶するステップと、
前記ユーザーが提出したユーザー問い合わせ情報を前記中間GPTモデルに入力して訓練を行い、訓練後の前記中間GPTモデルに対して更新を行うステップと、を含む。
【0014】
ユーザーから発したユーザー問い合わせ情報を連続的に収集し、且つ、ユーザー問い合わせ情報、及びターゲット文に基づいて中間GPTモデルに対して更新を行うことによって、中間GPTモデルのデータを継続的に最適化させ、中間GPTモデルの実用性を高め、ユーザーの使用体験を向上させる。
【0015】
好適なものとして、ユーザーが登録する前記ステップのときに、
ユーザーの個人情報を取得するステップと、
前記個人情報に基づいてユーザー特徴を抽出するステップと、
前記ユーザー特徴に基づいてユーザー画像を抽出するステップと、
前記ユーザー画像に基づいてユーザーに対する好み設定を生成するステップと、をさらに含む。
【0016】
ユーザーの個人情報を収集することによって、中間GPTモデルは、ユーザーの個人情報に基づいてユーザーを画像化し、特定の好み設定を形成することができ、ユーザーがアカウントにログインした後に、中間GPTモデルは、ユーザーの好み設定に基づいてターゲット文の出力を行い、ユーザーと車載システムとの間のヒューマンコンピュータインタラクション体験をさらに向上させる。
【0017】
好適なものとして、車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップの後、
前記基礎データセットにおけるデータに対して前処理、及びクリーニングを行うステップを含む。
【0018】
基礎データセットにおけるデータを中間GPTモデルに伝送して事前訓練を行う前に、まず、データに対して前処理、及びクリーニングを行い、データの有効性、及び完全性を向上させ、誤ったデータによる中間GPTモデルへの影響を回避し、中間GPTモデルのデータ精度を向上させる。
【0019】
好適なものとして、前記車両メーカーのプライベートクラウド端末は、1つである。
【0020】
本実施例は、1つの自動車会社に対して使用され、ユーザーの個人情報が1つの車両メーカーのプライベートクラウド端末のみに記憶され、他の車両メーカーのプライベートクラウド端末とデータ交換を行う必要がなく、車両メーカーのプライベートクラウド端末のためにカスタマイズされたヒューマンコンピュータインテリジェントインタラクションを伝達する方法を実現すると同時に、車両メーカーのプライベートクラウド端末におけるユーザーデータの安全性をさらに保証する。
【0021】
好適なものとして、車両ネットワーク、及び音声システムによって前記車両データ情報、及び前記ユーザー問い合わせ情報を取得する。
【0022】
本発明は、車載インテリジェントインタラクションに用いられる装置を提供し、メモリと、プロセッサと、を含み、
前記メモリは、実行可能命令を記憶するように構成され、
前記プロセッサは、前記メモリにおいて記憶された前記実行可能命令を実行することで、本明細書の実施例のうちのいずれか1項に記載の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法を実現するように構成される。
【発明の効果】
【0023】
従来技術に比べて、本明細書で採用された上記少なくとも1つの技術的手段が達成できる有益な効果は、少なくとも以下を含む。
【0024】
1.中間GPTモデルが車両メーカーのプライベートクラウド端末に配置され、パブリックGPTモデルサーバに記憶されることでないため、外部GPTモデルが車載システムに直接アクセスすることによる安全ホールの問題を効果的に回避し、車両が他の外部命令により制御されないように保護し、車両システムが攻撃され、又は破壊されることを回避し、車両システムの安全を保護し、基礎データセットにおいて記憶されたユーザーデータ情報を保護し、中間GPTモデルにおけるデータプライバシーを保護し、ヒューマンコンピュータインタラクションシステムの安全性、及びデータプライバシーの保護能力を向上させる。
【0025】
2.中間GPTモデルに対して訓練を行うことによって、車載システムの中間GPTモデルへの適応性を向上させ、ユーザーとの効果的なインテリジェントインタラクションを実現することができ、ユーザーと車載システムとのインタラクションに障害が存在する場合、中間GPTモデルは、外部GPTモデルのデータを取得することができ、ヒューマンコンピュータインタラクションの使用体験をさらに向上させる。
【0026】
3.ユーザーから発したユーザー問い合わせ情報を連続的に収集し、且つ、ユーザー問い合わせ情報、及びターゲット文に基づいて中間GPTモデルに対して更新を行うことによって、中間GPTモデルのデータを継続的に最適化させ、中間GPTモデルの実用性を高め、ユーザーの使用体験を向上させる。
【0027】
以上のように、外部GPTモデルと車載システムとの間に中間GPTモデルを追加することによって、車載ヒューマンコンピュータインタラクションシステムの安全性、適応性、及びデータプライバシーの保護能力を向上させ、インタラクション効率を向上させ、車両の安全性、及び安定性を保証することができ、それにより、ユーザーに、より手軽で、安全で、人間に合わせたインタラクション体験を提供する。
【0028】
以下の図面を参照して非限定的な実施例に対して行った詳細な記述を閲覧することによって、本発明の他の特徴、目的、及び利点は、より明らかになる。図面は、好適な実施形態を示す目的にのみ用いられ、本発明を制限するものとみなされない。そして、図面全体において、同じ参照符号を用いて同じ部材を示す。
【図面の簡単な説明】
【0029】
【
図1】本発明が提供する車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法のフローチャートである。
【
図2】本発明が提供する車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法の実施例のフローチャートである。
【発明を実施するための形態】
【0030】
本発明の目的、技術的手段、及び利点をより明確にするために、以下、図面、及び実施例と併せて、本発明をさらに詳細に説明し、理解すべきであるように、ここで記述される具体的な実施形態は、本発明の最適な実施例に過ぎず、本発明を解釈するためのものに過ぎず、本発明の保護範囲を限定するものでなく、当業者が創造的な労働を必要とせずに獲得するすべての他の実施例は、いずれも本発明の保護範囲に属する。
【0031】
例示的な実施例をより詳細に検討する前に、いくつかの例示的な実施例が流れ図として示される処理、又は方法として記述されることに留意されたい。流れ図は、各項の操作(又はステップ)を順序の処理として記述しているが、そのうちの多くの操作(又はステップ)は、並行、並列、又は同時に実施されてもよい。また、各項の操作の順序は、並べ替えることができる。その操作が完了するときに、上記処理は、終止できるが、図面に含まれていない追加のステップをさらに有してもよく、上記処理は、方法、関数、規程、サブルーチン、及びサブプログラム等に対応できる。
【0032】
本発明の内容をより容易で明確に理解するために、以下、具体的な実施形態に基づいて、且つ、図面と併せて、本発明をさらに詳細に説明する。
【0033】
実施例:
図1に示すように、本明細書の実施例は、車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法を提供し、
車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップと、
Transformerモデルを使用して基礎データセットに対して訓練を行い、中間GPTモデルを構築するステップと、
中間GPTモデルを車両メーカーのプライベートクラウド端末に配置するステップと、
ユーザーが中間GPTモデルによって車載システムとのインテリジェントインタラクションを実現し、ユーザーと車載システムとのインタラクションに障害が存在する場合、外部GPTモデルを呼び出すステップと、を含む。
【0034】
実施において、車両データ情報は、車両自体のセンサ、及びシステムによって取得されてもよい。車両データ情報は、車両走行情報、車両状態情報、及び車両説明情報を含み、車両走行情報は、車両の位置、運転速度、運転加速度、走行方向、走行距離、及び燃料消費量等の情報を含み、車両状態情報は、ドア状態、車両内部の照明状態、エアコン状態、及びブレーキ状態等の情報を含み、車両説明情報は、車両修理マニュアル、及び車両説明書等の情報を含む。
【0035】
実施において、ユーザー問い合わせ情報は、人工の方式によって収集されてもよい。ユーザー問い合わせ情報は、ユーザーが車両を使用する過程において車載システムと生じたクエリである。
【0036】
いくつかの実施形態において、車両ネットワーク、及び音声システムによって車両データ情報、及びユーザー問い合わせ情報を取得することは、サポートされている。
【0037】
実施において、車両データ情報、及びユーザー問い合わせ情報に対してデータ処理を行った後に、分散型データベースを採用して処理後のデータを記憶し、基礎データセットを作成し、
好適には、分散型データベースにアクセス権限が設定され、分散型データベースが外部ネットワークのアクセスを受信するときに、基礎データセットが外部ネットワークによりアクセスされないように保護する。
【0038】
好適には、
図2に示すように、分散型データベースは、専用スーパーコンピューティングセンターに設置され、専用スーパーコンピューティングセンターの訓練によって中間GPTモデルを構築する。
【0039】
実施において、分散型データベースにおいてTransformerアーキテクチャを使用してTransformerモデルを構築し、基礎データセットにおけるデータをTransformerモデルに順に入力して訓練し、中間GPTモデルを得る。
【0040】
具体的には、それぞれ基礎データセットにおける車両データ情報、及びユーザー問い合わせ情報をTransformerモデルに入力し、ユーザー問い合わせ情報を予め設定された分割ルールに従って複数のシーケンスに分け、シーケンスと車両データ情報との依存関係に従って、Transformerモデルのサイズ、及び深さ等の複数項のパラメータを調整し、中間GPTモデルを構築する。
【0041】
説明する必要がある点として、予め設定された分割ルールは、中間GPTモデルに対して訓練を行うルールであり、予め設定された分割ルールは、語彙に従ってユーザー問い合わせ情報を複数のシーケンスに分割することであってもよく、予め設定された分割ルールは、固定長に従ってユーザー問い合わせ情報を複数のシーケンスに分割することであってもよく、具体的な予め設定された分割ルールは、実際の状況に応じて設定でき、ここでは制限しない。
【0042】
GPT(Generative Pre-training Transformer、生成型事前訓練Transformer)は、OpenAIが開発した最新の大型自然言語処理モデルであり、人工知能技術で駆動される自然言語処理ツールであり、中間GPTモデルは、基礎データセットにおける大量の言語材料を学習し、人間の言語を学習して理解し、インテリジェントな問答、及びフィードバックを実現することができ、中間GPTモデルを車載システムに応用することで、人間と対話を行うことを実現することができ、車載システムのインテリジェント度、及びユーザーのインタラクション体験をさらに向上させる。
【0043】
実施において、構築済みの中間GPTモデルを車両メーカーのプライベートクラウド端末に配置し、性能の最適化、及びテストを行う。ユーザーは、中間GPTモデルによって車載システムとのインテリジェントインタラクションを実現し、ユーザーと車載システムとのインタラクションに障害が存在する場合、外部GPTモデルを呼び出す。
【0044】
好適には、中間GPTモデルは、API(Application Programming Interface、アプリケーションプログラミングインタフェース)インタフェースによって外部GPTモデルにブリッジ接続し、データの伝送を実現する。
【0045】
実施において、ユーザーと車載システムとのインタラクションに障害、たとえば、車載システムがユーザーから発したユーザー問い合わせ情報を理解できない状況、及び車載システムがユーザーから発したユーザー問い合わせ情報を理解できるが、中間GPTモデルにおいて対応する回答がない等の状況が存在するときに、車載システムは、ユーザーと効果的な対話を形成できず、このときに、中間GPTモデルは、外部GPTモデルを呼び出して、外部GPTモデルのユーザー問い合わせ情報に対する問答フィードバックを得、中間GPTモデルは、ユーザー問い合わせ情報に対応する問答フィードバックをターゲット文としてユーザーにフィードバックし、ユーザーと車載システムとの間の効果的なインタラクションを実現する。
【0046】
いくつかの実施形態において、
図1に示すように、外部GPTモデルを呼び出すステップの後、
外部GPTモデルの問答フィードバックをターゲット文として呼び出し、ターゲット文と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築し、問答インタラクションチェーンによって中間GPTモデルを訓練するステップをさらに含む。
【0047】
実施において、中間GPTモデルは、外部GPTモデルの問答フィードバックを取得し、それをターゲット文とし、且つ、それと対応するユーザー問い合わせ情報により1本の問答インタラクションチェーンを構築し、問答インタラクションチェーンを使用して中間GPTモデルに対して更新を行うことで、後続のインタラクション、及び生成に用いられ、
好適には、外部GPTモデルは、パブリッククラウド端末に配置される。
【0048】
実施において、中間GPTモデルと外部GPTモデルとの間は、SSL/TLS通信プロトコルを採用することで、伝送されるデータを暗号化し、通信の完全性、及び信頼性を確保する。ユーザー情報に対するプライバシー管理をさらに補強する。
【0049】
基礎データセットにおけるデータを利用して、中間GPTモデルに対して事前訓練、及び後期の最適化を行い、実際の効果的な対話を実現する。
【0050】
ChatGPTの最大の特徴は、非常に複雑で多様な自然言語タスクを処理できることであり、これにより、それは、自然言語を処理するときに非常に強い。それは、文脈に基づいて正確な自然言語テキストを生成することができ、非常に高い正確性を有する。また、ChatGPTは、さらに、入力された情報に基づいて推論、及び推定を行うことができ、より複雑なタスクを処理することができる。
【0051】
中間GPTモデルに対して訓練を行うことによって、車載システムの中間GPTモデルへの適応性を向上させ、ユーザーとの効果的なインテリジェントインタラクションを実現することができ、ユーザーと車載システムとのインタラクションに障害が存在するときに、中間GPTモデルは、外部GPTモデルのデータを取得することができ、ユーザーの使用体験をさらに向上させる。
【0052】
それと同時に、中間GPTモデルが車両メーカーのプライベートクラウド端末に配置され、パブリックGPTモデルサーバに記憶されることでないため、外部GPTモデルが車載システムに直接アクセスすることによる安全ホールの問題を効果的に回避し、車両が他の外部命令により制御されないように保護し、車両システムが攻撃され、又は破壊されることを回避し、車両システムの安全を保護し、
さらに、中間GPTモデルが車両メーカーのプライベートクラウド端末に配置され、基礎データセットにおいて記憶されたユーザーデータ情報を効果的に保護し、中間GPTモデルにおけるデータプライバシーを保護し、ヒューマンコンピュータインタラクションシステムの安全性、及びデータプライバシーの保護能力を向上させる。
【0053】
いくつかの実施形態において、Transformerモデルを使用して基礎データセットに対して訓練を行い、中間GPTモデルを構築するステップは、
ユーザー問い合わせ情報を取得し、ユーザー問い合わせ情報におけるキーワード情報を抽出するステップと、
キーワード情報と車両データ情報とをTransformerモデルに入力して事前訓練を行い、複数の初期文を得るステップと、
予め設定されたルールに基づいて複数の初期文をソートし、且つ、ソート順序に従って初期文を出力することで問い合わせ過程を完了するステップと、
もし初期文がユーザーのニーズを満たすなら、初期文をターゲット文として決定し、ターゲット文と対応するユーザー問い合わせ情報とによって1本の問答インタラクションチェーンを構築するステップと、
問答インタラクションチェーンによって中間GPTモデルを構築するステップと、を含む。
【0054】
実施において、ユーザーが提出したユーザー問い合わせ情報を取得し、ユーザー問い合わせ情報に対して前処理を行い、ユーザー問い合わせ情報におけるキーワード情報を抽出する。ここで、ユーザー問い合わせ情報に対する前処理は、単語分割、ストップワード除去、及び語幹抽出等を含み、語幹抽出による情報をキーワード情報とする。
【0055】
好適には、セルフアテンションメカニズムを使用してキーワード情報を抽出する。
【0056】
実施において、車両データ情報を取得し、車両データ情報に対して前処理を行い、ここで、車両データ情報に対する前処理は、単語分割、ストップワード除去、及び語幹抽出等を含む。好適には、車両データ情報に含まれる特定分野の語彙、及び用語を抽出し、且つ、マークを付ける。前処理後の車両データ情報をコーパスとする。
【0057】
実施において、Transformerモデルは、ユーザー問い合わせ情報から抽出されたキーワード情報、及び車両データ情報によって事前訓練を行い、且つ、複数の初期文を得る。
【0058】
実施において、予め設定されたルールに基づいて初期文をソートし、具体的には、予め設定されたルールは、Transformerモデルがユーザー問い合わせ情報とターゲット文とのマッチング確率に従って大から小の順でソートすることである。
【0059】
実施において、ソート順序に従って初期文を出力することによって問い合わせ過程を完了する。具体的には、ユーザー問い合わせ情報を受信したときに、まず、その中からキーワード情報を抽出し得る。且つ、それを車両データ情報とともにTransformerモデルに入力して事前訓練を行うことで、複数の初期文を得る。
【0060】
出力された初期文情報がユーザーの期待を満たすときに、それをターゲット文とすることができ、且つ、それと対応するユーザー問い合わせ情報により1本の問答インタラクションチェーンを構築することで、後続のインタラクション、及び生成に用いられる。
【0061】
もし同じユーザー問い合わせ情報を2回連続的に受信したとすれば、先に出力された初期文情報が正確でなく、ユーザーの期待に合わないと説明され、このときに、ソートされた前後順序に従って初期文を順に出力し、出力された文情報がユーザーの期待を満たすまで続けるようになる。ユーザーのニーズを満たすターゲット文を見つけた後に、それと対応するユーザー問い合わせ情報により1本の問答インタラクションチェーンを構築し、且つ、問答インタラクションチェーンを使用して中間GPTモデルを構築し得る。
【0062】
基礎データセットにおけるユーザー問い合わせ情報と車両データ情報とを対応する問答インタラクションチェーンとして構築して、中間GPTモデルを構築することによって、ユーザーと車載システムとのヒューマンコンピュータインタラクションの問答の精度を向上させる。
【0063】
それと同時に、Transformerアーキテクチャは、セルフアテンションメカニズムに基づくニューラルネットワークアーキテクチャであり、Transformerアーキテクチャを使用して中間GPTモデルを構築し、入力シーケンス間の長距離依存関係を処理する正確性が高く、中間GPTモデルの精確度を向上させる。
【0064】
いくつかの実施形態において、事前訓練の方法は、教師なし事前訓練と、教師あり事前訓練とを含む。
【0065】
実施において、車両データ情報で形成されたコーパスを使用してTransformerモデルに対して事前訓練を行い、具体的には、Transformerモデルに対する事前訓練は、教師なし事前訓練、及び教師あり事前訓練に分けられる。
【0066】
実施において、通常、教師なし事前訓練の方式を採用してTransformerモデルに対して事前訓練を行う。具体的に言えば、該モデルは、自己教師ありタスク、例えば、マスク言語モデル(Masked Language Model、MLM)を使用して、Transformerモデルに対して事前訓練を行い得ることで、その自然言語に対する理解、及び生成能力を向上させる。
【0067】
データ処理の過程において、Transformerモデルは、ユーザー問い合わせ情報、及び車両データ情報に対して符号化、及び復号を行うことで、セマンティクス、及び文脈情報を捕獲し、且つ、それを1つの低次元空間にマッピングし得る。その後、Transformerモデルは、入力されたキーワード情報、及び車両データ情報に基づいて、MLMを使用してマスク位置上の単語、又はフレーズを予測し、且つ、ターゲット文を生成し得る。
【0068】
このような方式によって、Transformerモデルは、大量のマークなしのデータから言語の法則、及びモードを学習し、且つ、その後の問答インタラクションにおいてこれらの知識を使用することができ、問答の精度、及び流暢性を向上させる。それと同時に、Transformerモデルは、さらに、マークありのデータに対する微調整によってさらに最適化、及び改良を行うことができ、それにより、異なる応用シーン、及びユーザーのニーズにより良好に適応する。
【0069】
実施において、教師あり事前訓練は、マーク付きのデータを使用してTransformerモデルに対して微調整を行うことで、特定の問答タスクに適応することである。微調整は、テキスト分類、言語生成、及び問答システム等を含む。
【0070】
好適には、人工の方式によって基礎データセットにおけるデータに対してマーク付けを行う。
【0071】
実施において、通常、教師なし事前訓練の方式を採用してTransformerモデルに対して事前訓練を行う。具体的に言えば、該モデルは、自己教師ありタスク、例えば、マスク言語モデル(Masked Language Model、MLM)を使用して、Transformerモデルに対して事前訓練を行い得ることで、その自然言語に対する理解、及び生成能力を向上させる。
【0072】
データ処理の過程において、Transformerモデルは、ユーザー問い合わせ情報、及び車両データ情報に対して符号化、及び復号を行うことで、セマンティクス、及び文脈情報を捕獲し、且つ、それを1つの低次元空間にマッピングし得る。その後、モデルは、入力されたキーワード情報、及び車両データ情報に基づいて、MLMを使用してマスク位置上の単語、又はフレーズを予測し、且つ、ターゲット文を生成し得る。
【0073】
このような方式によって、Transformerモデルは、大量のマークなしのデータから言語の法則、及びモードを学習し、且つ、その後の問答インタラクションにおいてこれらの知識を使用することができ、問答の精度、及び流暢性を向上させる。それと同時に、モデルは、さらに、マークありのデータに対する微調整によってさらに最適化、及び改良を行うことができ、それにより、異なる応用シーン、及びユーザーのニーズにより良好に適応する。
【0074】
基礎データセットにおける大量のデータ情報に対して教師なし事前訓練を行うことによって、1つのTransformerモデルを構築し、且つ、それを中間GPTモデルにさらに変換することができる。その後、教師あり学習の方式を使用して中間GPTモデルに対して微調整を行うことができ、それにより、そのユーザー問い合わせ情報、及び車両データ情報に対する理解、及び予測の精度をさらに向上させる。
【0075】
いくつかの実施形態において、車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップは、
ユーザーが登録するときに、ユーザーが提出したユーザー問い合わせ情報を収集して、基礎データセットに記憶するステップと、
ユーザーが提出したユーザー問い合わせ情報を中間GPTモデルに入力して訓練を行い、訓練後の中間GPTモデルに対して更新を行うステップと、を含む。
【0076】
実施において、ユーザーが登録するときに、中間GPTモデルを使用してユーザーとの対話を作成し、それと同時に、ユーザーが提出したユーザー問い合わせ情報を継続的に収集し、且つ、基礎データセットに記憶し、
ユーザーが提出したユーザー問い合わせ情報を中間GPTモデルに入力して訓練を行い、対応するターゲット文を得、ユーザーが提出した各ユーザー問い合わせ情報とそれぞれに対応するターゲット文とにより、それぞれに対応する問答インタラクションチェーンを構築し、新たに形成された問答インタラクションチェーンによって中間GPTモデルに対して更新を行う。
【0077】
ユーザーから発したユーザー問い合わせ情報を連続的に収集し、且つ、ユーザー問い合わせ情報、及びターゲット文に基づいて中間GPTモデルに対して更新を行うことによって、中間GPTモデルのデータを継続的に最適化させ、中間GPTモデルの実用性を高め、ユーザーの使用体験を向上させる。
【0078】
いくつかの実施形態において、ユーザーが登録するときに、さらに、
ユーザーの個人情報を取得するステップと、
個人情報に基づいてユーザー特徴を抽出するステップと、
ユーザー特徴に基づいてユーザー画像を抽出するステップと、
ユーザー画像に基づいてユーザーに対する好み設定を生成するステップと、を含む。
【0079】
実施において、ユーザーが登録するときに、唯一のログインアカウントを獲得し、該ログインアカウントは、携帯電話端末によって車両と個人情報とをバインディングすることができる。ユーザーがログインアカウントを使用してシステムにログインした後に、ユーザーが車載システムとインテリジェントインタラクションを行うときに収集され、たとえば、ユーザーは、車載システムの音声制御システムによって、電話をかけたり、ショートメッセージを送信したり、ナビゲーションをしたりする等の操作を行うことができる。
【0080】
実施において、ユーザーが登録した個人情報は、ユーザーの年齢、性別、声、操作習慣、及び趣味等の情報を含む。中間GPTモデルは、個人情報に基づいてユーザー特徴を抽出し、ユーザー特徴に基づいてユーザー画像を抽出し、ユーザーに対する好み設定を生成する。
【0081】
好適には、ユーザーと車載システムとのインタラクションに障害が存在し、外部GPTモデルを呼び出すときに、中間GPTモデルは、ユーザー問い合わせ情報に対応するターゲット文をユーザーの好みに合うターゲット文に変え、二次テキスト処理を行った後にTTS音声によって車載インフォテインメントシステムにフィードバックする。
【0082】
ユーザーの個人情報を収集することによって、中間GPTモデルは、ユーザーの個人情報に基づいてユーザーを画像化し、特定の好み設定を形成することができ、ユーザーがアカウントにログインした後に、中間GPTモデルは、ユーザーの好み設定に基づいてターゲット文の出力を行い、ユーザーと車載システムとの間のヒューマンコンピュータインタラクション体験をさらに向上させる。
【0083】
いくつかの実施形態において、車両データ情報、及びユーザー問い合わせ情報を取得し、基礎データセットを作成するステップの後、
基礎データセットにおけるデータに対して前処理、及びクリーニングを行うステップを含む。
【0084】
実施において、データに対して前処理、及びクリーニングを行う過程において、予め設定されたフィルタリングルール、及び予め設定された検証ルールを設定することでデータの精度、及び可用性を確保し得る。
【0085】
具体的には、具体的な応用シーンに基づいて、基礎データセットにおけるデータに対して前処理、及びクリーニングを行うステップは、以下を含む。
フォーマットの検証:基礎データセットにおけるデータのデータフォーマットが予め設定された仕様標準、たとえば、日時フォーマット、及びデータタイプ等に合うことを確保し、
値域の検証:基礎データセットにおけるデータの値の範囲がサービス要件、たとえば、車両の購買価格が零未満であってはならないこと、及びユーザーの年齢が零未満であってはならないことに合うことを確保し、
重複データの重複排除:重複データを削除し、
異常値のフィルタリング:明らかに合理でないデータ、たとえば、極値、及び外れ値、たとえば、車両の使用可能時間が無限大であること、及び車両の走行速度が無限大であること等を除外し、
欠損値の充填:データにおいて欠損値が存在するときに、ユーザーの好みルールに基づいて欠損値を充填することで、データの完全性を確保し、たとえば、ユーザー問い合わせ情報に基づいて得られたターゲット文が完全なセンテンスでないときに、ユーザーの好み情報に基づいて接続詞、介詞、及び語気詞等を充填し、完全なターゲット文を形成してから出力する。
【0086】
説明する必要がある点として、予め設定されたフィルタリングルール、及び予め設定された検証ルールは、ユーザーの期待により合うターゲット文を出力することを基礎として設定されるものであり、具体的には、実際の状況、サービスのニーズ、及びデータの特徴等に基づいて設定でき、ここでは制限しない。
【0087】
基礎データセットにおけるデータを中間GPTモデルに伝送して事前訓練を行う前に、まず、データに対して前処理、及びクリーニングを行い、データの有効性、及び完全性を向上させ、誤ったデータによる中間GPTモデルへの影響を回避し、中間GPTモデルのデータ精度を向上させる。
【0088】
いくつかの実施形態において、車両メーカーのプライベートクラウド端末は、1つである。
【0089】
実施において、異なる車両メーカーのプライベートクラウド端末は、異なる自動車会社に対応し、具体的には、本実施例は、1つの自動車会社に対して使用され、ユーザーの個人情報が1つの車両メーカーのプライベートクラウド端末のみに記憶され、他の車両メーカーのプライベートクラウド端末とデータ交換を行う必要がなく、車両メーカーのプライベートクラウド端末のためにカスタマイズされたヒューマンコンピュータインテリジェントインタラクションを伝達する方法を実現すると同時に、車両メーカーのプライベートクラウド端末におけるユーザーデータの安全性をさらに保証する。
【0090】
実施例:
図2に示すように、本明細書の実施例は、車載インテリジェントインタラクションに用いられる装置を提供し、メモリと、プロセッサと、を含み、
メモリは、実行可能命令を記憶するように構成され、
プロセッサは、メモリにおいて記憶された実行可能命令を実行することで、本明細書の実施例のうちのいずれか1項の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法を実現するように構成される。
【0091】
実施において、メモリは、読み出し専用メモリ(ROM)、及びランダムアクセスメモリ(RAM)を含み、プロセッサは、中央プロセッサであり、メモリは、プロセッサに接続され、車載インテリジェントインタラクションを実現する必要があるときに、プロセッサは、メモリにおいて記憶された実行可能命令を呼び出す。
【0092】
上述した具体的な実施形態は、本発明の車載インテリジェントインタラクションに用いられる中間GPTモデルの構築方法、及び装置の好ましい実施形態であり、本発明の具体的な実施範囲を限定するものではなく、本発明の範囲は、本具体的な実施形態を含むが、これに限定されず、本発明の形状、及び構造に従って行われた同等の変更は、いずれも本発明の保護範囲内にある。