特許 7614696 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-07

(45)【発行日】2025-01-16

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20250108BHJP

   B60W 30/10 20060101ALI20250108BHJP

   B60W 50/00 20060101ALI20250108BHJP

   B60W 60/00 20200101ALI20250108BHJP

   G01S 13/86 20060101ALI20250108BHJP

   G01S 13/931 20200101ALI20250108BHJP

   G01S 15/86 20200101ALI20250108BHJP

   G01S 15/931 20200101ALI20250108BHJP

   H04N 23/00 20230101ALI20250108BHJP

【ＦＩ】

G08G1/16 D

B60W30/10

B60W50/00

B60W60/00

G01S13/86

G01S13/931

G01S15/86

G01S15/931

H04N23/00

【請求項の数】 13

(21)【出願番号】P 2024559532

(86)(22)【出願日】2024-05-21

(86)【国際出願番号】 JP2024018572

【審査請求日】2024-10-31

(31)【優先権主張番号】P 2023094498

(32)【優先日】2023-06-08

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】521479909

【氏名又は名称】Ｔｕｒｉｎｇ株式会社

(74)【代理人】

【識別番号】100207619

【弁理士】

【氏名又は名称】渡辺 知晴

(72)【発明者】

【氏名】山本 一成

(72)【発明者】

【氏名】山口 祐

(72)【発明者】

【氏名】青木 俊介

【審査官】西畑 智道

(56)【参考文献】

【文献】特開２０２２－１４６５２２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１６３１２１（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１５３４３９４７（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

Ｂ６０Ｗ ３０／１０

Ｂ６０Ｗ ５０／００

Ｂ６０Ｗ ６０／００

Ｇ０１Ｓ １３／８６

Ｇ０１Ｓ １３／９３１

Ｇ０１Ｓ １５／８６

Ｇ０１Ｓ １５／９３１

Ｈ０４Ｎ ２３／００

(57)【特許請求の範囲】

【請求項1】

第１システムと第２システムとを含む情報処理装置であって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得部と、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力部と、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得部と、
前記第１出力部により出力された前記補助情報を取得する第３取得部と、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力部と、
を備え、
前記第１出力部は、前記移動体の行動に関する指示及び当該指示を行う判断に至った理由を含む前記補助情報を出力する、
情報処理装置。

【請求項2】

第１システムと第２システムとを含む情報処理装置であって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得部と、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力部と、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得部と、
前記第１出力部により出力された前記補助情報を取得する第３取得部と、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力部と、
を備え、
前記移動体は、前記第３取得部において前記補助情報が取得できない場合、前記移動体の自律的行動に関する制約を前記第３取得部が前記補助情報を取得可能な場合と比して重くする、
情報処理装置。

【請求項3】

前記第１出力部の出力周期は、前記第２出力部の出力周期よりも長い、
請求項１に記載の情報処理装置。

【請求項4】

前記第１取得部は、前記移動体の前後左右を含む方向を観測できるように設けられたカメラ、前記移動体の外部に設置された集音装置から取得された情報を含む、前記センサ情報を取得する、
請求項１に記載の情報処理装置。

【請求項5】

前記移動体の外部に設置された前記集音装置は、前記移動体の左右に複数台設けられている、
請求項４に記載の情報処理装置。

【請求項6】

前記第２取得部は、前記移動体の進行方向前方を撮像し得る撮像装置により取得された情報を、前記一部センサ情報として取得する、
請求項１に記載の情報処理装置。

【請求項7】

前記第２取得部は、前記移動体が現在進行している方向とは異なる方向へ移動する行動を計画された場合に、当該異なる方向に関する情報を、前記一部センサ情報として取得する、
請求項１に記載の情報処理装置。

【請求項8】

前記第１取得部は、ミリ波又はソナー情報にかかるセンサから取得された情報を含む、前記センサ情報を取得する、
請求項４に記載の情報処理装置。

【請求項9】

前記第２出力部は、前記移動体の予測経路及び前記移動体の制御における特殊行動に関する情報を含む前記制御情報を出力する、
請求項１に記載の情報処理装置。

【請求項10】

前記第１出力部はさらに学習済モデル管理部を備え、
前記学習済モデル管理部は、大規模言語モデルを利用して、前記補助情報を出力するための処理を実行する、
請求項１に記載の情報処理装置。

【請求項11】

前記補助情報には、前記第２出力部が出力する前記制御情報に基づく前記移動体の制御時刻よりも後の時刻における前記移動体の行動に関する情報を含む、
請求項１に記載の情報処理装置。

【請求項12】

前記第１システムは、前記移動体に搭載されているナビゲーションシステムと接続されており、前記第２システムは、前記移動体に搭載されている前記ナビゲーションシステムと接続されていない、
請求項１に記載の情報処理装置。

【請求項13】

第１システムと第２システムとを含む情報処理装置により実行されるプログラムであって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得ステップと、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力ステップと、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得ステップと、
前記第１出力ステップにより出力された前記補助情報を取得する第３取得ステップと、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力ステップと、
を含む制御処理を実行させ、
前記第１出力ステップは、前記移動体の行動に関する指示及び当該指示を行う判断に至った理由を含む前記補助情報を出力する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

自動車の自動運転技術は、近年、注目される技術の１つであり、自動運転技術に関する多くの方法が試みられている。そのうちの一つの態様として、例えば、特許文献１によれば、自動運転車両の制御の意思決定に機械学習アルゴリズムを適用する方法が開示されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０８３３０９

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、機械学習の技術を自動運転車両の制御に適用しようとした場合、処理する情報の量と演算の速度は非常に重要である。すなわち、機械学習に関する学習処理や学習結果の適用処理には、多くの情報と演算が必要であり時間がかかる。他方、自動運転車両の制御では、演算を行える時間は限られており、極めて短い時間で効果的に演算を行わなければ車両の運転に支障が出る可能性がある。
この点、上述の特許文献１を含む従来技術の多くは、単に機械学習アルゴリズムを適用しているに過ぎない。

【0005】

本開示は、このような状況に鑑みてなされたものであり、効率的に移動体を制御し得る技術を提供することを目的とする。

【0006】

上述の目的を達成するため、本開示の第１の側面は、
第１システムと第２システムとを含む情報処理装置であって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得部と、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力部と、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得部と、
前記第１出力部により出力された前記補助情報を取得する第３取得部と、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力部と、
を備える、
情報処理装置である。

【0007】

また、第１の側面において、前記第１出力部は、前記移動体の行動に関する指示及び当該指示を行う判断に至った理由を含む情報を、前記補助情報として出力してもよい。

【0008】

また、第１の側面において、前記第１出力部の出力周期は、前記第２出力部の出力周期よりも長くてもよい。

【0009】

また、第１の側面において、前記第１取得部は、前記移動体の前後左右を含む方向を観測できるように設けられたカメラ、前記移動体の外部に設置された集音装置から取得された情報を含む、前記センサ情報を取得してもよい。

【0010】

また、第１の側面において、前記移動体の外部に設置された前記集音装置は、前記移動体の左右に複数台設けられてもよい。

【0011】

また、第１の側面において、前記第２取得部は、前記移動体の進行方向前方を撮像し得る撮像装置により取得された情報を、前記一部センサ情報として取得してもよい。

【0012】

また、第１の側面において、前記第２取得部は、前記移動体が現在進行している方向とは異なる方向へ移動する行動を計画された場合に、当該異なる方向に関する情報を、前記一部センサ情報として取得してもよい。

【0013】

また、第１の側面において、前記第１取得部は、ミリ波又はソナー情報にかかるセンサから取得された情報を含む、前記センサ情報を取得してもよい。

【0014】

また、第１の側面において、前記第２出力部は、前記移動体の予測経路及び前記移動体の制御における特殊行動に関する情報を含む前記制御情報を出力してもよい。

【0015】

また、第１の側面において、前記第１出力部はさらに学習済モデル管理部を備え、
前記学習済モデル管理部は、汎用的な大規模言語モデルを利用して、前記補助情報を出力するための処理を実行してもよい。

【0016】

また、第１の側面において、前記補助情報には、前記第２出力部が出力する前記制御情報に基づく前記移動体の制御時刻よりも後の時刻における前記移動体の行動に関する情報を含んでもよい。

【0017】

また、第１の側面において、前記第１システムは、前記移動体に搭載されているナビゲーションシステムと接続されていてもよく、前記第２システムは、前記移動体に搭載されている前記ナビゲーションシステムと接続されていなくてもよい。

【0018】

また、第１の側面において、前記移動体は、前記第３取得部において前記補助情報が取得できない場合、前記移動体の自律的行動に関する制約を前記第３取得部が前記補助情報を取得可能な場合と比して重くしてもよい。

【0019】

本開示の第２の側面は、
第１システムと第２システムとを含む情報処理装置により実行されるプログラムであって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得ステップと、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力ステップと、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得ステップと、
前記第１出力ステップにより出力された前記補助情報を取得する第３取得ステップと、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力ステップと、
を含む制御処理を実行させるプログラムである。

【0020】

本開示の一態様のプログラムも、本開示の一態様の情報処理装置に対応するプログラムとして提供される。

【発明の効果】

【0021】

本開示によれば、効率的に移動体を制御し得る技術を提供することができる。

【図面の簡単な説明】

【0022】

【図1】本開示の一実施形態に係る車両システムを含む情報処理システムの一例を示す図である。

【図2】本開示の一実施形態にかかる情報処理システムを構成する車載装置のハードウェア構成の一例を示す図である。

【図3】本開示の一実施形態にかかる情報処理システムを構成する車載装置の機能的構成の一例を示す図である。

【図4】本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される処理のうち、Ｎａｖｉｇａｔｏｒ処理の流れの一例を説明する図である。

【図5】本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される処理のうち、Ｄｒｉｖｅｒ処理の流れの一例を説明する図である。

【発明を実施するための形態】

【0023】

［実施形態］
図１は、本開示の一実施形態に係る車両システムを含む情報処理システム（以下、「本システム」と呼ぶ）の一例を示す図である。

【0024】

図１に示すように本開示の一実施形態に係る車両システムＳは、車載装置１と、車両センサ１０と、ＨＭＩ２０（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）
と、制御ＥＣＵ３０（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とを含み構成される。なお、これらの装置や機器は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やイーサネット等の所定のネットワークで接続される。
ここで、車両システムＳが搭載される車両は、例えば、電気又はガソリン等を動力源とする自動車をはじめ、任意の車両、移動体等が含まれ得る。

【0025】

車両センサ１０は、車両の周囲の外部環境（他の車両、歩行者、構造物、道路形状等が含まれ得る環境）を検出するための各種センサにより構成される。
ここで、車両周囲の外部環境は、例えば、交通参加者（他の車両、歩行者等）、商業施設などの建造物、道路脇などに設置された交通標識、道路面に形成された道路標示、区画線、信号機、電柱、ガードレール、動物、落下物等が含まれ得る環境である。また、車両周囲の外部環境は、例えば、天候、移動体が移動可能な路面（道路や歩道等）に関する情報及びその状況（路面が濡れている、凹凸がある等）が含まれ得る環境であってもよい。
具体的に図１に示すように、車両センサ１０は、車両の前方を撮像可能に設置されるカメラ（フロントカメラ）、車両の側方を撮像可能に設置されるカメラ（サイドカメラ）、車両の後方を撮像可能に設置されるカメラ（リアカメラ）、ミリ波レーダー、超音波レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、外部マイク（集音装置）、車載計器等を含み構成される。

【0026】

ここで、カメラは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を利用したカメラで構成される。本開示において、カメラは車両の前方、側面方向、後方に合計複数台のカメラが設置されてもよい。

【0027】

また、外部マイク（集音装置）は、汎用的なマイクロフォン等で構成され、例えば、救急車やパトカーのサイレン、人の声等を含む、車両外部の物体の出す音に関する情報を取得するために利用される。

【0028】

ＨＭＩ２０は、車両の運転者や同乗者に対して各種情報を提示するとともに、各種入力操作の内容を受け付ける。具体的には図１に示すように、ＨＭＩ２０は、例えば、ディスプレイ、操作ボタン、マイクロフォン、各種ナビゲーションシステム、スピーカー等を含み構成される。

【0029】

制御ＥＣＵ３０は、車載装置１と接続され、各種情報の送受信を行い、車両の運転に関する各種制御を実行する。具体的には図１に示すように、制御ＥＣＵは、例えば、各種制御を実行する個別のＥＣＵを備え、ブレーキ制御、アクセル制御、ステアリング制御、ウインカー・ライト等の灯火類、パワーユニット、変速機、サスペンション等の各種制御を実行する。

【0030】

そして、図１に示すように、本システムは、車両の運転者等により管理される車両システムＳ（車載装置１）と、本システムの管理者等により管理されるサーバ２とを含み構成されてもよい。
車両システムＳと、サーバ２とは、インターネット等の所定のネットワークＮを介して相互に接続されてもよい。ただし、ネットワークＮは必須の構成要素ではなく、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などが利用されてもよい。
なお、サーバ２は、車両システムＳ（特に車載装置１）から定期的に送信されてくる車両の運行に関する各種情報を取得し、各種情報の管理に用いられる。

【0031】

図２は、本開示の一実施形態にかかる情報処理システムを構成する車載装置のハードウェア構成の一例を示す図である。

【0032】

図２に示すように、車載装置１は、制御部４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、バス４４と、入出力インターフェース４５と、記憶部４６と、通信部４７と、を備えている。

【0033】

制御部４１は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、半導体メモリ等を含むマイクロコンピュータ等により構成される。制御部４１は、ＲＯＭ４２に記録されているプログラム、または、記憶部４６からＲＡＭ４３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ４３には、制御部４１が各種の処理を実行する上で必要な情報等も適宜記憶される。

【0034】

制御部４１、ＲＯＭ４２及びＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４にはまた、入出力インターフェース４５も接続されている。入出力インターフェース４５には、車両センサ１０、ＨＭＩ２０、制御ＥＣＵ３０、記憶部４６、通信部４７等が接続されている。

【0035】

記憶部４６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、各種情報を記憶する。例えば、記憶部４６には、本システムにかかる各種処理の実行に必要となる各種プログラム等が格納されている。

【0036】

通信部４７は、インターネットを含むネットワークＮを介して、他のハードウェア等との間で相互に行う通信等を制御する。

【0037】

なお、サーバ２のハードウェア構成は、車載装置１のハードウェア構成と基本的に同様とすることができるため、説明を省略する。このような各種ハードウェアと各種ソフトウェアとの協働により、車載装置１等における後述する各種処理の実行が可能となる。

【0038】

図３は、本開示の一実施形態にかかる情報処理システムを構成する車載装置の機能的構成の一例を示す図である。
ここで、具体的に本実施形態における車載装置１の制御部４１の機能は、Ｎａｖｉｇａｔｏｒモデル部１００と、Ｄｒｉｖｅｒモデル部１４０と呼ばれる二つの機能に大別される。

【0039】

Ｎａｖｉｇａｔｏｒモデル部１００は、統合的な認知や意思決定を行う大規模な言語モデル（学習済みモデル）に関する処理を実行する。
具体的にＮａｖｉｇａｔｏｒモデル部１００は、人の言語や入力操作、背景知識等に基づき総合的な判断を行いＤｒｉｖｅｒモデルに対して適切な指示情報を提供することができる。

【0040】

これに対して、Ｄｒｉｖｅｒモデル部１４０は、限られた情報に基づいて演算や推論処理を実行する高速かつ軽量な演算処理部である。後述する限定されたセンサ情報及びＮａｖｉｇａｔｏｒモデル部１００により出力された補助情報に基づいて、制御情報を出力する。
すなわち、車両の自動運転制御においては、通常、情報量が多く高精度な認識、判断を実現することが望ましい。他方、このような高精度の情報処理は、処理時間が長くかかってしまう。そのため、本システムでは、車両の直近の運行課題を解決するＤｒｉｖｅｒモデル部１４０により処理速度を保持しつつ、Ｎａｖｉｇａｔｏｒモデル部１００により中長期的な高精度の認識、判断を補助することで、全体として高精度かつ自動運転車両の制御に耐え得る処理時間の確保を実現する。
そのため、本システムでは、Ｎａｖｉｇａｔｏｒモデル部１００が各種情報を出力する出力周期は、Ｄｒｉｖｅｒモデル部１４０が各種情報を出力する出力周期よりも長く設定されるのが通常である。本システムにおいて、Ｄｒｉｖｅｒモデル部１４０による演算処理や出力処理は、Ｎａｖｉｇａｔｏｒモデル部１００による演算処理や出力処理と比較して軽量に構成されており、自動運転車両の制御に必要十分な時間（短い時間）で車両の制御を実現できるように構成されている。

【0041】

図３に示す通り、車載装置１の制御部４１においては、各種プログラムなどを実行することにより、Ｎａｖｉｇａｔｏｒモデル部１００と、Ｄｒｉｖｅｒモデル部１４０とが機能する。
また、車載装置１の記憶部４６の一領域には、モデル情報ＤＢ３００と、地図情報ＤＢ４００が設けられている。
モデル情報ＤＢ３００には、各種センサからの入力情報に対して、後述する補助情報を出力するため学習済みモデル（車載装置１又はその他の大規模言語モデル等を利用して、統計的処理がなされた学習の結果を規定したプログラム等）及び各種センサからの入力情報に対して、後述する制御情報を出力するための学習済みモデル（車載装置１又はその他のハードウェア等を利用して、統計的処理がなされた学習の結果を規定したプログラム等）が格納されている。
また、地図情報ＤＢ４００には、汎用的な地図情報等が格納されている。地図情報とは、例えば、道路や建物等に関する緯度，経度等の情報を２次元又は３次元の形式で表示した情報等である。本システムでは、後述する各種処理の必要な状況において、地図情報ＤＢ４００に格納されている地図情報が、適宜、利用される。

【0042】

Ｎａｖｉｇａｔｏｒモデル部１００に関連する機能的構成を説明する。
Ｎａｖｉｇａｔｏｒモデル部１００には、第１センサ情報取得部１２０と、補助情報生成部１２１とが設けられている。

【0043】

第１センサ情報取得部１２０は、車両センサ１０を構成する全てのセンサで取得された各種情報（以下、「全センサ情報」と呼ぶ）を取得し、管理する。

【0044】

補助情報生成部１２１は、第１センサ情報取得部１２０で取得された全センサ情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、Ｄｒｉｖｅｒモデル部１４０の演算処理を支援するための情報（以下、「補助情報」と呼ぶ）を生成する。
ここで、補助情報とは、典型的には車両の中長期的な行動計画又は運行指示に関する情報であって、車両の行動に関する指示とその指示を行う判断に至った理由等を含む情報である。
具体的に例えば、補助情報とは、「信号の色が赤です、車両を停止してください。」、「この先に急カーブがあるため、緩やかに減速してください。」、「この先左折します。ウインカーを出してください。」、「前方に交差点があります。右に進んでください。」等の言語に近い指示情報である。なお、この補助情報の例によれば、例えば、「車両を停止してください」という情報が車両の行動に関する指示であり、例えば、「信号の色が赤です」という情報が、その指示を行う判断に至った理由である。補助情報には、例えば、このような内容の情報が含まれる。
このように、本システムは、中長期的な行動計画又は運行計画に関する情報を含めることで、Ｄｒｉｖｅｒモデル部１４０における運行制御をより適切かつ効率的に実現することができる。

【0045】

ここで、補助情報の内容をさらに詳細に説明する。具体的に例えば、車両が高速道路の車線を走行中、Ｎａｖｉｇａｔｏｒモデル部１００により出力される補助情報としては、「１ｋｍ先で高速道路を降りるため、左車線へ移動せよ」という内容の情報が出力される。そして、車両が、今後取るべき行動に関する情報を含め、Ｄｒｉｖｅｒモデル部１４０からは、補助情報及び一部センサ情報に基づいた処理の結果として、例えば、「（１）左ウインカー点滅、（２）点滅から３秒後に車線変更、（３）車線変更後、時速９０ｋｍまで減速」という具体的な制御情報を出力する。すなわち、Ｄｒｉｖｅｒモデル部１４０の処理にあたって補助情報の中に高速道路を降りる、という情報を含むことによって（３）車線変更後、時速９０ｋｍまで減速といった処理結果を導出することができ、乗員のより快適で安全な移動に寄与することができる。

【0046】

この補助情報は、例えば、Ｄｒｉｖｅｒモデル部１４０で処理する情報と比較して、多くの情報（例えば、後述する全センサ情報）に基づいて、Ｄｒｉｖｅｒモデル部１４０より演算時間をかけて得られた、より精度の高い中長期的な行動計画又は運行指示に関する情報が含まれる。これに対して、後述するＤｒｉｖｅｒモデル部１４０での処理は、限られた情報（例えば、後述する一部センサ情報）及び生成された補助情報に基づいて、Ｎａｖｉｇａｔｏｒモデル部１００の生成する中長期的な行動計画又は運行計画よりも、短期的な期間における車両の運行に関する具体的な制御指示等を生成する。このような役割の異なる二つの制御処理を組み合わせて実行することで、車両に対する自動運転制御を安全かつ効率的に実現できる。

【0047】

Ｄｒｉｖｅｒモデル部１４０に関連する機能的構成を説明する。
Ｄｒｉｖｅｒモデル部１４０には、第２センサ情報取得部１６０と、制御情報生成部１６１と、制御情報出力部１６２とが設けられている。

【0048】

第２センサ情報取得部１６０は、車両センサ１０を構成するセンサのうち、車両の前方を撮像可能に設置されたカメラにより取得された画像情報、前方の情報を取得可能に設置されているミリ波レーダー又は超音波レーダーにより取得された各種情報、車載計器により取得された各種情報を含む情報（以下、「一部センサ情報」と呼ぶ）、の一部又はすべてを取得し、管理する。

【0049】

制御情報生成部１６１は、第２センサ情報取得部１６０で取得された一部センサ情報、補助情報生成部１２１で生成された補助情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、車両の運転を制御するための具体的な制御指示に関する情報（以下、「制御情報」と呼ぶ）を生成する。
ここで、制御情報とは、例えば、各制御ＥＣＵ３０に対する指示情報である。具体的に制御情報とは、移動体の移動を制御するための情報であって、本実施形態における車両においては、車速情報、車両の加減速度情報、車両が追従すべき移動軌道など行動計画に関する情報、車両の進行すべき方位に関する情報等である。
また、制御情報には、例えば、車両の予測経路や特殊行動に関する指示等を含む、運転者等への運行指示に関する情報が含まれていてもよい。予測経路とは、例えば、一部センサ情報に基づいて、算出又は計画された車両の将来の予測経路である。また、特殊行動とは、例えば、左右ウインカーの作動（ハザードの点滅等を含む）、急減速、変速指示、警笛指示等の操作に関する具体的な指示情報である。
各制御ＥＣＵ３０は、制御情報に基づき、車両の制御を実行することで車両の適切な自動運転を実現することができる。

【0050】

制御情報出力部１６２は、制御情報生成部１６１で生成された制御情報を車両システムＳの制御ＥＣＵ３０等に提供する。

【0051】

図４は、本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される処理のうち、Ｎａｖｉｇａｔｏｒ処理の流れの一例を説明する図である。

【0052】

ステップＳ１において、第１センサ情報取得部１２０は、車両センサ１０を構成する全てのセンサによる全センサ情報を取得し、管理する。

【0053】

ステップＳ２において、補助情報生成部１２１は、第１センサ情報取得部１２０で取得された全センサ情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、補助情報を生成する。これにより、車載装置１のＮａｖｉｇａｔｏｒ処理は終了する。

【0054】

図５は、本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される処理のうち、Ｄｒｉｖｅｒ処理の流れの一例を説明する図である。

【0055】

ステップＳ２１において、第２センサ情報取得部１６０は、車両センサ１０を構成するセンサのうち、車両の前方を撮像可能に設置されたカメラにより取得された画像情報、前方の情報を取得可能に設置されているミリ波レーダー又は超音波レーダーにより取得された各種情報、車載計器により取得された各種情報を含む一部センサ情報の一部又は全てを取得し、管理する。

【0056】

ステップＳ２２において、制御情報生成部１６１は、第２センサ情報取得部１６０で取得された一部センサ情報、補助情報生成部１２１で生成された補助情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、車両の運転を制御するための具体的な制御指示に関する制御情報を生成する。

【0057】

ステップＳ２３において、制御情報出力部１６２は、制御情報生成部１６１で生成された制御情報を車両システムＳの制御ＥＣＵ３０等に提供する。これにより、車載装置１のＤｒｉｖｅｒ処理は終了する。

【0058】

以上、本開示の一実施形態について説明したが、本開示は、上述の実施形態に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良などは本開示に含まれるものである。

【0059】

［他の実施形態］
また、上述の実施形態において、車両は、汎用的な自動運転車両であるものとして説明したが、限定されない。本システムの適用対象となる車両には、例えば、自動車、トラック、オートバイ、鉄道車両、自転車、ロボット、ＡＧＶ（Ａｕｔｏｍａｔｉｃ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）、ドローン等、形状や動力源を問わない任意の形式の移動体が含まれ得る。
また、本システムにかかる情報処理装置又は情報処理システムは、情報処理装置として独立して機能している必要はなく、例えば、車両（移動体）と一体化して提供されてもよい。

【0060】

また、上述の実施形態において、第２センサ情報取得部１６０は、一部センサ情報として、車両の前方を撮像可能に設置されたカメラと、前方の情報を取得可能に設置されているミリ波レーダー又は超音波レーダーと、車載計器に関する情報のみを一部センサ情報として取得するものとして説明したが、限定されない。どの種別のセンサの情報を一部センサ情報とするかどうかは、本システムの管理者等が任意に設計することができる。
具体的に例えば、車両のバック時など後退時などは、後方を撮像可能なカメラより取得された画像、後方の情報を取得可能に設置されているミリ波レーダーまたは超音波レーダーにより取得された各種情報、側方を撮像可能なカメラより取得された画像等の全て又は一部が一部センサ情報に含まれていてもよい。

【0061】

さらに言えば、本システムは、車両の状況に応じて、一部センサ情報として取得するセンサの選択を変更してもよい。具体的に例えば、本システムは、通常時には前方のカメラのみを一部センサ情報として取得するが、車線変更時等には左右又は後方のカメラ（例えば、車線変更を行う方向）の映像を一部センサ情報として取得してもよい。ここで言う車線変更には、単なる横方向への移動、左折又は右折等の車両の運行が含まれ得る。
なお、本システムのＤｒｉｖｅｒモデル部１４０が、全てのセンサによるセンサ情報ではなく、一部センサ情報のみを取得して、各種処理を実行する利点は、Ｄｒｉｖｅｒモデル部１４０が一部センサ情報のみから情報を取得して、車両の運行に関する処理を行うことで、全てのセンサによる情報を取得して処理する場合と比較して、高速で処理することができる点である。

【0062】

また、上述の実施形態では説明を省略したが、Ｎａｖｉｇａｔｏｒモデル部１００又はＤｒｉｖｅｒモデル部１４０で利用されていた学習済みモデルは、各種情報を生成する事前又は事後に、適宜、更新されてもよい。
例えば、車載装置１は、出力した補助情報や制御情報等を利用して、新たに学習された学習済みモデルを取得して、モデル情報ＤＢ３００に格納されている学習済みモデルの内容を更新してもよい。なお、ここで利用される学習の方法は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の各種深層学習に分類される方法又はその組み合わせ等であってもよい。

【0063】

また、上述の実施形態では簡易的な説明に留めたが、モデル情報ＤＢ３００に格納されている情報は、事前に車載装置１又はその他のハードウェア等により学習処理がなされているものとする。具体的には、モデル情報ＤＢ３００に格納されている情報は、各種動画やテキスト、自然言語等を含む広範囲な情報を学習させるほか、別途収集した車両の走行画像に車両の制御に関する情報や補足情報等をラベリングする等の方法により自動運転への適用のための十分な調整がなされたモデル情報である。
なお、これらの学習に利用される学習用のデータ等は、必ずしも自動運転が適用される車両により取得されたものではなく、他の車両や、シミュレーション等の手法により生成された学習用のデータ等であってもよい。

【0064】

また、さらに言えば、本システムにかかる学習においては、例えば、ＣｈａｔＧＰＴやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の汎用的な大規模言語モデル（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）等が利用されてもよい。なお、これらの大規模言語モデル等を利用する場合も、例えば、車両の移動に関して取得された各種情報をさらに学習させて、学習済みモデルを生成する等してもよい。

【0065】

また、上述の実施形態では説明を省略したが、本システムは、例えば、車両に搭載されたナビゲーションシステムとＮａｖｉｇａｔｏｒモデル部１００のみを接続し、ナビゲーションシステムとＤｒｉｖｅｒモデル部１４０との接続を禁止してもよい。これにより、Ｄｒｉｖｅｒモデル部１４０は、不要な演算処理を行わずに、車両の行動制御に必要な演算処理のみを行うため、演算処理の速度を十分に確保することができる。

【0066】

また、上述の実施形態では説明を省略したが、Ｄｒｉｖｅｒモデル部１４０の制御情報生成部１６１は、補助情報生成部１２１で生成された補助情報が取得できない場合、車両の運行（自律的行動）に関する制約を、補助情報が取得できた場合と比較して重く設定する機能を備えていてもよい。例えば、制御情報生成部１６１は、自動運転のレベルをドライバーのハンドル保持及び監視を要求する自動運転レベル１に制約する、ドライバーの前方監視のみ求め即座のドライバーへの操舵移管が可能な自動運転レベル２に制約する等、いわゆる自動運転レベルを１～５の間で調整するようにしてもよい。
この場合、制御情報生成部１６１は、補助情報が取得できなかった場合、例えば、制御情報の生成を行わなくてもよいし、上述の自動運転レベルの制約に応じて制御情報を出力してもよい。

【0067】

また、上述の実施形態では、移動体のおかれた環境の一例として、車両周囲の外部環境を例として説明した。ただし、移動体のおかれた環境は、必ずしも車両周囲の外部環境のみに限定されない。

【0068】

また、上述の実施形態では説明を省略したが、本システムは、例えば、補助情報を、外界情報を自然言語に近いベクトルとして表現した態様の情報として出力してもよい。また、本システムは、例えば、補助情報を、人間が自然言語として理解可能な態様の情報として出力してもよい。

【0069】

また、上述の実施形態では簡易的な説明に留めたが、車両センサ１０に含まれる各種センサの種別や個数等は、本システムの管理者等の任意である。本システムは、例えば、上述のセンサとは異なる任意のセンサを車両センサ１０の構成の一部としてもよいし、不要なセンサを車両センサ１０の構成から省略してもよい。
さらに言えば、車両センサ１０の各種センサの個数も任意のため、本システムは、例えば、カメラやマイクロフォン等を車両の任意の位置に複数台設置してもよい。

【0070】

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３などの機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３などの例に限定されない。また、機能ブロックの存在場所も、図３などの例に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。

【0071】

また、本システムを構成する各種ハードウェアの数や使用者は任意であるし、他のハードウェアなどを含み構成されてもよい。

【0072】

また、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。

【0073】

また、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。

【0074】

また、このようなプログラムを含む記録媒体は、ユーザなどにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成されてもよい。

【0075】

また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味している。

【0076】

これらの他の実施形態を採用した場合においても、本実施形態の作用効果は発揮される。また、本実施形態と他の実施形態、及び他の実施形態同士を適宜組み合わせることも可能である。

【0077】

以上をまとめると、本開示に適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
第１システムと第２システムとを含む情報処理装置であって、
前記第１システムは、
所定の移動体に設置されたセンサにより取得された前記移動体のおかれた環境に関する情報を、センサ情報として取得する第１取得部（例えば、第１センサ情報取得部１２０）と、
前記センサ情報に基づいて、前記移動体の行動を制御するための制御情報を決定することを補助するための補助情報を出力する第１出力部（例えば、補助情報生成部１２１）と、
を備え、
前記第２システムは、
前記移動体に設置されたセンサの一部から一部センサ情報を取得する第２取得部（例えば、第２センサ情報取得部１６０）と、
前記第１出力部により出力された前記補助情報を取得する第３取得部（例えば、制御情報生成部１６１）と、
前記一部センサ情報又は前記補助情報の少なくとも一部を利用して、前記制御情報を出力する第２出力部（例えば、制御情報出力部１６２）と、
を備える、
情報処理装置であれば足りる。

【符号の説明】

【0078】

Ｓ 車両システム
１ 車載装置
１００ Ｎａｖｉｇａｔｏｒモデル部
１２０ 第１センサ情報取得部
１２１ 補助情報生成部
１４０ Ｄｒｉｖｅｒモデル部
１６０ 第２センサ情報取得部
１６１ 制御情報生成部
１６２ 制御情報出力部
３００ モデル情報ＤＢ
４００ 地図情報ＤＢ
１０ 車両センサ
２０ ＨＭＩ
３０ 制御ＥＣＵ
４１ 制御部
２ サーバ

【要約】

第１センサ情報取得部１２０は、車両センサ１０を構成する全てのセンサによる全センサ情報を取得し、管理する。補助情報生成部１２１は、全センサ情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、補助情報を生成する。第２センサ情報取得部１６０は、車両の前方に設置されたカメラにより取得された画像情報、前方に設置されているミリ波レーダー又は超音波レーダーにより取得された各種情報、車載計器により取得された各種情報を含む一部センサ情報を取得し、管理する。制御情報生成部１６１は、一部センサ情報、補助情報及びモデル情報ＤＢ３００に格納されている学習済みモデルの内容に基づいて、制御情報を生成する。

【図1】

【図2】

【図3】

【図4】

【図5】