特開 2024-176166 情報処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176166

(43)【公開日】2024-12-19

(54)【発明の名称】情報処理装置およびプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241212BHJP

【ＦＩ】

G08G1/16 C

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023094499

(22)【出願日】2023-06-08

(71)【出願人】

【識別番号】521479909

【氏名又は名称】Ｔｕｒｉｎｇ株式会社

(74)【代理人】

【識別番号】100207619

【弁理士】

【氏名又は名称】渡辺 知晴

(72)【発明者】

【氏名】山本 一成

(72)【発明者】

【氏名】山口 祐

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181AA05

5H181AA07

5H181AA20

5H181BB04

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181EE02

5H181FF05

5H181LL01

5H181LL07

5H181LL08

(57)【要約】

【課題】画像情報の内容をより直感的で分かりやすい態様で提示できる技術を提供する。
【解決手段】カメラ情報取得部８０は、車両センサ１０を構成するセンサのうち、特にカメラ（フロント，サイド，リア）で取得された画像情報を取得する。言語変換部８１は、カメラ情報取得部８０で取得された画像情報に基づいて、車両の移動に影響する可能性のある物標、事象、状況の変化を示す画像言語化情報を生成し、その画像言語化情報を出力する。出力制御部８２は、テキスト情報または音声情報等を含む各種情報を、ＨＭＩ２０等に出力するための制御を実行する。
【選択図】図３

【特許請求の範囲】

【請求項1】

移動体の外界環境が撮像された画像に関する情報を取得する取得部と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部と、
を備える情報処理装置。

【請求項2】

前記出力部は、前記移動体に及ぼし得る影響度に応じて、前記言語の出力に関する優先度を決定する、
請求項１に記載の情報処理装置。

【請求項3】

前記出力部は、前記変換の対象となる前記事象又は前記状況の変化が、現時刻から所定時間以内に前記移動体に及ぼし得る前記影響度が高いと予測される場合、前記優先度を高いと決定し、前記影響度が低いと予測される場合、前記優先度を低いと決定する、
請求項２に記載の情報処理装置。

【請求項4】

前記出力部は、前記優先度が異なると決定された複数の前記事象または前記状況の変化が存在する場合、前記優先度に基づき前記言語として出力する、
請求項３に記載の情報処理装置。

【請求項5】

前記出力部は、前記優先度が同一の前記事象または前記状況の変化が複数存在する場合、前記同一の優先度の前記事象または前記状況の変化の順序については順序の制限を加えない、
請求項４に記載の情報処理装置。

【請求項6】

前記出力部は、前記言語の出力に関して所定の字数制限が設定されている場合であって、かつ、出力される前記言語が設定されている当該字数制限を超えると判断される場合、前記優先度の低いものから順に、出力しない、
請求項４に記載の情報処理装置。

【請求項7】

前記出力部は、設定されている前記字数制限を超えると判断された場合、前記優先度の低いもののうち、前記移動体に対する影響度が低いものから前記言語として出力しない、
請求項６に記載の情報処理装置。

【請求項8】

前記出力部は、前記変換の対象となる前記事象又は前記状況の変化に関して、プライバシー情報が含まれる場合、前記優先度を低いと決定する、
請求項２に記載の情報処理装置。

【請求項9】

前記出力部は、前記移動体のユーザに対し、交通安全情報を出力する、
請求項１に記載の情報処理装置。

【請求項10】

前記出力部は、所定の内容を前記言語として出力した場合に、一度出力した内容と類似する内容の出力を、所定期間出力することを制限する、
請求項１に記載の情報処理装置。

【請求項11】

コンピュータにより実行される情報処理方法であって
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含む情報処理方法。

【請求項12】

コンピュータに、
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含む制御処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置プログラムに関する。

【背景技術】

【0002】

自動車の自動運転技術は、近年、注目される技術の１つである。ここで、自動車の自動運転を実現するためには、いわゆる画像認識技術も重要である。
例えば、特許文献１によれば、画像情報の認識結果を文章として出力し、直感的に捉えさせることが可能な技術が提案されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１８４７９８

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の特許文献１は、あくまでも汎用的な画像情報に対して文章を出力するものであり、また、出力する文章の内容も基本的にはルールベースでの文章の生成を想定した簡易的な内容のみが想定されている。

【0005】

本発明は、このような状況に鑑みてなされたものであり、画像情報の内容をより直感的で分かりやすい態様で提示できる技術を提供することを目的とする。

【0006】

上記目的を達成するため、本発明の第１の側面は、
移動体の外界環境が撮像された画像に関する情報を取得する取得部と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部と、
を備える情報処理装置である。

【0007】

また、第１の側面において、前記出力部は、前記移動体に及ぼし得る影響度に応じて、前記言語の出力に関する優先度を決定することができる。

【0008】

また、第１の側面において、前記出力部は、前記変換の対象となる前記事象又は前記状況の変化が、現時刻から所定時間以内に前記移動体に及ぼし得る前記影響度が高いと予測される場合、前記優先度を高いと決定し、前記影響度が低いと予測される場合、前記優先度を低いと決定することができる。

【0009】

また、第１の側面において、前記出力部は、前記優先度が異なると決定された複数の前記事象または前記状況の変化が存在する場合、前記優先度に基づき前記言語として出力することができる。

【0010】

また、第１の側面において、前記出力部は、前記優先度が同一の前記事象または前記状況の変化が複数存在する場合、前記同一の優先度の前記事象または前記状況の変化の順序については順序の制限を加えないことができる。

【0011】

また、第１の側面において、前記出力部は、前記言語の出力に関して所定の字数制限が設定されている場合であって、かつ、出力される前記言語が設定されている当該字数制限を超えると判断される場合、前記優先度の低いものから順に、出力しないことができる。

【0012】

また、第１の側面において、前記出力部は、設定されている前記字数制限を超えると判断された場合、前記優先度の低いもののうち、前記移動体に対する影響度が低いものから前記言語として出力しないことができる。

【0013】

また、第１の側面において、前記出力部は、前記変換の対象となる前記事象又は前記状況の変化に関して、プライバシー情報が含まれる場合、前記優先度を低いと決定することができる。

【0014】

また、第１の側面において、前記出力部は、前記移動体のユーザに対し、交通安全情報を出力することができる。

【0015】

また、第１の側面において、前記出力部は、所定の内容を前記言語として出力した場合に、一度出力した内容と類似する内容の出力を、所定期間出力することを制限することができる。

【0016】

また、本発明の第２の側面は、
コンピュータにより実行される情報処理方法であって
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含む情報処理方法である。

【0017】

また、本発明の第３の側面は、
コンピュータに、
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含む制御処理を実行させるプログラムである。

【0018】

本発明の一態様の情報処理方法およびプログラムも、本発明の一態様の情報処理装置に対応する情報処理方法またはプログラムとして提供される。

【発明の効果】

【0019】

本発明によれば、画像情報の内容をより直感的で分かりやすい態様で提示できる技術を提供することができる。

【図面の簡単な説明】

【0020】

【図1】本開示の一実施形態に係る車両システムを含む情報処理システムの一例を示す図である。

【図2】本開示の一実施形態にかかる情報処理システムを構成する車載装置のハードウェア構成の一例を示す図である。

【図3】本開示の一実施形態にかかる情報処理システムを構成する車載装置の機能的構成の一例を示す図である。

【図4】本開示の一実施形態にかかる情報法処理システムが優先度を決定するための基準の一例を示す図である。

【図5】本開示の一実施形態にかかる情報法処理システムが言語化を行う場合の具体的な方法の一例を示す図である。

【図6】本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される各種処理の流れの一例を説明する図である。

【発明を実施するための形態】

【0021】

［実施形態］
図１は、本開示の一実施形態に係る車両システムを含む情報処理システム（以下、「本システム」と呼ぶ）の一例を示す図である。

【0022】

図１に示すように本開示の一実施形態に係る車両システムＳは、車載装置１と、車両センサ１０と、ＨＭＩ２０（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）
と、制御ＥＣＵ３０（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）とを含み構成される。なお、これらの装置や機器は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やイーサネット等の所定のネットワークで接続される。
ここで、車両システムＳが搭載される車両は、例えば、電気又はガソリン等を動力源とする自動車をはじめ、任意の車両、移動体等が含まれ得る。

【0023】

車両センサ１０は、車両の周囲の外部環境（他の車両、歩行者、構造物、道路形状等が含まれ得る環境）を検出するための各種センサにより構成される。
ここで、車両周囲の外部環境は、例えば、交通参加者（他の車両、歩行者等）、商業施設などの建造物、道路脇などに設置された交通標識、道路面に形成された道路標示、区画線、信号機、電柱、ガードレール、動物、落下物等が含まれ得る環境である。また、車両周囲の外部環境は、例えば、天候、移動体が移動可能な路面（道路や歩道等）に関する情報及びその状況（路面が濡れている、凹凸がある等）が含まれ得る環境であってもよい。
具体的に図１に示すように、車両センサ１０は、車両の前方を撮像可能に設置されるカメラ（フロントカメラ）、車両の側方を撮像可能に設置されるカメラ（サイドカメラ）、車両の後方を撮像可能に設置されるカメラ（リアカメラ）、ミリ波レーダー、超音波レーダー、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、加速度センサ、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、外部マイク（集音装置）、車載計器等を含み構成される。

【0024】

ここで、カメラは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を利用したカメラで構成される。本開示において、カメラは車両の前方、側面方向、後方に合計複数台のカメラが設置されてもよい。

【0025】

また、外部マイク（集音装置）は、汎用的なマイクロフォン等で構成され、例えば、救急車やパトカーのサイレン、人の声等を含む、車両外部の物体の出す音に関する情報を取得するために利用される。

【0026】

ＨＭＩ２０は、車両の運転者や同乗者に対して各種情報を提示するとともに、各種入力操作の内容を受け付ける。具体的には図１に示すように、ＨＭＩ２０には、例えば、ディスプレイ、操作ボタン、マイクロフォン、各種ナビゲーションシステム、スピーカー等を含み構成される。

【0027】

制御ＥＣＵ３０は、車載装置１と接続され、各種情報の送受信を行い、車両の運転に関する各種制御を実行する。具体的には図１に示すように、制御ＥＣＵは、例えば、各種制御を実行する個別のＥＣＵを備え、ブレーキ制御、アクセル制御、ステアリング制御、ウインカー・ライトなどの灯火類、パワーユニット、変速機、サスペンション等の各種制御を実行する。

【0028】

そして、図１に示すように、本システムは、車両の運転者等により管理される車両システムＳ（車載装置１）と、本システムの管理者等により管理されるサーバ２とを含み構成されてもよい。
車両システムＳと、サーバ２とは、インターネット等の所定のネットワークＮを介して相互に接続されてもよい。ただし、ネットワークＮは必須の構成要素ではなく、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などが利用されてもよい。
なお、サーバ２は、車両システムＳ（特に車載装置１）から定期的に送信されてくる車両の運行に関する各種情報を取得し、各種情報の管理に用いられる。
なお、以下、単に「画像」と呼ぶ場合には、「動画像」、「静止画像」、「時系列画像」等を広く含むものとする。

【0029】

図２は、本開示の一実施形態にかかる情報処理システムを構成する車載装置のハードウェア構成の一例を示す図である。

【0030】

図２に示すように、車載装置１は、制御部４１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４３と、バス４４と、入出力インターフェース４５と、記憶部４６と、通信部４７と、を備えている。

【0031】

制御部４１は、ＣＰＵ、ＧＰＵ、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、半導体メモリ等を含むマイクロコンピュータ等により構成される。制御部４１は、ＲＯＭ４２に記録されているプログラム、または、記憶部４６からＲＡＭ４３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ４３には、制御部４１が各種の処理を実行する上で必要な情報等も適宜記憶される。

【0032】

制御部４１、ＲＯＭ４２及びＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４にはまた、入出力インターフェース４５も接続されている。入出力インターフェース４５には、車両センサ１０、ＨＭＩ２０、制御ＥＣＵ３０、記憶部４６、通信部４７等が接続されている。

【0033】

記憶部４６は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、各種情報を記憶する。例えば、記憶部４６には、本システムにかかる各種処理の実行に必要となる各種プログラム等が格納されている。

【0034】

通信部４７は、インターネットを含むネットワークＮを介して、他のハードウェア等との間で相互に行う通信等を制御する。

【0035】

なお、サーバ２のハードウェア構成は、車載装置１のハードウェア構成と基本的に同様とすることができるため、説明を省略する。このような各種ハードウェアと各種ソフトウェアとの協働により、車載装置１等における後述する各種処理の実行が可能となる。

【0036】

図３は、本開示の一実施形態にかかる情報処理システムを構成する車載装置の機能的構成の一例を示す図である。

【0037】

図３に示す通り、車載装置１の制御部４１においては、各種プログラムなどを実行することにより、カメラ情報取得部８０と、言語変換部８１と、出力制御部８２とが機能する。
また、車載装置１の記憶部４６の一領域には、モデル情報ＤＢ３００が設けられている。モデル情報ＤＢ３００には、後述する画像情報に基づいて、後述する画像言語化情報を生成するための学習済みモデル（車載装置１又はその他の大規模言語モデル等を利用して、統計的処理がなされた学習の結果を規定したプログラム等）が格納されている。なお、ここで利用される学習の方法は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の各種深層学習に分類される方法又はその組み合わせ等であってもよい。

【0038】

カメラ情報取得部８０は、移動体の外界環境が撮像された画像に関する情報を取得する。具体的にカメラ情報取得部８０は、車両センサ１０を構成するセンサのうち、特にカメラ（フロント，サイド，リア）で撮像された画像に関する各種情報（以下、「画像情報」と呼ぶ）を取得する。

【0039】

言語変換部８１は、前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する。具体的に言語変換部８１は、カメラ情報取得部８０で取得された画像情報に基づいて、車両の移動に影響する可能性のある物標、事象、状況の変化を示すテキスト文章（以下、「画像言語化情報」と呼ぶ）を生成し、その画像言語化情報を出力する。なお、言語変換部８１は、生成した画像言語化情報を出力する順序を、後述する優先度に応じて、決定する。
ここで、物標とは、典型的には例えば、自車以外の車両、歩行者、道路標識、立て看板、商業施設等の建造物、道路面に形成された道路標示、区画線、信号機、電柱、ガードレール、落下物等が含まれる。また、言語変換部８１による具体的な言語化の事例は、図４および図５を参照しながら後述する。

【0040】

ここで、言語変換部８１には、優先度決定部１００が設けられている。
優先度決定部１００は、前記移動体に及ぼし得る影響度に応じて、前記出力に関する優先度を決定する。具体的に優先度決定部１００は、カメラ情報取得部８０で取得された画像情報の内容に基づいて、それぞれの物標、事象、状況の変化が車両の移動に対して与え得る影響度を決定し、その影響度に応じて、それぞれの物標、事象、状況の変化を言語化する優先度を決定する。
例えば、本システムは、物標、事象、状況の変化が、現時刻から所定の時間以内に車両に及ぼす影響度が高いと予測される場合、優先度が高いと決定し、その影響度が低いと予測される場合、優先度が低いと決定する。

【0041】

出力制御部８２は、テキスト情報または音声情報等を含む各種情報を、ＨＭＩ２０等に出力するための制御を実行する。

【0042】

図４は、本開示の一実施形態にかかる情報法処理システムが優先度を決定するための基準の一例を示す図である。

【0043】

図４の例では、本システムが優先度を決定（影響度を算出）する方法の具体的な一例が、それぞれの物標、事象または状況ごとに、表として表示されている。例えば、図４の例では、言語化の優先度が高い、すなわち、車両への影響度が高い物標、事象または状況の例として、（他車両）「前方から接近してくる車両、側方を走行しているバイク・自転車」，（歩行者）「横断中・横断待ちの歩行者」，（交通標識等）「信号機状態変化、一時停止標識、進入禁止標識」，（事故・渋滞・規制・工事）「前方の事故や渋滞」，（路面状況・状態）「進路上落下物」，（道路構造）「交差点、急カーブ」，（その他）「前方、自車に対する危険度が高い、急な状態の変容」という例が表示されている。本システムは、取得された画像情報にこのような物標、事象または状況が含まれている場合には、その物標、事象または状況を優先して言語化する。
他方、図４の例では、言語化の優先度が低い、すなわち、車両への影響度が低い物標、事象または状況の例として、（他車両）「車線変更してくる車両」，（交通標識等）「高速道路や基幹道路の標識、制限速度」，（事故・渋滞・規制・工事）「スクールゾーン、道路工事、規制」，（路面状況・状態）「路面の濡れや氷など」，（その他）「ナビゲーションシステムで通常取得可能な情報、緊急度の低い情報など」という例が表示されている。本システムは、取得された画像情報にこのような物標、事象または状況が含まれている場合には、その物標、事象または状況を優先的に言語化しない（他に言語化する優先度が高いものがない場合に言語化する）。
さらに図４の例では、言語化の必要がない物標、事象または状況の例として、（他車両）「進路に影響を及ぼさない車両、車両の外装やデザイン、ナンバープレート」，（歩行者）「自車に影響のない歩行者（横断する様子がないなど）」，（交通に関係のない物標）「樹木、道路沿い建物、広告看板」，（その他）「運行に影響を及ぼさない情報、プライバシー情報など」という例が表示されている。本システムは、取得された画像情報にこのような物標、事象または状況が含まれている場合には、その物標、事象または状況を原則として言語化しないでもよい。本システムは、例えば、このような判断基準にしたがって、車両の移動に対して与え得る影響度を決定し、言語化の優先度を決定することができる。なお、図４に示したような判断基準に関する情報は、任意の形式の情報として記憶部４６等に格納されているものとする。
なお、プライバシー情報とは、いわゆる個人情報に限定されず、例えば、個人を特定可能な情報、明示的に描写されると不快に感じると考えられる情報等が広く含まれ得る。具体的に本実施形態の例では、人（歩行者や車両への同乗者等）の顔や身体的特徴、他の車両や建造物等の内部の様子等がプライバシー情報に含まれる。
以上をまとめると、本システムは、このように優先度が異なると決定された複数の事象または状況の変化等が存在する場合、決定された優先度に基づいて、画像言語化情報として出力する。

【0044】

図５は、本開示の一実施形態にかかる情報法処理システムが言語化を行う場合の具体的な方法の一例を示す図である。

【0045】

図５の例では、本システムが言語化する対象となる画像の一例が具体的に表示されている。
図５の例を見ると、例えば、自車の前方には交差点が存在する。このような物標、事象または状況は、図４の例の判断基準における優先度高の内容（交差点）に該当する。また、図５の例を見ると、例えば、自車の前方に設置された信号機において車両の前進と左折のみを許可する表示がなされている。このような物標、事象または状況は、図４の例の判断基準における優先度高の内容（信号機の状態変化）に該当する。本システムは、例えば、「自車の前方には交差点が存在し、前方の信号機において前進・左折が許可されている」という文章を言語化し、高い優先度で出力する。
他方、図５の例を見ると、自車の前方右側に大型のトラックが走行しており、この大型トラックは状況によっては自車の走行する車線に車線変更してくる可能性がある。このような物標、事象または状況は、例えば、図４の例の判断基準における優先度低の内容（車線変更してくる車両）に該当する。本システムは、例えば、「右車線のトラックがレーン変更してくる可能性がある」という文章を言語化し、低い優先度で出力する。なお、例えば、車両のデザインやナンバープレート等の情報は、車両乗員に対する言語化の重要性が低い、もしくは必要がないため、原則、文章としては出力されない。

【0046】

図６は、本開示の一実施形態にかかる情報処理システムを構成する車載装置で実行される各種処理の流れの一例を説明する図である。

【0047】

ステップＳ１において、カメラ情報取得部８０は、車両センサ１０を構成するセンサのうち、特にカメラ（フロント，サイド，リア）で取得された画像情報を取得する。

【0048】

ステップＳ２において、優先度決定部１００は、カメラ情報取得部８０で取得された画像情報の内容に基づいて、それぞれの物標、事象、状況の変化が車両の移動に対して与え得る影響度を算出する。

【0049】

ステップＳ３において、優先度決定部１００は、算出した影響度に応じて、それぞれの物標、事象、状況の変化を言語化する優先度を決定する。

【0050】

ステップＳ４において、言語変換部８１は、カメラ情報取得部８０で取得された画像情報に基づいて、車両の移動に影響する可能性のある物標、事象、状況の変化を示す画像言語化情報を生成する。
なお、ステップＳ４において、言語変換部８１は、優先度決定部１００により決定された優先度に応じて、生成した画像言語化情報を出力する。これにより、車載装置１の画像言語化処理は終了する。

【0051】

以上、本開示の一実施形態について説明したが、本開示は、上述の実施形態に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良などは本開示に含まれるものである。

【0052】

［他の実施形態］
また、上述の実施形態において、画像言語化情報は、テキスト情報として出力されるものとして説明したが、限定されない。画像言語化情報は、音声等の他の形式で出力されてもよい。

【0053】

また、上述の実施形態において、車両は、汎用的な自動運転車両であるものとして説明したが、限定されない。本システムの適用対象となる車両には、例えば、自動車、トラック、オートバイ、鉄道車両、自転車等、形状や動力源を問わない任意の形式の移動体が含まれ得る。
また、本システムにかかる情報処理装置又は情報処理システムは、情報処理装置として独立して機能している必要はなく、例えば、車両（移動体）と一体化して提供されてもよい。

【0054】

また、上述の実施形態では簡易的な説明に留めたが、モデル情報ＤＢ３００に格納されている情報は、事前に車載装置１又はその他のハードウェア等により学習処理がなされているものとする。具体的には、モデル情報ＤＢ３００に格納されている情報は、各種動画やテキスト等を広範囲に学習し、自動運転への適用のために十分な調整が行われたモデル情報である。
さらに言えば、特にモデル情報ＤＢ３００の事前の学習においては、例えば、ＣｈａｔＧＰＴやＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の汎用的な大規模言語モデル（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）等を利用して、学習を行ってもよい。

【0055】

また、上述の実施形態では簡易的な説明に留めたが、本システムは、強化学習を行い、各種モデル情報を更新することができる。具体的に例えば、本システムは生成された画像言語化情報等を用いて、モデル情報ＤＢ３００のモデルの内容を更新していくこともできる。例えば、この場合、本システムは、車載装置１等で取得された各種情報に基づいて、他のハードウェア等で学習し、新たに生成された学習済みモデルを、インターネット等を介して取得してもよい。

【0056】

また、上述の実施形態では簡易的な説明に留めたが、車両センサ１０に含まれる各種センサの種別や個数等は、本システムの管理者等の任意である。本システムは、例えば、上述のセンサとは異なる任意のセンサを車両センサ１０の構成の一部としてもよいし、不要なセンサを車両センサ１０の構成から省略してもよい。
さらに言えば、車両センサ１０の各種センサの個数も任意のため、本システムは、例えば、カメラやマイクロフォン等を車両の任意の位置に複数台設置してもよい。

【0057】

また、上述の実施形態（特に図４の実施形態）において、本システムの影響度および優先度は表にまとめられた判断基準に基づいて決定されるものとして、説明したが限定されない。本システムは、例えば、車両からの距離、車両進行方向上での存在の有無等を算出し、その結果に応じて、影響度を算出し、優先度を決定する仕様を採用してもよい。

【0058】

また、上述の実施形態（特に図５の実施形態）では簡易的な説明に留めたが、本システムにかかる画像言語化情報には、車両の運転者等が道路交通法を守るためのアドバイスや安全運転を行うためのアドバイス等（これらをまとめて、「交通安全情報」と呼ぶ）が含まれてもよい。本システムは、例えば、矢印灯（矢印信号）に基づく進行方向の指示、他の車両の交通量、交通量に基づく認識範囲内の他の車両の行動予測結果、駐車場への侵入難易度等を、言語化情報の一部として出力等してもよい。
具体的に例えば、上述の実施形態（特に図５の実施形態）の例において、本システムは、交通安全情報を踏まえ、例えば、「信号機から前進・左折が許可されているため、そのまま前進してください。周囲の交通量は比較的多く、右車線のトラックが車線変更を行う可能性があります。また、左前方に駐車場が存在しますが、侵入経路がなく、侵入が難しい状況です。」というような文章を追加で出力してもよい。

【0059】

また、上述の実施形態では説明を省略したが、本システムは、画像言語化情報を単に出力するだけでなく、ナビゲーションシステムのルート状況等について、運転者の質問に回答（応答）する等の機能を備えていてもよい。

【0060】

また、上述の実施形態（特に図４の実施形態）では簡易的な説明に留めたが、本システムは、優先度が同一の事象または状況の変化が複数存在する場合、同一の優先度の事象または状況の変化の出力の順序に、順序の制限を加えない仕様を採用してもよい。

【0061】

また逆に、本システムは、優先度が同一の事象または状況の変化が複数存在する場合、同一の優先度の事象または状況の変化の出力の順序に、順序の制限を加えてもよい仕様を採用してもよい。

【0062】

また、上述の実施形態では説明を省略したが、車線変更してくる車両とは、例えば、自車前方所定距離内に存在しない、将来的に存在してこない、車線変更をしている車等が含まれ得る。
また、本システムは、例えば、既に自車の前方の所定の距離内に存在し、自車の運行に影響があると予測される場合には、車線変更してくる車両と同様の優先度として処理してもよいし、自車の運行に影響がないと予測される場合には、単に前方に存在する車両と同様の優先度として扱ってもよい。

【0063】

また、上述の実施形態では説明を省略したが、本システムは、一度画像言語化情報として出力した内容と、類似する内容の画像言語化情報の出力を所定期間行わない機能を備えていてもよい。具体的に例えば、スクールゾーンや工事区間等、一定時間（数秒から数十秒程度）にわたり撮像範囲に映り込む物標や環境等が存在する場合、複数回同様の内容が画像言語化情報として出力される可能性がある。本システムは、このような場合に、同様の内容の画像言語化情報が出力されるのを所定期間の間は一度のみに留めるよう同様の内容の画像言語化情報の出力を制限してもよい。

【0064】

また、上述の実施形態では説明を省略したが、本システムは、出力する画像言語化情報に字数制限等を設定してもよい。また、本システムは、例えば、出力する画像言語化情報が字数の制限を超えると判断した場合、優先度の低い情報から出力を制限する仕様を備えていてもよい。

【0065】

また上述の実施形態（特に図４の実施形態）では、物標、事象または状況を、優先度高，優先度低，言語化の必要のないものの３つに分類するものとして説明したが、限定されない。例えば、本システムは、物標、事象または状況の分類として、例えば、優先度高，優先度中，優先度低の３つを採用してもよいし、任意の他の分類等を採用したり、分類の一部を省略してもよい。図４に示した分類の種別やそれぞれの分類における基準の内容は、あくまでも例示であり、限定されない。

【0066】

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３などの機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３などの例に限定されない。また、機能ブロックの存在場所も、図３などの例に限定されず、任意でよい。
また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。

【0067】

また、本システムを構成する各種ハードウェアの数や使用者は任意であるし、他のハードウェアなどを含み構成されてもよい。

【0068】

また、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。

【0069】

また、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。

【0070】

また、このようなプログラムを含む記録媒体は、ユーザなどにプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成されてもよい。

【0071】

また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味している。

【0072】

これらの他の実施形態を採用した場合においても、本実施形態の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。

【0073】

以上をまとめると、本発明適用される情報処理システムは、次のような構成を有する各種各様の実施形態を取ることができる。
移動体の外界環境が撮像された画像に関する情報を取得する取得部（例えば、カメラ情報取得部８０）と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部（例えば、言語変換部８１）と、
を備える情報処理装置であれば足りる。

【符号の説明】

【0074】

Ｓ 車両システム
１ 車載装置
８０ カメラ情報取得部
８１ 言語変換部
１００ 優先度決定部
８２ 出力制御部
１０ 車両センサ
２０ ＨＭＩ
３０ 制御ＥＣＵ
４１ 制御部
２ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-10-31

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

移動体の外界環境が撮像された画像に関する情報を取得する取得部と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部と、
を備え、
前記出力部は、前記画像に前記移動体への影響度が低い物標、事象、状況の少なくともいずれかが含まれる場合、前記移動体への影響度が低い当該物標、当該事象又は当該状況を優先的に言語化しない、
情報処理装置。

【請求項2】

移動体の外界環境が撮像された画像に関する情報を取得する取得部と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部と、
を備え、
前記出力部は、前記移動体に及ぼし得る影響度に応じて、前記言語の出力に関する優先度を決定し、
前記出力部は、前記言語の出力に関して所定の字数制限が設定されている場合であって、かつ、出力される前記言語が設定されている当該字数制限を超えると判断される場合、前記優先度の低いものから順に、出力しない、
情報処理装置。

【請求項3】

移動体の外界環境が撮像された画像に関する情報を取得する取得部と、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力部と、
を備え、
前記出力部は、前記移動体に及ぼし得る影響度に応じて、前記言語の出力に関する優先度を決定し、
前記出力部は、前記変換の対象となる前記事象又は前記状況の変化に関して、プライバシー情報が含まれる場合、前記優先度を低いと決定する、
情報処理装置。

【請求項4】

前記出力部は、前記移動体に及ぼし得る影響度に応じて、前記言語の出力に関する優先度を決定する、
請求項１に記載の情報処理装置。

【請求項5】

前記出力部は、前記変換の対象となる前記事象又は前記状況の変化が、現時刻から所定時間以内に前記移動体に及ぼし得る前記影響度が高いと予測される場合、前記優先度を高いと決定し、前記影響度が低いと予測される場合、前記優先度を低いと決定する、
請求項４に記載の情報処理装置。

【請求項6】

前記出力部は、前記優先度が異なると決定された複数の前記事象または前記状況の変化が存在する場合、前記優先度に基づき前記言語として出力する、
請求項５に記載の情報処理装置。

【請求項7】

前記出力部は、前記優先度が同一の前記事象または前記状況の変化が複数存在する場合、前記同一の優先度の前記事象または前記状況の変化の順序については順序の制限を加えない、
請求項６に記載の情報処理装置。

【請求項8】

前記出力部は、設定されている前記字数制限を超えると判断された場合、前記優先度の低いもののうち、前記移動体に対する影響度が低いものから前記言語として出力しない、
請求項２に記載の情報処理装置。

【請求項9】

前記出力部は、前記移動体のユーザに対し、交通安全情報を出力する、
請求項１に記載の情報処理装置。

【請求項10】

前記出力部は、所定の内容を前記言語として出力した場合に、一度出力した内容と類似する内容の出力を、所定期間出力することを制限する、
請求項１に記載の情報処理装置。

【請求項11】

コンピュータにより実行される情報処理方法であって
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含み、
前記出力ステップは、前記画像に前記移動体への影響度が低い物標、事象、状況の少なくともいずれかが含まれる場合、前記移動体への影響度が低い当該物標、当該事象又は当該状況を優先的に言語化しない、
情報処理方法。

【請求項12】

コンピュータに、
移動体の外界環境が撮像された画像に関する情報を取得する取得ステップと、
前記画像に基づいて、前記移動体の移動に影響し得る物標、事象、状況の少なくとも１つの変化を人が認識できる言語へ変換し出力する出力ステップと、
を含む制御処理を実行させ、
前記出力ステップは、前記画像に前記移動体への影響度が低い物標、事象、状況の少なくともいずれかが含まれる場合、前記移動体への影響度が低い当該物標、当該事象又は当該状況を優先的に言語化しない、
プログラム。