ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025025521
(43)【公開日】2025-02-21
(54)【発明の名称】システムおよびプログラム
(51)【国際特許分類】
G08G 1/16 20060101AFI20250214BHJP
G06T 7/00 20170101ALI20250214BHJP
【ＦＩ】
G08G1/16 C
G06T7/00 650Z
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023130357
(22)【出願日】2023-08-09
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】山科 瞬
(72)【発明者】
【氏名】小澤 怜
(72)【発明者】
【氏名】倉田 基成
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181BB13
5H181BB20
5H181CC04
5H181EE02
5H181FF32
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5H181MC19
5H181MC27
5L096AA06
5L096BA02
5L096BA04
5L096CA04
5L096JA05
5L096KA04
(57)【要約】
【課題】人の視点で車両が安全に走行できているか否かを判断する仕組みを提供する。
【解決手段】システム（１００）は、カメラを備える車両（２）から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部（１３１）と、生成ＡＩである言語モデル（１２２）に取得した画像を入力し、当該画像の内容を説明する文章を得る生成部（１３３）と、文章の内容が、問題事象の存在を示しているか否かを判断する判断部（１３４）と、文章の内容が問題事象の存在を示していると判断した場合に、当該問題事象を解消するための動作を行う動作部（１３５）と、を備える。
【選択図】図１
【解決手段】システム（１００）は、カメラを備える車両（２）から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部（１３１）と、生成ＡＩである言語モデル（１２２）に取得した画像を入力し、当該画像の内容を説明する文章を得る生成部（１３３）と、文章の内容が、問題事象の存在を示しているか否かを判断する判断部（１３４）と、文章の内容が問題事象の存在を示していると判断した場合に、当該問題事象を解消するための動作を行う動作部（１３５）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
を備える、
ことを特徴とするシステム。
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、
前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、
を備える、
ことを特徴とするシステム。
【請求項2】
前記取得部は、前記車両の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、前記画像とは異なる情報を更に取得し、
前記生成部は、前記取得部が取得した前記画像および前記情報を前記言語モデルに入力し、当該画像および当該情報の内容を説明する文章を得るよう構成されている、
ことを特徴とする請求項１に記載のシステム。
前記生成部は、前記取得部が取得した前記画像および前記情報を前記言語モデルに入力し、当該画像および当該情報の内容を説明する文章を得るよう構成されている、
ことを特徴とする請求項１に記載のシステム。
【請求項3】
前記判断部は、
前記文章を構成する各単語を単語ベクトルにそれぞれ変換し、
前記文章の各単語の単語ベクトルと、予め用意されている、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す差分情報を算出し、
前記差分情報が示す差が所定以下となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とする請求項１または２に記載のシステム。
前記文章を構成する各単語を単語ベクトルにそれぞれ変換し、
前記文章の各単語の単語ベクトルと、予め用意されている、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す差分情報を算出し、
前記差分情報が示す差が所定以下となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とする請求項１または２に記載のシステム。
【請求項4】
前記差分情報は、前記文章の各単語の単語ベクトルと、前記例文の各単語の単語ベクトルとのコサイン類似度であり、
前記判断部は、前記コサイン類似度が所定以上となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とする請求項３に記載のシステム。
前記判断部は、前記コサイン類似度が所定以上となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、
ことを特徴とする請求項３に記載のシステム。
【請求項5】
前記文章の内容が前記問題事象の存在を示していると前記判断部が判断したときの前記動作部の動作に関する情報を蓄積するデータベースを更に備える、
ことを特徴とする請求項１に記載のシステム。
ことを特徴とする請求項１に記載のシステム。
【請求項6】
前記判断部は、前記データベースに蓄積されている前記情報を参照して、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断し、
前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたと前記判断部が判断した場合、前記動作部は、前記文章の内容が前記問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた前記動作よりも実効性の高い動作を行う、
ことを特徴とする請求項５に記載のシステム。
前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたと前記判断部が判断した場合、前記動作部は、前記文章の内容が前記問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた前記動作よりも実効性の高い動作を行う、
ことを特徴とする請求項５に記載のシステム。
【請求項7】
前記判断部は、前記文章の内容が前記問題事象の存在を示しているか否かを判断する度に、前記データベースに蓄積されている前記情報を参照して、最新の判断と前回の判断とを比較し、
前回の判断が、前記文章の内容が前記問題事象の存在を示しているとの判断であって、最新の判断が、前記文章の内容が前記問題事象の存在を示していないとの判断であった場合、前記動作部は、前記問題事象を解消するための動作を停止する、
ことを特徴とする請求項５に記載のシステム。
前回の判断が、前記文章の内容が前記問題事象の存在を示しているとの判断であって、最新の判断が、前記文章の内容が前記問題事象の存在を示していないとの判断であった場合、前記動作部は、前記問題事象を解消するための動作を停止する、
ことを特徴とする請求項５に記載のシステム。
【請求項8】
コンピュータに、
カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、
前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、
前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、
を実行させる、
ことを特徴とするプログラム。
カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、
入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、
前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、
前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、
を実行させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、システムおよびプログラムに関する。
【背景技術】
【0002】
近年、「レベル４」の自動運転が解禁されたことに伴い、自動運転車両の実証実験が全国各地で実施されている。自動運転においては、車両から膨大な量のデータが収集され、それが車両のＡＩによる事象の認知、今後の予測、走行計画、当該ＡＩの改良（学習）等に用いられる。例えば下記非特許文献１は、こうした自動運転車両の実証実験の現状について開示している。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】“自動運転実証が国内外で活発化！データマネジメント上の課題は？”、［online］、令和２年１０月１５日、自動運転ラボ、［令和５年７月７日検索］、インターネット＜URL：https://jidounten-lab.com/u_data-management-1＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
自動運転車両の安全性は向上してきているものの、自動運転車両に乗車する者や自動運転車両を遠隔監視する者は依然として不安を感じることがある。そこで、自動運転車両が自らの走行のために行う動作（認知・予測・計画・制御）とは別に、人の視点で自動運転車両が安全に走行できているか否かを判断する仕組みが求められている。
こうした仕組みづくりには、ルールベースの場合と、機械学習を用いる場合が考えられる。しかし、ルールベースの場合、全ての事象を表現するために、自動運転車両のカメラから得られた画像やセンサから得られた膨大なデータを事象ごとに分解して認知し、これらを紐付ける必要がある。しかし、こうした処理は非常に複雑で、その構築は大変困難なものとなる。また、機能の拡張や新機能の追加をしようとする際には、ロジックの書き換えが必要になる。この書き換えも同様に困難な作業となる。
一方、機械学習を用いる場合は、まず、全ての問題となる事象についての膨大な訓練データを用意しなければない。また、そうした膨大な量の訓練データをモデルに学習させる必要がある。
つまり、人の視点で自動運転車両が安全に走行できているか否かを判断する仕組みを、従来技術を用いて構築するのには多くの困難が伴っていた。
こうした仕組みづくりには、ルールベースの場合と、機械学習を用いる場合が考えられる。しかし、ルールベースの場合、全ての事象を表現するために、自動運転車両のカメラから得られた画像やセンサから得られた膨大なデータを事象ごとに分解して認知し、これらを紐付ける必要がある。しかし、こうした処理は非常に複雑で、その構築は大変困難なものとなる。また、機能の拡張や新機能の追加をしようとする際には、ロジックの書き換えが必要になる。この書き換えも同様に困難な作業となる。
一方、機械学習を用いる場合は、まず、全ての問題となる事象についての膨大な訓練データを用意しなければない。また、そうした膨大な量の訓練データをモデルに学習させる必要がある。
つまり、人の視点で自動運転車両が安全に走行できているか否かを判断する仕組みを、従来技術を用いて構築するのには多くの困難が伴っていた。
【課題を解決するための手段】
【0005】
上記の課題を解決するために、本発明の一態様に係るシステムは、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、を備える。
【0006】
また、本発明の他の態様に係るプログラムは、コンピュータに、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、を実行させる。
【図面の簡単な説明】
【0007】
【図1】本発明の実施形態に係るシステムが組み込まれた自動運転システムの機能的構成を示すブロック図である。
【図2】同システムが実行する処理の流れを示すフローチャートである。
【図3】同システムが備える生成部が言語モデルに入力する画像、および言語モデルから得る説明文の一例を示す図である。
【図4】同システムが備える判断部による、説明文の内容が問題事象の存在を示しているか否かの判断手法の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、本発明の一実施形態について、詳細に説明する。
【0009】
＜構成＞
図１に示したように、本実施形態に係るシステム１００は、遠隔監視装置１と、遠隔監視装置１と通信する車両２と、を備える運転システムのうち、遠隔監視装置１に搭載されている。このため、ここでは、システム１００の構成を遠隔監視装置１の構成として説明する。なお、システム１００が設けられる場所は特に限定されない。例えば、システム１００は、車両２に搭載されていてもよいし、運転システムを構成する図示しない他の装置に搭載されていてもよい。また、システム１００は、運転システムを構成する複数の装置（例えば遠隔監視装置および車両２）に分散して組み込まれていてもよいし、運転システムとは別の装置として設けられてもよい。
図１に示したように、本実施形態に係るシステム１００は、遠隔監視装置１と、遠隔監視装置１と通信する車両２と、を備える運転システムのうち、遠隔監視装置１に搭載されている。このため、ここでは、システム１００の構成を遠隔監視装置１の構成として説明する。なお、システム１００が設けられる場所は特に限定されない。例えば、システム１００は、車両２に搭載されていてもよいし、運転システムを構成する図示しない他の装置に搭載されていてもよい。また、システム１００は、運転システムを構成する複数の装置（例えば遠隔監視装置および車両２）に分散して組み込まれていてもよいし、運転システムとは別の装置として設けられてもよい。
【0010】
［車両］
本実施形態に係る車両２は、自動運転車両である。また、本実施形態に係る車両２は運転手を必要としないレベル４以上の自動運転車両である。このため、車両２は、当該車両２の外側を撮影するカメラ、および内側を撮影するカメラの少なくとも一方を備える。そして、車両２は、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像に基づいて自身の状況を認知する。そして、車両２は、認知した結果に基づいて所定時間先の自身の状況を予測する。そして、車両２は、予測した結果に基づいて走行計画を策定し、策定した走行計画に従って自動的に走行する。また、本実施形態に係る車両２は、カメラが生成した画像のデータを直ちに遠隔監視装置１へ送信する。なお、車両２は、自動運転機能を有していないコネクテッドカーであってもよい。
本実施形態に係る車両２は、自動運転車両である。また、本実施形態に係る車両２は運転手を必要としないレベル４以上の自動運転車両である。このため、車両２は、当該車両２の外側を撮影するカメラ、および内側を撮影するカメラの少なくとも一方を備える。そして、車両２は、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像に基づいて自身の状況を認知する。そして、車両２は、認知した結果に基づいて所定時間先の自身の状況を予測する。そして、車両２は、予測した結果に基づいて走行計画を策定し、策定した走行計画に従って自動的に走行する。また、本実施形態に係る車両２は、カメラが生成した画像のデータを直ちに遠隔監視装置１へ送信する。なお、車両２は、自動運転機能を有していないコネクテッドカーであってもよい。
【0011】
［遠隔監視装置］
遠隔監視装置１は、遠隔監視者が車両２を遠隔監視するのに用いられる。遠隔監視装置１は、通信部１１と、記憶部１２と、演算部１３と、出力部１４と、を備える。なお、車両２が自動運転機能を有していない場合、遠隔監視装置１は、車両２を遠隔制御する機能を有していなくてもよい。
遠隔監視装置１は、遠隔監視者が車両２を遠隔監視するのに用いられる。遠隔監視装置１は、通信部１１と、記憶部１２と、演算部１３と、出力部１４と、を備える。なお、車両２が自動運転機能を有していない場合、遠隔監視装置１は、車両２を遠隔制御する機能を有していなくてもよい。
【0012】
〔通信部〕
通信部１１は、１または複数の車両２と通信する。本実施形態に係る通信部１１は、無線通信モジュールで構成されている。すなわち、本実施形態に係る通信部１１は、車両２と無線通信する。なお、システム１００の少なくとも一部が車両２に搭載されている場合、通信部１１は、車両２と有線通信してもよい。
通信部１１は、１または複数の車両２と通信する。本実施形態に係る通信部１１は、無線通信モジュールで構成されている。すなわち、本実施形態に係る通信部１１は、車両２と無線通信する。なお、システム１００の少なくとも一部が車両２に搭載されている場合、通信部１１は、車両２と有線通信してもよい。
【0013】
〔記憶部〕
記憶部１２は、プログラム１２１と、言語モデル１２２と、を記憶している。また、本実施形態に係る記憶部１２は、データベース１２３を更に記憶している。すなわち、遠隔監視装置１はデータベース１２３を備える。本実施形態に係る記憶部１２は、半導体メモリ、ハードディスク等で構成されている。
記憶部１２は、プログラム１２１と、言語モデル１２２と、を記憶している。また、本実施形態に係る記憶部１２は、データベース１２３を更に記憶している。すなわち、遠隔監視装置１はデータベース１２３を備える。本実施形態に係る記憶部１２は、半導体メモリ、ハードディスク等で構成されている。
【0014】
プログラム１２１は、遠隔監視装置１の動作が記述されたものである。
【0015】
言語モデル１２２は、入力された画像の内容を説明する文章を生成する学習済モデル（生成ＡＩ（Artificial Intelligence）の一種）である。本実施形態に係る言語モデル１２２は、例えばＭＶ－ＧＰＴ（End to end Generative Pre-Training for Multimodal Video Captioning）により構築された学習済モデル（例えばＧＰＴ－４）である。この言語モデル１２２は、少なくとも画像が入力されると説明文を出力する。「説明文」は、入力した画像の内容を説明する文章である。
【0016】
データベース１２３は、動作情報を蓄積するものである。動作情報の詳細については後述する。本実施形態に係るデータベース１２３は、言語モデル１２２が生成した説明文と、問題事象に関する例文と、を更に蓄積する。「問題事象」は、車両２の状況において問題となる事象である。「問題事象」には、例えば下記（１）～（３）の少なくともいずれかが含まれる。
（１）車両２の走行経路上であって当該車両２の進行方向に障害物が存在している。
（２）車両２に乗っている人に異常が生じている。
（３）車両２が故障した。
（１）車両２の走行経路上であって当該車両２の進行方向に障害物が存在している。
（２）車両２に乗っている人に異常が生じている。
（３）車両２が故障した。
【0017】
また、「問題事象に関する例文」は、問題事象の例を示す文章である。「例文」には、例えば「近くの道路上で人が倒れている」、「車内の人が倒れている」といった文章が含まれる。なお、データベース１２３は、例文を、テキストの形式で蓄積していてもよいし、単語ベクトルの集合の形式で蓄積していてもよい。
【0018】
なお、記憶部１２は、プログラム１２１、言語モデル１２２およびデータベース１２３のいずれかを格納するものと、その他を格納するものと、に分けられていてもよい。また、プログラム１２１、言語モデル１２２およびデータベース１２３の少なくともいずれかは、システム１００とは別に設けられるとともにシステム１００と通信する記憶装置に格納されていてもよい。また、データベース１２３は、動作情報、説明文および例文のいずれかを蓄積するものと、その他を蓄積するものと、に分けられていてもよい。
【0019】
〔出力部〕
出力部１４は、車両２の遠隔監視に必要な各種情報を遠隔監視者へ向けて出力する。本実施形態に係る出力部１４は、モニターで構成されている。すなわち、本実施形態に係る出力部１４は、各種情報を遠隔監視者が視認できるように表示する。なお、出力部１４は、スピーカで構成されていてもよいし、モニター及びスピーカで構成されていてもよい。出力部１４がスピーカの場合、出力部１４は各種情報を遠隔監視者が聞き取れるように音声を発する。
出力部１４は、車両２の遠隔監視に必要な各種情報を遠隔監視者へ向けて出力する。本実施形態に係る出力部１４は、モニターで構成されている。すなわち、本実施形態に係る出力部１４は、各種情報を遠隔監視者が視認できるように表示する。なお、出力部１４は、スピーカで構成されていてもよいし、モニター及びスピーカで構成されていてもよい。出力部１４がスピーカの場合、出力部１４は各種情報を遠隔監視者が聞き取れるように音声を発する。
【0020】
〔演算部〕
演算部１３は、取得部１３１と、出力制御部１３２と、生成部１３３と、判断部１３４と、動作部１３５と、を備える。本実施形態に係る遠隔監視装置１は、コンピュータで構成されている。このため、本実施形態に係る演算部１３は、プロセッサで構成されている。このプロセッサが記憶部１２に記憶されているプログラム１２１を図２に示したような流れで実行することにより、プログラム１２１は演算部１３を各制御ブロック１３１～１３４として機能させることができる。
演算部１３は、取得部１３１と、出力制御部１３２と、生成部１３３と、判断部１３４と、動作部１３５と、を備える。本実施形態に係る遠隔監視装置１は、コンピュータで構成されている。このため、本実施形態に係る演算部１３は、プロセッサで構成されている。このプロセッサが記憶部１２に記憶されているプログラム１２１を図２に示したような流れで実行することにより、プログラム１２１は演算部１３を各制御ブロック１３１～１３４として機能させることができる。
【0021】
（取得部）
取得部１３１は、取得ステップＳ１を実行する。取得ステップＳ１において、取得部１３１は、車両２から、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する。「画像」は、動画であってもよいし静止画であってもよい。本実施形態に係る取得部１３１は、車両２の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、画像とは異なる情報を更に取得する。「画像とは異なる情報」には、例えば音声、車両２が備える各種センサが生成した検知データ等が含まれる。
取得部１３１は、取得ステップＳ１を実行する。取得ステップＳ１において、取得部１３１は、車両２から、当該車両２の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する。「画像」は、動画であってもよいし静止画であってもよい。本実施形態に係る取得部１３１は、車両２の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、画像とは異なる情報を更に取得する。「画像とは異なる情報」には、例えば音声、車両２が備える各種センサが生成した検知データ等が含まれる。
【0022】
（出力制御部）
出力制御部１３２は、取得部１３１が取得した画像を、遠隔監視に必要な各種情報の一つとして出力部１４に表示させる。これにより、遠隔監視者は、車両２の外側の状況および内側の状況の少なくとも一方の状況をリアルタイムで把握することができる。
出力制御部１３２は、取得部１３１が取得した画像を、遠隔監視に必要な各種情報の一つとして出力部１４に表示させる。これにより、遠隔監視者は、車両２の外側の状況および内側の状況の少なくとも一方の状況をリアルタイムで把握することができる。
【0023】
（生成部）
画像を取得した後、生成部１３３は、生成ステップＳ２を実行する。生成ステップＳ２において、生成部１３３は、言語モデル１２２に、取得部１３１が取得した画像を入力し、説明文を得る。生成部１３３が例えば図３左側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「左方に車が停まっている」といった説明文を得る。また、生成部１３３が例えば図３中央に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「歩道に人が座っている」といった説明文を得る。また、生成部１３３が例えば図３右側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「車内の人が倒れている」といった説明文を得る。本実施形態に係る生成部１３３は、説明文を生成すると、それをデータベース１２３へ蓄積させる。
画像を取得した後、生成部１３３は、生成ステップＳ２を実行する。生成ステップＳ２において、生成部１３３は、言語モデル１２２に、取得部１３１が取得した画像を入力し、説明文を得る。生成部１３３が例えば図３左側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「左方に車が停まっている」といった説明文を得る。また、生成部１３３が例えば図３中央に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「歩道に人が座っている」といった説明文を得る。また、生成部１３３が例えば図３右側に示したような画像を言語モデル１２２に入力すると、生成部１３３は、言語モデル１２２から、例えば「車内の人が倒れている」といった説明文を得る。本実施形態に係る生成部１３３は、説明文を生成すると、それをデータベース１２３へ蓄積させる。
【0024】
上述したように、本実施形態に係る言語モデルは、ＭＶ－ＧＰＴにより構築された学習済モデルである。このため、本実施形態に係る生成部１３３は、マルチモーダルビデオキャプションの手法を用いて説明文を得る。すなわち、本実施形態に係る生成部１３３は、取得部１３１が取得した画像、および画像とは異なる情報を言語モデル１２２に入力し、当該画像および当該情報の内容を説明する説明文を得るよう構成されている。これにより、言語モデル１２２が、画像以外の情報を加味して状況をより正確に説明する説明文を生成できるため、説明文の内容が問題事象を示しているか否かを後述する判断部１３４がより正確に判断することができる。
【0025】
（判断部）
説明文を生成した後、判断部１３４は、判断ステップＳ３を実行する。判断ステップＳ３において、判断部１３４は、説明文の内容が、車両２の状況において問題となる問題事象の存在を示しているか否かを判断する。本実施形態に係る判断部１３４は、説明文と例文との内容の近さに基づいて判断する。具体的には、判断部１３４は、まず、図４に示したように、説明文を構成する各単語を単語ベクトルにそれぞれ変換する。そして、判断部１３４は、差分情報を算出する。差分情報は、説明文の各単語の単語ベクトルと、予め用意されている（データベース１２３に蓄積されている）、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す情報である。「差分情報」は、コサイン類似度であってもよいし、ユークリッド距離であってもよい。「コサイン類似度」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとのなす角（コサインの値）である。「ユークリッド距離」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとの距離である。そして、判断部１３４は、差分情報が示す差が所定以下となる単語ベクトルに対応する単語（類義語）を複数含む例文が存在した場合に、説明文の内容が問題事象の存在を示していると判断する。これにより、説明文の単語と例文の単語が完全に一致していなくても、説明文の意味するところが例文に近いものであれば、後述する動作部１３５が動作する。このため、問題事象の見逃しを防ぐことができる。
説明文を生成した後、判断部１３４は、判断ステップＳ３を実行する。判断ステップＳ３において、判断部１３４は、説明文の内容が、車両２の状況において問題となる問題事象の存在を示しているか否かを判断する。本実施形態に係る判断部１３４は、説明文と例文との内容の近さに基づいて判断する。具体的には、判断部１３４は、まず、図４に示したように、説明文を構成する各単語を単語ベクトルにそれぞれ変換する。そして、判断部１３４は、差分情報を算出する。差分情報は、説明文の各単語の単語ベクトルと、予め用意されている（データベース１２３に蓄積されている）、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す情報である。「差分情報」は、コサイン類似度であってもよいし、ユークリッド距離であってもよい。「コサイン類似度」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとのなす角（コサインの値）である。「ユークリッド距離」は、文章の各単語の単語ベクトルと、例文の各単語の単語ベクトルとの距離である。そして、判断部１３４は、差分情報が示す差が所定以下となる単語ベクトルに対応する単語（類義語）を複数含む例文が存在した場合に、説明文の内容が問題事象の存在を示していると判断する。これにより、説明文の単語と例文の単語が完全に一致していなくても、説明文の意味するところが例文に近いものであれば、後述する動作部１３５が動作する。このため、問題事象の見逃しを防ぐことができる。
【0026】
（動作部）
説明文の内容が問題事象の存在を示していると判断部１３４が判断した場合に、動作部１３５は、動作ステップＳ４を実行する。動作ステップＳ４において、動作部１３５は、当該問題事象を解消するための動作を行う。「問題事象を解消するための動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。
（１）出力部１４にアラート（遠隔監視に必要な各種情報の一つ）を出力させる。
（２）減速、停止および方向転換の少なくともいずれかを指示する制御信号を車両２に送信する。
説明文の内容が問題事象の存在を示していると判断部１３４が判断した場合に、動作部１３５は、動作ステップＳ４を実行する。動作ステップＳ４において、動作部１３５は、当該問題事象を解消するための動作を行う。「問題事象を解消するための動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。
（１）出力部１４にアラート（遠隔監視に必要な各種情報の一つ）を出力させる。
（２）減速、停止および方向転換の少なくともいずれかを指示する制御信号を車両２に送信する。
【0027】
本実施形態に係る動作部１３５は、説明文の内容が問題事象の存在を示していると判断部１３４が判断した場合、動作情報をデータベース１２３蓄積させる。「動作情報」は、説明文の内容が問題事象の存在を示していると判断部１３４が判断したときの動作部１３５の動作に関する情報である。「動作に関する情報」には、出力部１４が出力したアラートの内容、および制御信号の内容の少なくとも一方が含まれる。これにより、動作情報を、後からシステム１００が行った判断の検証に利用したり、一度行った判断を変更する際の基準に用いたりすることができるようになる。
【0028】
（判断部・動作部その２）
また、上記判断部１３４は、説明文の内容が問題事象の存在を示しているか否かを判断する度に、データベース１２３に蓄積されている動作情報を参照して、最新の判断と前回（直近の過去）の判断とを比較する。そして、前回の判断が、説明文の内容が問題事象の存在を示しているとの判断（前回の判断により動作情報が蓄積されている場合）であって、最新の判断が、説明文の内容が問題事象の存在を示していないとの判断であった場合、動作部１３５は、問題事象を解消するための動作を停止する。「停止する」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消した後も、不要となった問題事象を解消するための動作が継続するのを防ぐことができる。
（１）出力部１４に出力させているアラートを停止させる。
（２）加速を指示する制御信号を車両２に送信する。
また、上記判断部１３４は、説明文の内容が問題事象の存在を示しているか否かを判断する度に、データベース１２３に蓄積されている動作情報を参照して、最新の判断と前回（直近の過去）の判断とを比較する。そして、前回の判断が、説明文の内容が問題事象の存在を示しているとの判断（前回の判断により動作情報が蓄積されている場合）であって、最新の判断が、説明文の内容が問題事象の存在を示していないとの判断であった場合、動作部１３５は、問題事象を解消するための動作を停止する。「停止する」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消した後も、不要となった問題事象を解消するための動作が継続するのを防ぐことができる。
（１）出力部１４に出力させているアラートを停止させる。
（２）加速を指示する制御信号を車両２に送信する。
【0029】
（判断部・動作部その３）
また、本実施形態に係る判断部１３４は、データベース１２３に蓄積されている動作情報を参照して、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断する。そして、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたと判断部１３４が判断した場合、動作部１３５は、第二動作を行う。「第二動作」は、説明文の内容が問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた動作よりも実効性の高い動作である。「実効性の高い動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消されない状態が継続した場合に、問題事象を解消するための動作を強めることができる。
（１）障害物と衝突する可能性がある旨のアラートを出力部１４に出力させる（それまで、障害物が接近している旨のアラートを出力部１４に出力させていた場合）。
（２）急ブレーキをかけることを指示する制御信号を送信する（それまで、減速および方向転換の少なくともいずれかを指示する制御信号を送信していた場合）。
また、本実施形態に係る判断部１３４は、データベース１２３に蓄積されている動作情報を参照して、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断する。そして、説明文の内容が問題事象の存在を示しているとの判断が所定期間に所定回数行われたと判断部１３４が判断した場合、動作部１３５は、第二動作を行う。「第二動作」は、説明文の内容が問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた動作よりも実効性の高い動作である。「実効性の高い動作」には、例えば下記（１）、（２）の少なくとも一方の動作が含まれる。これにより、問題事象が解消されない状態が継続した場合に、問題事象を解消するための動作を強めることができる。
（１）障害物と衝突する可能性がある旨のアラートを出力部１４に出力させる（それまで、障害物が接近している旨のアラートを出力部１４に出力させていた場合）。
（２）急ブレーキをかけることを指示する制御信号を送信する（それまで、減速および方向転換の少なくともいずれかを指示する制御信号を送信していた場合）。
【0030】
＜作用効果＞
以上説明してきたシステム１００の言語モデル１２２が出力する、画像の内容を説明する説明文は、認知した複数の事象を紐づけたものに相当する。このため、システム１００によれば、従来のようなデータを事象ごとに分解して認知し、これらを紐付けるという複雑な処理が不要となる。また、システム１００は、問題事象の有無を生成された説明文の内容から判断する。このため、システム１００によれば、言語モデル１２２に自動運転のための特別訓練データを学習させる必要が無い。このため、システム１００によれば、自動運転における学習のための膨大な訓練データを用意したり、それを学習させたりする作業も不要となる。その結果、人の視点で車両２が安全に走行できているか否かを判断する仕組みを容易に構築することができる。
以上説明してきたシステム１００の言語モデル１２２が出力する、画像の内容を説明する説明文は、認知した複数の事象を紐づけたものに相当する。このため、システム１００によれば、従来のようなデータを事象ごとに分解して認知し、これらを紐付けるという複雑な処理が不要となる。また、システム１００は、問題事象の有無を生成された説明文の内容から判断する。このため、システム１００によれば、言語モデル１２２に自動運転のための特別訓練データを学習させる必要が無い。このため、システム１００によれば、自動運転における学習のための膨大な訓練データを用意したり、それを学習させたりする作業も不要となる。その結果、人の視点で車両２が安全に走行できているか否かを判断する仕組みを容易に構築することができる。
【0031】
また、このような効果は、例えば、国連が提唱する持続可能な開発目標（ＳＤＧｓ）の目標３「すべての人に健康と福祉を」、目標１１「住み続けられるまちづくりを」等の達成にも貢献するものである。
【0032】
＜変形例＞
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。例えば、上記プログラム１２１は、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラム１２１は、有線または無線の任意の伝送媒体を介して上記遠隔監視装置１に供給されてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。例えば、上記プログラム１２１は、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラム１２１は、有線または無線の任意の伝送媒体を介して上記遠隔監視装置１に供給されてもよい。
【0033】
また、上記各制御ブロック１３１～１３４の機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0034】
また、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【0035】
＜まとめ＞
本発明の態様１に係るシステムは、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、を備える、構成である。
本発明の態様１に係るシステムは、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得部と、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得部が取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成部と、前記文章の内容が、前記車両の状況において問題となる問題事象の存在を示しているか否かを判断する判断部と、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断した場合に、当該問題事象を解消するための動作を行う動作部と、を備える、構成である。
【0036】
本発明の態様２に係るシステムは、上記の態様１において、前記取得部は、前記車両の外側の事象に関する情報および内側の事象に関する情報の少なくとも一方の情報であって、前記画像とは異なる情報を更に取得し、前記生成部は、前記取得部が取得した前記画像および前記情報を前記言語モデルに入力し、当該画像および当該情報の内容を説明する文章を得るよう構成されている、構成としてもよい。
【0037】
本発明の態様３に係るシステムは、上記の態様１または２において、前記判断部は、前記文章を構成する各単語を単語ベクトルにそれぞれ変換し、前記文章の各単語の単語ベクトルと、予め用意されている、問題事象に関する例文を構成する各単語の単語ベクトルとの差を示す差分情報を算出し、前記差分情報が示す差が所定以下となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、構成としてもよい。
【0038】
本発明の態様４に係るシステムは、上記の態様３において、前記差は、前記文章の各単語の単語ベクトルと、前記例文の各単語の単語ベクトルとのコサイン類似度であり、前記判断部は、前記コサイン類似度が所定以上となる単語ベクトルに対応する単語を含む例文が存在した場合に、前記文章の内容が前記問題事象の存在を示していると判断する、構成としてもよい。
【0039】
本発明の態様５に係るシステムは、上記の態様１から４のいずれかにおいて、前記文章の内容が前記問題事象の存在を示していると前記判断部が判断したときの前記動作部の動作に関する情報を蓄積するデータベースを更に備える、構成としてもよい。
【0040】
本発明の態様６に係るシステムは、上記の態様５において、前記判断部は、前記データベースに蓄積されている前記情報を参照して、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたか否かを判断し、前記文章の内容が前記問題事象の存在を示しているとの判断が所定期間に所定回数行われたと前記判断部が判断した場合、前記動作部は、前記文章の内容が前記問題事象の存在を示しているとの所定回数目の判断が行われる前に行っていた前記動作よりも実効性の高い動作を行う、構成としてもよい。
【0041】
本発明の態様７に係るシステムは、上記の態様５または６において、前記判断部は、前記文章の内容が前記問題事象の存在を示しているか否かを判断する度に、前記データベースに蓄積されている前記情報を参照して、最新の判断と前回の判断とを比較し、前回の判断が、前記文章の内容が前記問題事象の存在を示しているとの判断であって、最新の判断が、前記文章の内容が前記問題事象の存在を示していないとの判断であった場合、前記動作部は、前記問題事象を解消するための動作を停止する、構成としてもよい。
【0042】
本発明の態様８に係るプログラムは、コンピュータに、カメラを備える車両から、当該車両の外側が写った画像および内側が写った画像の少なくとも一方の画像を取得する取得ステップと、入力された画像の内容を説明する文章を生成する言語モデルに、前記取得ステップで取得した前記画像を入力し、当該画像の内容を説明する文章を得る生成ステップと、前記文章の内容が、前記車両の状況において問題となる問題事象を示しているか否かを判断する判断ステップと、前記文章の内容が前記問題事象を示していると前記判断ステップで判断した場合に、当該問題事象を解消するための動作を行う動作ステップと、を実行させる、構成である。
【符号の説明】
【0043】
１００ システム
１ 遠隔監視装置
１１ 通信部
１２ 記憶部
１２１ プログラム
１２２ 言語モデル
１２３ データベース
１３ 演算部
１３１ 取得部
１３２ 出力制御部
１３３ 生成部
１３４ 判断部
１３５ 動作部
１４ 出力部
２ 車両
Ｓ１ 取得ステップ
Ｓ２ 生成ステップ
Ｓ３ 判断ステップ
Ｓ４ 動作ステップ
１ 遠隔監視装置
１１ 通信部
１２ 記憶部
１２１ プログラム
１２２ 言語モデル
１２３ データベース
１３ 演算部
１３１ 取得部
１３２ 出力制御部
１３３ 生成部
１３４ 判断部
１３５ 動作部
１４ 出力部
２ 車両
Ｓ１ 取得ステップ
Ｓ２ 生成ステップ
Ｓ３ 判断ステップ
Ｓ４ 動作ステップ
【図1】
【図2】
【図3】
【図4】