(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190507
(43)【公開日】2022-12-26
(54)【発明の名称】車載情報処理装置、車両、情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20221219BHJP
G08G 1/09 20060101ALI20221219BHJP
H04W 4/44 20180101ALI20221219BHJP
G06F 16/78 20190101ALI20221219BHJP
G06F 13/00 20060101ALI20221219BHJP
G16Y 10/40 20200101ALI20221219BHJP
G16Y 10/75 20200101ALI20221219BHJP
【FI】
G08G1/00 D
G08G1/09 F
H04W4/44
G06F16/78
G06F13/00 520A
G16Y10/40
G16Y10/75
【審査請求】有
【請求項の数】27
【出願形態】OL
(21)【出願番号】P 2021098866
(22)【出願日】2021-06-14
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】湧川 隆次
(72)【発明者】
【氏名】小宮山 陽夫
(72)【発明者】
【氏名】小林 謙吾
(72)【発明者】
【氏名】河村 浩彰
【テーマコード(参考)】
5B084
5B175
5H181
5K067
【Fターム(参考)】
5B084AA03
5B084AA11
5B084AB01
5B084AB06
5B084AB18
5B084AB31
5B084BA09
5B084BB11
5B084BB13
5B084CD23
5B084CD26
5B084DB02
5B084DB08
5B084DC03
5B175DA04
5B175FB03
5B175GB05
5B175HB03
5H181AA01
5H181BB04
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181FF32
5H181LL09
5H181MC19
5K067AA21
5K067BB21
5K067DD27
5K067EE02
5K067EE16
(57)【要約】
【課題】車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することのできる技術を提供する
【解決手段】車両(10)の車載情報処理装置(100)の制御部21は、第1のデータをサーバ(20)に送信し、第1のデータを参照したサーバ(20)から撮像データ提供指示を受信した場合に、格納部(14)に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバ(20)に送信し、サーバ(20)から撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを格納部(14)から削除する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備え、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを特徴とする車載情報処理装置。
【請求項2】
前記第1のデータには、前記格納部の空き容量に関する情報が含まれている
ことを特徴とする請求項1に記載の車載情報処理装置。
【請求項3】
前記制御部は、
前記格納部の空き容量が所定の値以下となった場合に、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断する契機となる通知情報を、前記サーバに対して送信する
ことを特徴とする請求項1又は2に記載の車載情報処理装置。
【請求項4】
前記制御部は、
前記撮像データを解析し、解析結果の少なくとも一部を前記第1のデータに含める
ことを特徴とする請求項1から3の何れか1項に記載の車載情報処理装置。
【請求項5】
前記制御部は、
前記撮像データに対してオブジェクト検出処理を適用し、
検出された1又は複数のオブジェクトを示す情報、及び
各オブジェクトに関する前記検出処理の信頼度を示す情報
を前記第1のデータに含めることを特徴とする請求項4に記載の車載情報処理装置。
【請求項6】
前記制御部は、
当該車載情報処理装置が搭載された車両の位置情報を前記第1のデータに含めることを特徴とする請求項1から5の何れか1項に記載の車載情報処理装置。
【請求項7】
前記サーバと前記通信部との間で行われる通信は、移動体通信である、請求項1から6の何れか1項に記載の車載情報処理装置。
【請求項8】
サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部と、
車載カメラによる撮像データを格納する格納部と、
前記通信部及び前記格納部の双方に接続された制御部とを備え、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを特徴とする車載情報処理装置。
【請求項9】
前記第1の通信は、移動体通信である、請求項8に記載の車載情報処理装置。
【請求項10】
前記第2の通信は、近距離無線通信又は有線通信である、請求項8に記載の車載情報処理装置。
【請求項11】
検索用情報を取得する検索用情報取得部と、
前記検索用情報と前記第1のデータとを参照することによって前記撮像データ中のシーンの検索を行う検索部と、
前記検索部が検索したシーンを提示する提示部を
を備えている請求項1から10の何れか1項に記載の車載情報処理装置。
【請求項12】
請求項1から11の何れか1項に記載の車載情報処理装置と、
前記通信部と、
前記格納部と
を備えていることを特徴とする車両。
【請求項13】
車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備え、
前記制御部は、
前記車両から第1のデータを受信し、
前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、
前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、
前記第2のデータを参照した解析処理を実行し、
前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する
ことを特徴とする情報処理装置。
【請求項14】
前記制御部は、
前記第1のデータを参照して、前記撮像データ削除指示を送信するか否かを判断し、送信すると判断した場合に、前記撮像データ削除指示を前記車両に送信する
ことを特徴とする請求項13に記載の情報処理装置。
【請求項15】
前記制御部は、
前記車両から取得可能な前記第2のデータに関する前記解析処理が全て終了している場合に、前記撮像データ削除指示を送信すると判断する
ことを特徴とする請求項14に記載の情報処理装置。
【請求項16】
前記第1のデータには、前記車両の前記格納部の空き容量に関する情報が含まれていることを特徴とする請求項14に記載の情報処理装置。
【請求項17】
前記制御部は、
前記車両とは異なる他の1又は複数の車両の各々が備える格納部であって、当該他の1又は複数の車両の各々が備える車載カメラによる撮像データを格納する格納部の空き容量に関する情報を更に受信し、
前記車両の前記格納部の空き容量に関する情報と、前記他の1又は複数の車両の各々の格納部の空き容量に関する情報とを参照して、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する
ことを特徴とする請求項16に記載の情報処理装置。
【請求項18】
前記制御部は、
前記車両の前記格納部の空き容量が、前記他の1又は複数の車両の各々の格納部の空き容量よりも小さい場合に、前記車両に対して前記撮像データ削除指示を送信すると判断する
ことを特徴とする請求項17に記載の情報処理装置。
【請求項19】
前記制御部は、
前記車両の前記格納部の空き容量が、前記他の1又は複数の車両の各々の格納部の空き容量よりも小さい場合であって、かつ、前記他の1又は複数の車両から、前記第2のデータと同様のデータを取得している場合に、前記車両に対して前記撮像データ削除指示を送信すると判断する
ことを特徴とする請求項18に記載の情報処理装置。
【請求項20】
前記制御部は、
前記車両の前記格納部の空き容量が所定の値以下となったことを契機として送信された通知情報を取得し、
前記通知情報の取得を契機として、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する
ことを特徴とする請求項13から19の何れか1項に記載の情報処理装置。
【請求項21】
前記制御部は、
前記通知情報の取得を契機として、前記第1のデータを含むデータを参照した処理を行い、当該処理の結果に応じて、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断する
ことを特徴とする請求項20に記載の情報処理装置。
【請求項22】
請求項1から10に記載の車載情報処理装置から、前記第1のデータと、前記撮像データの少なくとも一部とを取得するデータ取得部と、
検索用情報を取得する検索用情報取得部と、
前記検索用情報と前記第1のデータとを参照することによって前記撮像データ中のシーンの検索を行う検索部と、
前記検索部が検索したシーンを提示する提示部を
を備えている情報処理装置。
【請求項23】
サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備えた車載情報処理装置による情報処理方法であって、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを含む情報処理方法。
【請求項24】
サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部、車載カメラによる撮像データを格納する格納部、及び前記通信部及び前記格納部の双方に接続された制御部とを備えた車載情報処理装置による情報処理方法であって、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを含む情報処理方法。
【請求項25】
車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備えた情報処理装置による情報処理方法であって、
前記制御部は、
前記車両から第1のデータを受信し、
前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、
前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、
前記第2のデータを参照した解析処理を実行し、
前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する
ことを特徴とする情報処理方法。
【請求項26】
請求項1または8に記載の車載情報処理装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
【請求項27】
請求項13に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載情報処理装置、車両、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
車載カメラで撮像した画像をサーバ装置に送信し、サーバ装置で画像解析等の処理を行う技術が知られている。例えば、特許文献1に記載の技術では、車載カメラで撮像した画像を車両のメモリに保存しておくと共に、当該画像に関する情報を一旦車両からサーバに送信する。そして、サーバから画像そのものの送信要求を受けた場合にのみ、車両から改めて画像データをサーバに送信する。特許文献1の技術では、車載カメラで撮像した画像を記録する車両のメモリにおいて、容量が足りなくなった場合に画像データを古いものから順に削除する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1の技術では、サーバから車両に対して画像送信要求を行った時点で、当該車両のメモリでは既に対象画像データが削除されている可能性があり、サーバが所望の画像を入手できないという問題が生じ得る。一方、車両に大容量メモリを搭載することは望ましくなく、また、車両が撮像した画像を逐一サーバに送信すると、ネットワーク負荷が増大するといった問題が生じ得る。
【0005】
本発明の一態様は、上述の課題を解決すべくなされたものであり、車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一態様に係る車載情報処理装置は、サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備え、前記制御部は、第1のデータを前記サーバに送信し、前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する。
【0007】
上記の課題を解決するために、本発明の一態様に係る車載情報処理装置は、サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部と、車載カメラによる撮像データを格納する格納部と、前記通信部及び前記格納部の双方に接続された制御部とを備え、前記制御部は、第1のデータを前記サーバに送信し、前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する。
【0008】
上記の課題を解決するために、本発明の一態様に係る車両は、前記車載情報処理装置と、前記通信部と、前記格納部とを備えている。
【0009】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備え、前記制御部は、前記車両から第1のデータを受信し、前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、前記第2のデータを参照した解析処理を実行し、前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する。
【0010】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備えた車載情報処理装置による情報処理方法であって、前記制御部は、第1のデータを前記サーバに送信し、前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する。
【0011】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部、車載カメラによる撮像データを格納する格納部、及び前記通信部及び前記格納部の双方に接続された制御部とを備えた車載情報処理装置による情報処理方法であって、前記制御部は、第1のデータを前記サーバに送信し、前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する。
【0012】
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備えた情報処理装置による情報処理方法であって、前記制御部は、前記車両から第1のデータを受信し、前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、前記第2のデータを参照した解析処理を実行し、
前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する。
【0013】
本発明の各態様に係る車載情報処理装置及び情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記車載情報処理装置又は情報処理装置が備える各部(ソフトウェア要素)として動作させることにより前記車載情報処理装置及び情報処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0014】
本発明の一態様によれば、車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することができる。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施形態1に係る車両の機能構成を示すブロック図である。
【
図2】本発明の実施形態1に係る1又は複数の車両と情報処理装置とを含む情報処理システムの構成を示すブロック図である。
【
図3】本発明の実施形態1に係る車両及びサーバによる処理の流れを示すシーケンス図である。
【
図4】本発明の実施形態1の変形例に係る車両、サーバ、及び通信装置を含む情報システムの構成を示すブロック図である。
【
図5】本発明の実施形態2に係る車両及びサーバを含む情報処理システムによる処理例1の流れを示すシーケンス図である。
【
図6】本発明の実施形態2に係る第1のデータの例を説明するための図である。
【
図7】本発明の実施形態2に係るサーバの格納部に格納されている第1のデータ群の例を示す図である。
【
図8】本発明の実施形態2に係る車両及びサーバを含む情報処理システムによる処理例2の流れを示すシーケンス図である。
【
図9】本発明の実施形態2に係る車両及びサーバを含む情報処理システムによる処理例3の流れを示すシーケンス図である。
【
図10】処理例3に係る第1のデータの例を説明するための図である。
【
図11】本発明の実施形態2に係る車両及びサーバを含む情報処理システムによる処理例4の流れを示すシーケンス図である。
【
図12】本発明の実施形態3に係る車両の機能構成を示すブロック図である。
【
図13】本発明の実施形態4に係る車両の機能構成を示すブロック図である。
【
図14】本発明の実施形態5に係る車両及び端末装置を含む情報システムの構成を示すブロック図である。
【
図15】各実施形態に係る情報処理装置等として利用可能なコンピュータの構成を例示したブロック図である。
【発明を実施するための形態】
【0016】
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。
図1は、本実施形態に係る車両10の機能構成を示すブロック図である。後述するように、車両10は、内燃機関による駆動力で走行する燃料走行車であってもよいし、電力による駆動力で走行する電気自動車であってもよい。また、車両10は運転制御を自動で行う自動運転車であってもよい。
【0017】
図2は、本実施形態に係る1又は複数の車両10と情報処理装置20とを含む情報処理システム1の構成を示すブロック図である。情報処理装置20は、サーバ20とも称する。
図2に示すように、サーバ20は、1又は複数の車両10(
図2の例では車両10-1~10-3と示す)とネットワークNにより接続されている。ここで車両10の符号に付した枝番は、説明上それぞれの車両を互いに区別するために付したものである。車両10-1~10-3のそれぞれは、一例として、
図1に示した車両10と同様の構成を備えている。なお、
図2において、車両の数は、一例として3台としているが、これに限定されず、サーバ20は、任意の数の車両と接続されるよう構成することができる。
【0018】
ネットワークNは、一例として無線通信によって構成されるネットワークであるが、これに限定されず、有線通信と無線通信とを組み合わせて構成されるネットワークであってもよい。例えば、ネットワークNは、道路にそって敷設された有線ネットワーク等を含む構成としてもよい。また、ネットワークNは、移動体通信を行うための移動体通信ネットワークであってもよい。
【0019】
ネットワークNとして移動体通信ネットワークを用いることにより、当該ネットワークがカバーするエリアが広大なため、車両10が走行可能な任意の場所からの通信が可能になるというメリットがある。また、移動体通信ネットワークは、十分に普及している通信手段であるため、新たに大がかりな設備投資を行う必要がないというメリットもある。
【0020】
<車両10>
まず、
図1を参照して車両10の構成について具体的に説明する。
図1に示すように、車両10は、制御部11、撮像部12、通信部13、格納部14、位置情報取得部15、駆動制御部18、及び駆動部19を備えている。
図1に示すように、制御部11と、撮像部12、通信部13、格納部14、位置情報取得部15及び駆動制御部18とは、互いにデータのやり取りができるよう接続されている。また、
図1に示すように、制御部11及び駆動制御部18は、車載情報処理装置100を構成している。
【0021】
(撮像部12)
撮像部12は、車両10の周辺を撮像する。撮像部12による撮像範囲(画角)は、車両10の前方の車両、または車両10の側方の車両を主として含む画角であってもよいし、車両10の全周囲を含む360度の画角であってもよい。また、撮像部12の撮像範囲は制御部11によって制御可能な構成としてもよい。撮像部12が撮像する画像は、静止画像であってもよいし動画像であってもよいが、動画像であることがより好ましい。撮像部12が静止画を撮像する場合、所定の時間間隔で継続的に撮像する構成とすることが好ましい。
【0022】
また、撮像部12はステレオカメラやLiDAR(Laser imaging Detection and Ranging)検出器を備え、奥行き情報を取得可能な構成としてもよい。撮像部12が撮像した撮像データは、制御部11に供給され、一例として制御部11において符号化されたうえで格納部14に格納される。
【0023】
(通信部13)
通信部13は、車両10の外部の装置と通信する。一例として通信部13は、サーバ20と通信する。通信部13は、制御部11から供給されたデータをサーバ20に送信したり、サーバ20から受信したデータを制御部11に供給したりする。なお、通信部13は、必ずしもサーバ20と直接的に通信を行う機能を有する必要はない。一例として、通信部13が、他の通信装置を介してサーバ20と通信を行う構成としてもよい。このような構成については、参照する図面を替えて、本実施形態の変形例として後述する。
【0024】
一例として、通信部13は、後述する第1のデータや第2のデータをサーバ20に送信したり、後述する撮像データ提供指示や撮像データ削除指示をサーバ20から受信したりする。
【0025】
(格納部14)
格納部14は、撮像部12によって撮像された撮像データを格納する。一例として、格納部14は、制御部11による制御に基づき、撮像部12によって撮像された撮像データと、位置情報取得部15が取得した位置情報とを関連づけて格納する。格納部14は、制御部11による制御に基づき、撮像部12によって撮像された撮像データに時刻情報を更に関連付けて格納する構成としてもよい。また、格納部14は後述する第1のデータも格納する構成としてもよい。
【0026】
格納部14は、一例としてフラッシュメモリ等のSSD(Solid State Drive)を用いて構成されるがこれは本実施形態を限定するものではない。また、格納部14に格納されたデータは、制御部11からの制御によって削除される。
【0027】
(位置情報取得部15)
位置情報取得部15は、車両10の位置情報を取得する。一例として、位置情報取得部15は、衛星測位システム(GNSS:Global Navigation Satellites System)に対応した位置情報検出器を備え、車両10の位置情報を取得する構成とすることができる。位置情報取得部15は、取得した位置情報を制御部11に供給する。
【0028】
(制御部11)
図1に示すように、制御部11は、画像解析部111と、データ生成部112と、送受信制御部113とを備えている。
【0029】
画像解析部111は、撮像部12により撮像され格納部14に格納された撮像データに対して画像解析処理を適用する。画像解析部111による画像解析には、一例として、
上記撮像データに対してオブジェクト検出処理を適用することによるオブジェクト検出、及び、
各オブジェクトに対する上記オブジェクト検出処理の信頼度を示す情報の算出
の少なくとも何れかが含まれる。
【0030】
データ生成部112は、車載情報処理装置100が取得したデータを参照し、第1のデータ及び第2のデータを生成する。データ生成部112が生成する第1のデータには、一例として、
位置情報取得部15から供給された車両10の位置情報、及び
画像解析部111による画像解析結果の少なくとも一部
の何れかが含まれる。ここで、画像解析部111による画像解析結果の少なくとも一部には、一例として、
オブジェクト検出処理によって検出された1又は複数のオブジェクトを示す情報、及び、
各オブジェクトに関するオブジェクト検出処理の信頼度を示す情報
の少なくとも何れかが含まれる。データ生成部112は、第1のデータに、車両10を他の車両から識別するための識別情報を含める構成としてもよい。
【0031】
一方、データ生成部112が生成する第2のデータには、撮像部12により撮像され、格納部14に格納された撮像データが含まれる。データ生成部112は、撮像部12により撮像され、格納部14に格納された撮像データそのものを第2のデータとしてもよいし、当該撮像データから一部を切り出すことによって第2のデータとしてもよい。一例として、データ生成部112は、サーバ20から受信した撮像データ提供指示に対応する撮像データを含む第2のデータを生成する構成としてもよい。また、データ生成部112は、第2のデータに、車両10を他の車両から識別するための識別情報を含める構成としてもよい。
【0032】
(送受信制御部113)
送受信制御部113は、通信部13を介したサーバ20とのデータの送受信を制御する。一例として、送受信制御部113は、上述した第1のデータを、通信部13を介してサーバ20に送信する。
【0033】
また、送受信制御部113は、上記第1のデータを参照したサーバ20から撮像データ提供指示を受信した場合に、格納部14に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータを生成するようデータ生成部112に指示する。そして、撮像データ提供指示に対応する撮像データを含む第2のデータをデータ生成部112から取得し、取得した第2のデータを、通信部13を介してサーバ20に送信する。
【0034】
一例として、送受信制御部113は、サーバ20から受信した撮像データ提供指示に含まれる位置情報を参照し、当該位置情報に対応付けられた撮像データを含む第2のデータを、通信部13を介してサーバ20に送信する。
【0035】
また、送受信制御部113は、サーバ20から撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを格納部14から削除する。
【0036】
(駆動制御部18)
駆動制御部18は、駆動部19による車体の駆動を制御する。一例として、駆動制御部18は、図示しないステアリングハンドル、アクセル、ブレーキ等の操作部を介して車両10の搭乗者からの操作を受付け、受け付けた操作に応じて、駆動部19を制御する。他の例として、駆動制御部18は、ステアリング、アクセル、ブレーキ等を制御するための制御信号を、撮像部12による撮像データ、及び、画像解析部111による解析結果の少なくとも何れかを参照して生成し、生成した制御信号を駆動部19に供給することにより、自動運転機能を実現するよう構成されていてもよい。
【0037】
(駆動部19)
駆動部19は、車両10を駆動するための構成である。一例として、駆動部19はステアリング可能に構成された1又は複数の車輪、走行トルクまたはブレーキトルクを伝達可能に構成された1又は複数の車輪を含んで構成される。駆動部19が備える各構成は、上述した駆動制御部18によって駆動される。
【0038】
なお、駆動部19が備える車輪の数は本実施形態を限定するものではなく、4輪であってもよいし、2輪であってもよいし、その他の数であってもよい。また、駆動部19は車輪を備える構成に限定されるものではない。換言すれば、車両10は4輪車両であってもよいし、2輪車両であってもよいし、その他の種類の車両であってもよい。また、駆動部19は、内燃機関による駆動力で車両10を駆動する構成であってもよいし、電力による駆動力で車両10を駆動する構成としてもよい。
【0039】
(車両10による効果)
以上のように構成された車両10によれば、車両10は、第1のデータをサーバ20に送信し、第1のデータを参照したサーバ20から撮像データ提供指示を受信した場合に、格納部14に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信する。
【0040】
したがって、上記のように構成された車両10によれば、ネットワーク負荷の増大を抑制しつつ、サーバ20が所望する画像データをサーバ20に確実に提供することができる。
【0041】
また、以上のように構成された車両10によれば、車両10は、サーバ20から撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを格納部14から削除する。
【0042】
したがって、上記のように構成された車両10によれば、車両10に大容量メモリを搭載する必要性を回避しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0043】
<サーバ20>
続いて、
図2を参照して、サーバ20の構成について具体的に説明する。
図2に示すように、サーバ20は、制御部21と、通信部23と、記憶部24とを備えている。なお、ネットワークNが移動体通信ネットワークである場合、サーバ20をMEC(Mobile Edge Computing)サーバとして構成してもよい。サーバ20をMECサーバとすることにより、移動体通信網におけるネットワーク負荷をより好適に抑制し、車両10との通信を低遅延化及び高速化させることができる。
【0044】
(通信部23)
通信部23は、サーバ20の外部の装置と通信する。一例として通信部23は、1又は複数の車両10と通信する。通信部23は、制御部21から供給されたデータを1又は複数の車両10に送信したり、1または複数の車両10から受信したデータを制御部21に供給したりする。
【0045】
一例として、通信部23は、第1のデータや第2のデータを1又は複数の車両10の各々から受信したり、後述する指示生成部212が生成した撮像データ提供指示や撮像データ削除指示を1又は複数の車両10の各々に送信したりする。
【0046】
(記憶部24)
記憶部24は、サーバ20が取得した各種のデータを記憶する。記憶部24には、一例として1又は複数の車両10から受信した第1のデータを含む第1のデータ群、及び、1又は複数の車両10から受信した第2のデータを含む第2のデータ群が格納される。記憶部24は、一例としてHDD(Hard Disk Drive)やSSD(Solid State Drive)によって構成することができるがこれは本実施形態を限定するものではない。
【0047】
(制御部21)
制御部21は、画像解析部211と、指示生成部212と、送受信制御部213とを備えている。
【0048】
送受信制御部213は、通信部23を介した1又は複数の車両10とのデータの送受信を制御する。一例として、送受信制御部213は、上述した第1のデータを車両10から受信する。
【0049】
また、送受信制御部213は、一例として、
車両10から受信した第1のデータを参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を、通信部23を介して車両10に送信する処理、
上記撮像データ提供指示への応答として、車両10の格納部14に格納された撮像データの少なくとも一部を含む第2のデータを、通信部23を介して車両10から受信する処理、及び
車両10の格納部14に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を、通信部23を介して車両10に送信する処理
の少なくとも何れかを実行する。
【0050】
画像解析部211は、通信部23を介して車両10から受信した第2のデータに対して画像解析処理を適用する。ここで、第2のデータには、上述したように、車両10の撮像部12により撮像された撮像データのうち撮像データ提供指示に対応する撮像データが含まれる。画像解析部211による具体的な画像解析処理は本実施形態を限定するものではないが、画像解析部211による画像解析処理には、一例として、第2のデータに含まれる撮像データを1又は複数の映像参照アプリケーションに入力することによって、各種の情報を取得または生成する処理が含まれる。
【0051】
例えば、画像解析部211による画像解析処理には、
第2のデータに含まれる撮像データから1又は複数のオブジェクトを抽出する処理、
第2のデータに対応する第1のデータから位置情報を抽出する処理、
前記撮像データから抽出したオブジェクトと、前記位置情報とを参照して、仮想マップ上に当該オブジェクトを配置することによって当該仮想マップを更新する処理
などが含まれる。
【0052】
指示生成部212は、1又は複数の車両10に送信する指示を生成する。一例として、指示生成部212は、車両10から受信した第1のデータを参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を生成する。
【0053】
より具体的には、指示生成部212は、一例として、車両10から受信した第1のデータと、画像解析部211による解析済の解析結果とを参照して、画像解析部211による更なる画像解析処理に必要となる撮像データを特定する。
【0054】
例えば、指示生成部212は、画像解析部211により生成済の仮想マップにおいて、オブジェクトが未配置の箇所を特定し、当該箇所を撮像範囲に含む撮像データを、上記画像解析処理に必要となる撮像データとして特定する。そして、指示生成部212は、上記オブジェクトが未配置の箇所の位置情報を含む撮像データ提供指示を生成する。
【0055】
また、指示生成部212は、車両10の格納部14に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を生成する。
【0056】
一例として、指示生成部212は、1又は複数の車両10の各々から受信した第1のデータと、画像解析部211による解析済の解析結果とを参照して、1又は複数の車両10の少なくとも何れかの格納部14において削除可能な撮像データを特定する。
【0057】
例えば、指示生成部212は、画像解析部211により生成済の仮想マップにおいて、オブジェクトが配置済の箇所を特定し、当該箇所を撮像範囲に含む撮像データを、削除可能なデータとして特定する。そして、指示生成部212は、上記オブジェクトが配置済の箇所の位置情報を含む撮像データ削除指示であって、当該位置情報を含む第1のデータを送信した車両10に対する撮像データ削除指示を生成する。
【0058】
(サーバ20による効果)
上記のように構成されたサーバ20によれば、車両10から第1のデータを受信し、当該第1のデータを参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を車両10に送信し、前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを車両10から受信する。
【0059】
したがって、上記のように構成されたサーバ20によれば、ネットワーク負荷の増大を抑制しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0060】
また、以上のように構成されたサーバ20によれば、前記第2のデータを参照した解析処理を実行し、車両10の格納部14に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を車両10に送信する。
【0061】
したがって、上記のように構成されたサーバ20によれば、車両10に大容量メモリを搭載する必要性を回避しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0062】
<処理の流れ>
続いて、
図3を参照して、本実施形態に係る車両10及びサーバ20による処理の流れを説明する。
図3は、本実施形態に係る車両10及びサーバ20による処理の流れを示すシーケンス図である。
【0063】
(ステップS11)
まず、ステップS11において、車両10は、通信部13を介してサーバ20に第1のデータを送信する。第1のデータについては上述したためここでは説明を省略する。
【0064】
(ステップS21)
続いて、ステップS21において、サーバ20は、通信部23を介して、車両10から第1のデータを受信する。
【0065】
(ステップS22)
続いて、ステップS22において、サーバ20は、ステップS21において受信した第1のデータを参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を車両10に送信する。
【0066】
(ステップS12)
続いて、ステップS12において、車両10は、撮像データ提供指示をサーバ20から受信し、当該撮像データ提供指示への応答として、当該撮像データ提供指示に対応する撮像データを含む第2のデータを、サーバ20に送信する。
【0067】
(ステップS23)
続いて、ステップS23において、サーバ20は、通信部23を介して、車両10から第2のデータを受信する。
【0068】
(ステップS24)
続いて、ステップS24において、サーバ20は、ステップS23において受信した第2のデータを参照した解析処理を実行する。
【0069】
(ステップS25)
続いて、ステップS25において、サーバ20は、ステップS24における解析結果を参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を車両10に送信する。
【0070】
(ステップS13)
ステップS13において、車両10は、サーバ20から撮像データ削除指示を受信し、当該撮像データ削除指示に対応する撮像データを格納部14から削除する。
【0071】
上記処理の流れによれば、上述した車両10による効果、及びサーバ20による効果と同様の効果を奏する。
【0072】
<実施形態1の変形例>
本実施形態に係る情報処理システム1は上述した構成に限られるものではない。以下では、本実施形態1の変形例について説明する。なお、説明の便宜上、既に説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0073】
図4は、本変形例に係る車両10と通信装置40と情報処理装置(サーバ)20とを含む情報処理システム1の構成を示すブロック図である。
【0074】
本変形例に係る通信部13は、通信装置40との間で通信を行う。ここで、通信部13と通信装置40の間の通信態様は、近距離無線通信であってもよいし、有線通信であってもよいし、それらを組み合わせたものであってもよい。一方、通信装置40は、通信部13との間で通信を行うと共に、ネットワークNを介して、情報処理装置20との間で通信を行う。ここで、通信装置40として、スマートフォンなどの携帯型通信装置を用いることができる。
【0075】
通信部13は、制御部11から供給されたデータを、通信装置40を介してサーバ20に対して送信したり、サーバ20が送信したデータを通信装置40を介して受信し、受信したデータを制御部11に供給したりする。
【0076】
このように、本変形例に係る通信部13は、情報処理装置(サーバ)20との間で第1の通信を行う通信装置(携帯型通信装置)40との間で第2の通信を行う通信部であると表現することができる。
【0077】
また、通信装置40とサーバ20との間の通信(第1の通信)は、移動体通信であってもよい。また、上述のように、通信部13と通信装置40との間の通信は、近距離無線通信であってもよいし、有線通信であってもよい。
【0078】
本変形例によれば、サーバ20との通信機能を有さない車両10に対して、新たに通信ハードウェアの設置作業等を必要とすることなく、近距離無線通信機能または有線通信機能を有する汎用的な通信装置40を準備するだけで手軽に車両10とサーバ20との通信を実現することができる。
【0079】
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0080】
(情報処理システムの構成)
本実施形態に係る車両、サーバ、及び、車両とサーバとを含む情報処理システムの構成は、実施形態1において説明した構成と同様である。このため、本実施形態でも実施形態1において用いた各参照符号を用いる。
【0081】
(情報処理システム1による処理例1)
図5を用いて、本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例1について説明する。
図5は、本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例1の流れを示すシーケンス図である。
【0082】
(ステップS11)
まず、ステップS11において、車両10は、通信部13を介してサーバ20に第1のデータを送信する。
【0083】
ここで、本実施形態に係る第1のデータの例を
図6を参照して説明すれば以下の通りである。
図6の上段は、本実施形態に係る車両が道路を走行中の状況の例を示している。
図6の上段に示すように、車両10が走行中の道路に沿って建造物OB1~OB4が存在している。
【0084】
図6の中段左側は、
図6の上段に示す地点Aにおいて車両10の撮像部12が撮像した撮像データを、当該撮像データを参照した画像解析部111によるオブジェクト検出処理によって特定されたバウンディングボックスBB1及びBB2と共に示している。
【0085】
図6の中段右側は、
図6の上段に示す地点Aにおいて車両10のデータ生成部112が生成する第1のデータに含まれる各情報を示している。
図6の中段右側に示すように、本実施形態に係る第1の情報には、
・Frame情報
・位置情報
・時刻情報、及び
・検出物情報(信頼度を含む)
が含まれている。
【0086】
ここで、Frame情報とは、一例として当該第1のデータが関連付けられた撮像データ中のフレーム(
図6に示す例では、
図6の中段左側の撮像データ)を、他のフレームから識別するための識別情報であり、例えばフレーム番号を含む情報である。
【0087】
位置情報は、当該第1のデータが関連付けられた撮像データ中のフレームが撮像されたときの車両10の位置を示す情報である。
【0088】
時刻情報は、当該第1のデータが関連付けられた撮像データ中のフレームが撮像されたときの時刻を示す情報である。
【0089】
検出物情報は、当該第1のデータが関連付けられた撮像データ中のフレームに対して、車両10の画像解析部111が適用したオブジェクト検出処理の結果を示す情報であり、一例として、
・当該オブジェクト検出処理が特定したオブジェクト名、および
・当該オブジェクト名の特定に関する信頼度
を含んでいる。
図6の中段右側に示す例では、検出物情報は、より具体的に、
・バウンディングボックスBB1に含まれるオブジェクトのオブジェクト名である「ガソリンスタンド」
・バウンディングボックスBB1に含まれるオブジェクトが「ガソリンスタンド」であることの信頼度「0.8」
・バウンディングボックスBB2に含まれるオブジェクトのオブジェクト名である「病院」
・バウンディングボックスBB2に含まれるオブジェクトが「病院」であることの信頼度「0.7」
を含んでいる。
【0090】
同様に、
図6の下段左側は、
図6の上段に示す地点Bにおいて車両10の撮像部12が撮像した撮像データを、当該撮像データを参照した画像解析部111によるオブジェクト検出処理によって特定されたバウンディングボックスBB3と共に示している。
【0091】
同様に、
図6の下段右側は、
図6の上段に示す地点Bにおいて車両10のデータ生成部112が生成する第1のデータに含まれる各情報を示している。
【0092】
このように、車両10の制御部11は、撮像部12が撮像した撮像データを解析し、解析結果の少なくとも一部を第1のデータに含める。
【0093】
また、上述したように、車両10の制御部11は、撮像部12が撮像した撮像データに対してオブジェクト検出処理を適用し、
・検出された1又は複数のオブジェクトを示す検出物情報、及び
・各オブジェクトに関する前記検出処理の信頼度を示す信頼度情報
を第1のデータに含める。
【0094】
また、上述したように、車両10の制御部11は、車両10の制御部11は、当該車両10の位置情報を第1のデータに含める。
【0095】
本ステップS11では、車両10は、通信部13を介してサーバ20に、上述のような第1のデータを送信する。
【0096】
なお、
図6に示した検出物情報はあくまで例であり、これらに限定されるものではない。例えば、第1のデータに含まれる検出物情報は、「車線規制情報」及び「立ち入り禁止情報」などのサイネージ情報であってもよい。
【0097】
また、車両10が第1のデータを送信するタイミングは本処理例を限定するものではないが、一例として、車両10の電源がオンになったタイミングで第1のデータを送信する構成としてもよいし、予め、サーバ20から車両10に対して、第1のデータの送信タイミングを指定するタイミング指定情報を提供しておき、車両10は当該タイミング指定情報に従って、第1のデータの送信タイミングを決定する構成としてもよい。
【0098】
また、車両10が第1のデータを送信するための伝送経路も本処理例を限定するものではないが、一例として、予め、サーバ20から車両10に対して、第1のデータの伝送経路を指定する伝送経路指定情報を提供しておき、車両10は当該伝送経路指定情報が示す伝送経路で、第1のデータの送信タイミングを決定する構成としてもよい。当該伝送経路指定情報が指定する伝送経路として、例えば、車両10が備える通信部13を介したWiFi及び移動体通信(4G/5G/6G/7G)回線、並びにディーラー経由での伝送などが挙げられる。
【0099】
(ステップS21)
続いて、ステップS21において、サーバ20は、通信部23を介して、車両10から第1のデータを受信する。
【0100】
(ステップS221)
続いて、ステップS221において、サーバ20の制御部21は、車両10から受信した第1のデータを記憶部24に格納する。ステップS21において取得し本ステップS221において記憶部24に格納する第1のデータは、特定の車両10から取得した第1のデータに限られず、1又は複数の車両10から取得した第1のデータが含まれる。
【0101】
一例として、サーバ20の記憶部24に格納されている第1のデータ群の例を
図7に示す。
図7に示すように、第1のデータ群には、1又は複数の車両10から受信した第1のデータが含まれている。
図7に示すように、第1のデータ群に含まれる各第1のデータには制御部21によってindexが付されている。また、各第1のデータには、
図7に示すように、
・時刻情報
・車両ID
・位置情報
・検出物情報
・信頼度、及び、
・その他の情報
が含まれている。なお、
図7に示す例では、位置情報は、緯度(lat:latitude)及び経度(lon:longitude)を含んでいる。また、
図7に示す例では、各第1のデータには、その他の情報として、当該第1のデータに関連付けられたフレームが撮像されたときの車両の速度及び加速度の少なくとも何れかが含まれている。ここで、その他の情報には、各検出物に関するバウンディングボックスのサイズ(縦のサイズ及び横のサイズ)を示す情報が含まれる構成としてもよい。
【0102】
(ステップS222)
続いて、ステップS222において、サーバ20の画像解析部211は、記憶部24に格納された第1のデータ群に関する各種の処理を実行する。当該処理には、第1のデータ群に含まれる各第1のデータを参照した各種の統計処理が含まれる。一例として、本ステップS222において、サーバ20の画像解析部211は、
・第1のデータ群含まれる各第1のデータを、位置情報に基づいてグループ化する処理
・第1のデータ群含まれる各第1のデータを、速度や加速度等のその他の情報に基づいてグループ化する処理
・第1のデータ群含まれる各第1のデータにおいて、速度や加速度等のその他の情報に基づいて撮像範囲を特定する処理
・第1のデータ群含まれる各第1のデータを、時刻情報に応じてグループ化又はソートする処理
などが含まれる。なお、ステップS222は、ステップS21においてサーバ20が第1のデータを受信する毎に行われる構成としてもよい。
【0103】
(ステップS223)
続いて、ステップS223において、サーバ20の指示生成部212は、車両10から撮像データの提供が必要か否かを判定する。
【0104】
一例として、指示生成部212は、画像解析部211により生成済の仮想マップにおいて、オブジェクトが未配置の箇所が存在する場合、当該箇所を撮像範囲に含む撮像データを1又は複数の車両10の何れかから提供を受ける必要があると判定する。他の例として、指示生成部212は、画像解析部211により生成済の仮想マップにおいて、オブジェクトが未配置の箇所が存在しない場合、1又は複数の車両10の何れかからも撮像データの提供を受ける必要はないと判定する。
【0105】
指示生成部212が、車両10から撮像データの提供が必要であると判定した場合(ステップS223でYES)、ステップS224に進み、車両10から撮像データの提供が必要ではないと判定した場合(ステップS223でNO)、ステップS242に進む。
【0106】
(ステップS224)
ステップS223において、指示生成部212が、車両10から撮像データの提供が必要であると判定した場合、ステップS224において、指示生成部212は、提供対象データを選定する。
【0107】
一例として、画像解析部211により生成済の仮想マップにおいて、オブジェクトが未配置の箇所が存在する場合、指示生成部212は、記憶部24に格納された第1のデータ群において、上記未配置のオブジェクトを撮像範囲に含む第1のデータを選定する。そして、選定した第1のデータに関連付けられた撮像データを提供対象データとして選定する。
【0108】
ここで、記憶部24に格納された第1のデータ群において、当該箇所を撮像範囲に含む第1のデータが複数存在する場合、当該複数の第1のデータにおいて、上記未配置のオブジェクトに関するオブジェクト検出処理の信頼度が最も大きい第1のデータを選定する。そして、選定した第1のデータに関連付けられた撮像データを、提供対象データとして選定する構成とすることができる。
【0109】
或いは、記憶部24に格納された第1のデータ群において、当該箇所を撮像範囲に含む第1のデータが複数存在する場合、当該複数の第1のデータにおいて、上記未配置のオブジェクトに関するバウンディングボックスのサイズが最も大きい第1のデータを選定する構成としてもよい。そして、選定した第1のデータに関連付けられた撮像データを、提供対象データとして選定する構成としてもよい。
【0110】
(ステップS225)
続いて、ステップS225において、サーバ20の指示生成部212は、ステップS224において選定した撮像データの提供を指示する撮像データ提供指示を生成する。そして、サーバ20の送受信制御部213は、当該撮像データ提供指示を、ステップS224において選定した第1のデータを送信した車両10に対して通信部23を介して送信する。ここで、サーバ20の送受信制御部213が送信する撮像データ提供指示には、ステップS224において指示生成部212が選定した第1のデータに含まれる情報の少なくとも何れかを含める構成とすることが好ましい。例えば、撮像データ提供指示には、ステップS224において指示生成部212が選定した第1のデータに含まれる位置情報及び時刻情報の少なくとも何れかを含める構成とすることが好ましい。
【0111】
なお、上述したステップS221からステップS225までの各ステップは、実施形態1において説明したステップS22の一具体例として捉えることもできる。
【0112】
(ステップS121)
続いて、ステップS121において、車両10の制御部11は、ステップS225においてサーバ20が送信した撮像データ提供指示を、通信部13を介して受信する。
【0113】
(ステップS122)
続いて、ステップS122において、車両10のデータ生成部112は、ステップS225において受信した撮像データ提供指示に対応する撮像データを、車両10の格納部14から取得する。
【0114】
一例として、車両10のデータ生成部112は、ステップS225において受信した撮像データ提供指示に含まれる位置情報及び時刻情報の少なくとも何れかに関連付けられた撮像データを、車両10の格納部14から取得する。そして、データ生成部112は、取得した撮像データを含む第2のデータを生成する。
【0115】
そして、データ生成部112が生成した第2のデータを、送受信制御部113がサーバ20に対して送信する。
【0116】
なお、ステップS121及びステップS122の各ステップは、実施形態1において説明したステップS12の一具体例として捉えることもできる。
【0117】
(ステップS23)
続いて、ステップS23において、サーバ20は、通信部23を介して、車両10から第2のデータを受信する。
【0118】
(ステップS241)
続いて、ステップS241において、サーバ20の画像解析部211は、ステップS23において受信した第2のデータを参照した解析処理を行う。
【0119】
(ステップS242)
ステップS242において、サーバ20の画像解析部211は、第2のデータを参照した解析処理の結果を参照して、各種の映像利用アプリケーションを実行する。
【0120】
なお、ステップS241及びステップS242の各ステップは、実施形態1において説明したステップS24の一具体例として捉えることもできる。
【0121】
また、本処理例に係る処理の流れは上記の例に限定されるものではない。例えば、ステップS222~ステップS225において、オブジェクト検出処理の信頼度が所定値以下のオブジェクトを含む撮像データ提供指示を送信する構成としてもよい。
【0122】
(処理例1による効果)
本処理例によれば、車両10は、第1のデータをサーバ20に送信し、サーバ20は第1のデータを参照して提供対象データを選定する。そして、サーバ20は選定した提供対象データの提供を指示する映像データ提供指示を車両10に送信する。車両10は、サーバ20から撮像データ提供指示を受信した場合に、格納部14に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信する。
【0123】
したがって、本処理例によれば、ネットワーク負荷の増大を抑制しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0124】
(情報処理システム1による処理例2)
続いて、
図8を参照して本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例2について説明する。
図8は、本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例2の流れを示すシーケンス図である。
【0125】
(ステップS11)
まず、ステップS11において、車両10は、通信部13を介してサーバ20に第1のデータを送信する。本ステップにおける処理は一例として処理例1において説明した処理と同様であるのでここでは説明を省略する。
【0126】
(ステップS21)
続いて、ステップS21において、サーバ20は、通信部23を介して、車両10から第1のデータを受信する。
【0127】
なお、
図8では省略したが、サーバ20及び車両10は、ステップS21の後、処理例1において説明したステップS221~S241又はステップS221~S242までの処理を実行する構成としてもよい。
【0128】
(ステップS251)
続いて、ステップS251において、サーバ20の画像解析部211は、車両10から取得可能な撮像データを参照した解析処理が全て終了したか否かを判定する。ここで、画像解析部211による当該判定処理には、一例として、ステップS21において取得した第1のデータを含む車両10に関する第1のデータ群を参照する処理が含まれる。
【0129】
サーバ20の画像解析部211が、車両10からの撮像データを参照した解析処理が全て終了したと判定した場合、ステップS252に進み、車両10からの撮像データを参照した解析処理は全て終了したわけではないと判定した場合、本処理例に係る処理を終了する。
【0130】
(ステップS252)
ステップS251において、サーバ20の画像解析部211が、車両10から取得可能な撮像データを参照した解析処理が全て終了したと判定した場合、ステップS252において、サーバ20の送受信制御部213は、通信部23を介して、撮像データ削除指示を車両10に送信する。
【0131】
(ステップS131)
ステップS131において、車両10の制御部11は、ステップS252においてサーバ20が送信した撮像データ削除指示を、通信部13を介して受信する。
【0132】
(ステップS132)
続いて、車両10の制御部11は、ステップS131において受信した撮像データ削除指示に基づき、格納部14に格納された撮像データを削除する。
【0133】
(処理例2による効果)
本処理例によれば、サーバ20は、車両10から第1のデータを受信した後、車両10からの撮像データを参照した解析処理が全て終了したか否かを判定する。そして、車両10からの撮像データを参照した解析処理が全て終了したと判定した場合に、車両10に対して撮像データ削除指示を送信し、車両10は、当該撮像データ削除指示に基づき、格納部14に格納された撮像データを削除する。
【0134】
したがって、本処理例によれば、車両10に大容量メモリを搭載する必要性を回避しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0135】
(情報処理システム1による処理例3)
続いて、
図9を参照して本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例3について説明する。
図9は、本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例3の流れを示すシーケンス図である。
【0136】
(ステップS11)
まず、ステップS11において、車両10は、通信部13を介してサーバ20に第1のデータを送信する。ここで、本処理例に係る第1のデータの例を
図10を参照して説明する。
図10に示すように、本処理例に係る第1のデータは、処理例1において説明した第1のデータが含む各情報に加えて、車両10の格納部14の空き容量を示す「ストレージ空き情報」を含んでいる。
図10の上段に示す例では、地点Aからの撮像を行った後に、車両10の格納部14の空き容量が、21%となったことを示しており、
図10の下段に示す例では、地点Bからの撮像を行った後に、車両10の格納部14の空き容量が、19%となったことを示している。
【0137】
(ステップS21)
続いて、ステップS21において、サーバ20は、通信部23を介して、1又は複数の車両10の各々から第1のデータを受信する。ここで、サーバ20が受信する第1のデータには、上述したように、車両10の格納部14の空き容量に関する情報が含まれている。
【0138】
(ステップS261)
続いて、サーバ20の制御部21は、ステップS21において受信した第1のデータを参照して、車両10の優先度を特定する。ここで、サーバ20の制御部21は、車両10の優先度を、当該車両10から取得した第1のデータに含まれるストレージ空き情報が示す格納部14の空き容量と負の相関を有するように決定してもよい。例えば、サーバ20の制御部21は、格納部14の空きがより少ない車両10に対して、より高い優先度を付与する構成としてもよい。一例として、サーバ20の制御部21は、格納部14の空きに応じて、以下のように優先度を付与する構成としてもよい。
・優先度1:空き容量80%以上100%以下
・優先度2:空き容量60%以上80%未満
・優先度3:空き容量40%以上60%未満
・優先度4:空き容量20%以上40%未満
・優先度5:空き容量0%以上20%未満
ここで、所定値以上の優先度を有する車両10の数が所定数よりも多く存在する場合、サーバ20の制御部21は、これらの車両10から無作為又は疑似無作為的に所定数以下の車両10を選択し、選択した車両10に対して改めて所定値以上の優先度を付与すると共に、選択しなかった車両10の優先度を低下させる処理を行ってもよい。
【0139】
また、サーバ20の制御部21は、ある車両10の優先度を、他の1又は複数の車両10が備える格納部14の空き容量を更に参照して決定する構成としてもよい。例えば、複数の車両10のうち、空き容量がより少ない車両10に対してより高い優先度を付与する構成としてもよい。換言すれば、ある車両10が備える格納部14の空き容量が、1又は複数の他の車両10の格納部14の空き容量よりも少ない場合に、当該車両10に対して最も高い優先度5を付与する構成としてもよい。
【0140】
(ステップS262)
続いて、サーバ20の制御部21は、車両10の優先度が所定値以上であるか否かを判定する。一例として、上述したように優先度が1~5によって表現される構成の場合、サーバ20の制御部21は、車両10の優先度が5であるか否かを判定する。車両10の優先度が所定値以上であると判定した場合、ステップS263に進み、車両10の優先度が所定値以上ではないと判定した場合、本処理例に係る処理を終了する。
【0141】
なお、本ステップにおけるサーバ20の制御部21による判定処理は、後述するように、車両10に対して、撮像データ削除指示を送信するか、又は、車両10に対して、撮像データ提供指示を送信するかに関する判定処理であると表現することもできる。
【0142】
(ステップS263)
サーバ20の制御部21が、車両10の優先度が所定値以上であると判定した場合、ステップS263において、サーバ20の制御部21は、ステップS21において取得した第1のデータ(第1のデータD1Aとも呼ぶ)が含む各情報と同様の情報を含む第1のデータ(第1のデータD1Bとも呼ぶ)を、当該車両10、又は他の1又は複数の車両10から取得済であるか否かを判定する。
【0143】
そして、サーバ20の制御部21は、第1のデータD1Bに関連付けられた第2のデータ(第2のデータD2Bと表現する)を、当該車両10、又は他の1又は複数の車両10の何れかから取得済であるか否かを判定する。
【0144】
サーバ20の制御部21が、第2のデータD2Bを取得済であると判定した場合、ステップS25に進み、第2のデータD2Bを取得済ではないと判定した場合、ステップS264に進む。
【0145】
なお、第1のデータD1Aと第1のデータD1Bとが含む情報が同様であるとは、一例として、
・第1のデータD1Aが含む少なくとも何れかの情報と第1のデータD1Bが含む少なくとも何れかの情報との相違が所定の範囲内であること
を指す。より具体的には、一例として、
・第1のデータD1Aが含む位置情報が示す位置と、第1のデータD1Bが含む位置情報が示す位置との距離が所定の範囲内であること(これを条件1とも呼ぶ)
を指す。
【0146】
また、第1のデータD1Aと第1のデータD1Bとが含む情報が同様であるとは、他の例として、上記条件1に加えて、
・第1のデータD1Aが含む時刻情報及びその他の情報と、第1のデータD1Bが含む時刻情報及びその他の情報との相違が所定の範囲内であること(これを条件2とも呼ぶ)
を更に含むものとしてもよい。
【0147】
(ステップS264)
ステップS263において、サーバ20の制御部21が、第2のデータD2Bを取得済ではないと判定した場合、ステップS264において、サーバ20の送受信制御部213は、第1のデータD1Aを送信した車両10に対して、当該第1のデータD1Aに対応する第2のデータを提供することを指示する撮像データ提供指示を送信する。
【0148】
(ステップS12)
撮像データ提供指示を受信した車両10は、当該撮像データ提供指示に対応する撮像データを含む第2のデータを、サーバ20に対して送信する。
【0149】
(ステップS25)
一方で、ステップS263において、サーバ20の制御部21が、第2のデータD2Bを取得済であると判定した場合、ステップS25において、サーバ20の送受信制御部213は、第1のデータD1Aを送信した車両10に対して、撮像データ削除指示を送信する。ここで、本ステップにおいて送信する撮像データ削除指示は、当該車両10の格納部14に格納された全ての撮像データを削除する指示であってもよいし、当該車両10の格納部14に格納された撮像データのうち、第1のデータD1Aに対応する撮像データのみを削除する指示であってもよい。
【0150】
このように、本処理例では、サーバ20の制御部21による処理には、
ある車両10とは異なる他の1又は複数の車両10の各々が備える格納部14であって、当該他の1又は複数の車両10の各々が備える車載カメラ(撮像部14)による撮像データを格納する格納部14の空き容量に関する情報を受信し、
前記ある車両10の格納部14の空き容量に関する情報と、前記他の1又は複数の車両10の各々の格納部14の空き容量に関する情報とを参照して、
前記ある車両10に対して、撮像データ削除指示を送信するか、又は、
前記ある車両10に対して、撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する処理が含まれる。
【0151】
(ステップS131)
ステップS131において、車両10の制御部11は、ステップS252においてサーバ20が送信した撮像データ削除指示を、通信部13を介して受信する。
【0152】
(ステップS132)
続いて、車両10の制御部11は、ステップS131において受信した撮像データ削除指示に基づき、格納部14に格納された撮像データを削除する。
【0153】
(処理例3による効果)
本処理例によれば、サーバ20は、車両10から格納部14の空き容量に関する情報を受信する。したがって、本処理例によれば、サーバ20は、車両10の格納部14の空き容量を把握することができる。
【0154】
また、サーバ20は、当該空き容量に関する情報に応じて、当該車両10の優先度を特定するし、特定した優先度が所定値以上である場合、同様の撮像データを取得済か否かを更に判定する。そして、当該判定結果に応じて、当該車両10に対して、撮像データ削除指示を送信するか、又は、撮像データ提供指示を送信するかを決定する。
【0155】
したがって、本処理例によれば、車両10の格納部14の空き容量、及び優先度に応じて車両10に対して好適に撮像データ削除指示を送信することができる。また、本処理例によれば、サーバ20が所望の撮像データを、受信前に削除してしまうことがない。したがって、本処理例によれば、車両10に大容量メモリを搭載する必要性を回避しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0156】
(情報処理システム1による処理例4)
続いて、
図11を参照して本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例4について説明する。
図11は、本実施形態に係る車両10及びサーバ20を含む情報処理システム1による処理例4の流れを示すシーケンス図である。
【0157】
(ステップS141)
まず、ステップS141において、車両10の制御部11は、格納部14の空き容量が所定値以下か否かを判定する。一例として、車両10の制御部11は、格納部14の空き容量が20%以下か否かを判定する。そして、格納部14の空き容量が所定値以下であると判定した場合、ステップS142に進み、格納部14の空き容量が所定値以下ではないと判定した場合、本処理例に係る処理を終了する。なお、格納部14の空き容量が所定値以下ではないと判定した場合、1又は他の処理を実行したうえで、再びステップS141の判定を行う構成としてもよい。
【0158】
(ステップS142)
ステップS141において、格納部14の空き容量が所定値以下であると判定した場合、ステップS142において、車両10の送受信制御部113は、サーバ20に対して通知情報を送信する。
【0159】
ここで、当該通知情報は、後述するように、サーバ20が撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断する契機となる通知である。
【0160】
(ステップS222)
続いて、ステップS222において、サーバ20の画像解析部211は、記憶部24に格納された第1のデータ群に関する各種の処理を実行する。当該ステップにおける処理については、一例として処理例1のステップS222において説明した処理と同様であるのでここでは説明を省略する。
【0161】
(ステップS223~ステップS225)
ステップS223~ステップS225は、一例として処理例1のステップS223~ステップS225において説明した処理と同様であるのでここでは説明を省略する。
【0162】
(ステップS12)
続いて、ステップS12において、車両10は、撮像データ提供指示をサーバ20から受信し、当該撮像データ提供指示への応答として、当該撮像データ提供指示に対応する撮像データを含む第2のデータを、サーバ20に送信する。
【0163】
(ステップS24)
続いて、ステップS24において、サーバ20は、ステップS12において送信された第2のデータを受信し、受信した第2のデータを参照した解析処理を実行する。
【0164】
(ステップS25)
続いて、ステップS25において、サーバ20は、ステップS24における解析結果を参照したうえで、車両10の格納部14に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を車両10に送信する。
【0165】
(ステップS131)
ステップS131において、車両10の制御部11は、ステップS25においてサーバ20が送信した撮像データ削除指示を、通信部13を介して受信する。
【0166】
(ステップS132)
続いて、車両10の制御部11は、ステップS131において受信した撮像データ削除指示に基づき、格納部14に格納された撮像データを削除する。
【0167】
上述したように、本処理例では、車両10の制御部11は、車両10の格納部14の空き容量が所定の値以下となったことを契機として通知情報をサーバ20に送信する。そして、サーバ20の制御部21は、当該通知情報の取得を契機として、
・車両10に対して、撮像データ削除指示を送信するか、又は、
・車両10に対して、撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する。
【0168】
また、本処理例では、上述したように、車両10の制御部11は、前記通知情報の取得を契機として、第1のデータを含むデータを参照した処理を行い、当該処理の結果に応じて、
・車両10に対して、撮像データ削除指示を送信するか、又は、
・車両10に対して、撮像データ提供指示を送信するか
を判断する。
【0169】
(処理例4による効果)
本処理例によれば、車両10は、格納部14の空き容量が所定の値以下となった場合に、通知情報をサーバ20に対して送信し、サーバ20は当該通知情報の取得を契機として、撮像データ提供指示又は撮像データ削除指示の送信要否を判断する。このため、本実施例によれば、車両10は、格納部14の空き容量が所定の値以下となった場合に、サーバ20から好適に撮像データ削除指示を受信することができる。
【0170】
したがって、本処理例によれば、車両10に大容量メモリを搭載する必要性を回避しつつ、サーバ20が車両10から所望の画像データを確実に入手することができる。
【0171】
(実施形態2の付記事項)
上述する実施形態2において、車両10は、サーバ20による第1のデータ及び第2のデータの取得周期、並びに第2のデータ解析処理の周期等に応じて、格納部14のデータを所定の周期で削除する構成とすることができる。
【0172】
例えば、サーバ20が、第1のデータに関する処理を日毎に完了させ、車両10から提供すべき第2のデータの取得を日毎に完了させる構成の場合、車両10は、格納部14のデータを日毎で削除する構成とすることができる。
【0173】
あるいは、サーバ20は、第1のデータを、1週間や1か月のように1日よりも長い周期で蓄積する構成としてもよい。このような構成の場合、例えば、過去のある場所及びある時刻で事故等のアクシデントが発生した場合、サーバ20の制御部21は、蓄積した第1のデータから、当該ある場所に対応する位置情報、及び当該ある時刻の時刻情報を有する第1のデータを抽出し、当該第1のデータに関連付けられた撮像データを、対応する車両10に対して要求する構成とすることができる。
【0174】
サーバ20が上記の処理を行うことによって、事故等のアクシデントの検証等に有益な撮像情報を取得することができる。
【0175】
〔実施形態3〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0176】
(情報処理システムの構成)
本実施形態に係る車両、サーバ、及び、車両とサーバとを含む情報処理システムの構成は、実施形態1において説明した構成と略同様である。ただし、本実施形態に係る車両10aは、
図12に示すように、上記実施形態に係る車両10とは異なり、格納部14を備えていない。
【0177】
本実施形態に係るサーバ20は、1又は複数の車両10aから取得した第1のデータを参照したうえで、車両10aの撮像部12が撮像した撮像データの少なくとも一部の提供を指示する撮像データ提供指示を生成する。
【0178】
より具体的には、指示生成部212は、一例として、1又は複数の車両10aから受信した第1のデータと、画像解析部211による解析済の解析結果とを参照して、画像解析部211による更なる画像解析処理に必要となる撮像データを特定する。
【0179】
例えば、指示生成部212は、画像解析部211により生成済の仮想マップにおいて、オブジェクトが未配置の箇所を特定し、当該箇所を撮像範囲に含む撮像データを、上記画像解析処理に必要となる撮像データとして特定する。そして、指示生成部212は、上記オブジェクトが未配置の箇所の位置情報を含む撮像データ提供指示を生成する。
【0180】
そして、本実施形態に係る送受信制御部113は、1又は複数の車両10aから継続的に受信する第1のデータに含まれる位置情報を参照し、上記オブジェクトが未配置の箇所の位置情報に近い位置に存在する車両10aを選択し、選択した車両10aに対して、上記撮像データ提供指示を送信する。
【0181】
そして、上記撮像データ提供指示を受信した車両10aは、撮像部12が撮像した撮像データから、上記撮像データ提供指示に対応する撮像データを抽出したうえでサーバ20に送信する。
【0182】
本実施形態によれば、車両10aは格納部14を備える必要がないという利点がある。
【0183】
〔実施形態4〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0184】
(情報処理システムの構成)
本実施形態に係る車両、サーバ、及び、車両とサーバとを含む情報処理システムの構成は、実施形態1において説明した構成と略同様である。ただし、本実施形態に係る車両10bは、
図13に示すように、実施形態1及び実施形態2に係る車両10が備える各構成に加えて、検索用情報取得部114、検索部115、提示部16、及び入力受付部17を備えている。
【0185】
入力受付部17は、車両10bの搭乗者から各種の情報の入力を受け付ける。一例として、入力受付部17は、検索部115が検索のために参照する検索用情報の入力を、車両10bの搭乗者から受け付ける。
【0186】
ここで、検索用情報の具体例は、本実施形態を限定するものではないが、一例として、
・時刻情報
・位置情報
・検出物情報
などが挙げられる。
【0187】
検索用情報取得部11は、入力受付部17が受け付けた検索用情報を取得し、取得した検索用情報を検索部115に供給する。
【0188】
検索部115は、検索用情報取得部11から供給された検索用情報と、データ生成部112によって生成され格納部14に格納された第1のデータ群とを参照することによって、格納部14に格納されている撮像データ中のシーンの検索を行う。
【0189】
一例として、検索部115は、検索用情報に含まれる時刻情報を参照して格納部14における第1のデータ群の検索を行い、当該時刻情報と同じ時刻情報を有する第1のデータを特定する。そして、検索部115は、当該第1のデータに対応する第2のデータを特定し、当該第2のデータに含まれる撮像データを、提示部16に供給する。このようにして検索部115によって特定された撮像データには、検索用情報を入力した搭乗者が所望するシーンが含まれることになる。
【0190】
なお、上記の例では、検索部115が、検索用情報に含まれる時刻情報を参照した検索を行う場合を例に挙げたが、検索部115が、検索用情報に含まれる位置情報を参照する場合、検索用情報に含まれる検索物情報を参照する場合についても同様である。
【0191】
提示部16は、制御部11によって制御された各種の情報を車両10bの搭乗者に提示する。提示部16は、表示パネルを備え、当該各種の情報を表示によって提示する構成としてもよいし、スピーカを備え、当該各種の情報を音声によって提示する構成としてもよい。
【0192】
一例として、提示部16は、検索部115が検索したシーンを表示する。また、提示部16は、駆動制御部18におけるステアリング、アクセル、ブレーキ等の制御に関する各種の情報を提示する構成としてもよいし、車両10bの速度及び加速度等の情報を提示する構成としてもよい。また、提示部16は、上述した第1のデータ及び第2のデータに関連する情報を提示する構成としてもよい。
【0193】
以上のように構成された本実施形態に係る車両10bによれば、撮像部12による撮像から一定時間が経過した後(例えば車両10bが走行を終えて駐停車した後)であっても、搭乗者が撮像データを確認することが可能になる。上述したように、搭乗者による入力に基づき、検索部115が、第1データ中の時刻情報、位置情報、検出物情報等を参照した検索を行うことによって、搭乗者に対して所望のシーンを提示することができる。
【0194】
したがって、本実施形態に係る車両10bによれば、一例として、車両10bが当て逃げなどの交通事故に巻き込まれた場合に、警察等の関係機関にただちに相手車両の特徴を通報することが可能になる。
【0195】
〔実施形態5〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【0196】
(情報処理システムの構成)
図14は、本実施形態に係る情報処理システム1cの構成を示すブロック図である。
図14に示すように、本実施形態に係る情報処理システム1cは、車両10cと端末装置30cとを含んでおり、車両10cと端末装置30cとは、ネットワークNを介して接続されている。なお、情報処理システム1cは、上述の実施形態において説明したサーバ20であって、ネットワークNに接続されたサーバ20を更に含む構成としてもよい。
【0197】
図14に示すように、車両10cは、実施形態1に係る車両10の構成と同様の構成を有している。一方、
図14に示すように、端末装置30cは、制御部31、通信部33、提示部15、及び入力受付部17を備えている。また、制御部31は、検索用情報取得部114、及び検索部115を備えている。ここで、検索用情報取得部114、検索部115、提示部16、及び入力受付部17は、実施形態4において説明した構成と略同様である。だたし、検索用情報取得部114は、通信部33を介して、車両10cの格納部14から第2のデータの少なくとも一部を取得するデータ取得部としても機能する。
【0198】
実施形態4では、車両10bが検索用情報取得部114、検索部115、提示部16、及び入力受付部17を備え、車両10bにおいて、搭乗者の所望のシーンを検索する構成であったが、本実施形態では、検索用情報取得部114、検索部115、提示部16、及び入力受付部17が、車両10cとは別体として、端末装置30c内に設けられている。
【0199】
このような構成において、端末装置30cの使用者は、入力受付部17に対して、検索用情報を入力する。そして、検索部115は、車両10cの格納部14に格納された第1のデータ群に対して通信部33を介してアクセスし、当該第1のデータ群に対する検索を実行する。そして、検索部115は、格納部14に格納された第2のデータの少なくとも一部であって、上記検索によって特定された第1のデータに対応する第2のデータを、通信部33及び検索用情報取得部114を介して取得する。そして、提示部16は、当該第2のデータに含まれる撮像データを、端末装置30cの使用者に対して表示する。
【0200】
以上のように構成された本実施形態に係る車両10cによれば、実施形態4と同様に、撮像部12による撮像から一定時間が経過した後(例えば車両10cが走行を終えて駐停車した後)であっても、端末装置30cの使用者が撮像データを確認することが可能になる。
【0201】
また、本実施形態では、車両10cの搭乗者が車両10cを離れた後であっても、端末装置30cを用いることによって所望の撮像データを検索できることに加え、車両10cの搭乗者以外の人物も撮像データを確認することが容易になるという更なる効果を奏する。
【0202】
〔ハードウェア構成およびソフトウェアによる実現例〕
車載情報処理装置100、及び情報処理装置(サーバ)20の制御ブロック(特に制御部11、21)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。後者の場合、車載情報処理装置100、及び情報処理装置20を、
図15に示すようなコンピュータ(電子計算機)を用いて構成することができる。
【0203】
図15は、車載情報処理装置100、及び情報処理装置20として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915とを備えている。演算装置912、主記憶装置913、および補助記憶装置914は、それぞれ、例えばCPU、RAM(random access memory)、ハードディスクドライブであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、および、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920および出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサなどであってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920および出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
【0204】
補助記憶装置914には、コンピュータ910を、車載情報処理装置100、及び情報処理装置20として動作させるための情報処理プログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記情報処理プログラムを主記憶装置913上に展開して該情報処理プログラムに含まれる命令を実行することによって、コンピュータ910を、車載情報処理装置100、及び情報処理装置20が備える各部として機能させる。なお、補助記憶装置914が情報処理プログラム等の情報の記録に用いる記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。
【0205】
また、コンピュータ910の外部の記録媒体に記録されているプログラム、あるいは任意の伝送媒体(通信ネットワークや放送波等)を介してコンピュータ910に供給されたプログラムを用いてコンピュータ910を機能させる構成を採用してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0206】
また、車載情報処理装置100、及び情報処理装置20の制御ブロックをソフトウェアで実現する場合、ディープラーニング等のAIアルゴリズムを用いてもよい。
【0207】
〔付記事項〕
本明細書に記載の発明の一部は以下の付記のようにも記載されうるが、以下には限られない。
【0208】
(付記1)
サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備え、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを特徴とする車載情報処理装置。
【0209】
上記の構成によれば、車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することができる。
【0210】
(付記2)
前記第1のデータには、前記格納部の空き容量に関する情報が含まれている
ことを特徴とする付記1に記載の車載情報処理装置。
【0211】
上記の構成によれば、前記格納部の空き容量を前記サーバが好適に認識することができる。また、前記格納部の空き容量を認識した前記サーバからの撮像データ削除指示に基づき前記車両において撮像データを前記格納部から好適に削除することができる。
【0212】
(付記3)
前記制御部は、
前記格納部の空き容量が所定の値以下となった場合に、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断する契機となる通知情報を、前記サーバに対して送信する
ことを特徴とする付記1又は2に記載の車載情報処理装置。
【0213】
上記の構成によれば、車両からの通知情報を契機として、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0214】
(付記4)
前記制御部は、
前記撮像データを解析し、解析結果の少なくとも一部を前記第1のデータに含める
ことを特徴とする付記1から3の何れか1項に記載の車載情報処理装置。
【0215】
上記の構成によれば、前記撮像データの解析結果の少なくとも一部を前記第1のデータに含めるので、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を好適に判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0216】
(付記5)
前記制御部は、
前記撮像データに対してオブジェクト検出処理を適用し、
検出された1又は複数のオブジェクトを示す情報、及び
各オブジェクトに関する前記検出処理の信頼度を示す情報
を前記第1のデータに含めることを特徴とする付記4に記載の車載情報処理装置。
【0217】
上記の構成によれば、前記撮像データに対してオブジェクト検出処理を適用し、検出された1又は複数のオブジェクトを示す情報、及び各オブジェクトに関する前記検出処理の信頼度を示す情報を前記第1のデータに含めるので、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を好適に判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0218】
(付記6)
前記制御部は、
当該車載情報処理装置が搭載された車両の位置情報を前記第1のデータに含めることを特徴とする付記1から5の何れか1項に記載の車載情報処理装置。
【0219】
上記の構成によれば、当該車載情報処理装置が搭載された車両の位置情報を前記第1のデータに含めるので、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を好適に判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0220】
(付記7)
前記サーバと前記通信部との間で行われる通信は、移動体通信である、付記1から6の何れか1項に記載の車載情報処理装置。
【0221】
上記の構成によれば、ネットワークNとして移動体通信ネットワークを用いることにより、当該ネットワークがカバーするエリアが広大なため、車両が走行可能な任意の場所からの通信が可能になるという効果を奏する。また、移動体通信ネットワークは、十分に普及している通信手段であるため、新たに大がかりが設備投資を行う必要がないという効果も奏する。
【0222】
(付記8)
サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部と、
車載カメラによる撮像データを格納する格納部と、
前記通信部及び前記格納部の双方に接続された制御部とを備え、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを特徴とする車載情報処理装置。
【0223】
上記の構成によれば、車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することができる。また、上記の構成によればサーバとの通信機能を有さない車両に対して、新たに通信ハードウェアの設置作業等を必要とすることなく、車両とサーバとの通信を実現することができるという効果を奏する。
【0224】
(付記9)
前記第1の通信は、移動体通信である、付記8に記載の車載情報処理装置。
【0225】
(付記10)
前記第2の通信は、近距離無線通信又は有線通信である、付記8に記載の車載情報処理装置。
【0226】
上記の構成によれば、サーバとの通信機能を有さない車両に対して、新たに通信ハードウェアの設置作業等を必要とすることなく、近距離無線通信機能または有線通信機能を有する汎用的な通信装置を準備するだけで手軽に車両とサーバとの通信を実現することができる。
【0227】
(付記11)
検索用情報を取得する検索用情報取得部と、
前記検索用情報と前記第1のデータとを参照することによって前記撮像データ中のシーンの検索を行う検索部と、
前記検索部が検索したシーンを提示する提示部を
を備えている付記1から10の何れか1項に記載の車載情報処理装置。
【0228】
上記の構成によれば、撮像から一定時間が経過した後であっても、搭乗者が撮像データを確認することが可能になるという効果を奏する。
【0229】
(付記12)
付記1から11の何れか1項に記載の車載情報処理装置と、
前記通信部と、
前記格納部と
を備えていることを特徴とする車両。
【0230】
上記のように構成された車両は、上述した車載情報処理装置と同様の効果を奏する。
【0231】
(付記13)
車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備え、
前記制御部は、
前記車両から第1のデータを受信し、
前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、
前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、
前記第2のデータを参照した解析処理を実行し、
前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する
ことを特徴とする情報処理装置。
【0232】
上記の構成によれば、車両に大容量メモリを搭載する必要性を回避しつつ、かつ、ネットワーク負荷の増大を抑制しつつ、サーバが車両から所望の画像データを確実に入手することができる。
【0233】
(付記14)
前記制御部は、
前記第1のデータを参照して、前記撮像データ削除指示を送信するか否かを判断し、送信すると判断した場合に、前記撮像データ削除指示を前記車両に送信する
ことを特徴とする請求項13に記載の情報処理装置。
【0234】
上記の構成によれば、前記第1のデータを参照して、前記撮像データ削除指示を送信するか否かを判断するので、前記撮像データ削除指示を前記車両に好適に送信することができる。また、前記車両において撮像データを前記格納部から好適に削除することができる。
【0235】
(付記15)
前記制御部は、
前記車両から取得可能な前記第2のデータに関する前記解析処理が全て終了している場合に、前記撮像データ削除指示を送信すると判断する
ことを特徴とする付記14に記載の情報処理装置。
【0236】
上記の構成によれば、前記車両から取得可能な前記第2のデータに関する前記解析処理が全て終了している場合に、前記撮像データ削除指示を送信すると判断するので、前記撮像データ削除指示を好適に送信することができる。このため、前記車両において撮像データを前記格納部から好適に削除することができる。
【0237】
(付記16)
前記第1のデータには、前記車両の前記格納部の空き容量に関する情報が含まれていることを特徴とする付記14に記載の情報処理装置。
【0238】
上記の構成によれば、前記第1のデータには、前記車両の前記格納部の空き容量に関する情報が含まれているので、前記格納部の空き容量を前記サーバが好適に認識することができる。また、前記格納部の空き容量を認識した前記サーバからの撮像データ削除指示に基づき前記車両において撮像データを前記格納部から好適に削除することができる。
【0239】
(付記17)
前記制御部は、
前記車両とは異なる他の1又は複数の車両の各々が備える格納部であって、当該他の1又は複数の車両の各々が備える車載カメラによる撮像データを格納する格納部の空き容量に関する情報を更に受信し、
前記車両の前記格納部の空き容量に関する情報と、前記他の1又は複数の車両の各々の格納部の空き容量に関する情報とを参照して、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する
ことを特徴とする付記16に記載の情報処理装置。
【0240】
上記の構成によれば、前記撮像データ削除指示を送信するか否かを好適に判定することができる。したがって、撮像データ削除指示に基づき、前記車両において撮像データを前記格納部から好適に削除することができる。
【0241】
(付記18)
前記制御部は、
前記車両の前記格納部の空き容量が、前記他の1又は複数の車両の各々の格納部の空き容量よりも小さい場合に、前記車両に対して前記撮像データ削除指示を送信すると判断する
ことを特徴とする付記17に記載の情報処理装置。
【0242】
上記の構成によれば、前記撮像データ削除指示を送信するか否かを好適に判定することができる。したがって、撮像データ削除指示に基づき、前記車両において撮像データを前記格納部から好適に削除することができる。
【0243】
(付記19)
前記制御部は、
前記車両の前記格納部の空き容量が、前記他の1又は複数の車両の各々の格納部の空き容量よりも小さい場合であって、かつ、前記他の1又は複数の車両から、前記第2のデータと同様のデータを取得している場合に、前記車両に対して前記撮像データ削除指示を送信すると判断する
ことを特徴とする付記18に記載の情報処理装置。
【0244】
上記の構成によれば、前記撮像データ削除指示を送信するか否かを好適に判定することができる。したがって、撮像データ削除指示に基づき、前記車両において撮像データを前記格納部から好適に削除することができる。
【0245】
(付記20)
前記制御部は、
前記車両の前記格納部の空き容量が所定の値以下となったことを契機として送信された通知情報を取得し、
前記通知情報の取得を契機として、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断し、判断結果に応じた指示を前記車両に送信する
ことを特徴とする付記13から19の何れか1項に記載の情報処理装置。
【0246】
上記の構成によれば、車両からの通知情報を契機として、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0247】
(付記21)
前記制御部は、
前記通知情報の取得を契機として、前記第1のデータを含むデータを参照した処理を行い、当該処理の結果に応じて、
前記車両に対して、前記撮像データ削除指示を送信するか、又は、
前記車両に対して、前記撮像データ提供指示を送信するか
を判断する
ことを特徴とする付記20に記載の情報処理装置。
【0248】
上記の構成によれば、車両からの通知情報を契機として、前記サーバが、前記撮像データ提供指示又は前記撮像データ削除指示の送信要否を判断することができる。したがって、上記の構成によれば、前記車両において撮像データを前記格納部から好適に削除することができる。
【0249】
(付記22)
付記1から10に記載の車載情報処理装置から、前記第1のデータと、前記撮像データの少なくとも一部とを取得するデータ取得部と、
検索用情報を取得する検索用情報取得部と、
前記検索用情報と前記第1のデータとを参照することによって前記撮像データ中のシーンの検索を行う検索部と、
前記検索部が検索したシーンを提示する提示部を
を備えている情報処理装置。
【0250】
上記の構成によれば、撮像から一定時間が経過した後であっても、搭乗者が撮像データを確認することが可能になるという効果を奏する。また、搭乗者が車両を離れた後であっても撮像データを確認することが可能になるという効果を奏する。
【0251】
(付記23)
サーバとの間で通信を行う通信部、及び車載カメラによる撮像データを格納する格納部の双方に接続された制御部を備えた車載情報処理装置による情報処理方法であって、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを含む情報処理方法。
【0252】
上記の方法によれば、上記車載情報処理装置と同様の効果を奏する。
【0253】
(付記24)
サーバとの間で第1の通信を行う携帯型通信装置との間で第2の通信を行う通信部、車載カメラによる撮像データを格納する格納部、及び前記通信部及び前記格納部の双方に接続された制御部とを備えた車載情報処理装置による情報処理方法であって、
前記制御部は、
第1のデータを前記サーバに送信し、
前記第1のデータを参照した前記サーバから撮像データ提供指示を受信した場合に、前記格納部に格納された撮像データのうち当該撮像データ提供指示に対応する撮像データを含む第2のデータをサーバに送信し、
前記サーバから撮像データ削除指示を受信した場合に、当該撮像データ削除指示に対応する撮像データを前記格納部から削除する
ことを含む情報処理方法。
【0254】
上記の方法によれば、付記8と同様の効果を奏する。
【0255】
(付記25)
車載カメラによる撮像データを格納する格納部を備える車両との間で通信を行う通信部に接続された制御部を備えた情報処理装置による情報処理方法であって、
前記制御部は、
前記車両から第1のデータを受信し、
前記第1のデータを参照したうえで、前記車両の前記格納部に格納された撮像データの少なくとも一部の提供を指示する撮像データ提供指示を前記車両に送信し、
前記撮像データ提供指示への応答として、前記撮像データの前記少なくとも一部を含む第2のデータを前記車両から受信し、
前記第2のデータを参照した解析処理を実行し、
前記格納部に格納された撮像データの少なくとも一部の撮像データの削除を指示する撮像データ削除指示を前記車両に送信する
ことを特徴とする情報処理方法。
【0256】
上記の方法によれば、上記情報処理装置と同様の効果を奏する。
【0257】
(付記26)
付記1または8に記載の車載情報処理装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
【0258】
(付記27)
付記13に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、前記制御部としてコンピュータを機能させるためのプログラム。
【0259】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0260】
10、10a、10b 車両
100 車載情報処理装置
11 制御部
111 画像解析部
112 データ生成部
113 送受信制御部
12 撮像部
13 通信部
14 格納部
15 位置情報取得部
20 サーバ
21 制御部
211 画像解析部
212 指示生成部
213 送受信制御部
23 通信部
24 記憶部