特許 7540497 情報処理装置、画像送信システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】情報処理装置、画像送信システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240820BHJP

   G08G 1/095 20060101ALI20240820BHJP

【ＦＩ】

G08G1/16 A

G08G1/095 F

【請求項の数】 9

(21)【出願番号】P 2022553415

(86)(22)【出願日】2020-10-02

(86)【国際出願番号】 JP2020037651

(87)【国際公開番号】W WO2022070426

(87)【国際公開日】2022-04-07

【審査請求日】2023-03-29

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】逸身 勇人

(72)【発明者】

【氏名】篠原 悠介

(72)【発明者】

【氏名】二瓶 浩一

(72)【発明者】

【氏名】岩井 孝法

(72)【発明者】

【氏名】バイエ フロリアン

(72)【発明者】

【氏名】ヴィタル チャルヴィ

【審査官】田中 将一

(56)【参考文献】

【文献】特開２０１８－０４１３８９（ＪＰ，Ａ）

【文献】特開２０２０－００４３６６（ＪＰ，Ａ）

【文献】特開２０１１－１２１３９８（ＪＰ，Ａ）

【文献】特開２０１０－０４４５６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

車両に搭載された撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する隣接領域特定部と、
前記走行領域、前記隣接領域、及びその他の道路上の領域と重複する１つ以上の検出対象領域を、他の領域よりも高画質化する領域を決定し、
複数の対象を検出した場合に、前記走行領域、前記隣接領域、その他の道路上の領域、及び検出された対象の種別に関連付けられた優先度であって、前記車両の運転に影響を及ぼすかに応じて定められた優先度に基づいて、複数の対象領域のうち、対象領域の個数又は対象領域の画像全体に占める面積の割合に対する閾値を下回るように、前記１つ以上の対象の領域を選択する決定部と、
を備える、情報処理装置。

【請求項2】

決定された前記領域に基づいて、前記取得された画像に画像処理を行う画像処理部と、
画像処理された前記画像を遠隔監視制御装置に送信する通信部と、を更に備える、請求項１に記載の情報処理装置。

【請求項3】

前記対象の種別、前記走行領域、及び前記隣接領域に関連付けられた前記優先度は、前記車両が走行する地域ごとに異なるように定められている、請求項１又は２に記載の情報処理装置。

【請求項4】

前記走行領域特定部は、走行レーンを検出し、
前記隣接領域特定部は、走行レーンに隣接する隣接レーンを検出する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記決定部は、前記通信部における可用帯域に基づいて決定される走行可能なデータ総量を下回るように、前記優先度に基づいて決定する、請求項２に記載の情報処理装置。

【請求項6】

前記１つ以上の対象と前記車両との距離を取得する距離取得部と、
前記取得された距離の単位時間あたり距離変化量を算出する距離変化量算出部と、を更に備え、
前記決定部は、前記優先度と前記距離変化量に基づいて、前記１つ以上の対象領域のうち、他の領域よりも高画質化する画像処理領域を決定する、請求項１～５のいずれか一項に記載の情報処理装置。

【請求項7】

車両に搭載された撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する隣接領域特定部と、
前記走行領域、前記隣接領域、及びその他の道路上の領域と重複する１つ以上の検出対象領域を、他の領域よりも高画質化する領域を決定し、
複数の対象を検出した場合に、前記走行領域、前記隣接領域、その他の道路上の領域、及び検出された対象の種別に関連付けられた優先度であって、前記車両の運転に影響を及ぼすかに応じて定められた優先度に基づいて、複数の対象領域のうち、対象領域の個数又は対象領域の画像全体に占める面積の割合に対する閾値を下回るように、前記１つ以上の対象の領域を選択する決定部と、
を備える、画像送信システム。

【請求項8】

コンピュータにより実行される情報処理方法であって、
車両に搭載された撮像部により撮影された画像を取得し、
取得された前記画像内の１つ以上の対象を検出し、
取得された前記画像内の領域で前記車両が走行する走行領域を特定し、
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定し、
前記走行領域、前記隣接領域、及びその他の道路上の領域と重複する１つ以上の検出対象領域を、他の領域よりも高画質化する領域を決定し、
複数の対象を検出した場合に、前記走行領域、前記隣接領域、その他の道路上の領域、及び検出された対象の種別に関連付けられた優先度であって、前記車両の運転に影響を及ぼすかに応じて定められた優先度に基づいて、複数の対象領域のうち、対象領域の個数又は対象領域の画像全体に占める面積の割合に対する閾値を下回るように、前記１つ以上の対象の領域を選択する、情報処理方法。

【請求項9】

車両に搭載された撮像部により撮影された画像を取得し、
取得された前記画像内の１つ以上の対象を検出し、
取得された前記画像内の領域で前記車両が走行する走行領域を特定し、
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定し、
前記走行領域、前記隣接領域、及びその他の道路上の領域と重複する１つ以上の検出対象領域を、他の領域よりも高画質化する領域を決定し、
複数の対象を検出した場合に、前記走行領域、前記隣接領域、その他の道路上の領域、及び検出された対象の種別に関連付けられた優先度であって、前記車両の運転に影響を及ぼすかに応じて定められた優先度に基づいて、複数の対象領域のうち、対象領域の個数又は対象領域の画像全体に占める面積の割合に対する閾値を下回るように、前記１つ以上の対象の領域を選択することをコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、画像送信システム、及び情報処理方法に関する。

【背景技術】

【0002】

携帯電話網経由での車両遠隔監視・制御では可用帯域が変動することから帯域不足による映像品質悪化が懸念されている。そこで、運転上重要なカメラ映像・領域のみを高画質化して送信することにより必要な情報を提供する方法が期待される。

【0003】

例えば、特許文献１には、前記画像データのうち、前記車両の運転者の視線方向を基準とする第１の所定範囲を前記周辺状況監視画像データとして特定する車両走行記録装置が開示されている。また、特許文献２には、画像の転送量を削減すべく、撮像画像の撮像を行う撮像部と、前記撮像画像の全体又は一部の領域である複数の転送領域内の領域画像を、前記転送領域毎に設定されているフレームレートで送信する送信制御を行う送信制御部とを備える撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－１０６９２１号

【文献】国際公開第２０１９／０７７９９９号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１のように、車両の運転者の視線方向を基準とする第１の所定範囲を用いても、十分な精度で、車両の走行にとって重要な領域を特定することができない場合がある。また、特許文献２でも画像内の検出物体数が多くなると、車両の走行にとって重要な領域を特定できない場合がある。

【0006】

本発明は、このような問題点を解決するためになされたものであり、車両の走行に影響を与え得る画像内の対象を特定することができる情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の第１の態様にかかる情報処理装置は、
車両に搭載された撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部と、
を備える。

【0008】

本開示の第２の態様にかかる画像送信システムは、
前記撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部と、
を備える。

【0009】

本開示の第３の態様にかかる情報処理方法は、
車両に搭載された撮像部により撮影された画像を取得し、
前記取得された画像内の１つ以上の対象を検出し、
前記取得された画像内の領域で前記車両が走行する走行領域を特定し、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する。

【発明の効果】

【0010】

本開示により、車両の走行に影響を与え得る画像内の対象を特定することができる情報処理装置等を提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１にかかる情報処理装置の構成を示すブロック図である。

【図2】実施の形態１にかかる情報処理方法を示すフローチャートである。

【図3】実施の形態２にかかる情報処理装置の構成を示すブロック図である。

【図4】実施の形態２にかかる情報処理方法を示すフローチャートである。

【図5】遠隔監視運転システムの概要を説明する概略図である。

【図6】車両の車載カメラで撮影された画像の一例を示す図である。

【図7】高画質化すべきＲＯＩの選択例を示す図である。

【図8】実施の形態３にかかるルールベース手法の例を説明する図である。

【図9】実施の形態３にかかる情報処理装置の構成を示すブロック図である。

【図10】片側４車線の高速道路におけるレーン検出の例を説明する図である。

【図11】レーン領域およびその他の道路上の領域、および検出された対象の種別に関連付けられた優先度の一例を示すテーブルである。

【図12】実施の形態３にかかる情報処理方法のフローチャートである。

【図13】実施の形態４にかかる情報処理装置の構成を示すブロック図である。

【図14】車両と対象と距離を管理するテーブルの一例を示す。

【図15】時間ごとの車両と対象との距離を示すグラフである。

【図16】実施の形態４にかかる対象追跡および距離推定を説明するフローチャートである。

【図17】その他の変形例を説明する概略図である。

【図18】その他の変形例を説明する概略図である。

【図19】その他の変形例を説明する概略図である。

【図20】図１８の変形例にかかる情報処理装置の構成を示すブロック図である。

【図21】他の実施の形態にかかる情報処理システム（又は画像送信システム）の構成を示すブロック図である。

【図22】いくつかの実施形態における情報処理装置等のハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明を適用した具体的な実施形態について、図面を参照しながら詳細に説明する。ただし、本発明が以下の実施形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、簡略化されている。

【0013】

実施の形態１
図１は、実施の形態１にかかる情報処理装置の構成を示すブロック図である。
情報処理装置１００は、プロセッサとメモリを含むコンピュータにより構成される。情報処理装置１００は、車両の走行に重要な画像内の領域を特定し、特定された領域と、それ以外の領域に対して異なる画像処理を行うために使用される。情報処理装置１００は、車両に搭載された撮像部により撮影された画像を取得する取得部１１と、前記取得された画像内の１つ以上の対象を検出する対象検出部１２と、前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部１３と、走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部１５と、を備える。

【0014】

取得部１１は、ネットワークを介して、撮像部（例えば、車載カメラ）に接続されている。撮像部は、例えばデジタルスチルカメラやデジタルビデオカメラなどＣＣＤやＣＭＯＳセンサ等の撮像素子を備えたカメラであり、映像を撮影して電気信号として出力する。

【0015】

対象検出部１２は、例えば、車両の運転に影響を与え得る対象を予め設定することで、画像内の１つ以上の対象を検出する。対象は、移動する対象であっても、静止している対象であってもよい。

【0016】

走行領域特定部１３は、画像内の領域であって、車両が走行することとなる走行領域を特定する。走行領域特定部１３は、走行レーン、ガードポール等の車線分離標を検出することにより、走行領域を特定してもよい。

【0017】

あるいは、走行領域特定部１３は、車幅とステアリング（移動方向）、車両速度などを考慮して、仮想的な走行領域を特定してもよい。仮想的な走行領域は、車両が停車している場合であっても、車両が走行した場合を想定して、特定することができる。例えば、車幅に所定のマージンを付与して、画像内の道路に車両の進行方向に沿って２本の仮想線を描くことで、走行領域を特定することができる。

【0018】

決定部１５は、特定された走行領域に基づいて、検出された１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する。

【0019】

図２は、実施の形態１にかかる情報処理方法を示すフローチャートである。
車両に搭載された撮像部により撮影された画像を取得する（ステップＳ１１）。取得された画像内の１つ以上の対象を検出する（ステップＳ１２）。取得された画像内の領域で前記車両が走行する走行領域を特定する（ステップＳ１３）。記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する（ステップＳ１５）。

【0020】

以上説明した実施の形態１にかかる情報処理装置によれば、車両の走行に影響を与え得る画像内の対象を特定することができる。

【0021】

実施の形態２
図３は、実施の形態２にかかる情報処理装置の構成を示すブロック図である。
情報処理装置１００は、車両に搭載された撮像部により撮影された画像を取得する取得部１１と、前記取得された画像内の１つ以上の対象を検出する対象検出部１２と、前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部１３と、前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する隣接領域特定部１４と、走行領域および隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部１５と、を備える。

【0022】

隣接領域特定部１４は、特定された走行領域に隣接する隣接レーン、路側帯又は歩道を検出することで、隣接領域を特定してもよい。あるいは、隣接領域特定部１４は、特定された走行領域に隣接する所定の隣接領域（例えば、３．０～３．５ｍの道路の幅に相当する領域）を設定し、隣接領域を定めてもよい。また、走行レーンの幅に対して、所定の割合のマージンを、隣接領域として定めてもよい。隣接領域は、走行領域の一方の側だけに設定してもよいし、走行領域の両側に設定してもよい。隣接領域を走行領域の両側に設定する場合、一方の隣接領域の幅と、他方の隣接領域の幅は異なってもよい。

【0023】

決定部１５は、例えば、走行領域および隣接領域を含む領域と重複する１つ以上の対象の領域を、画像処理を行う画像処理領域として決定することができる。決定部１５は、このように重複する対象の領域を、画像内の他の領域に比べて、高画質化すべき領域に決定することができる。

【0024】

図４は、実施の形態２にかかる情報処理方法を示すフローチャートである。
車両に搭載された撮像部により撮影された画像を取得する（ステップＳ１１）。前記取得された画像内の１つ以上の対象を検出する（ステップＳ１２）。前記取得された画像内の領域で前記車両が走行する走行領域を特定する（ステップＳ１３）。前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する（ステップＳ１４）。走行領域および隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する（ステップＳ１５）。

【0025】

以上説明した実施の形態２にかかる情報処理装置によれば、車両の走行に影響を与え得る画像内の対象を特定し、所定の画像処理を行う領域を決定することができる。

【0026】

実施の形態３
図５は、遠隔監視運転システムの概要を説明する概略図である。
遠隔監視運転システムは、遠隔監視センタから、運転手を必要としない車両５を遠隔操作する。無人運転車両５を遠隔操作する方式としては、車両５に搭載された複数台の車載カメラ１０Ａ～１０Ｄで撮影された映像を、無線通信ネットワークおよびインターネットを介して遠隔監視制御装置８００に送信する。車両に搭載される情報処理装置１００は、車載カメラからの映像に所定の画像処理を行い、ネットワークを介して、画像処理後の映像を、遠隔監視制御装置８００に送信するのに使用される。遠隔監視制御装置８００は受信した映像をモニター等の表示部に表示し、遠隔運転者３は受信した映像をモニター上で見ながら車両５を遠隔操作する。遠隔監視制御装置８００は、受信した映像の他に、遠隔運転者３が車両５を遠隔操作するための情報を表示してもよい。例えば、遠隔監視制御装置８００は、遠隔運転者３に対して、受信した映像と、分析した結果を表示しても良い。車両５に搭載された遠隔運転制御装置は、携帯電話網を使用した通信方式（例えば、ＬＴＥ、５Ｇ）を利用して地上監視遠隔制御装置８００と双方向通信を行う。なお、遠隔監視運転システムは、遠隔監視下にある車両が走行中に、車両の危険を察知した際に、遠隔制御や自動制御に切り替えるものであってもよい。すなわち、人が運転している車両を一時的にこうした制御に切り替えるものであってもよく、車両に運転手がいてもよい。

【0027】

車載カメラ１０Ａは車両の前方を撮影し、車載カメラ１０Ｂは車両の後方を撮影し、車載カメラ１０Ｃは車両の右方を撮影し、車載カメラ１０Ｄは車両の左方を撮影する。なお車載カメラの数は、これに限定されず、５個以上であってもよい。また、各カメラの性能は、基本的には同一であるが、若干異なっていてもよい。なお、タクシーなどの通常の運転手は、第二種免許が要求され、それには、視力０．８以上の人が見える範囲の対象物（物体とも呼ばれる）を認識できることが要求されている。そのため、遠隔運転者に提供される映像も、視力０．８以上の人が見える範囲の対象物を認識できる（例えば一般道の道路標識の場合は、運転手が１０．６６ｍの距離離れて標識を認識できる）ものであってもよい。遠隔運転者は、対象物だけでなく、対象物の周辺情報も視認する必要があり、こうした周辺情報も比較的高品質な映像として、遠隔運転者に送信されることができる。

【0028】

携帯電話網経由での車両遠隔監視・制御では可用帯域が変動することから帯域不足による映像品質悪化が懸念されている。そのため、帯域低下時に、撮影画像のうち重要な領域のみ高品質で送り、それ以外の領域を低画質で遠隔監視センタに送ることで、遠隔監視センタでの映像分析の精度を維持することができる。このように、帯域低下時のQoE（Quality of Experience）を維持することが可能になる。

【0029】

図６は、車両の車載カメラで撮影された画像の一例を示す図である。
図６は、図５で示した車載カメラ１０Ａにより車両の前方を撮影した画像の一例を示す。検出された物体は、バウンディングボックスで囲われる（この領域はＲＯＩ（Region of Interest）とも呼ばれる）。ここでは、ＲＯＩとして、車両の運転に影響を与え得るもの、すなわち、他の車両、歩行者、自転車、信号機、交通標識などが検出される。例えば、図６では、道路の両側の路側帯に駐車された多数の車両が検出されている。このように、撮影画像内で検出される物体の数が多くなると、高画質化すべき領域が大きくなり、結果として使用帯域が増加する。そのため、どのＲＯＩを高画質化するかの判断が困難となる。また、前述したように、可用帯域は変動しうるので、低帯域の時に、遠隔監視センタに送られる映像は粗くなり、遠隔運転者の監視に支障をきたす場合がある。

【0030】

そこで、本開示では、運転に影響する対象を選択してその領域を高画質化することで、使用帯域を抑制し、低帯域の時においても、監視のＱｏＥを維持することを目的とする。図７は、高画質化すべきＲＯＩの選択例を示す。例えば、走行レーンにおいて、先行する車両のＲＯＩ１は、高画質すべき領域であると考えられる。車両が走行する走行レーンとは反対の対向車線上の路上駐車は、当該車両の運転に影響を及ぼさないと考えられる。また、走行レーンと同じ車線上の路側帯上の路上駐車については、発進する可能性のある車両のＲＯＩ２のみを高画質化すべき領域と考えられる。さらに、歩道は、走行レーンとは、隣接レーンおよび路側帯を隔てて、十分に離れているので、歩道上の歩行者は、当該車両の走行に影響を及ぼさないと考えられる。このように、車両の運転に影響を及ぼすか否かを分類するための、予め設定された規則の集合をルールベースという。

【0031】

図８は、本開示の実施の形態３にかかるルールベース手法の例を説明する図である。
まず、車載カメラから撮影された画像から、複数のレーンを検出する。レーン検出は、既知の方法（例えば、非特許文献Zequn Qin著、Ultra Fast Structure-aware Deep Lane Detection参照）を採用することができる。図８では、車載カメラが前方を撮影した画像のうち、画面下部中央の２つのレーンに囲われた領域ＤＲを走行レーンとして扱う。また、走行レーンと、走行レーンに隣接するレーンとの間の領域を隣接レーンＡＲ（第１の左隣レーン又は第１の右隣レーン、又は単に、左隣レーン又は右隣レーンとも呼ばれる）として扱う。更に、第１の左隣レーンと、第１の左隣レーンに隣接するレーンとの間の領域を第２の左隣レーンとして扱う。同様に、第１の右隣レーンと、第１の右隣レーンに隣接するレーンとの間の領域を第２の右隣レーンとして扱う。

【0032】

図８の例では、車両が走行している走行レーンを検出し、さらに、隣接レーンとして、走行レーンと隣接する右隣レーン（路側帯を含む）を検出する。一方、車両の走行に影響を及ぼす可能性のある１つ以上の対象も検出される。この検出されたレーン領域と重複する、１つ以上の対象を、高画質化すべき領域であると決定することができる。なお、対象は、レーン領域と完全に重複する必要はなく、部分的に重複してもよい。

【0033】

また、多数の対象が検出された場合は、走行レーンに付与された優先度、隣接レーンに付与された優先度、およびその他の領域に付与された優先度に基づいて、多数の対象から、高画質化すべき領域を選択することができる。例えば、ＲＯＩの上限個数（例えば、８個）を設定し、優先度に応じて、多数の対象から、高画質化すべき領域を選択してもよい。また、画像フレーム全体のうちの上限面積（例えば、画像フレーム全体の３０％以内）を設定し、優先度に応じて、多数のＲＯＩから、高画質化すべき領域を選択してもよい。領域の面積が小さく、優先度が高い（すなわち、優先度／ＲＯＩ面積）順に、高画質化すべき領域が、画像フレーム全体の３０％以内に収まるように設定することもできる。なお、これらの高画質すべきＲＯＩの上限個数や上限面積は、使用帯域に応じて、変更され得る。例えば、使用帯域が大きくなる場合は、上限個数を増加させたり、上限面積を拡張したりすることができる。

【0034】

図９は、情報処理装置の構成を示すブロック図である。
情報処理装置１００は、プロセッサおよび記憶部を有するコンピュータにより構成される。情報処理装置１００は、例えば、車両に搭載され、１つ以上の対象を検出するとともに、１つ以上の対象から当該車両の運転に影響する対象を決定し、決定された対象領域のみを他の領域より高画質化して、遠隔監視センタに送信するために使用され得る。情報処理装置１００は、画像取得部１１０、対象検出部１２０、レーン検出部１３０、決定部１４０、画像処理部（エンコーダ）１５０、および通信部１６０を備える。本実施の形態にかかる情報処理装置１００は、画像処理装置とも呼ばれる。

【0035】

画像取得部１１０は、車載カメラ１０Ａ（図３）などにより撮影された映像を所定のフレームレートで画像フレームとして順次取得する。なお、本例では、車載カメラ１０Ａにより撮影された画像フレームを例に説明するが、本開示はこれに限定されない。例えば、本開示にかかる情報処理装置は、車両の後方を撮影する車載カメラ１０Ｂにより撮影された画像フレームにも適用することができる。

【0036】

対象検出部１２０は、画像取得部１１０からの画像内において、対象を検出する。検出する対象は、任意に予め設定することができる。ここでは、車両の運転に影響を及ぼすおそれのある対象（例えば、人、車両、オートバイ、自転車、トラック、バスなど）を設定する。対象検出部１２０は、既知の画像認識技術を用いて、対象の種別（例えば、人、車両、自転車、バイクなど）を識別することもできる。

【0037】

レーン検出部１３０は、画像取得部１１０からのフレームにおいて、レーン等を検出する。具体的には、車両が走行する走行レーン、走行レーンに隣接する隣接レーン（右隣レーンおよび左隣レーン）、およびこれらの周辺にあるその他の道路上の領域および物体を検出する。その他の道路上の領域としては、例えば、路側帯、歩道、自転車道、中央分離帯などが挙げられる。その他の道路上の物体としては、壁、フェンス、ガードレールなどが挙げられる。

【0038】

図１０は、片側４車線の高速道路におけるレーン検出の例を説明する図である。
車両の左側から第２レーンを走行している。レーン検出部１３０は、画像内の車線を検出し、２つの車線で挟まれた領域を走行レーンＤＲと認識する。さらに、レーン検出部１３０は、走行レーンと隣接する車線で挟まれた領域を、左隣レーン（左隣接領域ＬＡＲ）および右隣レーン（右隣接領域ＲＡＲ）と認識する。

【0039】

レーン検出部１３０は、例えば、道路の中央にフェンスや中央分離帯を検出した場合、対向車が当該車両に影響を及ぼすことはほとんどないので、図１０で示すように、対向車線の隣接レーンをレーン領域から除外してもよい。図１０の例では、走行レーン、左隣レーンおよび右隣レーンと重複する１つ以上の対象物を、他の領域よりも高画質化すべき領域であるとみなすことができる。

【0040】

一方、レーン検出部１３０は、例えば、道路の中央にフェンスや中央分離帯を検出しない場合、対向車が当該車両に影響を及ぼすことがあると判断してもよい。例えば、車両が対向車線と隣接する左側から第１のレーンを走行していた場合、対向車線の隣接レーンをレーン領域に含めてもよい。

【0041】

レーン検出部１３０は、車両が走行する走行レーンが歩道に隣接する場合、歩道から人が走行レーンに飛び出してくる恐れがあるので、歩道を隣接領域として検出してもよい。

【0042】

決定部１４０は、検出された走行レーンおよび隣接レーンを含むレーン領域およびその他の道路上の領域と、検出された１つ以上の対象に基づいて、他の領域より高画質化すべき領域を決定する。言い換えると、決定部１４０は、１つ以上の対象を含む画像を、画像内の高画質化すべき領域と、低画質化すべき領域に区分するように決定する。決定部１４０は、当該レーン領域およびその他の道路上の領域と重複する１つ以上の検出対象領域を、高画質化すべき領域であると決定することもできる。

【0043】

高画質化処理は、例えば、コントラスト増加処理、高解像度化処理、階調数増加処理、色数増加処理、又はダイナミックレンジ増加処理、圧縮率の低減処理を含んでよい。低画質化処理は、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよい。高画質化処理も、コントラスト低減処理、低解像度化処理、階調数削減処理、色数削減処理、又はダイナミックレンジ削減処理を含んでもよいが、低画質化処理よりも高画質になるような各種画像処理である。なお、決定部１４０が高画質化すべき領域と、低画質化すべき領域に区分すると記載したが、低画質化すべき領域よりも高画質化すべき領域の画質が高画質であればよく、必ずしも低画質化する処理を行わなくともよい。

【0044】

決定部１４０は、多数の対象が検出された場合は、当該レーン領域およびその他の道路上の領域、および検出された対象の種別に関連付けられた優先度に基づいて、高解像度とすべき領域を決定することもできる。この際、貪欲法を用いてもよい。詳細は図１１を用いて後述する。

【0045】

画像処理部（エンコーダ）１５０は、決定部１４０で決定された領域を、それ以外のフレーム内の領域に比べて、高画質になるようにエンコードする。例えば、画像処理部（エンコーダ）１５０は、高画質化すべき領域を第１の圧縮率で符号化し、低画質化すべき領域を、第１の圧縮率よりも高い第２の圧縮率で符号化することができる。また、低画質化すべき領域は、色を削減し、例えば、ＲＧＢのカラー画像からグレースケール画像に変換してもよい。画像処理部（エンコーダ）１５０は、様々な画像処理を行うことができる（画像処理部とも呼ばれる）。

【0046】

通信部１６０は、ネットワークとの通信インタフェースである。通信部１６０は、情報処理システムを構成する他のネットワークノード装置（例えば、遠隔監視センタ側の情報処理装置）と通信するために使用される。通信部１６０は、無線通信を行うために使用されてもよい。例えば、通信部１６０は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）、４Ｇ、５Ｇ等において規定されたモバイル通信を行うために使用されてもよい。また、通信部１６０は、Bluetooth（登録商標）等を介してスマートフォンと通信可能に接続することもできる。通信部１６０は、カメラとネットワークを介して接続することができる。

【0047】

また、通信部１６０は、符号化された画像フレームのデータを、遠隔監視センタに送信する。通信部１６０は、ＬＴＥ、５Ｇなどのモバイルネットワークを介して、エンコードされた画像データを遠隔監視制御装置８００（図５）に送信する。

【0048】

図１１は、当該レーン領域およびその他の道路上の領域、および検出された対象の種別に関連付けられた優先度の一例を示すテーブルである。本例では、片側３車線の道路において、車両が中央レーンを走行している場合について説明する。本例では、中央レーンが走行レーンとなり、中央レーンに隣接する左隣レーンおよび右隣レーンが隣接領域となる。さらに、右隣レーンに隣接する歩道なども隣接領域とする。

【0049】

テーブルに示す数値が高いほど、優先度は高いものとする。例えば、人が左隣レーン、走行レーン及び右隣レーンにいたことが検出された場合（すなわち、人が道路を横断していることが検出された場合）、人の安全を守るために、優先度を最重要となるスコア（テーブルでは、「１００」）に設定してもよい。一方、歩道上の人が検出された場合は、道路上の人に付与される最重要となるスコア（図１１では、「１００」）より、低いスコア（図１１では、「４０」）が付与される。

【0050】

また、テーブルに示すように、左隣レーン、走行レーン、右隣レーンおよびその他の領域ごとに、異なる優先度を設定することもできる。例えば、自転車や車についても、走行レーンにおける優先度は、左隣レーン、右隣レーン、および歩道の優先度より高くなるように設定されている。さらに、対象の種別（図１１では、人、自転車、車）に応じて、異なる優先度を設定することもできる。これらの優先度を示すテーブルは、車両が走行する地域（例えば、市街地、高速道路）ごとに変わってもよい。このように、多数の対象領域のうち、高画質化すべき領域は、可用帯域に基づいて決定される送信可能なデータ総量を下回るように、優先度に基づいて決定される。

【0051】

図１２は、実施の形態３にかかる情報処理方法のフローチャートである。
情報処理装置は、車載カメラ等から、画像を取得する（ステップＳ１０１）。画像から、１つ以上の対象を検出する（ステップＳ１０２）。一方、画像から、車両が走行している走行レーンを検出する（ステップＳ１０４）。さらに、画像から、走行レーンに隣接する隣接レーン又は走行レーンに隣接する他の領域（歩道、路側帯など）を隣接領域として検出する（ステップＳ１０６）。なお、ここでは、低遅延化の観点からパラレル処理を示しているが、シーケンシャルな処理を行ってもよい。例えば、ステップＳ１０２を実施した後にステップＳ１０４、Ｓ１０６を実行しても良いし、Ｓ１０４、Ｓ１０６を実行したとにＳ１０２を実行しても良い。

【0052】

走行レーンおよび隣接領域を含む領域と重複する１つ以上の対象領域を取得する（ステップＳ１０８）。重複する対象領域（例えば、対象領域の個数又は対象領域の画像全体に占める面積の割合）が閾値よりも小さい場合は（ステップＳ１０９でＮＯ）、対象領域を、他の領域よりも高画質になるように画像データをエンコードして、遠隔監視センタに送信する（ステップＳ１１０）。

【0053】

重複する対象領域（例えば、対象領域の個数又は対象領域の画像全体に占める面積の割合）が閾値よりも大きい場合は（ステップＳ１０９でＹＥＳ）、優先度に基づいて、多数の対象領域のうち、当該閾値を下回るように、１つ以上の対象領域を選択する（ステップＳ１１２）。選択された１つ以上の対象領域を他の領域より高画質になるように画像データをエンコードして、遠隔監視センタに送信する（ステップＳ１１４）。

【0054】

以上説明した実施の形態３にかかる情報処理装置は、車両の運転に影響を及ぼす重要な領域を選択的に高画質にすることで、使用帯域を抑制しつつ、画像データを遠隔監視センタに送信することもできる。

【0055】

実施の形態４
図１３は、実施の形態４にかかる情報処理装置の構成を示すブロック図である。
本実施形態にかかる情報処理装置は、画像内の対象を検出するだけでなく、検出された対象を追跡し、車両と対象との距離を推定し、推定された距離に応じて、前述した優先度を決定する。例えば、車両の前方を走行している他の対象車両が急停車した場合、車両と対象車両との距離が急激に縮まる場合、この対象車両の優先度を高くし、高画質すべき領域であると判断することができる。具体的には、情報処理装置２００は、取得部１１０、対象検出部１２０、距離推定部２１０、対象追跡部２２０、対象距離取得部２３０、対象距離保存部２５０、決定部２４０、および画像処理部（エンコーダ）１５０を有する。

【0056】

対象検出部１２０は、画像内の１つ以上の対象を検出するとともに、対象ごとに対象ＩＤを付与し、管理する。距離推定部２１０は、画像内の検出された対象と車両との距離を推定する。例えば、画像内の対象の大きさから、距離を推定することができる。推定された距離は、対象ＩＤと、時刻とともに、対象距離保存部２５０に保存される。図１４は、車両と対象と距離を管理するテーブルの一例を示す。

【0057】

対象追跡部２２０は、画像内の検出された１つ以上の対象を追跡し、追跡している対象の対象ＩＤを取得する。すなわち、対象追跡部２２０は、車両が移動しているか、又は対象が移動している場合であっても、画像内の対象を追跡することができる。対象距離取得部２３０は、検出された対象の対象ＩＤから、過去の対象距離と、現在時刻の対象距離との変化量を算出することができる。図１５は、時間ごとの車両と対象との距離を示すグラフである。図１５では、実線は、接近車両を示し、破線は所定の車間距離を保持した先行車両を示している。決定部２４０は、検出された多数の対象領域から、高画質化すべき領域を決定するに際し、前述した優先度に加えて、車両の対象との距離変化を考慮する。すなわち、決定部２４０は、接近する対象は車両の運転に影響を及ぼすおそれが高いものとして、高画質化すべき領域と判断する。言い換えると、決定部２４０は、１つ以上の対象を含む画像を、高画質化すべき領域と、低画質化すべき領域に区分するように決定する。決定部１４０は、例えば、図１１で示した優先度のテーブルにおいて、接近車両には、優先度のスコア（例えば、走行レーン又は左隣レーンでの接近車両の場合、「＋２０」）を加算する。

【0058】

図１６は、実施の形態４にかかる対象追跡および距離推定を説明するフローチャートである。
情報処理装置は、車載カメラ等から、画像を取得する（ステップＳ２０１）。画像から、１つ以上の対象を検出する（ステップＳ２０２）。さらに、対象追跡により、対象の対象ＩＤを取得する（ステップＳ２０３）。

【0059】

一方、画像から、車両が走行している走行レーンを検出する（ステップＳ２０４）。さらに、画像から、走行レーンに隣接する隣接レーン又は走行レーンに隣接する他の領域（歩道、路側帯など）を隣接領域として検出する（ステップＳ２０６）。さらに、本実施形態では、車両と対象との距離を推定する（ステップＳ２０８）推定された距離は、取得時間とともに、対象距離保存部２５０に保存される。なお、ここでは、低遅延化の観点からパラレル処理を示しているが、シーケンシャル処理を行ってもよい。例えば、ステップＳ２０４、Ｓ２０６を実施した後にステップS２０２、Ｓ２０３、Ｓ２０８を実行しても良いし、Ｓ２０２、Ｓ２０３、Ｓ２０８を実行した後にＳ２０４、Ｓ２０６を実行しても良い。

【0060】

走行レーンおよび隣接領域を含む領域と重複する１つ以上の対象領域を取得する（ステップＳ２１０）。ここでは、本実施形態では、重複する対象領域（例えば、対象領域の個数又は対象領域の画像全体に占める面積の割合）が閾値よりも大きい場合は、対象と車両との距離変化量と、前述した優先度に基づいて、多数の対象領域のうち、当該閾値を下回るように、１つ以上の対象領域を選択する。

【0061】

まず現在時刻における車両と対象との距離を取得する（ステップＳ２１１）。次に、対象ＩＤから、車両と過去の対象との距離を、対象距離保存部２５０から取得する（ステップＳ２１３）。現在時刻での車両と対象との距離と、過去の時刻での車両と対象との距離との変化量を算出する（ステップＳ２１４）。車両と対象との距離との変化量から、接近対象を判別する。以上により、前述した優先度、および接近する対象に基づいて、多数の対象領域のうち、当該閾値を下回るように、１つ以上の対象領域を選択する。選択された１つ以上の対象領域を他の領域より高画質になるように画像データをエンコードして、遠隔監視センタに送信する（ステップＳ２１５）。

【0062】

以上説明した実施の形態３にかかる情報処理装置は、車両と対象との距離を考慮しつつ、車両の運転に影響を及ぼす重要な領域を選択的に高画質にすることで、使用帯域を抑制しつつ、画像データを遠隔監視センタに送信することもできる。

【0063】

その他の変形例
変形例は、走行している車両の外部環境に応じて、最適なＲＯＩ決定プログラムを選択する。例えば、ＲＯＩ決定プログラムＡは、高速道路などに最適化されたプログラムである。すなわち、高速道路では、人が道路を横断したり、自転車が道路を走行したりすることはないため、先行車や車線変更の可能性の高い車に対して、高い優先度を定めている。一方、ＲＯＩ決定プログラムＢは、住宅街などに最適化されたプログラムである。すなわち、住宅街では、歩行者や自転車が多く、人が車両の走行に影響を及ぼす可能性が高いので、歩行者や自転車など人を高い優先度を定めている。なお、この変形例は、特に、上記した実施形態３、４、５に適用することができる。

【0064】

図１７および図１８は、本変形例にかかる決定部１４０の構成を詳細に示すブロック図である。図１７は、車両が第１の環境（例えば、高速道路）を走行していることを検知して、第１の環境に適合したＲＯＩ決定プログラムを選択する例を示す。図１８は、車両が第２の環境（例えば、住宅街）を走行していることを検知して、第２の環境に適合したＲＯＩ決定プログラムを選択する例を示す。

【0065】

環境決定部４１０は、自車両の位置、地図情報、経路情報、および取得画像などの外部情報４２０に基づいて、自車両がいる環境を決定する。これらの外部情報４２０は、一般的なカーナビゲーションシステムから、ナビゲーション情報として取得することができる。外部情報４２０のうち、自車両の位置情報は、例えば、ＧＰＳ（Global Positioning System）受信機からの位置情報から取得され得る。環境としては、高速道路や住宅街が挙げられるが、これらに限定されない。例えば、環境決定部４１０は、人が歩くことがほとんどない道か否か（例えば、山道）、車線数（例えば、片側１車線、２車線、３車線以上）、歩道の有無、中央分離帯の有無などを決定してもよい。

【0066】

プログラム選択部１４１は、決定された環境に基づいて、予め用意された複数のプログラムから最適なプログラムを選択する。予め用意された複数のプログラムは、環境ごとに最適化された優先度に応じて、検出された多数の対象領域（又はＲＯＩ）から、高画質化すべき領域を決定するためのプログラムである。

【0067】

図１９は、その他の変形例を説明する概略図である。
本変形例では、左折時に、車両が対向車線を横切る場合、自車線（走行レーン）ではなく、反対車線（対向レーン）を高画質化すべき領域になるように、高画質化すべき領域を切り替えてもよい。例えば、決定部は、反対車線の優先度を自車線（走行レーン）の優先度より高くしてもよい。

【0068】

また、その他の変形例として、右折時に、車両が対向車線を横切る場合、自車線（右折前に走行している走行レーン）ではなく、反対車線（対向レーン）を高画質化すべき領域になるように決定部は、高画質化すべき領域を切り替えてもよい。

【0069】

また、車両が走行レーンから隣接レーンへ車線変更する場合、走行レーンに加えて、隣接レーン（移動先のレーン）も高画質化すべき領域になるように切り替えてもよい。この場合、例えば、隣接レーン（移動先のレーン）の優先度を、走行レーンの優先度より高く設定してもよい。

【0070】

また、その他の変形例としては、信号機のない横断歩道がある場合、横断歩道の先にある車よりも、走行領域に隣接する横断歩道（隣接領域）付近にある対象（例えば、人、自転車）を高画質化すべき領域になるように優先度を切り替えてもよい。この場合、走行領域に隣接する横断歩道付近にある対象の優先度を、車両から横断歩道より遠い走行領域（走行レーン）にある対象の優先度より、高く設定してもよい。

【0071】

図２０は、図１９の変形例にかかる情報処理装置の構成を示すブロック図である。
情報処理装置４００は、画像取得部１１０，対象検出部１２０、レーン検出部４３０、レーン変更検知部４７０，外部情報４２０、決定部４４０、画像処理部（エンコーダ）１５０、通信部１６０を有する。

【0072】

本変形例にかかる情報処理装置４００は、車両がレーンを変更したことを検知するレーン変更検知部４７０（走行領域変更検知部とも呼ばれる）を有する。例えば、レーン変更検知部４７０は、走行レーンから隣接レーンへの移動（車線変更）や、交差点での右左折を検知する。レーン変更検知部４７０は、経路情報などの外部情報４２０を取得し、外部情報４２０に基づいて、車線変更や右左折を判断することができる。あるいは、レーン変更検知部４７０は、車両からＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してステアリング情報を受信して、レーン変更を検知してもよい。

【0073】

レーン検出部４３０は、上記した実施形態のレーン検出部の機能に加えて、レーン変更検知部４７０の検知結果に基づいて、対向レーンを検出することもできる。レーン検出部４３０は、右左折又は車線変更時に、対向レーンを隣接領域として検出してもよい。

【0074】

決定部４４０は、走行領域（本例では、走行レーン）および隣接領域（本例では、対向レーン）に基づいて、１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定することができる。本例では、対向レーンも隣接領域となるため、対向レーンに含まれる１つ以上の対象も高画質化すべき領域に決定することができる。

【0075】

あるいは、決定部４４０は、レーン変更検知部４７０の検知結果に基づいて、優先度を変更してもよい。例えば、決定部４４０は、右左折が発生することを判断した場合、右左折時に、対向レーンの優先度を、走行レーンの優先度より高くなるように優先度を変更してもよい。また、決定部４４０は、例えば、車両からステアリング情報を受信して、車両が車線変更すると判断した時、（移動先のレーン）の優先度を、走行レーンの優先度と同程度設定してもよいし、走行レーンの優先度以上に高く設定してもよい。

【0076】

また、レーン検出部４３０又は対象検出部１２０は、横断歩道を検出することもできる。横断歩道が検出された場合は、レーン検出部４３０は、横断歩道付近の左右の領域を、隣接領域として検出してもよい。

【0077】

決定部４４０は、走行領域（本例では、走行レーン）および隣接領域（本例では、横断歩道付近の左右の領域）に基づいて、１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定することができる。本例では、横断歩道付近の左右の領域も隣接領域となるため、横断歩道付近の左右の領域に含まれる１つ以上の対象も高画質化すべき領域に決定することができる。

【0078】

また、上述した実施の形態では、情報処理装置１００に複数の構成要素（例えば図１に記載の取得部１１、対象検出部１２、走行領域特定部１３、決定部１５、図９に記載の画像取得部１１０、対象検出部１２０、レーン検出部１３０、決定部１４０、エンコーダ１５０、および通信部１６０等）が設けられているが、これには限定されない。情報処理装置１００に設けられていた構成要素は、１つの装置に設けることには限定されず、複数の装置に分散して設けられていても良い。例えば、レーン検出部１３０を外部の装置に設け、予め外部の装置のレーン検出部１３０が行ったレーン検出の結果に基づいて、対象検出部１２０が画像処理の対象を判断しても良い。

【0079】

なお、本明細書では走行領域を特定して、特定した走行領域に基づいて画像処理を行う画像処理領域を決定する方法を記載したが、画像処理領域の決定は走行領域に基づくものに限られない。例えば、走行状態に基づいて、画像処理を行う画像処理領域を決定しても良い。走行状態とは、車両が走行する状態を示すもので、例えば、車両が走行するレーンや、走行する方向、速度である。

【0080】

例えば、車両が右折するという状況を走行状態として捉え、横切る対向車線（対向車レーン）を左隣レーンとして検出して、当該左隣レーン上の対象物を画像処理領域として決定してもよい。

【0081】

例えば、車両が十字路で右折する場合に、車両が右に向いたという方向を走行状態として検出して、同じ方向を向いた対象物（例えば、右折して侵入する先の道路に直進で侵入する車両）を検出して、画像処理領域としてもよい。 また、車両が直進する場合に、右向きに進む（車両が直進する方向と交わる方向を向いた）自転車を検出して、画像処理領域としてよい。

【0082】

例えば、車両が時速１５ｋｍで走行している場合には、時速３０ｋｍで走行する場合に決定した画像処理領域よりも少ない領域を選択しても良い。例えば、車両３０ｋｍで走行するという状況を走行状態として捉え、１００ｍ先のものまで画像処理領域として選択したが、車両１５ｋｍで走行する場合には、５０ｍ先のものまで画像処理領域として選択する（５０ｍより先の対象物は画像処理領域として選択しない）としてもよい。なお、説明簡略化のために具体的な距離を記載したが、対象物までの距離は実施例４に記載の方法でも良いし、これに限定されるものではない。

【0083】

さらに、走行状態は複数の指標を含んでいても良い。例えば、車両が時速３０ｋｍで走行している際に車両の直進する方向と逆の方向を向いた自転車（車道を逆走する自転車等）を検出した場合に、画像処理領域として選択しても良い（時速１０ｋｍで走行している場合には画像処理領域として選択しないと判断しても良い）。

【0084】

図２１は、他の実施の形態にかかる情報処理システム（又は画像処理システム）の構成を示すブロック図である。
情報処理システムは、車両に搭載された情報処理装置１００と、情報処理装置１００とネットワークを介して通信可能に接続された遠隔監視制御装置８００とを備える。ネットワークは、例えば、ＬＴＥ（Long Term Evolution）等の通信回線規格を用いたネットワークであってもよいし、ＷｉＦｉ（登録商標）又は第５世代移動通信システムなどの無線通信網を含んでいてもよい。

【0085】

情報処理装置１００は、車両に搭載された撮像部により撮影された画像を取得する取得部１１と、前記取得された画像内の１つ以上の対象を検出する対象検出部１２と、取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部１３と、前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部１５と、を備える。更に、情報処理装置１００、図９等に示すように、決定された画像処理領域に対して画像処理する画像処理部１５０と、画像処理された画像データを遠隔監視制御装置８００に送信する通信部１６０とを備える。

【0086】

情報処理システムは、車両の走行に影響を与え得る画像内の対象を特定することができる。また、画像送信システムは、使用帯域を抑制しつつ、車両の運転に影響を与え得る適切な領域を画像処理し、画像処理後の画像データを遠隔監視制御装置に送信することで、車両の遠隔監視および遠隔制御を実現することができる。

【0087】

なお、図２１では、取得部１１と対象検出部１２と走行領域特定部１３と決定部１５とを備える情報処理装置１００として記載したが、それぞれ異なる装置に搭載されたシステムとして実装されても良い。例えば、取得部１１と対象検出部１２とを搭載した装置と、走行領域特定部１３と決定部１５とを備える装置とがネットワークを介して通信するような構成であっても良い。

【0088】

また、以上説明した実施の形態では、情報処理ステム及び遠隔監視運転システムにおいて、遠隔運転者３が無人運転車両５を遠隔で操作する形式としたが、これに限られない。例えば、無人運転車両５を統括して制御する統括制御装置を設けても良い。統括制御装置は、無人運転車両５から取得した情報を基に、無人運転車両５が自律運転するための情報を生成して、無人運転車両５が該情報に従って動作してもよい。

【0089】

図２２は、情報処理装置１００、２００、４００、及び遠隔監視制御装置８００（以下、情報処理装置１００等とする）のハードウェア構成例を示すブロック図である。図２２を参照すると、情報処理装置１００等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、IEEE 802.11 seriesにおいて規定された無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。

【0090】

プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された情報処理装置１００等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。

【0091】

メモリ１２０３は、揮発性メモリ（ＲＡＭ（Random Access Memory））及び不揮発性メモリ（ＲＯＭ（Read Only Memory））の組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。例えば、メモリ１２０３は、必ずしも装置の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介してコンピュータ装置５００に接続されたクラウドストレージであってもよい。

【0092】

図２２の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された情報処理装置１００等の処理を行うことができる。

【0093】

図２２を用いて説明したように、情報処理装置１００等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。

【0094】

なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のＣＰＵにより処理されるものであってもよいし、複数のＣＰＵによって分散処理されるものであってもよい。

【0095】

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0096】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。

【0097】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
車両に搭載された撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部と、
を備える、情報処理装置。
（付記２）
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する隣接領域特定部を更に備え、
前記決定部は、前記走行領域および前記隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する、付記１に記載の情報処理装置。
（付記３）
前記決定部は、前記対象の種別、当該走行領域及び当該隣接領域に関連付けられた優先度に基づいて、前記１つ以上の対象領域のうち、画像処理を行う画像処理領域を決定する、付記２に記載の情報処理装置。
（付記４）
前記走行領域特定部は、走行レーンを検出する、付記１に記載の情報処理装置。
（付記５）
前記隣接領域特定部は、走行レーンに隣接する隣接レーンを検出する、付記２に記載の情報処理装置。
（付記６）
前記１つ以上の対象と前記車両との距離を取得する距離取得部と、
前記取得された距離の単位時間あたり距離変化量を算出する距離変化量算出部と、
を更に備え、
前記決定部は、前記距離変化量に基づいて、前記１つ以上の対象領域のうち、他の領域よりも高画質化する画像処理領域を決定する、付記１～５のいずれか一項に記載の情報処理装置。
（付記７）
車両に搭載された撮像部により撮影された画像を取得する取得部と、
前記取得された画像内の１つ以上の対象を検出する対象検出部と、
前記取得された画像内の領域で前記車両が走行する走行領域を特定する走行領域特定部と、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する決定部と、
を備える、画像送信システム。
（付記８）
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定する隣接領域特定部を更に備え、
前記決定部は、前記走行領域および前記隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する、付記７に記載の画像送信システム。
（付記９）
前記決定部は、前記対象の種別、当該走行領域及び当該隣接領域に関連付けられた優先度に基づいて、前記１つ以上の対象領域のうち、画像処理を行う画像処理領域を決定する、付記８に記載の画像送信システム。
（付記１０）
前記走行領域特定部は、走行レーンを検出する、付記７に記載の画像送信システム。
（付記１１）
前記隣接領域特定部は、走行レーンに隣接する隣接レーンを検出する、付記８に記載の画像送信システム。
（付記１２）
前記隣接領域特定部は、前記走行レーン又は前記隣接レーンに隣接する路側帯又は歩道を検出する、付記１１に記載の画像送信システム。
（付記１３）
前記１つ以上の対象と前記車両との距離を取得する距離取得部と、
前記取得された距離の単位時間あたり距離変化量を算出する距離変化量算出部と、
を更に備え、
前記決定部は、前記距離変化量に基づいて、前記１つ以上の対象領域のうち、他の領域よりも高画質化する画像処理領域を決定する、付記７～１２のいずれか一項に記載の画像送信システム。
（付記１４）
車両に搭載された撮像部により撮影された画像を取得し、
前記取得された画像内の１つ以上の対象を検出し、
前記取得された画像内の領域で前記車両が走行する走行領域を特定し、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する、情報処理方法。
（付記１５）
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定し、
前記走行領域および前記隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定する、付記１４に記載の情報処理方法。
（付記１６）
前記対象の種別、当該走行領域及び当該隣接領域に関連付けられた優先度に基づいて、前記１つ以上の対象領域のうち、画像処理を行う画像処理領域を決定する、付記１５に記載の情報処理方法。
（付記１７）
走行レーンを検出する、付記１４に記載の情報処理方法。
（付記１８）
走行レーンに隣接する隣接レーンを検出する、付記１５に記載の情報処理方法。
（付記１９）
前記走行レーン又は前記隣接レーンに隣接する路側帯又は歩道を検出する、付記１８に記載の情報処理方法。
（付記２０）
前記１つ以上の対象と前記車両との距離を取得し、
前記取得された距離の単位時間あたり距離変化量を算出し、
前記距離変化量に基づいて、前記１つ以上の対象領域のうち、他の領域よりも高画質化する画像処理領域を決定する、付記１４～１９のいずれか一項に記載の情報処理方法。
（付記２１）
車両に搭載された撮像部により撮影された画像を取得し、
前記取得された画像内の１つ以上の対象を検出し、
前記取得された画像内の領域で前記車両が走行する走行領域を特定し、
前記走行領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定することをコンピュータに実行させる、プログラム。
（付記２２）
前記走行領域に隣接する領域で、前記車両の走行に影響を及ぼすおそれのある１つ以上の対象を含む隣接領域を特定し、
前記走行領域および前記隣接領域に基づいて、前記１つ以上の対象の領域のうち、画像処理を行う画像処理領域を決定することをコンピュータに実行させる、付記２１に記載のプログラム。
（付記２３）
前記対象の種別、当該走行領域及び当該隣接領域に関連付けられた優先度に基づいて、前記１つ以上の対象領域のうち、画像処理を行う画像処理領域を決定する、付記２２に記載のプログラム。
（付記２４）
走行レーンを検出する、ことをコンピュータに実行させる、付記２１に記載のプログラム。
（付記２５）
走行レーンに隣接する隣接レーンを検出する、ことをコンピュータに実行させる、付記２２に記載のプログラム。
（付記２６）
前記走行レーン又は前記隣接レーンに隣接する路側帯又は歩道を検出することをコンピュータに実行させる、付記２２に記載のプログラム。
（付記２７）
前記１つ以上の対象と前記車両との距離を取得し、
前記取得された距離の単位時間あたり距離変化量を算出し、
前記距離変化量に基づいて、前記１つ以上の対象領域のうち、他の領域よりも高画質化する画像処理領域を決定することをコンピュータに実行させる、付記２１～２６のいずれか一項に記載のプログラム。

【0098】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0099】

１ 送信システム
３ 遠隔運転者
５ 車両
１０ 車載カメラ
１１ 取得部
１２ 対象検出部
１３ 走行領域特定部
１４ 隣接領域特定部
１５ 決定部
１００ 情報処理装置
１１０ 画像取得部
１２０ 対象検出部
１３０ レーン検出部
１４０ 決定部
１５０ 画像処理部（エンコーダ）
１６０ 通信部
２００ 情報処理装置
２１０ 距離推定部
２２０ 対象追跡部
２３０ 対象距離取得部
２５０ 対象距離保存部
４００ 情報処理装置
４１０ 環境決定部
４２０ 外部情報
４３０ レーン検出部
４４０ 決定部
４７０ レーン変更検知部
８００ 遠隔監視制御装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】