(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-24
(45)【発行日】2024-11-01
(54)【発明の名称】情報処理方法及び情報処理装置
(51)【国際特許分類】
G08G 1/127 20060101AFI20241025BHJP
G08G 1/09 20060101ALI20241025BHJP
G08G 1/00 20060101ALI20241025BHJP
H04Q 9/00 20060101ALI20241025BHJP
H04N 7/18 20060101ALI20241025BHJP
G16Y 10/40 20200101ALI20241025BHJP
G16Y 20/20 20200101ALI20241025BHJP
G16Y 40/10 20200101ALI20241025BHJP
【ＦＩ】
G08G1/127 B
G08G1/09 F
G08G1/00 D
G08G1/09 V
H04Q9/00 301B
H04N7/18 J
G16Y10/40
G16Y20/20
G16Y40/10
【請求項の数】
5
(21)【出願番号】P 2023076684
(22)【出願日】2023-05-08
(62)【分割の表示】P 2019047427の分割
【原出願日】2019-03-14
(65)【公開番号】P2023106448
(43)【公開日】2023-08-01
【審査請求日】2023-05-08
(31)【優先権主張番号】P 2018136099
(32)【優先日】2018-07-19
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】穴吹 元嗣
【審査官】貞光 大樹
(56)【参考文献】
【文献】特許第６２２７２１１（ＪＰ，Ｂ１）
【文献】特開２０１９－１０１７０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － １／１６
Ｈ０４Ｎ ７／１８
Ｂ６０Ｗ １０／００ － １０／３０
Ｂ６０Ｗ ３０／００ － ６０／００
Ｇ０５Ｄ １／００ － １／８７
Ｈ０４Ｑ ９／００
(57)【特許請求の範囲】
【請求項1】
複数の車両にあるセンサから得られるセンシングデータ、及び、データベースに格納されている過去の車両データの各々を取得部が取得し、前記センシングデータの各々のうちの１つのセンシングデータを用いて、前記複数の車両の各々の物体検出処理を検出処理部が実行し、
前記物体検出処理の各々の結果及び前記過去の車両データを用いて、前記複数の車両を監視又は制御するオペレータのための提示の態様を決定部が決定し、
決定された前記態様に応じて提示装置の前記提示を提示制御部が制御することを含み、
走行中の前記複数の車両のそれぞれにおける外の物体及び前記物体の位置が検出されると、前記決定部は、前記物体及び前記物体の位置を用いて、前記複数の車両について前記複数の車両の外の危険度をそれぞれ算出し、
前記決定部は、前記オペレータに対して優先的に前記提示が行われるように、前記複数の車両のそれぞれに対して算出された前記危険度に基づいて、前記複数の車両のそれぞれに対応する複数の優先度を決定し、
前記決定部は、決定された前記複数の車両のそれぞれの前記優先度に応じて、算出された前記危険度が高い車両ほど、優先的に監視すべき車両として前記提示の態様を決定し、
前記過去の車両データは、危険な状況が発生していた場所、前記危険な状況の説明文であるラベル、前記ラベルに対応する推奨操作、及び、前記ラベルに対応する危険度を含む、
情報処理方法。
【請求項2】
前記過去の車両データは、推奨される操作に関する情報、危険度に関する情報の少なくとも１つを含む、請求項１に記載の情報処理方法。
【請求項3】
前記過去の車両データは、前記センシングデータに基づいて生成された車両内外情報であって前記複数の車両のそれぞれの車両の内部に存在する人の様子及び車両の外部に存在する物体の様子を示す前記車両内外情報に類似した過去の車両データである、請求項１に記載の情報処理方法。
【請求項4】
前記提示は、前記推奨される操作に関する情報を含む、請求項２に記載の情報処理方法。
【請求項5】
複数の車両にあるセンサから得られるセンシングデータ、及び、データベースに格納されている過去の車両データの各々を取得する取得部と、前記センシングデータの各々のうちの１つのセンシングデータを用いて、前記複数の車両の各々の物体検出処理を実行する検出処理部と、
前記物体検出処理の各々の結果及び前記過去の車両データを用いて、前記複数の車両を監視又は制御するオペレータのための提示の態様を決定する決定部と、
決定された前記態様に応じて提示装置への前記提示を制御する提示制御部とを備え、
走行中の前記複数の車両のそれぞれにおける外の物体及び前記物体の位置が検出されると、前記決定部は、前記物体及び前記物体の位置を用いて、前記複数の車両について前記複数の車両の外の危険度をそれぞれ算出し、
前記決定部は、前記オペレータに対して優先的に前記提示が行われるように、前記複数の車両のそれぞれに対して算出された前記危険度に基づいて、前記複数の車両のそれぞれに対応する複数の優先度を決定し、
前記決定部は、決定された前記複数の車両のそれぞれの前記優先度に応じて、算出された前記危険度が高い車両ほど、優先的に監視すべき車両として前記提示の態様を決定し、
前記過去の車両データは、危険な状況が発生していた場所、前記危険な状況の説明文であるラベル、前記ラベルに対応する推奨操作、及び、前記ラベルに対応する危険度を含む、
情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
近年では、車両を自動運転により走行させる技術が登場し、研究開発が活発化してきている。今後、自動運転技術の発展に伴い、無人の自動運転車両の普及が予想される。無人の自動運転車両の運行には、安全性の観点から、遠隔地のオペレータによる車両の監視が要求される。車両の監視に関する技術はいくつか提案されている。
【0003】
例えば、特許文献１には、車両が遠隔操作対象エリアに進入した場合に管制センタに対して遠隔操作要求を行い、管制センタが遠隔操作要求を発した車両を遠隔操作する遠隔操作装置を決定する技術が開示されている。
【0004】
また、特許文献２には、駅に流入する利用客数に基づいて、車両の発車時刻を修正する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１７－１４７６２６号公報
【文献】特開２０１５－１８２６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献１で開示される従来技術では、オペレータは、複数の車両が遠隔操作対象エリアに進入すると、当該複数の車両が同時に遠隔操作対象となる。しかし、一人のオペレータで複数の車両を同時に遠隔操作することは困難である。
【0007】
また、特許文献２で開示される従来技術では、単一の車両に乗り込んでいるオペレータ向けの技術であり、一人のオペレータで複数の車両を同時に管理することは想定されていない。
【0008】
そこで、本開示は、複数の車両を監視又は制御することにより当該複数の車両についての安全性を確保しつつ、当該監視又は制御を行うオペレータの負担を軽減することができる情報処理方法及び情報処理装置を提供する。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本開示の一形態に係る情報処理方法は、複数の車両にあるセンサから得られるセンシングデータ、及び、データベースに格納されている過去の車両データの各々を取得部が取得し、前記センシングデータの各々のうちの１つのセンシングデータを用いて、前記複数の車両の各々の物体検出処理を検出処理部が実行し、前記物体検出処理の各々の結果及び前記過去の車両データを用いて、前記複数の車両を監視又は制御するオペレータのための提示の態様を決定部が決定し、決定された前記態様に応じて提示装置の前記提示を提示制御部が制御することを含み、走行中の前記複数の車両のそれぞれにおける外の物体及び前記物体の位置が検出されると、前記決定部は、前記物体及び前記物体の位置を用いて、前記複数の車両について前記複数の車両の外の危険度をそれぞれ算出し、前記決定部は、前記オペレータに対して優先的に前記提示が行われるように、前記複数の車両のそれぞれに対して算出された前記危険度に基づいて、前記複数の車両のそれぞれに対応する複数の優先度を決定し、前記決定部は、決定された前記複数の車両のそれぞれの前記優先度に応じて、算出された前記危険度が高い車両ほど、優先的に監視すべき車両として前記提示の態様を決定し、前記過去の車両データは、危険な状況が発生していた場所、前記危険な状況の説明文であるラベル、前記ラベルに対応する推奨操作、及び、前記ラベルに対応する危険度を含む。
【0010】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0011】
本開示の情報処理方法等によれば、複数の車両を監視又は制御することにより複数の車両についての安全性を確保しつつ、当該監視又は制御を行うオペレータの負担を軽減することができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
本開示の一形態に係る情報処理方法は、複数の車両にあるセンサから得られるセンシングデータの各々を前記複数の車両の各々からそれぞれ取得し、前記センシングデータの各々を用いて物体検出処理の各々をそれぞれ実行し、前記物体検出処理の各々の結果を用いて、前記複数の車両を監視又は制御するための提示の態様を決定し、決定された前記態様に応じて提示装置の前記提示を制御する。
【0014】
このように、物体検出処理の各々から得られた結果を用いて決定された態様で複数の車両を監視又は制御（以下、まとめて単に監視とも称する。）するための提示が行われることにより、複数の車両を監視するオペレータは、監視すべき車両を容易に把握することができる。すなわち、オペレータが監視すべき車両の見落としリスクを軽減しつつ、オペレータが同時に監視すべき車両の数を低減することができる。よって、複数の車両を監視することにより複数の車両についての安全性を確保しつつ、監視を行うオペレータの負担を軽減することができる。
【0015】
また、本開示の一形態に係る情報処理装置は、複数の車両にあるセンサから得られるセンシングデータの各々を前記複数の車両の各々からそれぞれ取得する取得部と、前記センシングデータの各々を用いて物体検出処理の各々をそれぞれ実行する検出処理部と、前記物体検出処理の各々の結果を用いて、前記複数の車両を監視又は制御するための提示の態様を決定する決定部と、決定された前記態様に応じて提示装置の前記提示を制御する提示制御部と、を備える。
【0016】
また、本開示の一形態に係る情報処理システムは、情報処理装置と、前記提示装置と、を備える。
【0017】
これら情報処理装置及び情報処理システムにおいても、上述と同様の作用効果を奏する。
【0018】
また、本開示の一形態に係る情報処理方法は、前記物体検出処理の各々の結果に基づいて、前記複数の車両にそれぞれ対応する複数の優先度を決定し、前記複数の優先度に応じて、前記提示の態様を決定する。
【0019】
このように、各々の車両の優先度に応じて、提示装置が各々の車両を監視又は制御するための提示をするため、複数の車両を監視するオペレータは、複数の車両のうち優先して監視すべき車両を把握することができる。このため、オペレータは優先度が他の車両に比べて高い車両を監視することができるため、車両についての安全性を確保しつつオペレータの負担を軽減することができる。
【0020】
また、本開示の一形態に係る情報処理方法において、前記複数の車両の状態の各々を前記複数の車両の各々からそれぞれ取得し、前記物体検出処理の各々の結果及び前記複数の車両の状態の各々に基づいて、前記複数の優先度をそれぞれ決定する。
【0021】
このように、物体検出処理の各々の結果を用いるだけでなく、さらに、複数の車両の状態を用いることによって、各々の車両の優先度をより適切に決定することができる。これにより、複数の車両を監視するオペレータは、複数の車両のうち優先して監視すべき車両を、より把握し易くなる。このため、オペレータは、優先度が他の車両に比べて高い車両をより監視し易くなるため、車両についての安全性を確保しつつオペレータの負担を、より軽減することができる。
【0022】
また、本開示の一形態に係る情報処理方法において、前記物体検出処理は、停止中の車両についての乗車者及び降車者の少なくとも一方を検出し、検出した前記乗車者及び前記降車者の少なくとも一方に応じて、前記提示の態様を決定する。
【0023】
従来では、車両への乗車又は車両からの降車が完了したことを判定して発車のタイミングを制御することは難しい。例えば、車両の近くにいる人が乗車予定者であるのか否かを判定することをセンシングデータから判定することは困難である。誤判定が生じた場合、乗降者に危険が及ぶおそれもある。他方で、監視を行うオペレータが発車のタイミングを制御することが考えられるが、車両の乗降状況を常に監視することになるとオペレータの負担が増大する。これに対し、本構成によれば、乗降者に応じて監視のための提示の態様が制御されることにより、オペレータは監視すべき状況にある車両を容易に把握することができる。したがって、乗降時において、複数の車両についての安全性を確保しつつ、オペレータの負担を軽減することができる。なお、本構成は、自動的に発車が制御される場合であっても有効である。上述したように発車は危険が発生するおそれがある状況であるため、オペレータが優先して監視することが要求されるからである。
【0024】
また、本開示の一形態に係る情報処理方法において、前記物体検出処理では、前記乗車者及び前記降車者の少なくとも一方の属性又は数を検出し、検出した前記属性又は前記数に応じて、前記提示の態様を決定する。
【0025】
このように、乗降時の監視の優先度に関わる要素に応じた態様で提示が行われることにより、監視すべき車両をより正確にオペレータに把握させることができる。
【0026】
また、本開示の一形態に係る情報処理方法は、前記属性又は前記数を用いて、前記乗車者による前記停止中の車両への乗車及び前記降車者による前記停止中の車両からの降車の少なくとも一方が完了するまでの時間を算出し、算出された前記時間に応じて、前記提示の態様を決定する。
【0027】
このように、乗降時間に応じた態様で提示が行われることにより、監視すべきタイミングに応じて車両をオペレータに提示することができる。したがって、監視すべき車両をよりタイムリーに提示することができる。例えば、算出した時間が長い車両よりも、算出した時間が短い車両の方を優先的に監視すべき車両として提示することができる。
【0028】
また、本開示の一形態に係る情報処理方法において、前記物体検出処理では、走行中の車両外の物体及び前記物体の位置を検出し、検出した前記物体及び前記物体の位置に応じて、前記提示の態様を決定する。
【0029】
従来では、車外にある物体の状況に応じて車両の動作を制御する技術は存在する。しかし、当該物体の状況は多様であり、あらゆることを想定して制御することは困難である。他方で、監視を行うオペレータが車外を確認することが考えられるが、複数の車両の外を常に監視することになると負担が増大する。これに対し、本構成によれば、車外の物体に応じて監視のための提示の態様が制御されることにより、オペレータは監視すべき状況にある車両を容易に把握することができる。したがって、車外に物体が存在する場合において、複数の車両についての安全性を確保しつつ、オペレータの負担を軽減することができる。
【0030】
また、本開示の一形態に係る情報処理方法は、前記物体及び前記物体の位置を用いて、前記複数の車両について自動運転の困難度及び前記複数の車両の外の危険度の少なくとも一方をそれぞれ算出し、算出された前記困難度及び前記危険度の少なくとも一方に応じて、前記提示の態様を決定する。
【0031】
このように、自動運転の困難度及び車外の危険度の少なくとも一方に応じた態様で提示が行われることにより、監視すべき車両をより正確にオペレータに把握させることができる。例えば、自動運転の困難度又は車外の危険度の少なくとも一方が相対的に高い車両を優先的に監視すべき車両として提示することができる。
【0032】
また、本開示の一形態に係る情報処理方法において、前記提示は、前記複数の車両それぞれの乗車口及び降車口の少なくとも一方が映る画像を表示することを含む。
【0033】
このため、オペレータは乗降時の安全を容易に確認することができる。
【0034】
また、本開示の一形態に係る情報処理方法において、前記提示は、前記複数の車両それぞれの外部が映る画像を表示することを含む。
【0035】
このため、オペレータは車両の外部の安全を容易に確認することができる。
【0036】
また、本開示の一形態に係る情報処理方法において、前記提示の態様の決定は、前記優先度が高いほど前記提示の視認性を高くすることを含む。
【0037】
このように、優先度の高い車両ほど、視認性を高くすることで、オペレータは監視すべき車両の情報を迅速に確認することができる。
【0038】
また、本開示の一形態に係る情報処理方法において、前記提示の態様の決定は、前記優先度が高いほど前記提示の情報量を増やすことを含む。
【0039】
このように、優先度の高いほど提示の情報量を多くすることで、オペレータは監視すべき車両の情報を詳細に把握することができる。
【0040】
また、優先度が低いほど提示の情報量が少ないため、オペレータに提示させる車両のフレームレートを低下させたり、画質を低下させたりすることができる。このため、この情報処理方法を実現する装置、車両、及び提示装置の間でのネットワーク負荷を軽減することができる。
【0041】
また、本開示の一形態に係る情報処理方法において、前記提示の態様の決定は、前記優先度が高いほど前記提示を強調することを含む。
【0042】
このように、優先度の高いほど提示を強調することで、オペレータは監視すべき車両を迅速に特定することができる。
【0043】
また、本開示の一形態に係る情報処理方法において、前記提示の態様の決定は、前記優先度が閾値より高くなると前記提示を開始することを含む。
【0044】
このように、優先度が閾値以上の車両のみを提示をすることで、オペレータは監視すべき車両に注力することができる。
【0045】
また、本開示の一形態に係る情報処理方法において、前記提示の態様の決定は、前記優先度が閾値より高くなると前記提示を開始することを含む。
【0046】
このように、優先度の高さ順に車両を提示することで、オペレータは監視すべき車両を迅速に特定することができる。また、次に監視すべき車両を予め確認することができ、監視作業の効率化が可能となる。
【0047】
また、本開示の一形態に係る情報処理方法において、前記優先度の算出では、さらに、車両の位置、前記車両の位置に対応する時刻、乗車者及び降車者が乗降を完了するまでの所要時間の履歴、及び、前記車両の位置に対応する天候情報の少なくとも１つである。
【0048】
これによれば、複数の車両に対して各々の優先度をより適切に設定することができる。このため、監視すべき車両を、より適切に提示装置に提示させることができる。
【0049】
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0050】
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0051】
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
【0052】
以下、本開示の実施の形態に係る情報処理方法、情報処理装置及び情報処理システムについて説明する。
【0053】
【0054】
情報処理システム１は、車両３と、情報処理装置５と、端末装置７とを有する。
【0055】
車両３は、車両３の遠隔者からの遠隔操作によって走行を行うことができるとともに、遠隔操作されていない場合に、自動走行を行うことができる自動運転車両３である。車両３は、例えば、バス、タクシー、電車等である。本実施の形態では、車両３の一例であるバスを想定し、かつ、車両３が停車場所（停留所）で停止している場合を想定して以下の本実施の形態を記載する。以下では、車両３に乗車する者又は乗車を予定している者を乗車者、車両３から降車する者又は降車を予定している者を降車者という。乗車者及び降車者の両者を示す場合を乗降者という。
【0056】
車両３は、第１取得部３１と、第２取得部３２と、第３取得部３３と、第４取得部３４と、通信部３５とを有する。
【0057】
第１取得部３１は、乗降開始時刻を示す情報を取得する装置であり、例えば、時計である。具体的には、乗降開始時刻は、車両３が停車場所に停止している際に、乗降者が車両３に対して乗降を開始した時刻を示す。第１取得部３１は、乗降開始時刻を示す情報を情報処理装置５に送信する。なお、乗降開始時刻は、車両３が自動運転によって停車場所に停止した時刻であってもよい。
【0058】
第２取得部３２は、車両３の現在位置を示す車両位置情報（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報）を取得する。第２取得部３２は、取得した車両位置情報を情報処理装置５、及び端末装置７に送信する。車両３の現在位置は、車両３の位置の一例である。
【0059】
第３取得部３３は、車両３に乗降する乗降者を撮像した画像を示す乗降者画像を取得する装置であり、例えば、カメラ等である。具体的には、第３取得部３３は、車両３の停車場所に待機している人（例えば、乗車者）を撮像したり、車両内部で立ち上がっている人（例えば、降車者）を撮像したりして乗降者画像を生成する。第３取得部３３は、乗降者画像を情報処理装置５に送信する。第３取得部３３は、センサの一例である。また、乗降者画像はセンシングデータの一例である。
【0060】
第４取得部３４は、車両内部及び車両外部を示す車両内外画像を取得する装置であり、例えば、カメラ等である。車両内外画像は、車両外部つまり車両３外の歩行者、車両、自転車などの情報、車両内部の乗客の情報、乗降口付近の乗降者の情報を含む。第４取得部３４は、車両内外画像を端末装置７に送信する。なお、第４取得部３４は第３取得部３３と兼用であってもよく、乗降者画像は車内外画像であってよい。
【0061】
通信部３５は、乗降開始時刻を示す情報、車両位置情報、及び乗降者画像を情報処理装置５に送信し、車両位置情報、車両内外画像を示す情報を端末装置７に送信する通信インターフェイスである。また、通信部３５は、車両３が遠隔者に遠隔操作される場合、遠隔操作される制御コマンドを受信する。通信部３５は、車両３を制御する図示しないアクチュエータ、表示器などに、制御コマンドを出力する。
【0062】
ここで、車両３は複数存在しているため、各々の車両３はそれぞれを識別する車両ＩＤを有する。通信部３５は、車両ＩＤがそれぞれ付与された、乗降開始時刻を示す情報、車両位置情報、及び乗降者画像を情報処理装置５に送信したり、車両ＩＤが付与された車両内外画像を端末装置７に送信したりする。
【0063】
情報処理装置５は、遠隔地にいるオペレータの指示に基づいて、自動運転を行う複数の車両３を遠隔制御することが可能な装置である。情報処理装置５は、検出処理部５１と、決定部５２と、記憶制御部５３と、通信部５４と、提示制御部５５とを有する。
【0064】
検出処理部５１は、物体検出処理の各々をそれぞれ実行する。物体検出処理は、停止中の車両３についての乗車者及び降車者の少なくとも一方を検出したり、乗車者及び降車者の少なくとも一方の属性又は数を検出したりする処理である。具体的には、検出処理部５１は、車両３の第３取得部３３から乗降者画像を取得し、乗降者画像に基づいて、乗降者の数、それぞれの乗降者の属性等を検出し、車両３ごとに乗降者情報を生成する。乗降者の属性は、大人、子供、高齢者等の情報を示す。検出処理部５１は、乗降者情報を決定部５２に出力する。
【0065】
決定部５２は、物体検出処理の各々の結果を用いて、複数の車両３を監視又は制御するための提示の態様を決定する。提示の態様の詳細については後述する。
【0066】
また、決定部５２は、検出処理部５１から各々の乗降者情報を取得し、車両３の第１取得部３１、第２取得部３２から乗降開始時刻、及び車両位置情報をそれぞれ取得すると、記憶制御部５３に格納されているデータベースから過去の乗降データを取得する。具体的には、決定部５２は、各々の乗降者情報、乗降開始時刻、及び車両位置情報が類似した過去の乗降データの要求をそれぞれ記憶制御部５３に行い、記憶制御部５３から類似した過去の乗降データを取得する。
【0067】
決定部５２は、記憶制御部５３から過去の乗降データを取得し、各々の車両３に対して優先的に監視する指標である優先度をそれぞれ決定する。図２Ａに示すように、決定部５２は、算出した各々の優先度に、各々の車両３から取得した車両ＩＤを紐付けた、各々の優先度情報を端末装置７に送信する。図２Ａは、実施の形態１に係り、優先度情報を例示する図である。
【0068】
記憶制御部５３は、データベース化された過去の乗降データを格納している。乗降データは、乗降開始時刻、停車場所、乗降者の属性及び属性ごとの乗降者の数、全ての人が乗降を完了するまでの所要時間、乗降者の属性に応じた乗降時間等の情報である。記憶制御部５３は、決定部５２の要求に応じて、乗降者情報に類似した過去の乗降データを検索し、類似した過去の乗降データを決定部５２に送信する。なお、記憶制御部５３は、データベース化された過去の乗降データの代わりに、過去の乗降データにより学習された学習済みモデルを格納してもよい。この場合、記憶制御部５３は、決定部５２の要求に応じて、学習済みモデルを決定部５２に送信する。
【0069】
乗降データは、図２Ｂ及び図２Ｃに示される。図２Ｂ及び図２Ｃは、実施の形態１に係る乗降データを例示する図である。図２Ｂに示すように、乗降データは、車両３が停車場所で停車した「時刻」、停車した「場所」、「乗降者の属性及び乗降者の数」、及び、全ての乗降者が乗降を完了するまでの「所要時間」で構成されている。図２Ｃに示すように、乗降データは、乗降者の属性における１人当たりの「乗降時間」をさらに有する。
【0070】
図１に示すように、通信部５４は、乗降開始時刻を示す情報、車両位置情報、及び乗降者画像を受信したり、端末装置７に優先度情報を送信したりする通信インターフェイスである。通信部５４は、取得部の一例である。
【0071】
提示制御部５５は、決定部５２によって決定された提示の態様に応じて、端末装置７の提示の態様を制御する。つまり、提示制御部５５は、端末装置７が決定された優先度に基づく態様で提示するように、端末装置７の提示を制御するコマンドを出力する。
【0072】
端末装置７は、オペレータが車両３の走行状態を監視し、オペレータが車両３を遠隔操作するための操作端末であり、例えばパーソナルコンピュータ、タブレット端末等である。端末装置７は、提示部７１と、操作部７２と、計時部７３と、通信部７４とを有する。
【0073】
提示部７１は、車両内外画像、車両位置情報等を車両３ごとに提示するモニタである。具体的には、提示部７１は、車両内部の画像、車両３の乗降口の画像、車両３の外部（車両３の周辺）の画像、車両３の優先度、乗降完了時刻、車両ＩＤ、停車場所等といった車両３に関する情報を、車両３ごとに提示する。
【0074】
提示部７１は、車両３に関する情報を様々な態様で提示する。例えば、提示部７１は、優先度の最も高い車両３の情報を面積の大きな画像で提示したり、複数台ある車両３のうちの優先度が閾値以上の車両３の情報のみを提示したり、優先度の高い車両３の情報を詳細に提示したり、同じ大きさの画像で提示についての順序を優先度の高さに応じた順に並べた車両３に関する情報を提示したり、優先度の最も高い車両３の画像を色付けして強調するといった提示をする。
【0075】
操作部７２は、オペレータによる車両３の遠隔操作を受け付ける入力部である。オペレータは、全ての乗降者が乗降したことを確認し（乗降完了確認）、車両３を発車させる際に操作部７２を操作する。操作部７２は、例えば、タッチパネル、キーボード等である。操作部７２は、遠隔操作する制御コマンドを、通信部７４を介して車両３に送信する。
【0076】
計時部７３は、オペレータが操作部７２を操作して、車両３を発車させる制御コマンドを送信する時点の時刻を計測する、例えば、時計である。
【0077】
通信部７４は、車両３に制御コマンドを送信する通信インターフェイスである。
【0078】
なお、本実施の形態では、端末装置７の計時部７３は端末装置７において必須の構成要件ではなく、車両３の第２取得部３２は車両３において必須の構成要件ではない。このため、計時部７３、及び第２取得部３２はなくてもよく、いずれか一方が設けられていてもよい。
【0079】
［動作］
次に、本実施の形態における情報処理方法、情報処理装置５及び情報処理システム１の動作について説明する。具体的には、車両３がバスの停車場所で停止し、一定期間後に車両３が発車するまでの間に行われる情報処理システム１の動作について説明する。
次に、本実施の形態における情報処理方法、情報処理装置５及び情報処理システム１の動作について説明する。具体的には、車両３がバスの停車場所で停止し、一定期間後に車両３が発車するまでの間に行われる情報処理システム１の動作について説明する。
【0080】
図３は、実施の形態１に係る情報処理システム１の動作を例示するシーケンス図である。
【0081】
図３に示すように、車両３は、乗降開始時刻を示す情報を取得し、取得したそれぞれを情報処理装置５に送信する（ステップＳ１０１）。また、車両３は、車両３の現在位置を示す車両位置情報を取得し、取得したそれぞれを情報処理装置５、及び端末装置７に送信する（ステップＳ１０２）。情報処理装置５の決定部５２は、通信部５４を介して受信した乗降開始時刻を示す情報、及び車両位置情報を受信する。
【0082】
また、車両３は、車両３に乗降する人を撮像した画像を示す乗降者画像を取得し、取得した乗降者画像を情報処理装置５に送信する（ステップＳ１０３）。情報処理装置５の検出処理部５１は、通信部５４を介して乗降者画像を受信する。
【0083】
一方で、車両３は、車両内外画像を取得し、車両内外画像を端末装置７に送信する（ステップＳ１０４）。
【0084】
検出処理部５１は、ステップＳ１０３による乗降者画像に基づいて、乗降者の人数、乗降者の属性等を検出した乗降者情報を生成する（ステップＳ１０５）。検出処理部５１は、乗降者情報を決定部５２に出力する（ステップＳ１０６）。
【0085】
決定部５２は、取得した乗降者情報、乗降開始時刻、及び車両位置情報と類似した過去の乗降データの要求を記憶制御部５３に行う（ステップＳ１０７）。
【0086】
記憶制御部５３は、決定部５２からの要求に応じて、乗降者情報、乗降開始時刻、車両位置情報と類似した過去の乗降データを検索し、類似した過去の乗降データを決定部５２に出力する（ステップＳ１０８）。乗降データは、図２Ｂ及び図２Ｃで例示された、車両３が停車場所での停止する時刻、停車場所、乗降者の属性、乗降者の属性ごとの数、全ての乗降者が乗降を開始してから完了するまでの所要時間、乗降者の属性ごとの乗降時間等の情報で構成されている。なお、記憶制御部５３は、決定部５２からの要求に応じて類似した過去の乗降データを決定部５２に出力する代わりに、決定部５２の要求に応じて、学習済みモデルを決定部５２に送信してもよい。
【0087】
決定部５２は、記憶制御部５３から過去の乗降データを取得し、それぞれの車両３に対して監視の優先度を設定する（ステップＳ１０９）。決定部５２は、乗降者情報、乗降開始時刻、及び車両位置情報に基づいて、車両３ごとの優先度を決定する。優先度については後述する。決定部５２は、設定した優先度に車両ＩＤに紐付けた優先度情報を端末装置７に送信する（ステップＳ１１０）。なお、決定部５２は、記憶制御部５３から過去の乗降データを取得する代わりに、記憶制御部５３から学習済みモデルを取得し、それぞれの車両３に対して監視の優先度を設定してもよい。この場合、決定部５２は、取得した学習済みモデルを用いて、車両３ごとの優先度を決定する。
【0088】
ここで、決定部５２は、端末装置７に提示させる車両３に関する情報を、優先度が高いほど提示の視認性が高い態様に決定したり、優先度が高いほど情報量を増やす提示の態様に決定したり、優先度が高いほど強調される提示を態様に決定したりする。また、決定部５２は、優先度の高さに応じた順に並べた車両３に関する情報を提示する態様に決定する。提示制御部５５は、決定された態様に応じて端末装置７の提示を制御する、つまり優先度が閾値より高くなると車両３に関する情報の提示を端末装置７に開始させる。
【0089】
次に、端末装置７は、ステップＳ１０４で取得した車両内外画像、及びステップＳ１１０で取得した優先度情報を受信する。端末装置７は、優先度に応じた提示を行う（ステップＳ１１１）。端末装置７は、優先度に応じて様々な態様で提示する。図４Ａ～図４Ｅでは、提示部７１への提示の態様を例示する。
【0090】
図４Ａは、実施の形態１に係る端末装置７の提示を例示する図である。図４Ａに示すように、提示部７１は、優先度の最も高い車両３を面積の大きな画像で提示（視認性が高い態様で提示）する。具体的には、複数台ある車両３のうちの所定の優先度（閾値）以上の車両３だけを提示し、最も優先度の高い車両３については、面積の大きな画像を提示する。優先度が１番の車両３に関する情報は、全ての人が車両３に対して乗降完了するまでの所要時間、車両３に関する画像、車両ＩＤ、停車場所を示している。車両３に関する画像は、車両内部の画像、車両３の乗降口の画像、車両外部の画像等の画像である。また、例えば、優先度が２番目以降の車両３については、優先度が１番の車両３よりも簡易な情報、例えば車両３に関する画像を１種類だけ提示し、例えば画像のフレームレートを低下させたり、画質を低下させたりする。また、所定の優先度未満の車両３、本実施の形態では優先度が６番目以降の車両３については、提示部７１に車両３に関する情報を提示しない。
【0091】
図４Ｂは、実施の形態１に係る端末装置７の提示を例示する図である。図４Ｂに示すように、提示部７１は、複数台ある車両３のうちの所定の優先度以上の車両３に関する情報だけを提示する。図４Ｂでは、乗降完了時刻が近い車両３に関する情報だけを優先的に提示している。本実施の形態では、２台分の車両３を示す情報を提示し、優先度が３番目以降の他の車両３に関する情報を提示しない。
【0092】
図４Ｃは、実施の形態１に係る端末装置７の提示を例示する図である。図４Ｃに示すように、提示部７１は、優先度の最も高い車両３に関する情報を、面積の大きな画像で提示し、かつ、複数台ある車両３のうちの所定の優先度以上の車両３だけを提示する。図４Ｃでは、車両３に関する画像を提示する。
【0093】
図４Ｄは、実施の形態１に係る端末装置７の提示を例示する図である。図４Ｄに示すように、提示部７１は、オペレータが提示部７１によって、各々の車両３に関する情報を視認できる程度の大きさで、車両３に関する画像を全て提示（情報量を増やした態様で提示）する。図４Ｄでは、優先度の高さに応じた順に並べた車両３に関する情報を提示している。
【0094】
【0095】
なお、図４Ａ～図４Ｅの提示はあくまでも一例であり、これらに限定されない。例えば、提示は、複数の車両３それぞれの乗車口及び降車口の少なくとも一方が映る画像を表示することを含む。また、提示は、複数の車両３それぞれの外部が映る画像を表示することを含む。
【0096】
図３のシーケンス図の説明に戻る。
【0097】
全ての人が車両３に対して乗降を完了すると、端末装置７は、オペレータによる発車指示を受け付ける（ステップＳ１１２）。例えば、オペレータは、端末装置７を介して乗降完了確認を行う。そして、オペレータは、乗降が完了したことを確認できれば、端末装置７に発車指示を入力する。端末装置７は、入力された発車指示を受け付ける。なお、乗降完了確認は、端末装置７が画像認識によって乗降口付近に人が存在しているかどうかを確認してもよい。
【0098】
端末装置７は、オペレータによる発車指示を受け付けると、車両３を発車させる制御コマンドを車両３に送信する（ステップＳ１１３）。
【0099】
車両３は、ステップＳ１１３の制御コマンドを受信すると、発車する（ステップＳ１１４）。
【0100】
また、端末装置７は、ステップＳ１１２で発車指示を受け付けると、計時部７３は、発車指示の受け付けに応じた乗降完了時刻を計測し、乗降完了時刻を示す情報を情報処理装置５に送信する（ステップＳ１１５）。
【0101】
次に、決定部５２は、ステップＳ１０１で受信した乗降開始時刻を示す情報を記憶制御部５３に格納して（ステップＳ１１６）、記憶制御部５３のデータベースを更新する（ステップＳ１１８）。
【0102】
さらに、決定部５２は、ステップＳ１１６で受信した乗降開始時刻を示す情報と、ステップＳ１１５の乗降完了時刻を示す情報から所要時間を計算し、記憶制御部５３に格納して、記憶制御部５３のデータベースを更新する（ステップＳ１１８）。なお、決定部５２は、上述の記憶制御部５３のデータベースを更新する代わりに、時刻、場所、乗降者の属性及び乗降者の数ならびに所要時間などの乗降データを用いて学習済みモデルを更新してもよい。
【0103】
また、決定部５２は、ステップＳ１０６で取得した乗降者情報を記憶制御部５３に格納して（ステップＳ１１７）、記憶制御部５３のデータベースを更新する（ステップＳ１１８）。
【0104】
こうして、この情報処理システム１の処理を終了する。なお、この情報処理システム１において、ステップＳ１１５～ステップＳ１１８における記憶制御部５３のデータベース及び学習済みモデルの更新は、必須の処理ではなく、このような処理を行わなくてもよい。
【0105】
次に、情報処理装置５における動作を、図５を用いて説明する。ここでは、車両３が所定位置に停止する際に行われるフローである。図５は、実施の形態１に係る情報処理装置５の動作において、優先度の決定を例示するフロー図である。
【0106】
まず、図５に示すように、情報処理装置５の検出処理部５１は、車両３から乗降者画像を受信する（ステップＳ１６１）。検出処理部５１は、乗降者画像に基づいて、乗降者の数、乗降者の属性等を検出して乗降者情報を生成する。検出処理部５１は、乗降者情報を決定部５２に出力する。
【0107】
また、情報処理装置５の決定部５２は、車両３から、乗降開始時刻を示す情報、及び車両位置情報を受信する（ステップＳ１６２）。
【0108】
決定部５２は、乗降者情報に基づいて、車両３に対する乗降者が存在しているか否かを判断する（ステップＳ１６３）。具体的には、決定部５２は、乗降者情報に含まれる乗降者の人数が１名以上であるか否かを判断する。
【0109】
乗降者情報に乗降者が存在している場合（ステップＳ１６３でＹｅｓ）、決定部５２は、乗降完了時刻を算出する。具体的には、乗降者情報、過去の乗降データなどに基づいて、決定部５２は、全ての人が乗降を開始してから完了するまでに掛かる所要時間を算出する。
【0110】
決定部５２は、ステップＳ１６２で取得した乗降開始時刻に、算出した所要時間を合算し、乗降完了時刻を、車両３ごとに算出する（ステップＳ１６４）。
【0111】
次に、決定部５２は、複数の車両３において、現在時刻から乗降完了時刻の近い順に、高い優先度を設定する。決定部５２は、車両３が停留所に停止するごとに、それぞれの車両３に優先度を設定し、乗降完了時刻順にそれぞれの車両３の優先度を更新する（ステップＳ１６５）。現在時刻は、時刻の一例である。
【0112】
一方、乗降者情報に乗降者が存在していない場合（ステップＳ１６３でＮｏ）、決定部５２は、乗降者が存在していないと判断した車両３を、最も優先度の高い車両３に設定する（ステップＳ１６７）。なお、乗降者が存在していない車両３が複数ある場合、決定部５２は、その車両３全てを、最も優先度の高い車両３として設定する。決定部５２は、ステップＳ１６４と同様に乗降完了時刻を算出してからそれぞれの他の車両３に優先度を設定し、それぞれの車両３の優先度を更新する（ステップＳ１６８）。
【0113】
次に、決定部５２は、通信部５４を介してそれぞれの車両３の優先度を示す情報を端末装置７に送信する（ステップＳ１６６）。そして、この情報処理装置５のフローを終了する。また、次に停止する所定位置においても同様の処理を行う。
【0114】
図５のステップＳ１６４における乗降完了時刻を算出するフローについて、図６を用いて具体的に説明する。図６は、実施の形態１に係る情報処理装置５の動作において、データベースを利用して乗降完了時刻の算出を例示するフロー図である。なお、データベースを用いる代わりに学習済みモデルを用いて乗降完了時刻が算出されてもよい。
【0115】
まず、図６に示すように、決定部５２は、記憶制御部５３に格納されている過去の乗降データを参照する（ステップＳ１７１）。具体的には、決定部５２は、乗降者情報、乗降開始時刻、車両位置情報が類似した過去の乗降データの要求を記憶制御部５３に行い、記憶制御部５３から要求に対する過去の乗降データを取得する。
【0116】
決定部５２は、乗降者情報、乗降開始時刻、車両位置情報が類似する過去の乗降データが存在しているか否かを判断する（ステップＳ１７２）。例えば、類似している場合は、乗降者情報、乗降開始時刻、車両位置情報のうち少なくとも一つが過去の乗降データと一致する場合、例えば、乗降開始時刻においては、乗降開始時刻から１時間以内等といった時間的に近しい場合等である。
【0117】
乗降者情報と類似する過去の乗降データが存在している場合（ステップＳ１７２でＹｅｓ）、決定部５２は、全ての人が乗降を開始してから完了するまでの所要時間（過去の所要時間）を、全ての人が乗降を開始してから完了するまでの現在の所要時間として採用する（ステップＳ１７３）。
【0118】
決定部５２は、乗車開始時刻に、ステップＳ１７３で採用した所要時間を合算し、乗降完了時刻を算出する（ステップＳ１７４）。そして、このフローは終了する。
【0119】
一方、乗降者情報に類似する過去の乗降データが存在していない場合（ステップＳ１７２でＮｏ）、決定部５２は、記憶制御部５３に格納されている過去の乗降データから、乗降者の属性と、乗降者の属性ごとに応じた乗降時間とを抽出する（ステップＳ１７５）。
【0120】
決定部５２は、ステップＳ１７５に基づいて、全ての人が乗降を開始してから完了するまでの所要時間を算出する（ステップＳ１７６）。決定部５２は、ステップＳ１７４に進み、乗降完了時刻を算出する。そして、このフローは終了する。
【0121】
これらのように、情報処理方法、情報処理装置５及び情報処理システム１では、オペレータが停止中の複数の車両３を監視する際に、乗車者及び降車者のそれぞれの数及びそれぞれの属性に基づいて、全ての人が乗降を開始してから完了するまでの所要時間を、車両３ごとに算出することができる。情報処理装置５は、乗降開始時刻と所要時間に基づいて、乗降が完了するまでの時間が短い車両３ほど優先度を高くする。端末装置７は、優先度の高い車両３について、面積の大きな画像で提示したり、優先度が閾値以上の車両３だけを提示したり、優先度の高さに応じた順に並べた車両３に関する情報を提示したり、車両３に関する情報を詳細に提示したり、優先度の最も高い車両３の画像を色付けして強調する等の提示をする。このため、オペレータは、端末装置７に提示されている複数の車両３だけを監視、つまり監視すべき車両を容易に把握することができる。これにより、オペレータが同時に監視すべき車両３の数が減少するため、オペレータによる監視すべき複数の車両３の見落としリスクを軽減することができる。その結果、複数の車両３を監視することにより複数の車両３についての安全性を確保しつつ、複数の車両３を監視するオペレータの負担を軽減することができる。
【0122】
（実施の形態２）
［構成］
本実施の形態では、車両１３０が自動運転走行を行っている場合を想定して以下の本実施の形態を記載する。
［構成］
本実施の形態では、車両１３０が自動運転走行を行っている場合を想定して以下の本実施の形態を記載する。
【0123】
本実施の形態の情報処理方法、情報処理装置１５０及び情報処理システム１０１の構成は、特に明記しない場合は、実施の形態１と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
【0124】
図７は、実施の形態２に係る情報処理システム１０１を例示するブロック図である。
【0125】
図７に示すように、情報処理システム１０１は、車両１３０と、情報処理装置１５０と、端末装置１７０とを有する。
【0126】
車両１３０は、第５取得部１３５と、第６取得部１３６と、第７取得部１３７と、通信部１３８とを有する。
【0127】
第５取得部１３５は、車両１３０の状態を示す車両状態情報を取得する装置であり、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等である。車両状態情報は、走行中、一時停止、緊急停止、走行速度等といった車両１３０の状態を示す情報を含む。第５取得部１３５は、車両状態情報を情報処理装置１５０、及び端末装置１７０に送信する。
【0128】
第６取得部１３６は、車両１３０の現在位置を示す車両位置情報（例えば、ＧＰＳ情報）を取得する。第６取得部１３６は、取得した車両位置情報を情報処理装置１５０、及び端末装置１７０に送信する。
【0129】
第７取得部１３７は、物体検知処理の各々をそれぞれ実行する。物体検知処理は、走行中の車両外部の物体及び物体の位置を検知する。第７取得部１３７は、車両１３０の内部の人の様子、車両１３０の外部の物体の位置等を示すセンシング情報を取得する。第７取得部１３７は、車両１３０の内部及び外部を撮像するカメラ等の画像センサ、ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等の距離センサ等である。第７取得部１３７は、センシング情報を情報処理装置１５０、及び端末装置１７０に送信する。車両１３０の外部の物体は、例えば車両１３０の前方に歩いている人、車両１３０後方に存在している自転車等である。第７取得部１３７は、センサの一例である。
【0130】
通信部１３８は、車両状態情報、車両位置情報、及びセンシング情報を情報処理装置１５０に送信する通信インターフェイスである。また、通信部１３８は、車両１３０が遠隔者に遠隔操作されている状態となれば、遠隔操作される制御コマンドを受信する。
【0131】
情報処理装置１５０の検出処理部１５１は、車両１３０の第７取得部１３７からセンシング情報を取得し、センシング情報に基づいて、車両１３０の内部の人の様子、車両１３０の外部の物体等を示す車両内外情報を生成する。検出処理部１５１は、車両内外情報を決定部１５２に出力する。
【0132】
情報処理装置１５０の決定部１５２は、検出処理部１５１から車両内外情報を取得すると、記憶制御部１５３のデータベースに格納されている過去の車両データを取得する。具体的には、決定部１５２は、車両内外情報に類似した過去の車両データの要求を記憶制御部１５３に行い、記憶制御部１５３から要求に対する過去の車両データを取得する。なお、決定部１５２は、記憶制御部１５３のデータベースに格納されている過去の車両データの代わりに、過去の車両データを基に作成された学習済みモデルの要求を記憶制御部１５３に行い、記憶制御部１５３から学習済みモデルを取得してもよい。
【0133】
決定部１５２は、センシング情報、過去の車両データなどに基づいて、複数の車両の各々における自動運転の困難度、複数の車両１３０の外部の危険度の少なくとも一方をそれぞれ算出する。自動運転の困難度は、車両１３０の走行のしやすさを示すパラメータである。例えば、道幅が狭い道路を車両１３０が走行している場合、雨、霧等が発生している環境下で車両１３０が走行している場合等、自動運転の困難度が高い。複数の車両１３０の外部の危険度は、車両１３０が走行している地域が事故を起こす可能性を示すパラメータである。例えば、飛び出し危険地域、工事中等の地域の場合、危険度が高い。以下、本実施の形態では、主に危険度を用いて説明する。なお、決定部１５２は、センシング情報、過去の車両データなどを用いる代わりに、取得した学習済みモデルを用いて、複数の車両の各々における自動運転の困難度、複数の車両１３０の外部の危険度の少なくとも一方をそれぞれ算出してもよい。
【0134】
情報処理装置１５０の記憶制御部１５３は、過去の車両データを格納している記憶装置である。車両データは、ラベル、ラベルに対応した場所、ラベルに対応して推奨される操作、ラベルに対応する危険度等の情報である。ラベルは、場所における、飛び出し危険地域、工事中等といった説明文である。記憶制御部１５３は、決定部１５２からの要求に応じて、車両内外情報に類似した過去の車両データを検索し、類似した過去の車両データを決定部１５２に送信する。なお、危険度は、任意に変更され、例えば、車両１３０の外部に存在している人の数によって危険度は変動する。なお、記憶制御部１５３は、過去の車両データを格納する代わりに、過去の車両データにより学習された学習済みモデルを格納していてもよい。
【0135】
図８Ａ、図８Ｂ及び図８Ｃは、実施の形態２に係る過去の車両データを例示する図である。図８Ａに示すように、過去の車両データは、危険な状況が発生していた「場所」、危険な状況の説明文である「ラベル」、ラベルに対応する「推奨操作」、及び、ラベルに対応する「危険度」で構成されている。図８Ｂに示すように、過去の車両データは、ＡＥＢ（Ａｕｔｏｎｏｍｏｕｓ Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｉｎｇ）発動、一時停止等の車両１３０に発生した「状態」、状態に対応する説明文である「ラベル」、状態に対応する「推奨操作」、状態に対応する「危険度」をさらに有する。図８Ｃに示すように、過去の車両データは、路上の歩行者、車両１３０後方の自転車等といった車両１３０の走行中に発生した車両１３０の外部の「状況」、状況に対応する説明文である「ラベル」、状況に対応する「推奨操作」、状況に対応する「危険度」をさらに有する。
【0136】
図７に示すように、端末装置１７０の提示部１７１は、車両１３０の優先度、車両１３０の状態、車両１３０の内部の画像、車両１３０の外部の画像、車両ＩＤ、車両１３０の現在位置等といった車両１３０に関する情報を、通信部１７３を介して受信し、受信したこれら情報を車両１３０ごとに提示する。
【0137】
端末装置１７０の提示部１７１は、優先度の最も高い車両１３０を面積の大きな画像で提示したり、複数台ある車両１３０のうちの優先度が閾値以上の車両１３０だけを提示したり、車両１３０に関する情報を詳細に提示したり、同じ大きさの画像で優先度の高さに応じた順に並べた車両１３０に関する情報を提示したり、優先度の最も高い車両１３０の画像を色付けして強調するといった提示をする。
【0138】
［動作］
次に、本実施の形態における情報処理方法、情報処理装置１５０及び情報処理システム１０１の動作について説明する。具体的には、車両１３０の走行中に行われる情報処理システム１０１の動作について説明する。
次に、本実施の形態における情報処理方法、情報処理装置１５０及び情報処理システム１０１の動作について説明する。具体的には、車両１３０の走行中に行われる情報処理システム１０１の動作について説明する。
【0139】
図９は、実施の形態２に係る情報処理システム１０１の動作を例示するシーケンス図である。
【0140】
図９に示すように、車両１３０は、車両状態情報を取得し、情報処理装置１５０、及び端末装置１７０に送信する（ステップＳ２０１）。情報処理装置１５０の決定部１５２は、通信部１５４を介して車両状態情報を受信する。
【0141】
また、車両１３０は、車両１３０の現在位置を示す車両位置情報を取得し、車両位置情報を情報処理装置１５０、及び端末装置１７０に送信する（ステップＳ２０２）。情報処理装置１５０の決定部１５２は、通信部１５４を介して車両位置情報を受信する。
【0142】
車両１３０は、車両１３０の内部の人の様子、車両外部つまり車両１３０の外部の物体や物体の位置等を示すセンシング情報を取得し、取得したセンシング情報を情報処理装置１５０、及び端末装置１７０に送信する（ステップＳ２０３）。情報処理装置１５０の決定部１５２は、通信部１５４を介してセンシング情報を受信する。
【0143】
検出処理部１５１は、ステップＳ２０３によるセンシング情報に基づいて、車両１３０の内部の人の様子、車両１３０の外部の物体の位置等を示す車両内外情報を生成する（ステップＳ２０４）。検出処理部１５１は、車両内外情報を決定部１５２に出力する（ステップＳ２０５）。
【0144】
決定部１５２は、取得した車両内外情報に類似した過去の車両データの要求（ステップＳ２０６）を記憶制御部１５３に行う。
【0145】
記憶制御部１５３は、決定部１５２からの要求に応じて、車両内外情報に類似した過去の車両データを検索し、類似した過去の車両データを決定部１５２に出力する（ステップＳ２０７）。過去の車両データは、図８Ａ～図８Ｃで例示され、場所、ラベルに対応した場所、ラベルに対応して推奨される操作、場所に対応する危険度、車両１３０の状態、場所に対応する状況等の情報である。
【0146】
決定部１５２は、記憶制御部１５３から過去の車両データを取得し、それぞれの車両１３０に対して優先的に監視する優先度を設定する（ステップＳ２０８）。決定部１５２は、危険度に基づいて優先度を設定する。優先度の決定については後述する。決定部１５２は、決定した各々の車両１３０の優先度を示す情報を端末装置１７０に送信する（ステップＳ２０９）。
【0147】
次に、端末装置１７０は、ステップＳ２０１で取得した車両状態情報、車両内外情報、ステップＳ２０９で決定した、各々の車両１３０の優先度を示す情報を受信する。端末装置１７０は、優先度に応じた提示を行う（ステップＳ２１０）。
【0148】
【0149】
図１０Ａは、実施の形態２に係る端末装置１７０の提示を例示する図である。図１０Ａに示すように、提示部１７１は、優先度の最も高い車両１３０を面積の大きな画像で提示する。具体的には、複数台ある車両１３０のうちの所定の優先度以上の車両１３０だけを提示し、最も優先度の高い車両１３０については、面積の大きな画像で詳細に提示する。優先度が１番の車両１３０に関する情報は、車両１３０の優先度、車両１３０の状態、車両１３０の内部の画像、車両１３０の外部の画像、車両ＩＤ、車両１３０の現在位置等といった車両１３０に関する情報を示している。また、例えば、優先度が２番目以降の車両１３０については、優先度が１番の車両１３０よりも簡易な情報、例えば車両１３０に関する画像を１種類だけ提示する。また、所定の優先度未満の車両１３０、本実施の形態では優先度が６番目以降の車両１３０については、提示部１７１に車両１３０に関する情報を提示しない。
【0150】
図１０Ｂは、実施の形態２に係る端末装置１７０の提示を例示する図である。図１０Ｂに示すように、提示部１７１は、複数台ある車両１３０のうちの所定の優先度以上の車両１３０に関する情報だけを提示する。本実施の形態では、２台分の車両１３０を示す情報を提示し、優先度が３番目以降の他の車両１３０に関する情報を提示しない。
【0151】
図１０Ｃは、実施の形態２に係る端末装置１７０の提示を例示する図である。図１０Ｃに示すように、提示部１７１は、優先度の最も高い車両１３０に関する情報を、面積の大きな画像で提示し、かつ、複数台ある車両１３０のうちの所定の優先度以上の車両１３０だけを提示する。図１０Ｃでは、車両１３０に関する情報の詳細まで提示する。
【0152】
図１０Ｄは、実施の形態２に係る端末装置１７０の提示を例示する図である。図１０Ｄに示すように、提示部１７１は、オペレータが提示部１７１によってそれぞれの車両１３０に関する情報を視認できる程度の大きさで、複数の車両１３０の情報を提示する。図１０Ｄでは、優先度の高さに応じた順に並べた車両１３０に関する情報を提示している。
【0153】
【0154】
図１０Ｆは、実施の形態２に係る端末装置１７０の提示を例示する図である。図１０Ｆに示すように、複数台の車両１３０が連続して縦列走行している場合、これらの車両１３０をまとめて１台の車両１３０として提示する。
【0155】
【0156】
図９のシーケンス図の説明に戻る。
【0157】
端末装置１７０は、オペレータによる動作指示を受け付ける（ステップＳ２１１）。例えば、オペレータは、端末装置１７０に提示された車両１３０の各々から、各々の車両１３０における運行状況の確認を行う。そして、オペレータは、端末装置１７０に動作指示を入力する。端末装置１７０は、オペレータによる動作指示を受け付けると、端末装置１７０に提示された各々の車両１３０について、制御コマンドを送信する（ステップＳ２１２）。ここでの制御コマンドは、車両１３０の緊急停止、車両１３０の一時停止、車両１３０の徐行、車両１３０のハンドル操作等の車両１３０の走行を制御するコマンドである。
【0158】
車両１３０は、ステップＳ２１２の制御コマンドを受信すると、制御コマンドに応じた動作、表示を行う（ステップＳ２１３）。こうして、この情報処理システム１０１の処理を終了する。
【0159】
端末装置１７０は、ステップＳ２１２で送信した制御コマンドに応じた評価を示す状況データを生成する。例えば、Ａ地点の飛び出し行為によって徐行運転が行われた場合に、端末装置１７０は、場所を「Ａ地点」、ラベルを「飛び出しの危険」、推奨操作を「徐行運転」、危険度を「高」とする状況データを生成する。なお、オペレータが操作部１７２を介して入力することで、状況データが生成されてもよい。また、状況データは、端末装置１７０によって自動的に生成されてもよい。端末装置１７０は、生成された状況データを情報処理装置１５０に送信する（ステップＳ２１４）。情報処理装置１５０の記憶制御部１５３は、通信部１５４を介して状況データを受信する。記憶制御部１５３は、状況データを格納して、記憶制御部１５３のデータベースを更新する。
【0160】
また、決定部１５２は、車両状態情報、車両位置情報、及びセンシング情報に基づいて、例えば、車両１３０が停止した位置、その時の車両１３０の外部の物体の情報等を示す走行情報を生成し、走行情報を記憶制御部１５３に出力する（ステップＳ２１５）。
【0161】
記憶制御部１５３は、走行情報を取得して、記憶制御部１５３のデータベースを更新する（ステップＳ２１６）。そして、情報処理システム１０１では、この処理を終了する。
【0162】
なお、この情報処理システム１０１において、ステップＳ２１４～ステップＳ２１６における記憶制御部１５３のデータベースの更新は、必須の処理ではなく、このような処理を行わなくてもよい。
【0163】
ここでは、情報処理装置１５０における、優先度の設定について具体的に説明する。図１１は、実施の形態２に係る情報処理装置１５０の動作において、データベースを利用して優先度の決定を例示するフロー図である。なお、データベースを用いる代わりに学習済みモデルを用いて優先度が決定されてもよい。
【0164】
まず、図１１に示すように、情報処理装置１５０は、車両状態情報、センシング情報、及び車両位置情報を取得する（ステップＳ２６１）。
【0165】
情報処理装置１５０の決定部１５２は、車両状態情報に基づいて、車両１３０に異常があるか否かを判断する（ステップＳ２６２）。具体的には、決定部１５２は、例えば、ＡＥＢ発動等といった車両１３０の走行において危険性の高い動作を示す情報が車両状態情報に含まれているかどうかを判断する。
【0166】
車両１３０に異常がある場合（ステップＳ２６２でＹｅｓ）、決定部１５２は、車両状態情報を送信した車両１３０の優先度を「高」に設定する（ステップＳ２６３）。
【0167】
決定部１５２は、ステップＳ２６３で設定した車両１３０の優先度を示す情報を端末装置１７０に送信する（ステップＳ２６４）。
【0168】
車両１３０に異常がない場合（ステップＳ２６２でＮｏ）、決定部１５２は、記憶制御部１５３に格納されている地域に関する記憶制御部１５３のデータベースを参照する（ステップＳ２６５）。具体的には、決定部１５２は、車両位置情報に基づいて、車両１３０が現在走行している場所（地域）が、データベース内に存在しているかどうかを参照する。
【0169】
決定部１５２は、車両位置情報に基づいて、現在走行している地域に、危険な地点が存在しているかどうかを判断する（ステップＳ２６６）。危険な地点は、例えば、飛び出しの危険性、工事中等の地点である。
【0170】
現在走行している地域において、データベースに危険な地点が存在している場合（ステップＳ２６６でＹｅｓ）、決定部１５２は、ステップＳ２６１で情報を送信した車両１３０の優先度を「高」又は「中」に設定し（ステップＳ２６７）、ステップＳ２６４に進む。
【0171】
現在走行している地域において、データベースに危険な地点が存在していない場合（ステップＳ２６６でＮｏ）、決定部１５２は、車両位置情報及びセンシング情報に基づいて、記憶制御部１５３に格納されている危険シーンに関するデータベースを参照する（ステップＳ２６８）。具体的には、決定部１５２は、車両位置情報及びセンシング情報に基づいて、車両１３０が現在走行している地域が、記憶制御部１５３のデータベース内に存在しているかどうかを参照する。ここで、危険シーンは、車両１３０が自動運転を行うことが困難な地域であり、車両１３０に危険が発生する恐れがあると予測されるシーンである。例えば、危険シーンは、車両１３０が走行している車道を自転車が走行している場合、後方から自転車が車両１３０に接近している場合、路上駐車により死角が多く飛び出しの危険性がある場合等である。
【0172】
決定部１５２は、車両位置情報及びセンシング情報に基づいて、現在走行している地域に、危険シーンが含まれているかどうかを判断する（ステップＳ２６９）。
【0173】
センシング情報に危険シーンが含まれている場合（ステップＳ２６９でＹｅｓ）、決定部１５２は、ステップＳ２６１で情報を送信した車両１３０の優先度を「高」又は「中」に設定し（ステップＳ２７０）、ステップＳ２６４に進む。
【0174】
センシング情報に危険シーンが含まれていない場合（ステップＳ２６９でＮｏ）、決定部１５２は、ステップＳ２６１で情報を送信した車両１３０の優先度を「低」に設定し（ステップＳ２７１）、ステップＳ２６４に進む。このようにして、情報処理装置１５０は、優先度を決定し、この処理を終了する。本実施の形態では、優先度を「高」、「中」、「低」の３段階に分けているが、２段階でもよく、４段階以上でもよい。
【0175】
なお、車両１３０が走行している地域、その地域の天候等によって危険度は異なると考えられる。このため、例えば、道幅が狭い道路を車両１３０が走行している場合、雨、霧等が発生している場合などでは、決定部１５２は、例えばステップＳ２６７及びステップＳ２７０の優先度を「高」にしてもよく、ステップＳ２６３の優先度を「超高」にしてもよく、ステップＳ２６７の優先度を「中」にしてもよい。決定部１５２は、通信部１５４を介して、走行している地域の天候情報を外部のサーバから取得してもよい。
【0176】
これらのように、情報処理方法、情報処理装置１５０及び情報処理システム１０１では、オペレータが走行中の複数の車両１３０を監視する際に、各々の車両１３０の内部及び外部の状態を示すセンシング情報に基づいて、危険度を車両１３０ごとに算出することができる。情報処理装置１５０は、この危険度に基づき、車外の危険度が高い車両１３０ほど優先的に監視すべき車両１３０として提示する。端末装置１７０は、優先度の高い車両１３０について、面積の大きな画像で提示したり、優先度が閾値以上の車両１３０だけを提示したり、全ての車両１３０の詳細な情報を提示したり、可能な限り車両１３０の情報を提示したり、優先度の最も高い車両１３０の画像を色付けして強調するといった提示をする。このため、オペレータは、端末装置１７０に提示されている複数の車両１３０だけを監視、つまり監視すべき車両１３０をより正確に把握することができる。その結果、複数の車両を監視することにより、複数の車両についての安全性をより確保することができる。
【0177】
（その他変形例）
以上、本開示の実施の形態１、２に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１について説明したが、本開示の実施の形態１、２は上述の実施の形態１、２に限定されるものではない。
以上、本開示の実施の形態１、２に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１について説明したが、本開示の実施の形態１、２は上述の実施の形態１、２に限定されるものではない。
【0178】
例えば、上記実施の形態１に係る情報処理方法、情報処理装置５及び情報処理システム１では、乗降者に応じて車両３を監視又は制御するための提示の態様が決定される例を説明したが、車両３の混雑度に応じて当該提示の態様が決定されてもよい。例えば、検出処理部５１は、第４取得部３４により取得される車内外画像から車両３内の乗客数、空いている座席数などを検出し、混雑度情報を生成する。決定部５２は、混雑度情報に基づき優先度を決定する。提示制御部５５は、当該優先度に基づき上記提示の態様を制御する。
【0179】
また、上記実施の形態１、２に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１において、複数の車両３、１３０について同じ優先度が決定された場合、情報処理装置５、１５０は、その旨を車両３、１３０側へ通知してもよく、その通知に基づいて車両３、１３０内でアナウンスが行われてもよい。
【0180】
また、上記実施の形態１、２に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１において、優先度に基づく態様で提示される画像は、優先度の決定に用いられた情報に関する部分が強調されたり、区別可能に提示されたりしてもよい。具体的には、優先度の決定に用いられた情報は、検出された物体であってよい。例えば、実施の形態１では、画像上の乗降者が強調表示されてよい。また、実施の形態２では、画像上の歩行者又は車両が強調表示されてよい。強調表示の態様としては、物体に対する色彩、模様又は枠の付加、物体の点滅などがあってもよい。
【0181】
また、上記実施の形態１、２に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【0182】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0183】
なお、上記各実施の形態１、２において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0184】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態１、２は例示された数字に制限されない。
【0185】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0186】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0187】
以上、一つ又は複数の態様に係る情報処理方法、情報処理装置５、１５０及び情報処理システム１、１０１について、実施の形態１、２に基づいて説明したが、本開示の実施の形態１、２は当該複数の態様に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態１、２に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
【0188】
なお、検出処理部５１、１５１及び決定部５２、１５２で行う処理は、実施の形態１、２に記載したように機械学習を用いてもよい。機械学習には、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしのどちらも扱う半教師あり学習、状態の観測結果から選択した行動に対するフィードバック（報酬）を得ることにより、最も多く報酬を得ることができる連続した行動を学習する強化学習などが挙げられる。また、機械学習の具体的な手法として、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などが存在する。本開示においては、以上で挙げた具体例のいずれかを用いればよい。
【産業上の利用可能性】
【0189】
本開示は、自動運転車両を遠隔操作する装置、自動運転車両の状態を提示する端末装置、或いはこれらを含むシステムに適用できる。特に、自動運転バス、自動運転タクシー、自動運転電車等に用いられる。
【符号の説明】
【0190】
１、１０１ 情報処理システム
３、１３０ 車両
５、１５０ 情報処理装置
７、１７０ 端末装置（提示装置）
３３ 第３取得部（センサ）
５１、１５１ 検出処理部
５２、１５２ 決定部
５４、１５４ 通信部（取得部）
５５、１５５ 提示制御部
１３７ 第７取得部（センサ）
３、１３０ 車両
５、１５０ 情報処理装置
７、１７０ 端末装置（提示装置）
３３ 第３取得部（センサ）
５１、１５１ 検出処理部
５２、１５２ 決定部
５４、１５４ 通信部（取得部）
５５、１５５ 提示制御部
１３７ 第７取得部（センサ）
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10A】
【図10B】
【図10C】
【図10D】
【図10E】
【図10F】
【図11】