(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023037415
(43)【公開日】2023-03-15
(54)【発明の名称】情報処理装置及び方法並びにコンピュータプログラム
(51)【国際特許分類】
G08G 5/00 20060101AFI20230308BHJP
G09B 29/00 20060101ALI20230308BHJP
G16Y 10/40 20200101ALI20230308BHJP
G16Y 10/75 20200101ALI20230308BHJP
G16Y 40/60 20200101ALI20230308BHJP
G01C 21/20 20060101ALI20230308BHJP
【FI】
G08G5/00 A
G09B29/00 Z
G16Y10/40
G16Y10/75
G16Y40/60
G01C21/20
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021144164
(22)【出願日】2021-09-03
(71)【出願人】
【識別番号】512147211
【氏名又は名称】株式会社リアルグローブ
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(72)【発明者】
【氏名】奥 翔治郎
(72)【発明者】
【氏名】大畑 貴弘
【テーマコード(参考)】
2C032
2F129
5H181
【Fターム(参考)】
2C032HC27
2C032HD26
2F129AA03
2F129AA11
2F129BB03
2F129BB33
2F129BB66
2F129EE02
2F129EE17
2F129EE66
2F129EE78
2F129EE94
2F129FF02
2F129FF15
2F129FF57
2F129FF62
2F129FF71
2F129FF74
2F129GG17
2F129HH12
2F129HH18
2F129HH20
5H181AA01
5H181AA26
5H181AA27
5H181BB04
5H181BB13
5H181CC04
5H181FF04
5H181FF07
5H181FF10
5H181FF13
5H181FF22
5H181FF32
5H181FF38
5H181MA41
5H181MC19
(57)【要約】
【課題】位置情報に係る方式にかかわらず位置情報のやり取りを可能にする。
【解決手段】情報処理装置(100)は、移動体(11)により撮像された画像に、移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得手段(120)と、加工画像に対して文字認識処理を施して、画像化された第1文字を文字情報として抽出する抽出手段(130)と、文字情報に基づいて、移動体の位置を特定する特定手段(140)と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得手段と、
前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出手段と、
前記文字情報に基づいて、前記移動体の位置を特定する特定手段と、
を備えることを特徴とする情報処理装置。
【請求項2】
前記抽出手段は、前記文字情報により示される第2文字を画像化して、前記画像化された第1文字と比較することを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記抽出手段は、前記画像化された第2文字と前記画像化された第1文字との比較結果に基づいて、前記文字情報の誤りを検出することを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記特定された位置に基づいて、前記移動体の位置及び軌跡の少なくとも一方を表示する表示手段を備えることを特徴とする請求項1乃至3のいずれか一項に記載の情報処理装置。
【請求項5】
前記特定された位置に基づいて、前記移動体の位置を示す移動体情報を他の装置に送信する送信手段を備えることを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。
【請求項6】
前記移動体は、無人飛行体であることを特徴とする請求項1乃至5のいずれか一項に記載の情報処理装置。
【請求項7】
情報処理装置における情報処理方法であって、
前記情報処理装置が、移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得工程と、
前記情報処理装置が、前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出工程と、
前記情報処理装置が、前記文字情報に基づいて、前記移動体の位置を特定する特定工程と、
を含むことを特徴とする情報処理方法。
【請求項8】
情報処理装置のコンピュータを、
移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得手段と、
前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出手段と、
前記文字情報に基づいて、前記移動体の位置を特定する特定手段と、
として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及び方法並びにコンピュータプログラムの技術分野に関する。
【背景技術】
【0002】
この種の装置として、例えば、監視対象者に携帯された情報端末装置の位置情報である監視位置情報と、該監視対象者を追跡するドローン装置の位置情報であるドローン位置情報とに基づいて、自機の移動制御を行うドローン装置が提案されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えばAPIやSDK等、装置間で位置情報をやり取りするための方式が存在する。この方式が同じ装置同士では位置情報のやり取りが可能である一方で、この方式が異なる装置同士では位置情報のやり取りができない。例えば、上記方式が異なるシステム同士で位置情報をやり取りしようとすると、一方のシステムの方式を他方のシステムの方式に合わせなければならず、システム同士の連携が進みにくいという技術的問題点がある。
【0005】
本発明は、例えば上記問題点に鑑みてなされたものであり、位置情報に係る方式にかかわらず位置情報をやり取りすることができる情報処理装置及び方法並びにコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【0006】
本発明の一態様に係る情報処理装置は、移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得手段と、前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出手段と、前記文字情報に基づいて、前記移動体の位置を特定する特定手段と、を備えるというものである。
【0007】
本発明の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置が、移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得工程と、前記情報処理装置が、前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出工程と、前記情報処理装置が、前記文字情報に基づいて、前記移動体の位置を特定する特定工程と、を含むというものである。
【0008】
本発明の一態様に係るコンピュータプログラムは、情報処理装置のコンピュータを、移動体により撮像された画像に、前記移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する取得手段と、前記加工画像に対して文字認識処理を施して、前記画像化された第1文字を文字情報として抽出する抽出手段と、前記文字情報に基づいて、前記移動体の位置を特定する特定手段と、として機能させるというものである。
【0009】
本発明の作用及び利得は次に説明する実施するための形態から明らかにされる。
【図面の簡単な説明】
【0010】
【
図1】第1実施例に係る映像共有システムの構成を示す図である。
【
図2】第1実施例に係る情報処理装置の構成を示すブロック図である。
【
図3】第1実施例に係る情報処理装置の動作を示すフローチャートである。
【
図4】ドローン装置から取得される画像の一例を示す図である。
【
図6】第2実施例に係る映像共有システムの構成を示す図である。
【
図7】実施例に係るコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0011】
情報処理装置に係る実施形態を説明する。実施形態に係る情報処理装置は、取得手段、抽出手段及び特定手段を備える。取得手段は加工画像を取得する。ここで加工画像は、移動体により撮像された画像に、該移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された画像である。移動体により撮像された画像と、画像化された第1文字との重畳(即ち、加工画像の生成)は、移動体において行われてよい。
【0012】
移動体により撮像された画像は、移動体の周囲を撮像した画像に限らず、例えば移動体が車両である場合には、その車内を撮像した画像等であってよい。移動体としては、例えば飛行体、車両、自走式ロボット等が挙げられる。飛行体には、ドローン装置、ヘリコプタ、飛行機等が含まれていてよい。
【0013】
移動体の位置は、例えばGNSS(Global Navigation Satellite System)、Dead Reckoning等、既存の技術により特定されてよい。移動体の位置に係る位置情報は、例えば、緯度・経度で移動体の位置を表した情報であってもよいし、基点からの方位及び距離で移動体の位置を表した情報であってもよい。第1文字は、位置情報により示される文字である。移動体の位置が緯度・経度で表されている場合、第1文字は、例えば「E: 139 74’56’’, N: 35 67’08’’」等であってよい。尚、位置情報には、移動体の位置を示す情報に加えて、例えば、移動体の姿勢(又は向き)を示す情報や、移動体の高度を示す情報等が含まれていてよい。
【0014】
抽出手段は、加工画像に対して文字認識処理を施して、画像化された第1文字を文字情報として抽出する。画像化された第1文字は加工画像の一部を構成しており、文字としての属性を失っている。抽出手段は、文字としての属性が失われた第1文字を文字情報として抽出することにより、例えば当該情報処理装置が第1文字を文字として扱うことを可能にする。尚、文字認識処理には、例えばOCR(Optical Character Recognition)等の既存の技術を適用可能である。
【0015】
特定手段は、抽出手段により抽出された文字情報に基づいて、移動体の位置を特定する。このように、当該情報処理装置では、移動体から位置情報を取得することなく、該移動体の位置を特定することができる。
【0016】
移動体と当該情報処理装置とは異なる装置である。仮に、移動体と当該情報処理装置との間で位置情報をやり取りしようとすると、位置情報に係る方式(例えばAPI、SDK等)を両者で合わせる必要がある。しかしながら、当該情報処理装置は、移動体から出力される位置情報そのものを取得する必要がない。
【0017】
このため、当該情報処理装置は、自身の位置情報に係る方式を、移動体の位置情報に係る方式と合わせる必要がない。或いは、当該情報処理装置は、移動体から出力される位置情報そのものを扱う機能を必要としない。従って、当該情報処理装置によれば、位置情報に係る方式にかかわらず位置情報をやり取りすることができる。この結果、当該情報処理装置によれば、位置情報に係る方式が互いに異なるシステム同士を比較的容易に連携することができる。
【0018】
当該情報処理装置において、抽出手段は、文字情報により示される第2文字を画像化して、画像化された第1文字と比較してよい。この態様では、抽出手段は、画像化された第2文字と画像化された第1文字との比較結果に基づいて、文字情報の誤りを検出してよい。このように構成すれば、文字認識処理に起因する誤認識の発生を抑制することができる。
【0019】
当該情報処理装置は、特定手段により特定された位置に基づいて、移動体の位置及び軌跡の少なくとも一方を表示する表示手段を備えてよい。また、当該情報処理装置は、特定手段により特定された位置に基づいて、移動体の位置を示す移動体情報を他の装置に送信する送信手段を備えてよい。このように構成すれば、当該情報処理装置のユーザに移動体の位置及び軌跡の少なくとも一方を提示することができたり、他の装置に対して、移動体の位置を示す移動体情報を配信したりすることができる。尚、移動体情報には、移動体の位置を示す情報に加えて、例えば、移動体を識別するための情報、移動体の姿勢(又は向き)を示す情報、移動体の高度を示す情報等が含まれていてよい。
【0020】
情報処理方法に係る実施形態を説明する。実施形態に係る情報処理方法は、情報処理装置における情報処理方法である。当該情報処理方法は、取得工程、抽出工程及び特定工程を含む。取得工程では、情報処理装置が、移動体により撮像された画像に、移動体の位置に係る位置情報により示される第1文字が画像化された上で重畳された加工画像を取得する。
【0021】
抽出工程では、情報処理装置が、加工画像に対して文字認識処理を施して、画像化された第1文字を文字情報として抽出する。特定工程では、情報処理装置が、文字情報に基づいて、移動体の位置を特定する。当該情報処理方法によれば、上述した情報処理装置と同様に、位置情報に係る方式にかかわらず位置情報をやり取りすることができる。
【0022】
<第1実施例>
情報処理装置に係る第1実施例について
図1乃至
図5を参照して説明する。
図1において、映像共有システム1は、ドローン装置11、操作装置12、通信装置13、及び、端末装置41乃至43を備えて構成されている。尚、「ドローン装置11」が、上述した「移動体」の一例に相当する。映像共有システム1は、ドローン装置11に加えて、一又は複数の移動体を備えていてよい。
【0023】
ドローン装置11は、操作装置12から発信される信号に従った挙動をするように構成されている。ドローン装置11は、その周囲を撮像するカメラ(図示せず)を有する。ドローン装置11は、例えば衛星測位システムを利用した測位結果と、高度センサ、ジャイロセンサ及び磁気方位センサ各々の出力とに基づいて、例えば自身の位置、高度及び姿勢を検出する。ドローン装置11は、カメラにより撮像された画像に、例えば自身の位置、高度及び姿勢を示す文字を画像化して重畳することにより加工画像を生成する。尚、「位置、高度及び姿勢を示す文字」が、上述した「位置情報により示される第1文字」の一例に相当する。
【0024】
例えばスマートフォン等である通信装置13は、ドローン装置11により生成された加工画像を取得する。通信装置13は、無線基地局20と通信可能に構成されている。通信装置13は、無線基地局20と、例えばインターネット等のネットワーク30を介して、加工画像を端末装置41乃至43の少なくとも一つに送信可能に構成されている。
【0025】
本実施例では特に、通信装置13は、情報処理装置100及びディスプレイ200を有する。情報処理装置100について
図2を参照して説明を加える。情報処理装置100は、通信部110、取得部120、処理部130、特定部140及び表示制御部150を有する。
【0026】
情報処理装置100の動作について
図2に加えて
図3のフローチャートを参照して説明する。
図3において、情報処理装置100の取得部120は、ドローン装置11から加工画像(即ち、映像情報)を取得する(ステップS101)。ここで、加工画像の一例を
図4に示す。
図4に示す加工画像には、画像の左下部分にドローン装置11の位置等を示す文字が含まれている。
【0027】
次に、情報処理装置100の処理部130は、加工画像に対して文字認識処理を施して、画像化された位置等を示す文字を文字情報として抽出する。情報処理装置100の特定部140は、抽出された文字情報に基づいて、ドローン装置11の位置等(例えば位置、高度、姿勢)を特定(取得)する(ステップS102)。
【0028】
処理部130は、ステップS102の処理において特定された位置等により示される文字を画像化して、加工画像の、位置等を示す文字に相当する部分(
図4参照)に重ね合わせる。そして処理部130は、重ね合わされた両者を比較し、その比較結果に基づいて、ステップS102の処理において特定された位置等に誤りがあるか否かを判定する(ステップS103)。尚、「ステップS102の処理において特定された位置等により示される文字」が、上述した「文字情報により示される第2文字」の一例に相当する。
【0029】
処理部130は、重ね合わされた両者の差分が所定量より大きい場合に、ステップS102の処理において特定された位置等に誤りがあると判定してよい。処理部130は、重ね合わされた両者の差分が所定量より小さい場合に、ステップS102の処理において特定された位置等に誤りがないと判定してよい。尚、重ね合わされた両者の差分が所定量と「等しい」場合には、どちらかに含めて扱えばよい。
【0030】
ステップS103の処理において位置等に誤りがあると判定された場合、処理部130は、その位置等を除外してもよいし、例えば文字認識処理を再度実施して正しい値に補正してもよい(ステップS104)。ステップS103の処理において位置等に誤りがないと判定された場合、又は、ステップS104の処理において位置等が補正された場合、情報処理装置100の表示制御部150は、位置等に基づいて、ドローン装置11の位置や軌跡が示された地図画像をディスプレイ200上に表示する(ステップS105)。
【0031】
ここで、ディスプレイ200に表示される画像の一例について
図5を参照して説明を加える。表示制御装置150は、ステップS102の処理において特定された位置等に基づいてドローン装置11の現在位置を示すマーク301を地図上に表示してよい。表示制御部150は、時間的に連続する複数の位置に基づいて(言い換えれば、ドローン装置11の位置の時間変化に基づいて)ドローン装置11の軌跡を示すマーク302を地図上に表示してよい。表示制御部150は、ステップS102の処理において特定された位置等に基づいてドローン装置11の位置等を示す文字を位置情報303として地図上に表示してよい。尚、ステップS102の処理において特定された位置の時刻は、例えば加工画像に付与されたタイムスタンプ等から特定されてよい。
【0032】
軌跡を示すマーク302を構成する複数のドットの少なくとも一部は、地図上に表示された後、所定期間が経過したときに表示されなくなってよい。また、上記複数のドットの少なくとも一部は、例えば、地図上にされてからの時間経過にとともに、その濃度値が小さくされてよい。軌跡を示すマーク302は、ドットに限らず、例えば実線、点線、破線等であってよい。
【0033】
情報処理装置100は、
図3のフローチャートに示す処理により特定された位置等を示す移動体情報を、通信部110を介して、端末装置41乃至43の少なくとも一つに送信してよい。移動体情報には、ドローン装置11を識別するための情報が含まれていてよい。このとき、情報処理装置100は、移動体情報を、ドローン装置11から取得された加工画像(即ち、移動体情報により示される位置等の特定に用いられた加工画像)と紐づけてよい。
【0034】
本実施形態に係る「通信部110」、「取得部120」、「処理部130」、「特定部140」及び「表示制御部150」は、夫々、上述した「送信手段」、「取得手段」、「抽出手段」、「特定手段」及び「表示手段」の一例に相当する。
【0035】
<第2実施例>
情報処理装置に係る第2実施例について、
図2乃至
図5に加えて、
図6を参照して説明する。
図6において、映像共有システム2は、ドローン装置11、操作装置12、端末装置41乃至43、及び、情報処理装置100を備えて構成されている。映像共有システム2は、ドローン装置11に加えて、一又は複数の移動体を備えていてよい。第2実施例では、ドローン装置11が無線基地局20と通信可能に構成されている点で、上述した第1実施例と異なっている。
【0036】
ドローン装置11は、カメラにより撮像された画像に、例えば自身の位置、高度及び姿勢を示す文字を画像化して重畳することにより加工画像(
図4参照)を生成する。ドローン装置11は、無線基地局20及びネットワーク30を介して、加工画像を情報処理装置100に送信する。第2実施例では、情報処理装置100は、例えばクラウドサーバ等のネットワーク30上の装置として構成されている。
【0037】
情報処理装置100は、通信部110、取得部120、処理部130及び特定部140を有する(
図2参照)。尚、第2実施例に係る情報処理装置100は、表示制御部150を有してなくてよい。
【0038】
情報処理装置100は、
図3のフローチャートのステップS101乃至S104の処理を行う。即ち、情報処理装置100の取得部120は、ドローン装置11から加工画像を取得する(ステップS101)。情報処理装置100の処理部130は、加工画像に対して文字認識処理を施して、画像化された位置等を示す文字を文字情報として抽出する。情報処理装置100の特定部140は、抽出された文字情報に基づいて、ドローン装置11の位置等を特定する(ステップS102)。
【0039】
処理部130は、ステップS102の処理において特定された位置等により示される文字を画像化して、加工画像の、位置等を示す文字に相当する部分(
図4参照)に重ね合わせる。そして処理部130は、重ね合わされた両者を比較し、その比較結果に基づいて、ステップS102の処理において特定された位置等に誤りがあるか否かを判定する(ステップS103)。
【0040】
ステップS103の処理において位置等に誤りがあると判定された場合、処理部130は、その位置等を除外してもよいし、例えば文字認識処理を再度実施して正しい値に補正してもよい(ステップS104)。ステップS103の処理において位置等に誤りがないと判定された場合、又は、ステップS104の処理において位置等が補正された場合、情報処理装置100は、ドローン装置11の位置等を示す移動体情報を、通信部110を介して、端末装置41乃至43の少なくとも一つに送信する。
【0041】
情報処理装置100は、ステップS102乃至S104の処理と並行して又は相前後して、ステップS101の処理において取得された加工画像を、通信部110を介して、端末装置41乃至43の少なくとも一つに送信する。
【0042】
端末装置41乃至43のうち、移動体情報を受信した端末装置は、該移動体情報により示されるドローン装置11の位置等に基づいて、ドローン装置11の位置や軌跡が示された地図画像(
図5参照)をディスプレイ上に表示してよい。
【0043】
情報処理装置100が表示制御部150を有する場合、表示制御部150は、移動体情報により示されるドローン装置11の位置等に基づいて、ドローン装置11の位置や軌跡が示された地図画像(
図5参照)を生成してよい。そして、情報処理装置100は、該生成された地図画像を、通信部110を介して、端末装置41乃至43の少なくとも一つに送信してよい。
【0044】
<コンピュータプログラム>
コンピュータプログラムに係る実施形態について
図7を参照して説明する。
図7は、実施形態に係るコンピュータの構成を示すブロック図である。
【0045】
図7において、コンピュータ50は、CPU(Central Processing Unit)51、RAM(Random Access Memory)52、HDD(Hard Disk Drive)53及びI/O(Input/Output)54を備えて構成されている。CPU51、RAM52、HDD53及びI/O54は、バス55により相互に接続されている。HDD53には、本実施形態に係るコンピュータプログラム531が予め格納されている。
【0046】
コンピュータプログラム531によるCPU51の処理について説明する。CPU51は、I/O54を介して、ドローン装置11から加工画像を取得する。CPU51は、加工画像に対して文字認識処理を施して、画像化された位置等を示す文字を文字情報として抽出する。CPU51は、抽出された文字情報に基づいて、ドローン装置11の位置等を特定する。
【0047】
CPU51は、上記特定された位置等により示される文字を画像化して、加工画像の、位置等を示す文字に相当する部分(
図4参照)に重ね合わせてよい。そしてCPU51は、重ね合わされた両者を比較し、その比較結果に基づいて、上記特定された位置等に誤りがあるか否かを判定してよい。CPU51は、上記特定された位置等に誤りがあると判定した場合、その位置等を除外してもよいし、例えば文字認識処理を再度実施して正しい値に補正してもよい。
【0048】
CPU51は、上記特定された位置等を示す移動体情報を、I/O54を介して、他の装置(例えば端末装置41乃至43の少なくとも一つ)に送信してよい。CPU51は、上記特定された位置等に基づいて、ドローン装置11の位置や軌跡が示された地図画像(
図5参照)を生成してよい。CPU51は、該生成された地図画像を、I/O54を介して、当該コンピュータ50に接続されたディスプレイ(図示せず)に表示してよい。CPU51は、上記生成された地図画像を、I/O54を介して、他の装置(例えば端末装置41乃至43の少なくとも一つ)に送信してよい。
【0049】
尚、コンピュータ50が、例えば、コンピュータプログラム531を格納するCD-ROM(Compact Disc Read Only Memory)等の光ディスク、USB(Universal Serial Bus)メモリ、等の記録媒体から、コンピュータプログラム531を読み込むことにより、HDD53にコンピュータプログラム531が格納されてよい。或いは、コンピュータ50が、例えばインターネット等のネットワークを介して、コンピュータプログラム531をダウンロードすることにより、HDD53にコンピュータプログラム531が格納されてよい。
【0050】
コンピュータプログラム531によれば、上述した実施形態に係る情報処理装置と同様に、位置情報に係る方式にかかわらず位置情報をやり取りすることができる。コンピュータプログラム531によれば、上述した実施形態に係る情報処理装置を比較的容易に実現することができる。
【0051】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う情報処理装置及び方法並びにコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【0052】
1、2…映像共有システム、11…ドローン装置、12…操作装置、13…通信装置、20…無線基地局、30…ネットワーク、41、42、43…端末装置、100…情報処理装置、110…通信部、120…取得部、130…処理部、140…特定部、150…表示制御部