(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-27
(45)【発行日】2024-04-04
(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20240328BHJP
G06T 7/277 20170101ALI20240328BHJP
G06V 10/62 20220101ALI20240328BHJP
【ＦＩ】
H04N7/18 K
G06T7/277
G06V10/62
【請求項の数】
18
(21)【出願番号】P 2023522011
(86)(22)【出願日】2021-05-17
(86)【国際出願番号】 JP2021018624
(87)【国際公開番号】W WO2022244062
(87)【国際公開日】2022-11-24
【審査請求日】2023-11-15
【早期審査対象出願】
(73)【特許権者】
【識別番号】391010116
【氏名又は名称】ＥＩＺＯ株式会社
(72)【発明者】
【氏名】東 正史
(72)【発明者】
【氏名】青木 玲央
(72)【発明者】
【氏名】金田 隆仁
(72)【発明者】
【氏名】中前 貴司
(72)【発明者】
【氏名】岡野 毅
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開２０１１－０９１７０５（ＪＰ，Ａ）
【文献】特開２０１０－１１８８５１（ＪＰ，Ａ）
【文献】特開２０１９－０６７１５９（ＪＰ，Ａ）
【文献】中国特許出願公開第１１２２００１０１（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ７／２０
Ｇ０６Ｖ １０／６２
(57)【特許請求の範囲】
【請求項1】
画像取得部と、確率取得部と、判定部とを備え、前記画像取得部は、画像を取得可能に構成され、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得部は、前記画像に基づいて、存在確率と種類データを取得可能に構成され、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記種類データは、前記物体の種類を特定するデータであり、
前記判定部は、前記第１及び第２フレームにおける前記物体の前記種類が同じであると判定した場合に、前記存在確率を比較して前記物体の状況を判定するように構成されており、
前記種類データは、前記物体の前記種類の候補ごとに種類特定確率が特定されており、
前記判定部は、前記種類の前記候補のうち最も前記種類特定確率が高い前記候補を、前記物体の前記種類として特定するように構成されている、情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、前記確率取得部は、前記画像に基づいて、前記物体の座標を更に取得可能に構成され、 前記判定部は、前記第１及び第２フレームにおける前記物体の前記座標間の距離が予め定められた距離以下であると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置。
【請求項3】
請求項１の情報処理装置であって、前記状況は、前記物体の移動に対応しており、
前記判定部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率との差分が予め定められた第１閾値よりも大きいと判定した場合に、前記物体が接近してきていると判定するように構成される、情報処理装置。
【請求項4】
請求項３に記載の情報処理装置であって、前記物体には、船が含まれ、
前記情報処理装置は、前記船の相対的な移動の前記状況を判定するように構成されている、情報処理装置。
【請求項5】
請求項１に記載の情報処理装置であって、修正確率取得部を更に備え、
前記修正確率取得部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率とに基づいて、修正確率を取得可能に構成され、
前記修正確率は、前記第１フレームの前記タイミングと前記第２フレームの前記タイミングとの間において、前記フレーム内に前記物体が存在する確率であり、
前記判定部は、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置。
【請求項6】
請求項５に記載の情報処理装置であって、前記第２フレームの前記存在確率が前記第１フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも高い、情報処理装置。
【請求項7】
請求項５又は請求項６に記載の情報処理装置であって、前記第１フレームの前記存在確率が前記第２フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも低い、情報処理装置。
【請求項8】
請求項５～請求項７の何れか１つに記載の情報処理装置であって、前記判定部は、前記第１及び第２フレームの前記存在確率の両方が予め定められた第２閾値より低い場合において、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置。
【請求項9】
請求項８に記載の情報処理装置であって、前記修正確率は、前記第２閾値よりも高い、情報処理装置。
【請求項10】
請求項８又は請求項９に記載の情報処理装置であって、前記判定部は、前記第１及び第２フレームの前記存在確率のうちの少なくとも一方が前記第２閾値より高い場合において、前記修正確率を用いずに、前記物体の前記状況を判定するように構成されている、情報処理装置。
【請求項11】
画像取得ステップと、確率取得ステップと、判定ステップとを備えた情報処理方法であって、前記画像取得ステップでは、画像を取得し、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得ステップでは、前記画像に基づいて、存在確率と種類データを取得し、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記種類データは、前記物体の種類を特定するデータであり、
前記判定ステップでは、前記第１及び第２フレームにおける前記物体の前記種類が同じ
であると判定した場合に、前記存在確率を比較して前記物体の状況を判定し、
前記種類データには、前記物体の前記種類の候補ごとに種類特定確率が特定されており、
前記判定ステップは、前記種類の前記候補のうち最も前記種類特定確率が高い前記候補を、前記物体の前記種類として特定する、情報処理方法。
【請求項12】
画像取得部と、確率取得部と、判定部とを備え、前記画像取得部は、画像を取得可能に構成され、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得部は、前記画像に基づいて、存在確率を取得可能に構成され、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記判定部は、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定するように構成されており、
前記物体の前記状況は、前記物体の移動に対応しており、
前記判定部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率との差分が予め定められた第１閾値よりも大きいと判定した場合に、前記物体が接近してきていると判定するように構成される、情報処理装置。
【請求項13】
画像取得ステップと、確率取得ステップと、判定ステップとを備えた情報処理方法であって、前記画像取得ステップは、画像を取得し、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得ステップでは、前記画像に基づいて、存在確率を取得し、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記判定ステップでは、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定し、
前記物体の前記状況は、前記物体の移動に対応しており、
前記判定ステップは、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率との差分が予め定められた第１閾値よりも大きいと判定した場合に、前記物体が接近してきていると判定する、情報処理方法。
【請求項14】
画像取得部と、確率取得部と、判定部と、修正確率取得部とを備え、前記画像取得部は、画像を取得可能に構成され、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得部は、前記画像に基づいて、存在確率を取得可能に構成され、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記判定部は、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定するように構成されており、
前記修正確率取得部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率とに基づいて、修正確率を取得可能に構成されており、
前記修正確率は、前記第１フレームの前記タイミングと前記第２フレームの前記タイミングとの間において、前記フレーム内に前記物体が存在する確率であり、
前記判定部は、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置。
【請求項15】
画像取得ステップと、確率取得ステップと、判定ステップと、修正確率取得ステップとを備えた情報処理方法であって、前記画像取得ステップは、画像を取得し、
前記画像は、タイミングが異なる複数のフレームを含み、
前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、
前記確率取得ステップは、前記画像に基づいて、存在確率を取得し、
前記存在確率は、前記フレーム内において物体が存在する確率であり、
前記判定ステップは、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定し、
前記修正確率取得ステップは、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率とに基づいて、修正確率を取得し、
前記修正確率は、前記第１フレームの前記タイミングと前記第２フレームの前記タイミングとの間において、前記フレーム内に前記物体が存在する確率であり、
前記判定ステップは、前記修正確率に基づいて、前記物体の前記状況を判定する、情報処理方法。
【請求項16】
確率取得部と、修正確率取得部とを備え、前記確率取得部は、第１状況確率と、タイミングが前記第１状況確率よりも後である第２状況確率とを取得可能に構成され、
前記第１及び第２状況確率は、対象の状況を表す確率であり、
前記修正確率取得部は、前記第１及び第２状況確率に基づいて、修正確率を取得可能に構成され、
前記修正確率は、前記第１状況確率を取得する前記タイミングと前記第２状況確率を取得する前記タイミングとの間において、前記対象の前記状況を表す確率である、情報処理装置。
【請求項17】
確率取得ステップと、修正確率取得ステップとを備えた情報処理方法であって、前記確率取得ステップは、第１状況確率と、タイミングが前記第１状況確率よりも後である第２状況確率とを取得し、
前記第１及び第２状況確率は、対象の状況を表す確率であり、
前記修正確率取得ステップは、前記第１及び第２状況確率に基づいて、修正確率を取得し、
前記修正確率は、前記第１状況確率を取得する前記タイミングと前記第２状況確率を取得する前記タイミングとの間において、前記対象の前記状況を表す確率である、情報処理方法。
【請求項18】
請求項１１、１３、１５又は１７に記載の前記情報処理方法を実行する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
情報処理装置には様々な機能のものが存在するが、例えば、対象（有体物だけでなく無体物も含む）の状況の把握をするのに活用される情報処理装置がある。このような情報処理装置としては、例えば、物体（対象の一例）間の距離を取得することで物体同士が衝突しそうな状況か否かを把握することができるものや、人間の感情（対象の一例）がどのような状況にあるかを推定可能なものもある。例えば、特許文献１には、生体情報をセンサから取得して、人間の感情を推定することが可能な情報処理装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１４－１４４０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
情報処理装置が活用されるシーンによらず、対象の状況を適切に把握することができることが望まれる。
【0005】
本発明はこのような事情に鑑みてなされたものであり、対象の状況を適切に把握することができる、情報処理装置、情報処理方法及びコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明によれば、画像取得部と、確率取得部と、判定部とを備え、前記画像取得部は、画像を取得可能に構成され、前記画像は、タイミングが異なる複数のフレームを含み、前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、前記確率取得部は、前記画像に基づいて、存在確率を取得可能に構成され、前記存在確率は、前記フレーム内において物体が存在する確率であり、前記判定部は、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定するように構成されている、情報処理装置が提供される。
【0007】
本発明では、判定部が、第１及び第２フレームの存在確率に基づいて、物体の状況を判定するように構成されており、対象（物体）の状況を適切に把握することができる。
【0008】
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、前記確率取得部は、前記画像に基づいて、前記物体の座標を更に取得可能に構成され、前記判定部は、前記第１及び第２フレームにおける前記物体の前記座標間の距離が予め定められた距離以下であると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記確率取得部は、前記画像に基づいて、種類データを更に取得可能に構成され、前記種類データは、前記物体の種類を特定するデータであり、前記判定部は、前記第１及び第２フレームにおける前記物体の前記種類が同じであると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記種類データには、前記物体の前記種類の候補ごとに種類特定確率が特定されており、前記判定部は、前記種類の前記候補のうち最も前記種類特定確率が高い前記候補を、前記物体の前記種類として特定するように構成されている、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームにおける前記物体が同じであると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記状況は、前記物体の移動に対応しており、前記判定部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率との差分が予め定められた第１閾値よりも大きいと判定した場合に、前記物体が接近してきていると判定するように構成される、情報処理装置が提供される。
好ましくは、前記物体には、船が含まれ、前記情報処理装置は、前記船の相対的な移動の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、修正確率取得部を更に備え、前記修正確率取得部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率とに基づいて、修正確率を取得可能に構成され、前記修正確率は、前記第１フレームの前記タイミングと前記第２フレームの前記タイミングとの間において、前記フレーム内に前記物体が存在する確率であり、前記判定部は、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、前記第２フレームの前記存在確率が前記第１フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも高い、情報処理装置が提供される。
好ましくは、前記第１フレームの前記存在確率が前記第２フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも低い、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームの前記存在確率の両方が予め定められた第２閾値より低い場合において、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、前記修正確率は、前記第２閾値よりも高い、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームの前記存在確率のうちの少なくとも一方が前記第２閾値より高い場合において、前記修正確率を用いずに、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、前記確率取得部は、前記画像に基づいて、前記物体の座標を更に取得可能に構成され、前記判定部は、前記第１及び第２フレームにおける前記物体の前記座標間の距離が予め定められた距離以下であると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記確率取得部は、前記画像に基づいて、種類データを更に取得可能に構成され、前記種類データは、前記物体の種類を特定するデータであり、前記判定部は、前記第１及び第２フレームにおける前記物体の前記種類が同じであると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記種類データには、前記物体の前記種類の候補ごとに種類特定確率が特定されており、前記判定部は、前記種類の前記候補のうち最も前記種類特定確率が高い前記候補を、前記物体の前記種類として特定するように構成されている、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームにおける前記物体が同じであると判定した場合に、前記存在確率を比較して前記物体の前記状況を判定する、情報処理装置が提供される。
好ましくは、前記状況は、前記物体の移動に対応しており、前記判定部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率との差分が予め定められた第１閾値よりも大きいと判定した場合に、前記物体が接近してきていると判定するように構成される、情報処理装置が提供される。
好ましくは、前記物体には、船が含まれ、前記情報処理装置は、前記船の相対的な移動の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、修正確率取得部を更に備え、前記修正確率取得部は、前記第２フレームの前記存在確率と前記第１フレームの前記存在確率とに基づいて、修正確率を取得可能に構成され、前記修正確率は、前記第１フレームの前記タイミングと前記第２フレームの前記タイミングとの間において、前記フレーム内に前記物体が存在する確率であり、前記判定部は、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、前記第２フレームの前記存在確率が前記第１フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも高い、情報処理装置が提供される。
好ましくは、前記第１フレームの前記存在確率が前記第２フレームの前記存在確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２フレームの前記存在確率よりも低い、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームの前記存在確率の両方が予め定められた第２閾値より低い場合において、前記修正確率に基づいて、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
好ましくは、前記修正確率は、前記第２閾値よりも高い、情報処理装置が提供される。
好ましくは、前記判定部は、前記第１及び第２フレームの前記存在確率のうちの少なくとも一方が前記第２閾値より高い場合において、前記修正確率を用いずに、前記物体の前記状況を判定するように構成されている、情報処理装置が提供される。
【0009】
本発明の実施形態の別の観点によれば、画像取得ステップと、確率取得ステップと、判定ステップとを備えた情報処理方法であって、前記画像取得ステップでは、画像を取得し、前記画像は、タイミングが異なる複数のフレームを含み、前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、前記確率取得ステップでは、前記画像に基づいて、存在確率を取得し、前記存在確率は、前記フレーム内において物体が存在する確率であり、前記判定ステップでは、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定する、方法が提供される。
【0010】
本発明の実施形態の別の観点によれば、画像取得ステップと、確率取得ステップと、判定ステップとを備えた情報処理方法を実行するコンピュータプログラムであって、前記画像取得ステップでは、画像を取得し、前記画像は、タイミングが異なる複数のフレームを含み、前記複数のフレームは、第１フレームと、前記タイミングが第１フレームよりも後である第２フレームとを有し、前記確率取得ステップでは、前記画像に基づいて、存在確率を取得し、前記存在確率は、前記フレーム内において物体が存在する確率であり、前記判定ステップでは、前記第１及び第２フレームの前記存在確率に基づいて、前記物体の状況を判定する、コンピュータプログラムが提供される。
【0011】
本発明の実施形態の別の観点によれば、確率取得部と、修正確率取得部とを備え、前記確率取得部は、第１状況確率と、タイミングが前記第１状況確率よりも後である第２状況確率とを取得可能に構成され、前記第１及び第２状況確率は、対象の状況を表す確率であり、前記修正確率取得部は、前記第１及び第２状況確率に基づいて、修正確率を取得可能に構成され、前記修正確率は、前記第１状況確率を取得する前記タイミングと前記第２状況確率を取得する前記タイミングとの間において、前記対象の前記状況を表す確率である、情報処理装置が提供される。
好ましくは、前記第２状況確率が前記第１状況確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２状況確率よりも高い、情報処理装置が提供される。
好ましくは、前記第１状況確率が前記第２状況確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２状況確率よりも低い、情報処理装置が提供される。
好ましくは、前記第２状況確率が前記第１状況確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２状況確率よりも高い、情報処理装置が提供される。
好ましくは、前記第１状況確率が前記第２状況確率よりも高い場合において、前記修正確率取得部が取得する前記修正確率は、前記第２状況確率よりも低い、情報処理装置が提供される。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
【0014】
１ 全体構成説明
実施形態に係る情報処理装置１００の全体構成について説明する。実施形態において、情報処理装置１００は、船（図４に示す情報処理装置１００の搭載船ｏｂｔ）に搭載されているものとして説明する。情報処理装置１００は、海上の予め定められた対象が搭載船ｏｂｔに接近中であるか否かを早期に判定する機能を有する。ここで、実施形態において、対象は、物体（有体物）である。また、物体は、自身の動力で動作するものであるか否かは限定されない。また、物体は、海上に浮遊しているものに限定されるものではなく、浮遊・飛行しているものであってもよい。物体は、例えば、船、ブイ、ヨット、ブイ等である。船には、急激な方向転換や急激な速度アップが困難なものがあるため、物体が船に接近中であるかどうかを早期に予め把握しておくことは、船と物体との衝突を回避する観点で有益である。
実施形態に係る情報処理装置１００の全体構成について説明する。実施形態において、情報処理装置１００は、船（図４に示す情報処理装置１００の搭載船ｏｂｔ）に搭載されているものとして説明する。情報処理装置１００は、海上の予め定められた対象が搭載船ｏｂｔに接近中であるか否かを早期に判定する機能を有する。ここで、実施形態において、対象は、物体（有体物）である。また、物体は、自身の動力で動作するものであるか否かは限定されない。また、物体は、海上に浮遊しているものに限定されるものではなく、浮遊・飛行しているものであってもよい。物体は、例えば、船、ブイ、ヨット、ブイ等である。船には、急激な方向転換や急激な速度アップが困難なものがあるため、物体が船に接近中であるかどうかを早期に予め把握しておくことは、船と物体との衝突を回避する観点で有益である。
【0015】
搭載船ｏｂｔには、情報処理装置１００の他に、図１に示す撮像装置２０及び外部装置２１が搭載されている。撮像装置２０は、搭載船ｏｂｔの周囲（実施形態では前方）を撮像して得られるデータ（画像Ｄ１）を情報処理装置１００へ出力するように構成されている。撮像装置２０は、搭載船ｏｂｔに取り付けられている。外部装置２１は、例えば、スピーカーやディスプレイ等で構成され、音声や文字等の手段によって搭載船ｏｂｔの搭乗者へ、物体が接近中であるか否かを知らせる機能を有する。情報処理装置１００は、画像Ｄ１の複数のフレームに基づいて物体が接近中であるか否かを判定し、判定結果を外部装置２１へ出力することが可能である。これにより、情報処理装置１００は、早期に搭載船ｏｂｔの搭乗者に回避動作を促すことができる。
【0016】
情報処理装置１００は、画像取得部１と、確率取得部２と、判定部３と、出力部４とを備えている。情報処理装置１００の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
【0017】
２ 情報処理装置１００の詳細構成説明
２－１ 画像取得部１
図１に示すように、画像取得部１は、撮像装置２０から画像Ｄ１を取得可能に構成されている。なお、画像取得部１で行われる処理が、画像取得ステップの一例である。ここで、実施形態では、画像Ｄ１は、複数のフレームを有する。複数のフレームは、時系列情報が特定されているデータである。具体的には、複数のフレームは、図５Ａ及び図５Ｂに示すように、第１フレームＤ１１と、タイミングが第１フレームよりも後である第２フレームＤ１２とを有する。なお、第１フレームにおけるタイミング（時刻）を第１タイミングと定義し、第２フレームにおけるタイミング（時刻）を第２タイミングと定義する。図５Ａ及び図５Ｂに示すフレームの例では、船ｏｂ１が搭載船ｏｂｔに接近してきている。このため、図５Ｂに示すフレームは、図５Ａに示すフレームよりも、船ｏｂ１が徐々に大きく且つ明瞭に表示される。
２－１ 画像取得部１
図１に示すように、画像取得部１は、撮像装置２０から画像Ｄ１を取得可能に構成されている。なお、画像取得部１で行われる処理が、画像取得ステップの一例である。ここで、実施形態では、画像Ｄ１は、複数のフレームを有する。複数のフレームは、時系列情報が特定されているデータである。具体的には、複数のフレームは、図５Ａ及び図５Ｂに示すように、第１フレームＤ１１と、タイミングが第１フレームよりも後である第２フレームＤ１２とを有する。なお、第１フレームにおけるタイミング（時刻）を第１タイミングと定義し、第２フレームにおけるタイミング（時刻）を第２タイミングと定義する。図５Ａ及び図５Ｂに示すフレームの例では、船ｏｂ１が搭載船ｏｂｔに接近してきている。このため、図５Ｂに示すフレームは、図５Ａに示すフレームよりも、船ｏｂ１が徐々に大きく且つ明瞭に表示される。
【0018】
画像Ｄ１の構成例について図３を参照して説明する。実施形態において、画像Ｄ１のフレームには、船ｏｂ１と、空ｏｂ２と、海ｏｂ３とが映し出されている。実施形態において、物体とは、船ｏｂ１の他、ブイやヨットといったような、船が進行する上で障害となり得るような対象を指している。
【0019】
船ｏｂ１は、搭載船ｏｂｔ（撮像装置２０）の正面に位置している。図４に示すように、搭載船ｏｂｔを中心に直交座標を定義すると、ｙ軸上に船ｏｂ１は位置している。なお、図４において、ｙ軸は、搭載船ｏｂｔの進行方向に平行であり、ｘ軸は、ｙ軸に直交している。船ｏｂ１は、搭載船ｏｂｔに接近中の物体である。具体的には、船ｏｂ１は、－ｙ軸方向に移動している。
【0020】
実施形態では、後述する判定部３が、２つのフレーム中の物体の状況確率の差分に基づいて、物体が接近中であるか否かといった状況判定を行う。状況確率は、対象（実施形態では物体）の状況を表す確率であり、実施形態における状況確率は、対象（実施形態では物体）の存在確率である。存在確率は、画像のフレーム中に予め定められた物体が存在する確率である。
第１フレームと第２フレームとの間のタイミングの差は、特に限定されるものではないが、情報処理装置１００が搭載されるものに応じて設定することが好ましい。例えば、実施形態のように、情報処理装置１００が船に搭載される場合には、車両や飛行機等と比較して、障害物となり得る対象の移動速度は低い。このため、第１タイミングと第２タイミングとの差は、例えば、１０秒，２０秒，３０秒，４０秒，５０秒，１分，２分，３分，４分，５分，６分，７分，８分，９分，１０分である。また、第１タイミングと第２タイミングとの差は、ここで列挙した値のうちの２つの値の範囲で表されていてもよい。
第１フレームと第２フレームとの間のタイミングの差は、特に限定されるものではないが、情報処理装置１００が搭載されるものに応じて設定することが好ましい。例えば、実施形態のように、情報処理装置１００が船に搭載される場合には、車両や飛行機等と比較して、障害物となり得る対象の移動速度は低い。このため、第１タイミングと第２タイミングとの差は、例えば、１０秒，２０秒，３０秒，４０秒，５０秒，１分，２分，３分，４分，５分，６分，７分，８分，９分，１０分である。また、第１タイミングと第２タイミングとの差は、ここで列挙した値のうちの２つの値の範囲で表されていてもよい。
【0021】
２－２ 確率取得部２
確率取得部２は、図２Ａに示すように、画像Ｄ１に基づいて存在確率ｄ１を含む出力Ｄ２を取得する。そして、確率取得部２は、出力Ｄ２を判定部３へ出力する。なお、確率取得部２で行われる処理が、確率取得ステップの一例である。出力Ｄ２は、存在確率ｄ１（存在確率データ）と、座標ｄ２（座標データ）と、種類データｄ３とを有する。なお、存在確率ｄ１は、状況確率（実施形態では存在確率）が特定されたデータ（状況確率データ）である。ここで、これらのデータの構成例について説明する。
確率取得部２は、図２Ａに示すように、画像Ｄ１に基づいて存在確率ｄ１を含む出力Ｄ２を取得する。そして、確率取得部２は、出力Ｄ２を判定部３へ出力する。なお、確率取得部２で行われる処理が、確率取得ステップの一例である。出力Ｄ２は、存在確率ｄ１（存在確率データ）と、座標ｄ２（座標データ）と、種類データｄ３とを有する。なお、存在確率ｄ１は、状況確率（実施形態では存在確率）が特定されたデータ（状況確率データ）である。ここで、これらのデータの構成例について説明する。
【0022】
存在確率ｄ１は、画像Ｄ１のフレーム中の物体の存在確率の値が特定されているデータである。存在確率ｄ１の存在確率は、画像Ｄ１のフレーム中に予め定められた物体が存在する確率である。
【0023】
座標ｄ２は、画像Ｄ１のフレーム中の物体の座標が特定されているデータである。実施形態では、座標ｄ２の座標は、ｘ－ｚ座標系である。また、座標ｄ２には、画像Ｄ１のフレーム中の物体の横幅Ｗ及び縦幅Ｈが特定されているデータも含む。
【0024】
種類データｄ３は、画像Ｄ１のフレーム中の物体の種類を特定するためのデータである。種類データｄ３は、画像Ｄ１のフレーム中の各物体について、予め定められた種類ごとに確率が特定されているデータである。例えば、図２Ｂに示すように、実施形態における予め定められた種類には、船、ブイ、ヨットといったものが含まれている。実施形態では、画像Ｄ１のフレーム中の物体としては、船、ブイ及びヨット等がある。例えば、種類データｄ３は、船ｏｂ１に対応する物体に対して、船である確率、ブイである確率、及びヨットである確率等といったように予め定められている全ての候補の物体の確率が特定されている。
【0025】
上述した出力Ｄ２（存在確率ｄ１、座標ｄ２、及び種類データｄ３）は、画像Ｄ１を入力して出力Ｄ２を出力する学習モデルに基づいて算出することができる。学習モデルとは、多数の教師データ（既知の入力データと正解データの組）を用いてモデルを訓練し、将来の出力を予測可能にするモデルである。本実施形態では、教師データの入力データは、海上の船等の物体を移した画像データ（フレーム）であり、正解データは、この画像データに映し出されている物体の存在確率、物体の座標、物体の横幅及び縦幅及び物体の種類を含む。本実施形態では、学習モデル（機械学習モデル）は、例えば、YOLO(You Only Look Once)やSSD(Single Shot Detector)といった各種の物体検出アルゴリズムを採用することができる。
【0026】
２－３ 判定部３
判定部３は、座標ｄ２の有無を判定する機能（以下、第１機能とも称する）と、異なるフレーム中の物体間の座標間距離が予め定められた距離以下であるかを判定する機能（以下、第２機能とも称する）と、異なるフレーム中の物体の種類が同一であるか否かを判定する機能（以下、第３機能とも称する）と、異なるフレーム中の物体の存在確率を比較する機能（以下、第４機能とも称する）とを有する。そして、判定部３は、物体の状況を示す判定結果を出力可能に構成されている。
判定部３は、座標ｄ２の有無を判定する機能（以下、第１機能とも称する）と、異なるフレーム中の物体間の座標間距離が予め定められた距離以下であるかを判定する機能（以下、第２機能とも称する）と、異なるフレーム中の物体の種類が同一であるか否かを判定する機能（以下、第３機能とも称する）と、異なるフレーム中の物体の存在確率を比較する機能（以下、第４機能とも称する）とを有する。そして、判定部３は、物体の状況を示す判定結果を出力可能に構成されている。
【0027】
まず、第１機能について説明する。判定部３は、第２フレーム（時系列的に後のフレーム）の座標ｄ２の有無を判定する。第２フレーム（時系列的に後のフレーム）の存在確率が０％である場合には、出力Ｄ２には座標ｄ２が含まれず、存在確率が０％より高い場合には、出力Ｄ２には座標ｄ２が含まる。つまり、実施形態において、出力Ｄ２中に座標ｄ２が存在している場合は、存在確率が０％よりも高い場合と等価である。なお、第１機能は、閾値判定で代替してもよい。つまり、判定部３は、存在確率が予め定められた閾値（例えば、５％）より高いか否かを判定する機能に置き換えてもよい。つまり、存在確率がかなり低い条件であれば、情報処理装置１００が、物体がフレーム中に存在しないものとして処理してもよい。
【0028】
次に、第２機能について説明する。画像取得部１は、第１フレーム（時系列的に前のフレーム）の物体の座標と、第２フレーム（時系列的に後のフレーム）の物体の座標とをそれぞれ取得しており、これらの座標を出力Ｄ２として判定部３に出力している。判定部３は、第１フレームの物体の座標と、第２フレームの物体の座標との間の座標間距離が、予め定められた距離以下であるかを判定する。情報処理装置１００は各フレームの物体が同一であるか否かを把握する基準として、この座標間距離を用いている。座標間距離が予め定められた距離以下であるのであれば、第１フレームの物体と第２フレームの物体とが同じものである可能性を高めることになるからである。
【0029】
次に、第３機能について説明する。画像取得部１は、第１フレーム（時系列的に前のフレーム）の物体の種類データｄ３と、第２フレーム（時系列的に後のフレーム）の物体の種類データｄ３とをそれぞれ取得しており、これらのデータを出力Ｄ２として判定部３に出力している。
ここで、判定部３は、各フレームの種類データｄ３を用いて物体の種類を特定する。具体的には、判定部３は、第１フレームにおける物体の種類の候補の確率（種類特定確率）のうち、最も確率が高い候補を、物体の種類として特定する。例えば、図３に示す画像Ｄ１の場合には、船が鮮明に映し出されているため、船の確率が高く算出され、ブイやヨットの確率は低く算出されることになる。判定部３は、これらの確率の大小を比較し、最も高い候補である船を物体の種類として特定する。判定部３は、第２フレームについても同様に、物体の種類を特定する。つまり、判定部３は、第２フレームにおける物体の種類の候補の確率のうち、最も確率が高い候補を、物体の種類として特定する。
そして、判定部３は、第１フレームの物体の種類と、第２フレームの物体の種類とが同一であるか否かを判定する。このように、情報処理装置１００は各フレームの物体が同一であるか否かを把握する基準として、物体の種類を用いている。種類が同一であれば、第１フレームの物体と第２フレームの物体とが同じものである可能性を高めることになるからである。
ここで、判定部３は、各フレームの種類データｄ３を用いて物体の種類を特定する。具体的には、判定部３は、第１フレームにおける物体の種類の候補の確率（種類特定確率）のうち、最も確率が高い候補を、物体の種類として特定する。例えば、図３に示す画像Ｄ１の場合には、船が鮮明に映し出されているため、船の確率が高く算出され、ブイやヨットの確率は低く算出されることになる。判定部３は、これらの確率の大小を比較し、最も高い候補である船を物体の種類として特定する。判定部３は、第２フレームについても同様に、物体の種類を特定する。つまり、判定部３は、第２フレームにおける物体の種類の候補の確率のうち、最も確率が高い候補を、物体の種類として特定する。
そして、判定部３は、第１フレームの物体の種類と、第２フレームの物体の種類とが同一であるか否かを判定する。このように、情報処理装置１００は各フレームの物体が同一であるか否かを把握する基準として、物体の種類を用いている。種類が同一であれば、第１フレームの物体と第２フレームの物体とが同じものである可能性を高めることになるからである。
【0030】
次に、第４機能について説明する。画像取得部１は、第１フレーム（時系列的に前のフレーム）の物体の存在確率と、第２フレーム（時系列的に後のフレーム）の物体の存在確率とをそれぞれ取得しており、これらの存在確率を出力Ｄ２として判定部３に出力している。判定部３は、第１フレームの物体の存在確率と、第２フレームの物体の存在確率とを比較する機能を有する。具体的には、判定部３は、第２フレームの存在確率から、第１フレームの存在確率を引いて得られる値（差分）が予め定められた閾値Ｔｈ１（第１閾値の一例）よりも大きいと判定した場合に、物体が接近してきていると判定するように構成されている。換言すると、判定部３は、第１フレームから第２フレームにかけて、存在確率が予め定められた閾値Ｔｈ１よりも上昇した場合に、物体が接近してきていると判定する。このように、情報処理装置１００は、存在確率単体で状況判定をするのではなく、存在確率の差分を用いて状況判定をしている。なお、判定部３の判定結果が、判定結果Ｄ３に対応している。
【0031】
ここで、閾値Ｔｈ１の値は、特に限定されるものではないが、閾値Ｔｈ１の値は、例えば、１０～５０のうちのいずれかの数値に設定することができる。閾値Ｔｈ１の値は、情報処理装置１００が搭載されるものに応じて適宜設定することができる。
【0032】
２－４ 出力部４
出力部４は、判定結果Ｄ３を外部装置２１へ出力するように構成されている。外部装置２１は、搭載船ｏｂｔに搭載されるディスプレイ等の機器に限定されるものではない。搭載船ｏｂｔの運行状況を統括するコントロールセンターに出力されてもよい。
出力部４は、判定結果Ｄ３を外部装置２１へ出力するように構成されている。外部装置２１は、搭載船ｏｂｔに搭載されるディスプレイ等の機器に限定されるものではない。搭載船ｏｂｔの運行状況を統括するコントロールセンターに出力されてもよい。
【0033】
【0034】
ステップＳ１：座標ｄ２の有無判定（第１機能）
判定部３は、第２フレーム中（時系列的に後のフレーム中）に座標ｄ２が存在するか否かを判定する。存在する場合には、ステップＳ２へ移行する。存在しない場合には、ステップＳ５－２へ移行する。
判定部３は、第２フレーム中（時系列的に後のフレーム中）に座標ｄ２が存在するか否かを判定する。存在する場合には、ステップＳ２へ移行する。存在しない場合には、ステップＳ５－２へ移行する。
【0035】
ステップＳ２：座標間距離の閾値判定（第２機能）
判定部３は、第１及び第２フレームにおける物体の座標間の距離が予め定められた距離以下であるか否かを判定する。距離が予め定められた距離以下である場合には、第１及び第２フレームにおける両物体が同一である可能性があるため、ステップＳ３へ移行する。距離が予め定められた距離以下ではない場合には、ステップＳ５－２へ移行する。
判定部３は、第１及び第２フレームにおける物体の座標間の距離が予め定められた距離以下であるか否かを判定する。距離が予め定められた距離以下である場合には、第１及び第２フレームにおける両物体が同一である可能性があるため、ステップＳ３へ移行する。距離が予め定められた距離以下ではない場合には、ステップＳ５－２へ移行する。
【0036】
ステップＳ３：種類の同一判定（第３機能）
判定部３は、第１及び第２フレームにおける物体の種類が同じであるか否かを判定する。この判定をするにあたって、判定部３は、予め、第１及び第２フレームの物体の種類を特定している。つまり、判定部３は、第１及び第２フレームのそれぞれに関して、物体の種類の候補のうち最も確率（種類特定確率）が高い候補を、物体の種類として特定する。物体の種類が同じである場合には、両物体が同一である可能性が更に高まるため、ステップＳ４へ移行する。物体の種類が同じでない場合には、ステップＳ５－２へ移行する。
判定部３は、第１及び第２フレームにおける物体の種類が同じであるか否かを判定する。この判定をするにあたって、判定部３は、予め、第１及び第２フレームの物体の種類を特定している。つまり、判定部３は、第１及び第２フレームのそれぞれに関して、物体の種類の候補のうち最も確率（種類特定確率）が高い候補を、物体の種類として特定する。物体の種類が同じである場合には、両物体が同一である可能性が更に高まるため、ステップＳ４へ移行する。物体の種類が同じでない場合には、ステップＳ５－２へ移行する。
【0037】
ステップＳ４：存在確率の比較（第４機能）
実施形態に係る情報処理装置１００は、ステップＳ１－ステップＳ３を経てきた場合には、第１及び第２フレーム中の物体が同一であるものとみなしている。つまり、ステップＳ１－ステップＳ３は、第１及び第２フレームにおける物体が同じであるか否かを判定するためのステップということができる。判定部３は、この同一であるとみなされた物体の存在確率の差分（第２フレームにおける物体の存在確率から、第１フレームにおける物体の存在確率を引いて得られる値）を取得する。そして、判定部３は、この差分が予め定められた閾値Ｔｈ１より大きいか否かを判定する。閾値Ｔｈ１より大きい場合には、ステップＳ５－１に移行する。閾値より大きくない場合には、ステップＳ５－２に移行する。ステップＳ４が、判定ステップの一例である。
実施形態に係る情報処理装置１００は、ステップＳ１－ステップＳ３を経てきた場合には、第１及び第２フレーム中の物体が同一であるものとみなしている。つまり、ステップＳ１－ステップＳ３は、第１及び第２フレームにおける物体が同じであるか否かを判定するためのステップということができる。判定部３は、この同一であるとみなされた物体の存在確率の差分（第２フレームにおける物体の存在確率から、第１フレームにおける物体の存在確率を引いて得られる値）を取得する。そして、判定部３は、この差分が予め定められた閾値Ｔｈ１より大きいか否かを判定する。閾値Ｔｈ１より大きい場合には、ステップＳ５－１に移行する。閾値より大きくない場合には、ステップＳ５－２に移行する。ステップＳ４が、判定ステップの一例である。
【0038】
ステップＳ５－１：接近中
判定部３は、物体が接近中である、という状況を表す判定結果Ｄ３を生成する。
判定部３は、物体が接近中である、という状況を表す判定結果Ｄ３を生成する。
【0039】
ステップＳ５－２：接近中でない
判定部３は、物体が接近中ではない、という状況を表す判定結果Ｄ３を生成する。
判定部３は、物体が接近中ではない、という状況を表す判定結果Ｄ３を生成する。
【0040】
４ 実施形態の効果
従来、特定の物体である確率が予め定められた閾値以上であると判定されたことを契機として、特定の制御（物体を回避する動作に係る制御）を実行するように構成されている情報処理装置が知られている。このような装置では、例えば、当該確率の値が急速に変動する場合には、特定の制御を適切に実行できなくなる可能性が高まる。また、大型船のように速度をすみやかに上昇させたり、進行方向をすみやかに変更したりすることが難しい乗り物の場合においても、特定の制御を適切に実行できなくなる可能性が高まる。つまり、従来の情報処理装置は、活用されるシーンによっては、対象（物体）の状況を適切に把握することができず、その結果、特定の制御を適切に実行することができなくなる可能性が高まる。
本実施形態に係る情報処理装置１００は、判定部３が、第１及び第２フレームの存在確率に基づいて、物体の状況を判定するように構成されている。つまり、情報処理装置１００は、従来の情報処理装置のように確率単体を用いて回避動作をするべき状況であるか否かを判定するのではなく、存在確率の差分を用いて回避動作をするべき状況であるか否かを判定する。このため、情報処理装置１００は、従来の情報処理装置よりも、より事前に特定の制御をするべき状況にあるかどうかを判定することができ、各種装置の機能（例えば、物体を回避する動作に係る制御機能）を適切に発揮させることができる。
従来、特定の物体である確率が予め定められた閾値以上であると判定されたことを契機として、特定の制御（物体を回避する動作に係る制御）を実行するように構成されている情報処理装置が知られている。このような装置では、例えば、当該確率の値が急速に変動する場合には、特定の制御を適切に実行できなくなる可能性が高まる。また、大型船のように速度をすみやかに上昇させたり、進行方向をすみやかに変更したりすることが難しい乗り物の場合においても、特定の制御を適切に実行できなくなる可能性が高まる。つまり、従来の情報処理装置は、活用されるシーンによっては、対象（物体）の状況を適切に把握することができず、その結果、特定の制御を適切に実行することができなくなる可能性が高まる。
本実施形態に係る情報処理装置１００は、判定部３が、第１及び第２フレームの存在確率に基づいて、物体の状況を判定するように構成されている。つまり、情報処理装置１００は、従来の情報処理装置のように確率単体を用いて回避動作をするべき状況であるか否かを判定するのではなく、存在確率の差分を用いて回避動作をするべき状況であるか否かを判定する。このため、情報処理装置１００は、従来の情報処理装置よりも、より事前に特定の制御をするべき状況にあるかどうかを判定することができ、各種装置の機能（例えば、物体を回避する動作に係る制御機能）を適切に発揮させることができる。
【0041】
５ 変形例
５－１ 変形例１：修正確率取得部５
実施形態では、第１及び第２フレームの存在確率の差分に基づいて、状況判定をしていたが、これに限定されるものではない。情報処理装置１００は、図７に示すように、修正確率取得部５を更に備えていてもよい。
５－１ 変形例１：修正確率取得部５
実施形態では、第１及び第２フレームの存在確率の差分に基づいて、状況判定をしていたが、これに限定されるものではない。情報処理装置１００は、図７に示すように、修正確率取得部５を更に備えていてもよい。
【0042】
修正確率取得部５は、第２フレームの存在確率と第１フレームの存在確率との差分に基づいて、修正確率Ｄ２１を取得可能に構成されている。修正確率Ｄ２１は、修正確率の値が特定されているデータである。修正確率は、第１フレームのタイミングと第２フレームのタイミングとの間において、フレーム内に物体が存在する確率である。実施形態では、存在確率の差分そのものと閾値とを比較する形態であったが、変形例では、差分を確率（修正確率Ｐｃ）に再び置き換える点で異なっている。
【0043】
修正確率Ｐｃは、例えば、予め定められた関係式に基づいて取得可能である。つまり、第１及び第２フレームの存在確率が定まれば、修正確率Ｐｃが一義的に定められる。
この関係式は、例えば、第２フレームの存在確率が第１フレームの存在確率よりも高い場合においては、修正確率が第２フレームの存在確率よりも高い値となるように設定される。つまり、存在確率が上昇している場合には、物体が接近している可能性が高いということができるので、修正確率Ｐｃは、第２フレームの存在確率よりも高くする。
なお、存在確率が低下している場合には、物体が接近していない状況にあるということができる。このため、この関係式は、第１フレームの存在確率が第２フレームの存在確率よりも高い場合においては、修正確率Ｐｃは、第２フレームの存在確率よりも低い値となるように設定される。
この関係式は、例えば、第２フレームの存在確率が第１フレームの存在確率よりも高い場合においては、修正確率が第２フレームの存在確率よりも高い値となるように設定される。つまり、存在確率が上昇している場合には、物体が接近している可能性が高いということができるので、修正確率Ｐｃは、第２フレームの存在確率よりも高くする。
なお、存在確率が低下している場合には、物体が接近していない状況にあるということができる。このため、この関係式は、第１フレームの存在確率が第２フレームの存在確率よりも高い場合においては、修正確率Ｐｃは、第２フレームの存在確率よりも低い値となるように設定される。
【0044】
また、変形例におけるフローチャートは、図８に示すように、ステップＳ４及びステップＳ５を備える点で実施形態のフローチャートとは異なっている。ステップＳ４は、修正確率取得部５が、第２フレームの存在確率と第１フレームの存在確率との差分に基づいて、修正確率Ｄ２１を取得するステップである。ステップＳ５は、判定部３が、修正確率Ｄ２１の修正確率Ｐｃが閾値Ｔｈ２より大きいか否かを判定する。修正確率Ｐｃが閾値Ｔｈ２より大きい場合には、物体が接近中であると判定することになる（ステップＳ６－１）。
【0045】
なお、例えば、第１フレームにおける物体の存在確率が１％であり第２フレームにおける物体の存在確率が６％である場合と、第１フレームにおける物体の存在確率が２０％であり第２フレームにおける物体の存在確率が２５％である場合とは、差分自体は同じである。しかし、前者の場合と後者の場合とでは、存在確率の大きさが異なる。このため、前者の場合と後者の場合とでは、差分自体が同じであっても、判定内容に差をつけることが好ましい場合がある。例えば、前者の場合には、存在確率自体が非常に低いため、誤差で存在確率が増大した可能性がある。それに対し、後者の場合は、比較的、存在確率が高いため、存在確率の上昇は誤差ではなく、有意なものである可能性が高い。そこで、本変形例１に係る修正確率取得部５の予め定められた関係式は、存在確率の差分が同じであっても、存在確率自体の大きさが異なる場合には、判定内容に差がつくように定められていることが好ましい。
【0046】
また、状況判定に差分を用いるか、それとも修正確率を用いるかを選択できるようにしておくことが好ましい。
例えば、判定部３は、第１及び第２フレームの存在確率の両方が予め定められた閾値（第２閾値の一例）より低い場合においては、修正確率Ｐｃに基づいて、物体の状況を判定するように構成されていてもよい。この場合において、修正確率Ｐｃは、予め定められた閾値（第２閾値の一例）よりも高い。
また、判定部３は、第１及び第２フレームの存在確率のうちの少なくとも一方が当該閾値（第２閾値の一例）より高い場合においては、修正確率Ｐｃを用いずに、物体の状況を判定するように構成されていてもよい。このように、第１及び第２フレームの存在確率の大きさに応じて、修正確率を用いるか否かを決めることで、シーンに応じた適切な状況判定を実現することが期待できる。
例えば、判定部３は、第１及び第２フレームの存在確率の両方が予め定められた閾値（第２閾値の一例）より低い場合においては、修正確率Ｐｃに基づいて、物体の状況を判定するように構成されていてもよい。この場合において、修正確率Ｐｃは、予め定められた閾値（第２閾値の一例）よりも高い。
また、判定部３は、第１及び第２フレームの存在確率のうちの少なくとも一方が当該閾値（第２閾値の一例）より高い場合においては、修正確率Ｐｃを用いずに、物体の状況を判定するように構成されていてもよい。このように、第１及び第２フレームの存在確率の大きさに応じて、修正確率を用いるか否かを決めることで、シーンに応じた適切な状況判定を実現することが期待できる。
【0047】
５－２ 変形例２：複数物体が存在する場合について
実施形態では、判定対象となる１つの物体（船ｏｂ１）のみがフレーム中に収まっている形態について説明したがこれに限定されるものではない。複数の物体がフレーム中に収まっていてもよい。例えば、図９に示すように、画像のフレーム中にブイｏｂ４及び船ｏｂ５が映っていてもよい。
実施形態では、判定対象となる１つの物体（船ｏｂ１）のみがフレーム中に収まっている形態について説明したがこれに限定されるものではない。複数の物体がフレーム中に収まっていてもよい。例えば、図９に示すように、画像のフレーム中にブイｏｂ４及び船ｏｂ５が映っていてもよい。
【0048】
ここで、ブイｏｂ４は、搭載船の近くに存在している分、ブイｏｂ４の存在確率は、かなり高く値になる。存在確率が高い物体に対しては、実施形態で説明してきたような一連の制御（図６のステップＳ１～ステップＳ５－２）によらず、その他の公知の手法で接近判定をすることが好ましい。つまり、存在確率が予め定められた閾値よりも高い場合には、本来的に搭載船の近くにいる物体であるものとみなすことが可能であるため、実施形態で説明してきたような一連の制御（図６のステップＳ１～ステップＳ５－２）を実行しないことが好ましい。この場合、例えば、図６に示すフローチャートのステップＳ１の前段のステップとして、存在確率が閾値以上であるか否かを判定するステップを追加で設けるとよい。そして、存在確率が閾値未満であれば、ステップＳ１へ移行し、存在確率が閾値以上であれば、公知の手法の接近判定を実施するようにするとよい。公知の手法では、例えば、物体の大きさの変化や物体の座標の変化に基づいて接近判定を行うことができる。
【0049】
また、フレーム中には、船ｏｂ１及び船ｏｂ５が収まっているが、これらの物体の違いは、ステップＳ２の座標間距離が閾値以下か否かによって判断されることになる。つまり、船ｏｂ１について図６に示すフローチャートが実施されている場合において、船ｏｂ１の座標ｄ２以外に、２つの物体（ブイｏｂ４及び船ｏｂ５）の座標ｄ２も存在している。しかし、第１フレームの船ｏｂ１の座標ｄ２と第２フレームの船ｏｂ１の座標ｄ２との差分（座標間距離）は短いのに対し、第１フレームの船ｏｂ１の座標ｄ２と第２フレームのブイｏｂ４の座標ｄ２との差分や、第１フレームの船ｏｂ１の座標ｄ２と第２フレームの船ｏｂ５の座標ｄ２との差分は長い。このため、ステップＳ２が実施されることで、第２フレームの船ｏｂ１が、ブイｏｂ４や船ｏｂ５であると誤判定されることを回避することができる。ブイｏｂ４や船ｏｂ５についても、同様である。つまり、ステップＳ２が実施されることで、ブイｏｂ４が、船ｏｂ１や船ｏｂ５と誤判定されることや、船ｏｂ５が、船ｏｂ１やブイｏｂ４と誤判定されることを回避することができる。
【0050】
５－３ 変形例３：色の状態変化
実施形態では、情報処理装置１００が船に搭載されており、船の障害物に接近しているかどうかという状況判定をするものとして説明したが、これに限定されるものではない。この状況判定は、物体の色の変化の判定であってもよい。例えば、信号機の色の変化や、木の葉の色の変化に適用してもよい。
実施形態では、情報処理装置１００が船に搭載されており、船の障害物に接近しているかどうかという状況判定をするものとして説明したが、これに限定されるものではない。この状況判定は、物体の色の変化の判定であってもよい。例えば、信号機の色の変化や、木の葉の色の変化に適用してもよい。
【0051】
変形例３では、信号機を例に説明する。また、変形例３において、情報処理装置１００は、車両に搭載されているものとして説明する。更に、車両が停車中において、信号機の色が赤（停止の色）から青（発進可能の色）へ変わる状況を一例として説明する。
【0052】
実施形態では、出力Ｄ２について、存在確率と、物体の種類とを別々のデータとして切り分けていた。本変形例３における状況判定は、信号の色の変化であるため、図１１Ａに示すように、確率取得部２は、出力Ｄ２として、存在確率ｄ１及び座標ｄ２を取得する。そして、図１１Ｂに示すように、存在確率ｄ１の構成は、各色が存在する確率を示している。
【0053】
画像Ｄ１の構成例について図１０Ａ及び図１０Ｂを参照して説明する。変形例３において、物体とは、信号機であり、物体は、点灯する色ごとに区別される。図１０Ａに示すように、画像Ｄ１の第１フレームＤ１１には、赤色に点灯している信号機ｏｂ６１と、道路ｏｂ７と、歩道ｏｂ８とが映し出されている。図１０Ｂに示すように、画像Ｄ１の第２フレームＤ１２には、青色に点灯している信号機ｏｂ６２と、道路ｏｂ７と、歩道ｏｂ８とが映し出されている。
【0054】
【0055】
ステップＳ３：色の種類の判定
ステップＳ３において、判定部３は、存在確率ｄ１に基づいて、第１及び第２フレームにおける信号機の色が変化したか否かを判定する。この判定をするにあたって、判定部３は、存在確率ｄ１に基づいて、予め第１及び第２フレームにおける信号機の色を特定している。つまり、判定部３は、第１及び第２フレームのそれぞれに関して、信号機の色の候補のうち最も確率が高い候補を、色の種類として特定する。
判定部３が信号機の色が変化したと判定した場合には、ステップＳ４－１に移行する。換言すると、判定部３が、信号機の色が赤から青へ変化したと判定した場合には、ステップＳ４－１に移行する。
判定部３が信号機の色が変化していないと判定した場合には、ステップＳ４－２に移行する。換言すると、判定部３が、信号機の色が変化していない場合、及び、信号機の色が変化しているが赤から青への変化ではない場合には、ステップＳ４－２に移行する。
ステップＳ３において、判定部３は、存在確率ｄ１に基づいて、第１及び第２フレームにおける信号機の色が変化したか否かを判定する。この判定をするにあたって、判定部３は、存在確率ｄ１に基づいて、予め第１及び第２フレームにおける信号機の色を特定している。つまり、判定部３は、第１及び第２フレームのそれぞれに関して、信号機の色の候補のうち最も確率が高い候補を、色の種類として特定する。
判定部３が信号機の色が変化したと判定した場合には、ステップＳ４－１に移行する。換言すると、判定部３が、信号機の色が赤から青へ変化したと判定した場合には、ステップＳ４－１に移行する。
判定部３が信号機の色が変化していないと判定した場合には、ステップＳ４－２に移行する。換言すると、判定部３が、信号機の色が変化していない場合、及び、信号機の色が変化しているが赤から青への変化ではない場合には、ステップＳ４－２に移行する。
【0056】
ステップＳ４－１：赤から青への変化
判定部３は、赤から青へ信号機の色が変化した状況を表す、判定結果Ｄ３を生成する。これにより、情報処理装置１００は、車両が発進してもよい、という状況を搭乗者に伝えることができる。また、自動運転をする場合には、情報処理装置１００は、車両が進行可能な状況であるという情報を車両の制御装置に出力することが可能となる。
判定部３は、赤から青へ信号機の色が変化した状況を表す、判定結果Ｄ３を生成する。これにより、情報処理装置１００は、車両が発進してもよい、という状況を搭乗者に伝えることができる。また、自動運転をする場合には、情報処理装置１００は、車両が進行可能な状況であるという情報を車両の制御装置に出力することが可能となる。
【0057】
ステップＳ４－２：赤から青への変化ではない
判定部３は、赤から青へ信号機の色が変化していない状況を表す、判定結果Ｄ３を生成する。これにより、情報処理装置１００は、車両が停止した状態を維持する必要がある、という状況を搭乗者に伝えることができる。また、自動運転をする場合には、情報処理装置１００は、車両が停止した状態を維持する必要がある、という情報を車両の制御装置に出力することが可能となる。
判定部３は、赤から青へ信号機の色が変化していない状況を表す、判定結果Ｄ３を生成する。これにより、情報処理装置１００は、車両が停止した状態を維持する必要がある、という状況を搭乗者に伝えることができる。また、自動運転をする場合には、情報処理装置１００は、車両が停止した状態を維持する必要がある、という情報を車両の制御装置に出力することが可能となる。
【0058】
５－４ 変形例４：音声を入力とする感情分析
実施形態や変形例１－変形例３の状況判定は、有体物の移動状況や有体物の色の変化状況であったがこれに限定されるものではない。情報処理装置１００は、例えば、音声を入力とする感情分析にも適用することができる。具体的には、本変形例４における状況判定は、感情の度合いの判定に対応している。変形例４において、感情の度合いとは、例えば、最小で０％最大で１００％であり、良い印象であるほど高い数値とする。
実施形態や変形例１－変形例３の状況判定は、有体物の移動状況や有体物の色の変化状況であったがこれに限定されるものではない。情報処理装置１００は、例えば、音声を入力とする感情分析にも適用することができる。具体的には、本変形例４における状況判定は、感情の度合いの判定に対応している。変形例４において、感情の度合いとは、例えば、最小で０％最大で１００％であり、良い印象であるほど高い数値とする。
【0059】
なお、感情は、対象の一例である。また、感情の度合いは、状況確率の一例である。
【0060】
変形例４では、存在確率ではなく、上述した状況確率が用いられる。状況確率の概念は、実施形態やその変形例１－３における存在確率の概念を包含している。換言すると、存在確率は、状況確率の一態様である。状況確率は、有体物に限らない任意の対象の状況を表す確率である。
【0061】
図１３に示すように、変形例４に係る情報処理装置１００は、実施形態に係る画像取得部１の代わりに、音声取得部１ｔを備えている。この音声取得部１ｔは、例えばマイク等の音声入力装置２０ｔから音声Ｄ１ｔ（例えば、単語）を取得可能に構成されている。
【0062】
確率取得部２は、音声取得部１ｔから音声Ｄ１ｔが入力されると、出力Ｄ２として状況確率（感情の度合い）を出力するように構成されている。状況確率は、あるタイミングにおける対象の状況確率の値が特定されているデータである。例えば、第１タイミングにおける音声データを確率取得部２に入力したときに、確率取得部２から１０％という状況確率が特定されたデータ（第１状況確率の一例）が出力されたものとする。また、第１タイミングより後である第２タイミングにおける音声を確率取得部２に入力したときに、確率取得部２から２０％という状況確率が特定されたデータ（第２状況確率の一例）が出力されたものとする。
【0063】
判定部３は、状況確率の差分を算出する機能を有する。具体的には、判定部３は、第２タイミングにおける状況確率の状況確率（２０％）から、第１タイミングにおける状況確率の状況確率（１０％）を引いて得られる値（差分）が予め定められた閾値（例えば、５％）よりも大きいと判定した場合に、感情が好転したと判定するように構成されている。この変形例４の例では、差分が１０％であり、差分が閾値よりも大きいため、判定部３は感情が好転したと判定する。
【0064】
なお、本変形例４は、変形例１と組み合わせることもできる。つまり、修正確率取得部５は、第１及び第２タイミングの状況確率の差分に基づいて、修正確率を取得可能に構成されていてもよい。
なお、修正確率は、対象の修正確率の値が特定されたデータである。また、修正確率は、第１タイミングと第２タイミングとの間において、対象（本変形例４では感情）の状況を表す確率である。
例えば、第２タイミングの状況確率が第１タイミングにおける状況確率よりも高い場合において、修正確率取得部５が取得する修正状況確率は、第２タイミングの状況確率よりも高い値となるように設定される。
また、例えば、第１タイミングの状況確率が第２タイミングにおける状況確率よりも高い場合において、修正確率取得部５が取得する修正状況確率は、第２タイミングの状況確率よりも低い値となるように設定される。
なお、修正確率は、対象の修正確率の値が特定されたデータである。また、修正確率は、第１タイミングと第２タイミングとの間において、対象（本変形例４では感情）の状況を表す確率である。
例えば、第２タイミングの状況確率が第１タイミングにおける状況確率よりも高い場合において、修正確率取得部５が取得する修正状況確率は、第２タイミングの状況確率よりも高い値となるように設定される。
また、例えば、第１タイミングの状況確率が第２タイミングにおける状況確率よりも高い場合において、修正確率取得部５が取得する修正状況確率は、第２タイミングの状況確率よりも低い値となるように設定される。
【符号の説明】
【0065】
１：画像取得部、１ｔ：音声取得部、２：確率取得部、３：判定部、４：出力部、５：修正確率取得部、２０：撮像装置、２０ｔ：音声入力装置、２１：外部装置、１００：情報処理装置、Ｄ１：画像、Ｄ１１：第１フレーム、Ｄ１２：第２フレーム、Ｄ１ｔ：音声、Ｄ２：出力、Ｄ２１：修正確率、Ｄ３：判定結果、Ｈ：縦幅、Ｐｃ：修正確率、Ｔｈ１：閾値、Ｔｈ２：閾値、Ｗ：横幅、ｄ１：存在確率、ｄ２：座標、ｄ３：種類データ、ｏｂ１：船、ｏｂ２：空、ｏｂ３：海、ｏｂ４：ブイ、ｏｂ５：船、ｏｂ６１：赤色に点灯している信号機、ｏｂ６２：青色に点灯している信号機、ｏｂ７：道路、ｏｂ８：歩道、ｏｂｔ：搭載船
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
