都市部の植生や標識をきめ細やかに分類する


都市の拡大とともに公共インフラが進展するにつれて、建物や植生・街路標識等の公共インフラの検索、カタログ化、監視の必要性が増しています。都市計画、市民の安全、緊急時の対応のためにも、街路標識、電柱、道路設備の適切な管理が必要です。

しかし、公共空間の対象物(街路標識、建物ファサード、消火栓、太陽光パネル、郵便ポストなど)をカタログ化・分類化するのは大変な作業です。現在は、これらのマップ化は専門の測量士によってマニュアルで行われていますが、労働集約的で高コスト(例えば、LiDARなどの高価なアドホックセンサーを用いる等)になっています。

一方で、数百万のカメラが世界中をサンプリングし、あらゆる位置や角度から画像がキャプチャされ、時間と空間の分解能が常に向上しています。加えて、一般の人々によるキャプチャ画像(携帯電話、デジカメ、ドローン、自動運転車など)や、オンライン地図サービス(Google Mapなど)によって、膨大な量の高密度サンプル、ストリートビューや空中視点による地理参照画像が提供されています。

この発明は、複数の異なる位置やアングルでキャプチャされた画像に基づいて、対象をきめ細やかに分類する(fine-grained classification for elements)システムの発明です(US20170287170A1)。



マルチビュー画像による分析

Fig.3は都市部における木をマルチビュー画像で分析した例です。


ここでは、都市部において、特定の種類の木がどこにあるかをきめ細やかに分類する例が挙げられています。木は、天候への影響はもちろん、私たちの健康や生活のクオリティにも大きく関わり、地域レベル・地球レベルで私たちの生態系に重要な役割を果たしています。木陰は都市を冷やし、エネルギー需要を下げ、雨水の流れを緩やかにし、清潔で十分な水源を生み出します。

特に、乾燥して人口過密な地域にとって、木の種類をきめ細やかに区別することは、森林管理にとって大変重要です。例えば、害虫が発生したら、通り全体から木が無くなってしまう恐れがあるので、特定の種類の木がどこにあるかを把握して対応することができれば、大変有益です。

Fig.3では、空間画像とストリートビュー画像、地図データからなるマルチビュー画像から、きめ細やかに木を区分します。これらの画像は既存のマップサービスやクラウド上の画像から利用できる画像データを用いることで、公共で利用でき、常に最新状態にしておくことが可能になります。木の検出や異なる種別への区分けの際に、CNNs(convolutional neural networks)やSVM(support vector machines)が用いられています。

特許請求の範囲(Claims)に学ぶ発明概念

上記のように、この発明の趣旨は、都市部の植生や標識をきめ細やかに分類することです。これを特許請求の範囲(Claims)でどのように表現しているのでしょうか?クレーム1では“A method for locating and classifying elements from images”とあり、“element”とすることで概念を広く設定していることが分かります。その上で、クレーム2以下で、画像の具体的な要件を特定しています。このようなアメリカ特許のクレーム構成は、特許権の権利範囲というだけでなく、ものごとの概念を大きく捉え、関連する要件をブレイクダウンして組立てる考え方の参考になります。以下にクレーム1を示します。

What is claimed is:

1. A method for locating and classifying elements from images, the method comprising:
receiving a plurality of geo-referenced images, the plurality of geo-referenced images comprising a first set of images from a first perspective and a second set of images from a second perspective;

detecting a set of elements visible in the first and second sets of images;

identifying locations for the set of elements from the first and second sets of images;

identifying corresponding image portion sets based on the identified locations, the image portion sets comprising portions from the first and second sets of images that include the set of elements; and performing a fine grained classification of elements within the region set for the location.