AIの目による磯焼け対策支援の実証
国土交通省の「令和5年度スマートアイランド推進実証調査業務」による「テクノロジーを活用した持続可能な藻場再生モデルの構築とカーボンニュートラルの促進」というテーマでの取り組みの一部を紹介します。
正式な取組概要は国土交通省より発表の下記のページをご覧くださいませ。
なお、本プロジェクトは下記の協議会（コンソーシアム）を中心に実施されました。
💡 五島スマートアイランド推進協議会
五島市殿
公益財団法人ながさき地域政策研究所殿
エヌ・ティ・ティ・コミュニケーションズ株式会社殿
株式会社LAplust
全体の取り組みの紹介は国土交通省の公式サイトで閲覧できますので、
この記事では、LAplustが開発するLAplust Eyeの応用例として本プロジェクトの取組の一部を深堀してご紹介したいと思います。
目次
1.背景・課題
2.LAplustの取組内容
3.成果の紹介
4.まとめ
1.背景・課題
現在、LAplustは人口減少・人手不足という社会課題の解決へ貢献したいという想いを込めて、人でいうところの目や脳に当たる機能を持つサービス「LAplust Eye」を開発しています。
そんな中、五島市が持つ「島の問題」の解決を目指す実証にLAplust Eyeが活用されました。
今回、コンソーシアムでは、下記のような課題に対して、求められる姿を設定し、解決策を実装し実証しました。
⚠️ 具体的な「島の問題」
磯焼けによる漁獲量の減少
最近はニュースなどで取り上げられることも多くなりご存じの方も多いと思いますが「磯焼け」被害はどんどん拡大しているようです。漁師さんにお話を聞いてみても、温暖化などの地球環境の変化によってこれまでの海洋生態系とは大きく変化してきているとのことです。つまり、生態系の変化は人の営みに大きな影響を与えているということですね。
✅ 求められる姿
ガンガゼ駆除の省力化と効率的な駆除対策
現在は増えすぎたガンガゼをダイバーさんや漁師さんが海中に潜って探し、潰し割り、駆除を行っています。しかしながら現在の駆除人員ではガンガゼを駆除できる量に限界があり、ガンガゼが増えるスピードの方が速いようです。
💡 解決策（LAplustの取組範囲）
ガンガゼの生息場所の把握によるガンガゼ駆除の省力化支援
そこで、ガンガゼの駆除人員を増やすことなく同じ人員でもガンガゼの駆除を効率化することが求められます。ガンガゼの駆除を始める前に、あらかじめガンガゼの生息個体数と場所をAIで把握して、マップ上に可視化する実証を行います。
こうすることでガンガゼ駆除のために海中に潜る前にダイバーさんや漁師さんはどこにたくさんガンガゼがいるのか事前に把握したうえで潜り始めることができます。これにより、駆除の潜水前に同じ時間・同じ人員でよりたくさんのガンガゼを駆除できる場所を確認してから効率的に駆除対策を進められるというわけです。
※なお、本プロジェクトでは上記以外にもカーボンニュートラル促進に向けた実証も行っておりますが本記事では割愛させていただきます。詳細は国土交通省の公式ページや下記抜粋画像をご確認くださいませ。
引用元：https://www.mlit.go.jp/smartisland/index.html
2.LAplustの取組内容
１．「AI（LAplust Eye）によるガンガゼの生息分布把握」
２．「AI（LAplust Eye）による推定CO2吸収量の算出」
ここでは主に1番の「ガンガゼの生息分布把握」について深堀していきたいと思います。
「ガンガゼの生息分布把握」というのは具体的にこのような実際のマップにガンガゼの生息数を色分けして表示するということです。これが今回の実証プロジェクトのゴールです。
具体的な流れはこちらの図をご覧ください。
LAplustは水中の動画を受け取ったあとの「解析」と「可視化」を主に担当しました。
具体的な取り組みの流れを順を追って説明していきます。
まずは学習データセットの作成を行います。
ドローンや船底に取り付けたカメラで撮影した水中の動画を共有いただきます。
その動画からＡＩが学習するための元データを切り出していきます。
皆様にご協力いただきガンガゼの学習データセット数は約400になりました。
このようなイメージで動画から学習データセットのもとになる画像を切り出します。
次に、学習データセットのもととなる画像に対してアノテーション（タグ付け）していきます。
この作業が良質な学習モデルを作成していくうえで「肝」になります。単純な作業なのですがなかなか奥深く味わい深い業務です。
複数名で実施する場合はアノテーションを実施する際のルールを決めておく必要があったり、アノテーションを行った結果をレビューする担当者を決めておくことが重要です。
アノテーションされた各学習データセットのアノテーション方法にバラツキがあるとAIはうまく特徴を見いだせません。その結果、検出精度が落ちてしまいます。
現場で利用できる実用的な学習モデルを作成するにはこのアノテーションがとても重要です。
具体的なアノテーション済みの各学習データセットを見てみましょう。
赤く塗られているところが「ガンガゼ」と名付けた「タグ」です。
ガンガゼは針が長いウニのような生物です。
アノテーションを行う際に下記のような考慮事項が挙げられました。
- ガンガゼとして針先までをアノテーションするか中心の黒い本体のみアノテーションするか
- 複数のガンガゼが群生している場合はまとめてアノテーションするか一体ずつ分けてアノテーションするか
- 一部体が岩陰に隠れている場合はどうするか（30％以上見えていればアノテーションするか、それ未満の場合は無視するか）
etc.
単純なように見えて、「このケースはどうしようか・・・」みたいなことがたくさんあります。
絶対的な正解はないので、
- やってみてAIの精度などを確かめながら再度アノテーションの仕方を調整したり
- 人の目で見て1体と認識できるものは全て針の先までアノテーションしたり
- 隠れているガンガゼも可能な限り検出したいから少しでも見えていれば岩陰の姿も想像しながらアノテーションしたり
などなどいろんなアプローチがあります。この点はAIを活用する目的を意識してAIにどのようにふるまってほしいかを定義した後に、アノテーションルールを決めて、アノテーションを実施することがとても重要です。
単純に見えてとっても奥深いアノテーションなのですが、これまでの私の経験的に「これだけは防ぎたい！」というのが「アノテーション漏れ（見落とし）」です。例えば下記のようなイメージです。
赤丸で囲んだ箇所が一点だけアノテーション漏れとなっています。（実際は漏らさずアノテーションしています。）
このようなことが発生していると、今回のような教師あり学習をベースとした物体検出タスクの場合は、ガンガゼをうまく検出できなくなることがあります。
なぜなら、AIはタグ付けされた画像をもとに学習（ガンガゼの特徴を学んでいく）します。そのため、アノテーションされてないガンガゼは対象外（認識する必要がないもの）とみなされてしまいます。これによって、似たような水中動画のシーンをAIで解析した際に、検出してほしいのに対象外にされることも起こりえます。つまり検出精度が落ちます。1枚の画像に映り込んでいる検出対象は漏れなくアノテーションしてあげることが重要です。
今回のプロジェクト期間では最終的にガンガゼ含めて最終的に約1030のデータセットをアノテーションしました。
- 学習データセット内訳 実証開始時に立てた目標データセット数量を達成 ※学習データセットが極端に少ないものは海の中の生物が時期物なのでそもそもデータセットが集まらなかったという背景があります。
■内訳
ガンガゼ 429
ワカメ 124
アカモク 82
マメタワラ 73
フクロノリ 172
アマモ 32
ヒジキ 3
次にアノテーションが済んだ学習データセットを用いて学習を開始します。
すでにアルゴリズムが実装済みの場合は「学習」で人がやることはほとんどありません。PCが行います。なお、この時はLAplust EyeのモデルアーキテクチャとしてYoLoX-mを用いていました。（最新版のLAplust EyeではDETRというモデルアーキテクチャを応用したものを採用しています。Transformerを活用したモデルです。時期的な都合もあり、今回のプロジェクトではDETRを用いたモデルアーキテクチャは利用していません。）
学習が正しく進んでいるかどうかを、LossやAPなどを確認しつつ見守ります。そもそもアルゴリズムの実装が正しく行えていない場合はこのLossやAPが正常に出力されないケースがあるので、正常に学習が進んでいないと判断できる場合は学習を中断しアルゴリズムやデータセットを見直します。
APの例を一例として挙げておきます。
このプロジェクト内では特に発生しなかったですが、AIのアルゴリズムは正しく実装できているのに画像に含まれる「Exif情報の影響を受けて全然精度が出ない。」なんていう落とし穴に引っかかったことも過去にありました。
AI本体のアルゴリズムだけではなく前処理や後処理もシステム全体で整備されていないとAIは正しく動かないという経験を記事にしていますのでぜひ参考にされてみてください。
LAplust Eyeはこの点でプロジェクトに活用される際様々な状況に対応できるよう設計されていますので比較的スムーズにプロジェクトを進めることができました。
上記で記載したこと以外にも想像以上に考慮すべきことは多いです。AIモデルのアップデートや学習モデルの管理手法などなどMLOpsといって、これまた奥深いことが様々あるのですがここでは割愛させていただきます。別記事で記載予定です：）
最後に評価です。
学習の最後に行われるテストデータを用いた評価（AP/AR etc.）や目視による真値との比較など様々な評価ができます。実際のテストデータに対する評価結果はこちらをご確認ください。
ここでは実用性を重視する点や皆さんに伝わりやすい評価を行うという点にフォーカスし、目視による真値との比較について紹介したいと思います。
やり方はいたってシンプルです。
今回のプロジェクトにおいて、実用時の評価としては最も適切な評価かと思います。
学習に一切用いていない動画を人の目で見て実際にガンガゼが何匹映り込んでいるかカウントしていきます。同じ動画をAIで解析しガンガゼが何匹いるか同様にカウントします。
今回は期間が極めて短いなかでの実証プロジェクトでしたが協議会各関係機関のご尽力により約400のガンガゼデータセットを収集することができ、実用に期待できる成果が得られました。
結果として、目視で数えた真値とAIの解析によって得られた計測値を比較すると概ね65－70％程度の精度でした。厳密な生息個体数の計測という意味では更なるデータセットの収集と精度向上が必要になりますがどの海域にどれくらいのガンガゼが生息していそうか、という相対的な多い少ないの評価は十分に可能な精度です。
具体的な検出の様子を見てみましょう。
まずはうまく検出できているケースから紹介します。多くのガンガゼは岩陰に隠れてます。しかしながら、人の目でも見つけにくい場合でも正しく見つけることができていることがわかります。
次にうまく検出できなかったケースです。群生していたガンガゼをそれぞれ個別にカウントすることがまだ苦手なようです。また岩で影が差している場所を「ガンガゼ」と誤認しています。ただし全体の検出結果に対して誤認しているケースは少数でしたので、最終的な可視化には大きく影響はしないこともわかりました。
学習データセットの増加・アルゴリズムのさらなる改良によって精度をさらに改善していく余地があります。なにはともあれ、学習データセットを増やしていければ確実に誤認は減り精度が上がっていく見込みです。今回のプロジェクトではデータセットを収集する期間・回数ともに限られていましたが継続してデータを収集することでさらに実用的なモデルにしていくことが可能です。
なお、LAplust Eyeの最新版（今回のプロジェクト期間では開発進捗の都合により最新版は用いていません。）はさらにごく少数のデータでも極めて高い精度での検出が可能となっており、人の目で見つけるのが難しいような場面でもしっかりと検出対象を見つけてカウントすることができます。最新版のLAplust Eyeが持つモデルアーキテクチャで実施した結果も今後別記事で紹介していきたいです。
取組内容の2番「推定CO2吸収量の算出」で学習したフクロノリ検出の様子です。試しに最新版のLAplust Eyeで検出させてみましたが、人の目でもよくわからないレベルの対象をばっちり見つけていることがわかります。
3.成果の紹介
今回は限られた学習データセットでの実証となりました。そのため、うまく検出・カウントできないシーンもあります。厳密な生息個体数の計測という意味では更なるデータセットの収集と精度向上が必要になります。一方で、どこの海域にどれくらいのガンガゼが生息していそうか、という相対的な生息分布の評価は十分に可能な精度です。
LAplustで開発したWebサイト上で、AIによって解析した結果を可視化してみます。
マップ上のメッシュに対してガンガゼ生息分布を可視化しています。最小メッシュは25ｍｘ25mです。
まずはLAplust Eyeで解析した結果を読み込みます。
解析結果が読み込まれ、マップの一部の色が変わりました。
細かく見ていくためにマップを拡大していきます。
徐々に撮影場所が細かく表示されるようになってきました。
解析結果に含まれるGPS情報も表示します。
マップを拡大表示していくと各メッシュが細分化されていきます。
どこの海域が近隣の海域に比べて、より多く生息しているかが一目瞭然となります。
これによって磯焼け対策の大幅な労務負担の軽減（効率化）に期待できることが実証できました。
具体的には3日間かかっていたことが半日で終えられるようになるとのことです。
実際にガンガゼ駆除を行っている漁師さんからも「これだったらどこに潜ればいいか事前に分かるから便利だ」というお声をいただきました。
4.まとめ
今回のプロジェクトでは五島市殿から挙げられた「島の問題」の解決を目指してLAplustとして実証に参加させていただき、「AI（LAplust Eye）によるガンガゼの生息分布把握」の取り組みを行いました。（※このほかにも協議会全体の取り組みはございますが、本記事では割愛させていただきました。）
実証の結果として、「ガンガゼの生息分布把握」の実証に成功し、磯焼け対策の大幅な労務負担の軽減（効率化）に期待できる成果や声をいただくことができました。
記事で取り組みを紹介していく中で、技術的な要素として、特にアノテーションの具体的な注意点を述べました。
- アノテーションを実施する際のルールを決めておく
- アノテーションを行った結果をレビューする担当者を決めておく
- 1枚の画像に映り込んでいる検出対象は漏らさずアノテーションしてあげる
技術ブログなので、さらに技術に偏った話をもっと盛り込めたらよいとも思うのですが、この記事ではあくまで取組の全体像を中心に紹介させていただきました。
ここには書ききれなかった、検出対象（ここではガンガゼや海藻類）を正しくカウントするための工夫や解析した結果を地図上に描画していくための必要な手順（アルゴリズム）などなど、別記事で紹介できればと思います。
私たちが日ごろ美味しい魚介類を口にできるのも日頃ダイバーさんや漁師さんが自然環境の変化に向き合い、対応・対策していただいているおかげです。今後もLAplustはこのような課題に技術で寄り添い、よりよい社会の実現に向けて活動を続けていきたいと思います。
冒頭で触れました『AIの目（LAplust Eye）』は、独自の物体検出によって人の目視作業を代替するサービスです。
- 製品外観検査の省力化・省人化
- 出荷前の不良品検出
- 生態調査の半自動化
省人化と活人化を実現したい現場の課題について声をお聞かせいただけると幸いです。
まずはご相談ベースでもぜひ、お問い合わせください。活用事例を踏まえてご紹介させていただきます。
最後までお読みいただきありがとうございました。