ページの本文へ

 

NEWS
新着情報

【後編】「第5回日本オープンイノベーション大賞」を受賞した画期的なプロジェクトの舞台裏~THINKLET®を活用した現場作業員の多能工化~
FEATURE
2024.06.27
前編でお伝えしたように、ダイキン工業は、東大発ベンチャーのフェアリーデバイセズ社(※1)との協創により、映像・音声AIによる現場DXを推進している。(※2,3)そこで活躍しているのが、スマートウェアラブルデバイス「THINKLET®」と自社開発の業務支援用のWebアプリだ。この2つを組み合わせ、熟練エンジニアが遠隔地の新人をサポートしたり、教育できたりする遠隔支援ソリューションを実現している。後編では、協業先のフェアリーデバイセズ社 CPO(チーフ・プロダクト・オフィサー)関 喜史氏と、ダイキン工業 テクノロジー・イノベーションセンター(TIC)技師長でAI活用担当の比戸将平氏、同チームマネージャーの片岡太郎氏に開発現場の裏話や、今後の展望などについて伺った。

画期的なAIプロジェクトの発足と、東大発ベンチャーとの邂逅 

――まずは簡単な自己紹介と現在の業務から教えてください

関:私は学生時代に情報キュレーションサービス「グノシー」を提供する株式会社Gunosyを共同創業し、約10年間AIの開発やビジネスに関わってきました。実はその時期にダイキンさんの比戸さんと知り合って、一緒に勉強会を開催したりしていました。この仕事でまた再会できて、何か不思議なご縁を感じています。フェアリーデバイセズ(以下、フェアリー)に転職して2年になりますが、CPOとしてプロダクト開発方針などの意思決定を任されています。またそれ以外に、まさに現在ダイキンさんと共同で進めているプロジェクトを統括する役目も担当しています。

 

このプロジェクトでは、フェアリーデバイセズ独自のスマートウェアラブルデバイスである「THINKLET®」と、それを用いたダイキン工業開発の業務支援Webアプリを使います。現場作業者がTHINKLET®で撮影した作業動画を蓄積し、AIモデルを活用しながら解析して、現場作業の改善に役立てるというもので、研究開発を1年以上かけて進めているところです。

比戸:私は学部生時代にIPA(情報処理推進機構)のIT人材発掘・育成事業「未踏ユース」に認定され、修士課程を修了したあとIBM基礎研究所に入社しました。その後、AIベンチャーのプリファードインフラストラクチャー(現 株式会社 Preferred Networks)に10年ほど在籍し、執行役員として主に製造業へのAI技術適用を研究開発してきました。ダイキン工業には2023年1月に転職し、1年半弱たったところです。
――比戸さんと関さんとは以前からお知り合いだったのですね

比戸:ええ、実は私がプリファードインフラストラクチャーに在籍していた時に、同じく機械学習技術をコアにしたスタートアップということで開かれた技術交流会で関さんと知り合いました。その後、2015年のデータサイエンスブームの頃に共同で本を書いたこともあります。そして私がダイキンに入って、関さんと再会することになり、同じチームで仕事ができて幸運だと感じています

片岡:私は、1991年にダイキンに入社し、これまでは、ダイキンが業務用エアコン向けに提供している遠隔監視サービス「エアネットサービス」など、IoTシステムを開発してきました。

 

フェアリーさんとは、(前編で)近藤がご紹介したように、ダイキンが東大連携を始めた2018年からのお付き合いです。2019年にTHINKLET®を発売するという構想が持ち上がり、このデバイスを使った遠隔支援サービスを進めるために検討を始めました。その後、いろいろ試行錯誤して、ようやく現在の形になったのが2022年のことです。蓄積された動画を活用して、人による遠隔支援をAI化しようと考えました。

 

 

具体的には、現場の動画をチェックし、作業が正しく行えているかどうかをAIによって自動で判断したり、作業が誤っていたら正しく指示したりするといった機能を検討していました。ただ、実際に開発を進めていくと、かなりハードルが高いことに気づきました。困っていたところに、ちょうどAI専門家の比戸さんが入社されて、とても経験値が必要な世界だと分かりました

THINKLET®は一般的なARウェアラブルコンピュータと何が違う?

――フェアリーデバイセズ社のウェアラブルデバイス「THINKLET®」とは、具体的にどんな製品なのでしょうか

関:簡単に言えば、THINKLET®は首掛け型スマートウェアラブルデバイスです。800万画素の広角カメラ、5個のマイク、スピーカー、各種センサーを搭載し、Wi-Fi/4G LTEでインターネット通信ができ、Androidアプリケーションと互換性があります。このデバイスを用いて、装着したメンテナンス作業者に対して遠隔地から熟練エンジニアが作業の支援をすることができます。当社ではLINKLET®というTHINKLET®からZoomやTeamsといったビデオ会議システムを利用できるサービスを提供していますし、ダイキンさんでは先述した業務Webアプリを利用しています。
さまざまな作業現場で活用できる首掛け型スマートウェアラブルデバイス「THINKLET®」
現場の音声と映像は、遠隔の支援者とリアルタイムに通信でき、それらを分析して多様な用途に活用するという使い方が可能です。現場からの音声データは環境によってノイズが多くなることがありますが、我々が培ってきた音声処理AI技術「mini XFE」によってクリアな音声にし、映像も精細なので、良質な分析データを残せます。現場でデバイスを装着して使うため、我々は「コネクテッドワーカー・ソリューション」と呼んでいます。

 ――Google GlassやMicrosoftのHoloLensのような拡張現実ウェアラブルデバイスもありますが、
   それらとTHINKLET®は何が異なるのでしょうか

 

関:大きな違いはメガネ型やヘッドマウントディスプレイ(HMD)方式ではなく、首掛け方式であるという点です。実際に現場で使う場合には、頭に装着するデバイスは使い勝手が悪くなってしまいます。首の位置にあると現場でも負担なく楽に使えますし、ハンズフリーで作業ができます。また頭に装着すると頭はよく動く部位であるため映像がブレてしまいやすいのですが、首掛け方式だとブレが少なく違和感のない映像が得られます。

 

 ――THINKLET®を導入することで、世の中がどのように変わる可能性を秘めていますか?
       リアルタイム遠隔支援以外に、どんな応用が考えられますか?

関:録画した動画の活用があります。まず考慮すべき点は世の中にはテキスト化(言語化)が容易な情報と、言語化が難しい非言語(ノンバーバル)な情報があるということです。最近はテキスト化された情報から、大規模言語モデル(LLM)によって情報を抽出したり、整理したりすることが簡単にできるようになってきました。しかしテキスト化されていない情報やスキルは、まだ現場に多くありますから、そういう情報もしっかり拾い上げなければいけません。例えば現場で行われた手元の作業映像や、その間の交わされた会話などの情報には大きな価値があります。

THINKLET®で撮ったデータを基にAIで動画解析を行い、初心者を何でもできる「多能工化」することが最終目標だ。

まだ、いろいろな課題はありますが、作業員が1日中THINKLET®を装着し、すべてのデータを蓄積し、そこから重要なシーンを検出したり、ナレッジを貯めたりする使い方は有望だと思っています。動画に潜むノンバーバルな情報をいかに活用できるようにするか、そのインターフェースとしての活用に価値があります。とはいえ、動画の蓄積には時間も手間が必要で、映像を溜める意義を現場の作業者の方に感じてもらわなければなりません。

そこでファーストステップとして、人が介在した遠隔支援から始めて、その先に部分的なタスクの自動化、その次に記録した動画の検索や分析による示唆などにつなげたいと考えています。すでにダイキンでは遠隔支援で普通に使っており、数千時間ぶんのデータがあります。未来の夢としては、これらのデータをもとに、初心者がTHINKLET®を付けて何でもできる「多能工化」を実現することです。

 

 

ダイキンだから実現できる応用事例 ~一人称動画解析で競合にリード~

――ダイキンの製造現場におけるTHINKLET®の応用、動画活用に対する期待はいかがでしょうか

比戸:私がダイキンに入社したときは、画像解析機能の開発が始まったばかりで精度も足りず、まだまだ現場導入は難しい部分がありましたが、いまなら簡単な応用なら実現できるところまで来ている感じです。もしこのプロジェクトを5年前に始めていたら時期尚早だったと思います。自社データが集まってきたことと、画像認識アルゴリズムが成熟したことの相乗効果、「一人称視点」の映像から作業者が何をしているのか、作業内容を推定できるところまできました。これにChatGPTに代表されるような生成AI技術も加わり、精度を向上させる武器がそろってきたので、これまで未開拓ゾーンだった一人称画像解析が世の中でもホットになりつつあります
この1年間、ダイキンは遠隔作業支援と同時に一人称作業動画を蓄積してきた。一人称動画解析により、作業手順アシスト、安全アシスト、最適手順の再生成が可能になる。
そういう意味では、タイミングとしてはすごく幸運でした。というのも、いまから他の競合が同様のことを始めようとしても、動画データを集めるのに1年はかかります。すでにダイキンは動画解析を始めていますから、この分野では先んじてスタートダッシュができました。我々としては、THINKLET®と動画解析によって、空調業界全体の作業員不足の解決につながるものと考えています。特に一般消費者向けのエアコンは全世界的に需要がありますが、単に売って終わりでなく、設置やメンテナンスが必要です。こういう動画技術を利用して、世界各地の作業員の支援や教育を進めていけるという期待感がありますし、それが今後のダイキンの強みやインセンティブになるでしょう。

片岡:そうですね。実はエアコンの故障率は、設置作業のクオリティによって大きく変わってくるのです。設置時に間違いやすいポイントを洗い出してチェックできるようになったり、修理に行ったときに状況が分かったりすると、どこが壊れやすいのかといった判断も下せます。日本では技能伝承が重要になりますが、グローバル展開では作業員のクオリティを担保する際に役に立つと思います。記録した映像によって製品ライフサイクル全体に効いてくるでしょう。
空調機は国や地域によって、気候・住宅様式・顧客の嗜好・エネルギー需要・法規制の違いなどから、現場に求められる技術レベルやカバリングが異なる。そこでダイキンでは、THINKLET®で集めた動画解析の応用を施工・保守の現場からスタートする計画だ。
――ダイキンだからこそ撮れる動画も大量にあるかと思います。その辺りのデータの応用例について教えていただけますか

 

比戸:ネット上にある公開情報からAIで学習したとしても、我々のエアコンのメンテナンスや修理に役立つモデルはたぶん作れないでしょう。ですからダイキンの業務に特化したモデルについては、自分たちで蓄積したデータで学習させる必要があります。すでにかなりのデータが集まってきているのはダイキンの強みであり、差別化のポイントになると思っています。精度ももっと高めていく必要がありますが、少なくともロジカルには近々実現でき技術的素地は整っているし、今のところ他社よりも先行していると思っています。

 

画期的なAIプロジェクトの発足と、東大発ベンチャーとの邂逅 

――現時点で話せる今後の予定や展望は何かありますか

関:応用のトピックはいろいろありますが、基本的にはデータがあるからこそ実現できるものです。今後はダイキンさんの中で閉じて開発していくノウハウのデータと、社会にあるオープンなデータをどう住み分けて使うかという点も必要でしょう。なので、もっと多くの関係者を巻き込みながら、本プロジェクトを推進していきたいですね。

比戸:そうですね。一人称動画解析が盛り上がってきている今だからこそ、例えば我々の動画データの一部を公開することで、世界のトップ研究者の知見を取り込んで、オープンイノベーションで課題を解決していくことも考えられます。ダイキンの取り組みが、あらゆる産業で使えるグローバルスタンダードになるといいですね。空調以外の分野では競合しないので、フェアリーさんと共に、いろいろな分野で横展開することも可能だと思っています。

 

 

――最後になりますが、この記事を読まれている方にメッセージをお願いします

比戸:ダイキンは将来を見据えた先進的な取り組みを進めています。社内にダイキン情報技術大学を設立し、多くの情報系人材を育成しています。今回のプロジェクトでも、若手の多くが情報技術大学の修了生で、皆大活躍しているのですが、それでも技術者の人手がまだ足りていません。ぜひダイキンに来ていただいて、我々と一緒に新しい分野の開拓を進めていただければ嬉しいですね。

片岡:我々がいま手掛けていることは、これから先に社会的なインパクトがあることです。直接的なところでは、報告書の入力も映像で自動化されるので、現場の作業負担も軽減されます。また記録された映像から一人称動画解析をすることで、作業者が意識していなかった気づきが得られたり、標準作業から外れたヒヤリハットを回避できたりと、安心・安全につながる可能性も秘めています。このようなポテンシャルのある開発に魅力を感じる方々を歓迎しています。

関:日本の製造現場のデータは、そのメーカーしか持っていない独自のものばかりで、世界トップクラスの品質を担保するものです。それらを解析し、上手く活用してグローバルに展開していくことは、現在の日本で実現できる最も面白い取り組みの一つです。ダイキンさんは、すでにデータを先行して蓄積し、データを解析して実証できる現場を併せ持っています。チャレンジングな新しいタスクをダイキンさんや我々フェアリーと二人三脚で進めてくれる人を待ち望んでいます。ぜひ我々にジョインしてください。

※記載内容とプロフィールは取材当時のものです。

※1.企業情報
会社名:フェアリーデバイセズ株式会社
代表者:代表取締役 藤野真人
所在地:東京都文京区湯島2-31-22 湯島アーバンビル7F
設立:2007年
URL:企業情報


※2. 東大発ベンチャーのフェアリーデバイセズとダイキン工業コネクテッドワーカー創出による現場業務の革新を実現

※3. 内閣府主催の第5回日本オープンイノベーション大賞において「総務大臣賞」および「文部科学大臣賞」を受賞

 ダイキンの魅力と技術者の想いはこちら↓↓


 

Yoshifumi Seki 

フェアリーデバイセズ株式会社 執行役員 CPO

2022年4月入社。富山県出身。
プロダクト開発マネジメント、機械学習を担当。
昨日までできなかったことを、少しずつ出来ることに変えて、技術の力で世の中を前に進めていきたい。
Shohei Hido 

テクノロジー・イノベーションセンター 技師長

2023年1月入社。千葉県出身。
画像認識技術、生成AI技術を担当。
製造業でデジタル活用が進んでいるのはダイキンと言われるようになる。実際にお客様に価値ある製品やサービスを届けていきたい。 
Taro Kataoka

テクノロジー・イノベーションセンター 

1991年4月入社。大阪府出身。
空調機保守作業者向けシステムの企画・技術開発を担当。
次々と出てくる新しい技術やデバイスを駆使し、現場作業者に喜んでもらえるアプリやサービスを提供したい。
関連記事
関連採用情報
ページの先頭へ