AmazonGoは如何にして商品を識別しているのか

なんかこう、今の段階での予想を書き出しておきたくなったので、思いつく限り書いてみます。AI的にどうこうと言う部分は専門家に任せるので、そこじゃない視点で書いております。
「それは違う」とか「俺はこう思う」というご意見があればお知らせください!

AmazonGoのハード部分を再確認

まず、天井に多数のカメラ&センサーがあり、これで来店客の動きを識別している。多種多様なセンサーっぽいので、それぞれの役割分担の比重とかは不明。
普通のカメラやKinectのような奥行きを感知出来るカメラ、更にはマイクで音を拾って人の位置や顔の向きを検知するとか色々あるみたい。

棚にはカメラ&センサー(赤外線?)があり、商品の動きをみていると思われる。奥の方とかにもセンサーがあるやつとないやつがあったりするので、必須かどうかは日々変わっていると思う。

あと、商品識別と関係ないと思うけど、冷蔵ケースには温度センサーがあった。警報的な温度異常検知じゃなくて、ロギングもしてるのかな? ただまぁ、商品カテゴリから考えると、そこまでの必要性は薄いとは思うけど。

AmazonGoの都市伝説(?)

私が見聞きしたAmazonGoの仕組みについての話です。


商品にタグついてる(実際に言われた)

これは絶対にないです。行くと分かりますが、普通に缶のコーラとか売ってて何も付いてません。どうやら、現地で見てきてそんな報告をあげた若手がいたらしく、上の人がすっかり信じ込んでました。


顔認証している

別な方の検証で、マスク付きでも入店可能だったそうです。そして、中でマスクを取っても商品の紐付けは正確だったそうなので、していないと言えます。
人の塊として認識して、アプリのQRコードと紐づけているんだと思いますね。


チョコなどは立て陳列なので、センサーで取得した厚みから数を判断している

絶対にないとは言えないですが、チョコを取って陳列しているチョコの上に乗せたら正常に返品になりました。なので、厚みは見てないか重視してないです。
更には、立ててない商品の方が多いので、かなり可能性は低いです。


棚に重さセンサーがあって、商品を判別している

棚を見た限りでは、商品個別の重さを識別できるようなセンサーは見つけられませんでした。ただ、特許情報(https://patents.google.com/patent/US20150012396)に加圧センサーについては書いているようなので、棚全体でセンサーがあるのかもです。もしくは、検証の結果、不要になったとかの可能性も考えられます。

この辺は、棚をめくって細かく調べる必要がある感じですね。配線とかもほぼ見えないので、行く人はその辺も確認してみましょう。


裏でスタッフがカメラの画像を見て、何を取ったか判別している

どこかのサイトでこんなコメントが書いてあるのを見ました。
でも確かに、エラーを検知したら、裏で責任者クラスがデータの整理とか売り場修正の指示出したりとか、そういった方面で色々と対応している可能性はあります。

まだ、システムの完全自動化という所まではたどり着いてないのではと予想しています。だって、店内を凄い頭の良さそうな人が歩いてるので、絶対何か難しいことをやってるはずです。

小売業目線で言ったらあんなレベルの人は普通店内にいませんw

正常に認識したことが確認できている買い方

この前言った時に試した例を紹介します。


取って戻す

出来て当たり前な感じ。普通に返品になる。


取って、戻す時に場所を入れ替えてから、別の人間が取る

このクッキーがそれで、入れ替えてた後に2人で別々に買っても正確に識別して個別のカートに入ってました。


チョコを取った後に棚の後ろに落とす

返品になりました。


棚の一番後ろにある小物を手で覆いながら取る

カートに入ってました。


ジュースを取って退店し、そのジュースを持って再度入店して棚に戻す

買った履歴は消えませんでした。ただ、処理に時間がかかるだけで、1時間くらい待ってれば消えた可能性も・・・?

認識を失敗すると予想される買い方(未確認)

色々と買い方を考えてみました。


大きさの違う商品を別の棚から取ってきて並べ直し、重ねて取る

別な棚に移動しても認識すると思うが、更に違う商品と重ねて取ってみたら誤認識するかも。


陳列前のカートに乗っている商品を取る

店員の目を盗んで取らないと、100%店員に止められるのでハードル高い(私は3回チャレンジして全部止められました)。この場合は多分、認識できないはず。


マジックハンドで商品を取る

赤外線センサーをごまかせるかどうかなのですが、実際は、義手などで買い物をしたらどうなるかという点の確認にもなっています。ポテトチップス系なら出来るかも?

あと、商品にセロハンテープで紐をつけて、立ち去った後に紐を引っ張って取った場合とかは認識できないんじゃないかと思ってます。是非、お試しください。(自己責任


認証ありで入った子供が、ベビーカーを乗り降りしてお菓子を取る

認証ありで入った子供が疲れてベビーカーに乗って移動後に再度降りて商品を取ったらどうなるかは気になるところ。トレースできないか、人ではない何かの物体として移動をトレースすれば可能?
複数人が乗れるベビーカーだとどうなるとかもあるが。


ベビーカーで認証なしに入った子供が、ベビーカーから降りてお菓子を取る

認証なしなので、取っても紐付けできないはず。まぁ、そもそもベビーカーがゲートを通れるサイズでないとダメですが。


入店後に複数人が匍匐前進し、さらに他の人を乗り越える

来店客のトレースが出来ているかのチェックなので、商品識別とは違うかな?でも、顧客を識別しそうな予感。


店内でトランスフォームする

参照 → https://www.youtube.com/watch?v=UU-k8M_gFLM


取った商品をケースの前の方に戻す

画像のような場所に置く。棚カメラの手前なので、返品と判断されない可能性がある。棚カメラで取得している範囲とか、天井カメラが商品まで補足している場合などもあるので、誤認識するかは五分五分。


取った商品をBAGSなどの商品棚じゃないところに置き忘れる

棚ですらないので、返品と判断されない可能性が高い。


床に落ちた商品を取る

なぜ落ちているのかとか、どうやったら落ちるのかは詳しく言いませんが、商品補充の場合と同じで認識しない可能性があります。


買った卵を落として割ったので新しい卵を取る

多分2個分取ったことになってると思うので、アプリで返品すれば良いはず。あと、店員に言えば後始末もしてくれそう。アルコール売り場の前だしw


カメラのフレームレートを超えたスピードで商品を取る

炎のコマ?


間違った商品は返品自由という概念について

AmazonGoでは、商品が違っていた場合など、アプリで自由に返品できる。で、amazon.co.jpなどの方での返品例を元に具体的なケースを上げてみよう。


買ってないものが決済カートに入っていた

間違いなので、自信を持って返金処理。


買ったものが決済カートに入っていない

この場合は、仮に申告したとしてもAmazonからは追加請求は来ません。Amazon.co.jpでも商品間違いは返品を求められません。もしくは、「返品してね」と言われるかもだけど、放置してても何もペナルティーなしです。


買ったものとは違うものが決済カートに入っていた

この場合は、返金処理をして、新たに買いに行く。


買って食べてみたら思った味ではなかった

グレープ味と書いてあったが、想像していた感じのグレープ感じゃなかったらどうなるか。また、「美味しい」と書いてあったが食べてみたら美味しくなかったらどうなるか。

一部の小売業ではこういう場合でも返金を受け付けてます。なので、AmazonGoでも返金が認められる可能性があります。


さて

ここまで考えて、返金できないケースは何か考えてみましょう。

多分、ないです。

返金できないのではなく、返金率が高い顧客が排除されるだけで、返金の妥当性というものは既に意味を持たないと思います。

となると、認識率の向上を1番目におくのではなく、顧客満足度を1番目に置いてそれを維持するコストを多面的にコントロールしていくという手法が一番いいのではと思いますね。


なお

商品を店に戻したとして、お店はその商品をどうするかというと、大体は破棄します。なぜなら、1度でも店の外に出た商品は、衛生面や温度管理面で見ると販売出来ない品質になるからです。

なので、AmazonGoで、店の外に持ち出した商品を店員に返品しても、多分受け取らないはずです。これも、是非、お試しください!


個人的な予想

棚から何を取っただけではなく、棚にどんな変化があったかをみている気がします。なので、手で隠して取ったとしても、棚から無くなっているのは隠しようがないので識別できるのではないかと思います。

もっと言うと、もしかすると、AmazonGoは店内の商品点数を常時把握しているかもしれません。理屈から考えると、それも可能なはずです。リアルタイム棚卸し。。。AJISー!!(わかる人向け


更に余談
こうなると、AWSが出来て様々なスタートアップが生まれたように、AmazonGoが外販されると様々な小売業態が生まれてもおかしくない気がする。

入店で固定費チャージな遊園地・イベント会場的なのとか、主婦のスクール的な施設に併設されるとか(補充は、自販機ベンダーが適切な気がする)、博物館的な出口にある売店がもっと低コストで運営できるかとか(ECサイトのピッキングにも使える)、楽しくなりそうですよねー

"NO CHECKOUT"視点で物販以外にも目を向けると更に色々と広がるのですが、それはまた別な機会に。


情報求む

ここの枠で囲っている棚だけはセンサーが見つからなかったので、他の人の確認結果を募集しております。また、商品を隠しながら取ったりなどもお試しください。
ちなみに、クッキーは美味しいので何個買っても損はないです!


まとめ

現状、カメラやセンサーが多くて採算合わないとか色々と言われてますが、AlphaGOとAlphaZEROの進歩スピードを考えると、同じことがAmazonGoでも起きると思います。

例えば、
・認識モデルの見直しでAWS側での負荷が減る
・カメラorセンサーの必須数が少なくなる
・カメラorセンサーの必須性能が下がる
など、コストの改善は予想以上に早いでしょう。

個人的には、RFIDが1円になるより前に、AmazonGoの仕組みが外販されると予想しています。外販についての内容がre:Inventで発表されるかは微妙ですが、年末に発表されたらヤバいとしか言いようがないです。(今年も行こう!)


無料公開なので、この下には何もありません。
「投げ銭しても良いよ」って人だけ押してください(^^

この続きをみるには

この続き:11文字
この記事が含まれているマガジンを購入する

AmazonGo、TRIAL、など、チェッカー不要な仕組みを取り入れている店舗の視察報告です。 実店舗への導入や、今後の方向性の考察な...

または、記事単体で購入する

AmazonGoは如何にして商品を識別しているのか

okiyasu

100円

この記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。

okiyasu

AmazonGo&関連する他店舗の訪問報告

AmazonGo、TRIAL、など、チェッカー不要な仕組みを取り入れている店舗の視察報告です。 実店舗への導入や、今後の方向性の考察など、1ページに収まらなくなったのでマガジンスタイルに変更しています。 随時更新予定
コメントを投稿するには、 ログイン または 会員登録 をする必要があります。