おっ、これの良さが分かるぞ。顔の向きに引きずられずに目線がどっちを向いているかにちゃんと反応してる。つぎはコレの変換チャレンジしよう。"L2CS-Net"https://t.co/FWnv5p2vEi pic.twitter.com/5i4sq8nqWf

— Super PINTO (@PINTO03091) August 3, 2023

バーチャルキャストには、OSCではなく、mocopi (UDP)のフォーマットでモーションデータを送ってください。mocopiの独自アルゴリズムをそのまま使えるので動きがいいです！バーチャルキャストさんご対応ありがとうございます！！ https://t.co/EjPy4OtfTs

— Aimi （室長） (@t_aimi) July 20, 2023

ブログを書きました！

今回ご紹介するのは、単眼画像から人物の３Dモデルを推定する「4D-Humans」という技術です。従来は難しかった「体が逆さまになるような特殊なポーズ」でも、３Dモデル推定が可能になっています。

ブログ：https://t.co/3upStcXTuU pic.twitter.com/5MXAdAJrEy

— cedro (@jun40vn) July 24, 2023

Kicking it up a notch #NationalSoccerDay⚽

Combine a #DeeplLearning model for pose estimation to perform a 3D reconstruction using two cameras ➡️ https://t.co/KsKydCi9gK pic.twitter.com/ANoGTKK30x

— MATLAB (@MATLAB) July 28, 2023

Leap Motion 2のトラッキング精度すごすぎる！！🤩🙌 pic.twitter.com/KdO2CtTot0

— オレンジ/メタバース撮影技術者 (@orange_3134) June 29, 2023

何かに隠れても長時間正確に追跡可能。映像内の物体の動きの軌跡をピクセル単位で追跡する手法「OmniMotion」 https://t.co/sHZMbVdxlu 映像内で動く物体を画素レベルで追跡するモーション推定。オクルージョンや長時間の動き,カメラ位置が変わっても一貫性を保った動きの軌跡追跡を高精度で行う。 pic.twitter.com/QOtpj85vmI

— Seamless (@shiropen2) June 21, 2023

とんでもないトラッキング手法が発表された！
NeRF技術を使うことで、3次元的に物体を捉え、特徴点を追跡できる。オクルージョンにも対応できる。https://t.co/tdacDEIiwo pic.twitter.com/j4DQxkitZ0

— Naoya | 南アでチーター研究🐆🇿🇦 (@DenDen047) June 9, 2023

mocopiの動作確認済みシステムにUnreal Engineが追加！UEでもリアルタイムにモーションデータを取り込むことが可能にhttps://t.co/nmWxQ1sVOc

Unreal Engineの専用プラグインが配布されている。Epic Developer Communityでも解説あり pic.twitter.com/2Ke42IekVD

— ゲームメーカーズ (@GameMakersJP) May 26, 2023

mocopi+デスクトップモードでフルトラできちゃうツールに新機能！🎉😍
1️⃣指が動かせるように！✌
2️⃣寝たり歩き回ったりできるように！💃

デスクトップでもかわいく動いちゃおう～！✨#mocopi #バーチャルモーションキャプチャー #NeosVR pic.twitter.com/B4KkkChrZY

— オレンジ/メタバース撮影技術者 (@orange_3134) May 19, 2023

【Cluster Tech Blog更新】
技術的負債を返済しつつmocopi対応した話

clusterがmocopiに対応しました！
今回の対応では、将来を見据え、過去の負債を返済する形での開発が実現しました。
その詳細について紹介します。

ぜひご一読ください🙌
https://t.co/igtgHEqlwQhttps://t.co/IoEQRilz2i

— クラスター株式会社 (@cluster_corp) May 18, 2023

VRChatで「フルトラもどき」を実現できました！笑
トラッカーなしです！

Standable: Full Body Estimationをインストール。
あとはSteamページ内のGIFの通りにキャリブレーションだけでいけましたhttps://t.co/Aigs5U6g9p

動きに結構違いが出るので、とりあえず入れとくと良さそう！ pic.twitter.com/g60ZyFO12v

— ミスターVR (@3DVR3) May 17, 2023

Cascadeurに動画からモーション生成が！生成した動きをそのままCascadeur上で調整出来るとなると、モーションデータ量産しまくれるなぁ素晴らしい
それよりも
動けるように今のうちに身体を慣らしておくか必要がありそうだ🏋️🕺 https://t.co/hftavYgPDX

— 3D人-3dnchu- CG情報ブログ (@ymt3d) May 13, 2023

Standable: Full Body Estimationが発売されたから早速遊んでみた
3点じゃ出来なかった顔だけ横を向かせるが出来るだけでも私的にはありだった
フルトラ楽しいんだけど装備するのが面倒だから運動とかイベント参加以外はこれで良いかも pic.twitter.com/3lHrwiM4Ch

— とむねこ (@vtmrchat) May 9, 2023

「Standable: Full Body Estimation」がsteamでリリースされたのでちょっとだけお試し。トラッカーがなくてもHMDとコントローラーの3点トラッキングだけで疑似フルトラができる！体を綺麗にひねったり寝転がったりなんかもできるようになった👍 pic.twitter.com/0fRERskQev

— 和泉屋さん(VR) (@izumiya_san_vr) May 9, 2023

3点トラッキングでも全身の姿勢を推定できちゃうフルトラツールついにリリースされたみたい！！😍💃
さっそくやってみた～い！ https://t.co/qYnNnMjVXS

— オレンジ/メタバース撮影技術者 (@orange_3134) May 8, 2023

槍ラッシュ。
槍も実物（120cmのトラッカー棒）を振り回してモーキャプしてます。#indie_anime#UE5 #VRM4U #KawaiiPhysics#バーチャルモーションキャプチャー pic.twitter.com/zQHOrOkbwl

— 無気力。 (@jackass_PK) April 16, 2023

無料版/先行配信版 #バーチャルモーションキャプチャー リリース！

Ver 0.55
・mocopiがカクつかないように！
→バッファリングと補間で、通信環境が悪くても滑らかに動く❗
・VMCProtocol周りの色々改善
・バグ修正

詳細は動画で！
先行版https://t.co/ZJaBqoe5oE
無料版https://t.co/MF4lPW6UJG pic.twitter.com/bQdIDlQGYZ

— あきら☎︎@VMC (@sh_akira) April 7, 2023

さっきの公式が動画上げてた。コレが動画だけで全自動とは信じられない。モーキャプのエラーも少ない。これを誰でも作れるようになったのは革命的 https://t.co/94jZNu5Z6j

— Hirokazu Yokohara (@Yokohara_h) April 7, 2023

HTCから新型トラッカーが発表されたぴょん

各所で大好評のVIVE XR Eliteはインサイドアウトなのでトラッカーはどうすのと思ってたらインサイドアウトのトラッカーがリリース
・最大５個まで使用可
・HMDなしの単独利用可
・OpenXR対応なので他メーカーのHMDでも使用可

-- https://t.co/jDsZ8TKDdz https://t.co/kmY4dvETk2 pic.twitter.com/X8cHFpSaiN

— ドコカノうさぎ🐰メタバースアイドル🎤VIVE公式アンバサダー (@patsupyon) March 21, 2023

ちょおおおwww VIVEがカメラ内蔵インサイドアウト方式の「セルフトラッキングトラッカー」を発表しました！！！
・ベースステーションなしでフルトラ可能
・50%小型化
・2023 3Q発売予定#VIVEアンバサダー

VIVE Self-Tracking Tracker - https://t.co/7YGbCW5if5 pic.twitter.com/NYYo1l5Cvk

— バーチャル美少女ねむ/Nem⚡大賞作家になったよ♥ (@nemchan_nel) March 21, 2023

VIVE StreamingがSteamVR (OpenVR)のハンドトラッキングに対応し #VIRTUALMOTIONCAPTURE もSkeletal Input対応ということでVIVE Focus 3とリスト、フェイシャル、アイトラッカーを組み合わせた上半身トラッキングを試してみました💡

凄い！BlendShapeやキャリブレの調整で更に良くなりそうです😃 pic.twitter.com/BB6BxMfIpQ

— VIVE サポート＠日本 (@ViveJapanSup) March 1, 2023

スマホで“口パク入力”を気軽にできるアプリ　東大とソニーCSLが「LipLearner」開発 https://t.co/k6Yau5wrQP 1から数回の発話で口パク入力の独自コマンドを登録できる。1コマンド5回の発話サンプル(動く唇)の学習で98.8％の口パク認識精度を達成。笑うとニコチャンマークを入力等も可能。 pic.twitter.com/vAZNQvfGz2

— Seamless (@shiropen2) February 24, 2023

トラッキングアルゴリズムや、センサの設計周りを一から見直し、ハンドトラッキングを完全に刷新しました！

これまでの体格差によるクオリティの変化やブレ等の弱点を完全に克服しました！また中間域の再現性も大きく向上しています。

また、なんと指の反りにも対応しました💪 pic.twitter.com/EScZ3M9tuK

— Diver-X (@DiverX_VR) February 18, 2023

みんなも指にPhysBone入れてください #VRChat pic.twitter.com/37XWbNBQxF

— Lucifer / ルシファー (@Lucifer_effect) February 1, 2023

HoloLensのハンドトラッキングを使ったデモ

めちゃくちゃ自然にホログラムを操作していて感動pic.twitter.com/0IqSZmjoAK

— IVAN@AR × Marketing (@van_eng622) December 19, 2022

ヒートマップを使わない姿勢推定手法Kapaoで、ラグビーの姿勢推定をやってみる

ブログ：https://t.co/FbGf5HqZbM pic.twitter.com/J2NPacNvOH

— cedro (@jun40vn) February 16, 2023

１７グラム、２０時間駆動のVRメタバース用フルトラ・デバイス【HaritoraX ワイヤレス】の性能詳細や試作機でのデモ動画を掲載し、商品ウェブページを更新しました。６個に増えたIMUは、とっても良い動きをしてくれています！動画をぜひご覧くださいhttps://t.co/JZF8JBwRiy

— 株式会社Shiftall (@shiftall_jp) February 14, 2023

YolactEdgeは、動画フレームから特徴量を抽出する部分で、一部を前のフレームのデータを流用する形にすることで、高速処理を実現した物体検出モデルです。

ブログ：https://t.co/hQOJin8j7b pic.twitter.com/51XNREdkxF

— cedro (@jun40vn) February 13, 2023

Mocopiに隠れてあまり話題になってないですが完全無線かつ足と腰胸にトラッキングの重点をおいたStonXトラッカー
100Hzのレート
20時間稼働で重さ30g
ドリフト補正機能
クラウドファンディングですがIndiegogoで価格も37891円からと手頃で少しきになってます pic.twitter.com/z4bs6Sa8Ns

— ジトメ (@ji10me) February 13, 2023

mocopiでデスクトップでもフルトラできるツールを公開しました！💃🎉

アバターを置いてボタンを押すだけ！めちゃ簡単だよ！😆👏
Neos VRで無料配布中💸！https://t.co/BOgZ5bZtrL#mocopi #NeosVR #バーチャルモーションキャプチャー pic.twitter.com/ZElPUkyxEj

— オレンジ/メタバース撮影技術者 (@orange_3134) January 31, 2023

E2Poseは、複数人の姿勢推定を高速に行う技術です。 処理速度は今までのほぼ倍、約30FPSを叩き出します。

ブログ：https://t.co/AWDm52pUdq pic.twitter.com/ABgzGsuXoC

— cedro (@jun40vn) January 30, 2023

mocopiを使ってデスクトップでも手足を動かせる「デスクトップフルトラシステム」boothで発売しました!
ヘッドセットに縛られず、ダンスや楽器演奏したい方に特におすすめです!https://t.co/lBIabWg0Vg pic.twitter.com/yqm9usjOx2

— ぐらる@パンダ (@gulaluVRC) January 29, 2023

Running YOLOv8 with segmentation on Viktor & Rolf fashion show. Lots of surfboards in this Haute Couture collection😄 pic.twitter.com/QGDESSTDus

— Alexandre Devaux (@AlexandreDevaux) January 28, 2023

mocopi（ばもきゃ経由）をNeosに同期できた！！！😳😳😳

デスクトップモードでフルトラできちゃいます！！👯‍♂️
うひょ～～～！！！😍#mocopi #NeosVR #バーチャルモーションキャプチャー pic.twitter.com/2aLztRK3Ko

— オレンジ/メタバース撮影技術者 (@orange_3134) January 28, 2023

これは左手でスマホを持ったまま自宅のPC席から立ち上がってトイレに行って帰ってきてみたのを撮影した動画です。
積分的位置即位の精度が高すぎてヤバいのでVの皆様は配信中の離席にはご注意ください。#mocopi pic.twitter.com/8ey3QvXLpA

— ようてん (@youten_redo) January 20, 2023

#mocopi #VRChat
もこぴ！
少し手間取りましたがVRCで
もこぴ！とQuest2＋VirtualDesktopでフルトラテストヾ(≧▽≦)ﾉ
スマホの処理を経由してWifi経由してOSC経由してということで遅延は少しありますね😉
仕方ないですが腰のドリフトも少し
それでもここまでの精度で動き回れるしゅごい！🥳 pic.twitter.com/H2uExrCd97

— ∞∞hk∞∞/ひきこもり衆 (@livevr3) January 20, 2023

とりあえずmocopiを使ってみた。何も調整してない状態でも簡単に動かせた。 pic.twitter.com/CwDxjDHfH4

— MuRo (@MuRo_CG) January 20, 2023

ディープラーニングを利用したWiFi信号による高密度の全身トレースで、画像ベースのアプローチに匹敵。複数人推定でき、低コストで、プライバシーを保護するセンシングアルゴリズムhttps://t.co/w5zjI8Rob8 pic.twitter.com/OCKwV3yCF4

— やまかず (@Yamkaz) January 12, 2023

DeepFit uses deep learning to identify ten different workouts. It also provides rep counting and feedback on your form in real-time for pushups and squats.

Developed by @CarnegieMellon graduate students Abhinaav Singh and Naman Arora

Code and docs here: https://t.co/1Ride4pFu3 pic.twitter.com/DnsOF0w918

— Wevolver (@WevolverApp) January 12, 2023

iCub 3 Avatar System - Tele esistenza

The iCub is a #humanoid #robot designed to support research in embodied AI. The iCub has the size of a five year old child. It can crawl on all fours, walk and sit up to manipulate objects.

Video source: Istituto Italiano di Tecnologia pic.twitter.com/ar2NbZRs6y

— Wevolver (@WevolverApp) January 10, 2023

E2Poseは、複数人の姿勢推定を高速に行う技術です。 処理速度は今までのほぼ倍、約30FPSを叩き出します。

ブログ：https://t.co/AWDm52pUdq pic.twitter.com/U5Uav3A4cN

— cedro (@jun40vn) December 26, 2022

以前に指機構を再現していたHBAハンドのハンド全体を再現してみました．曲げセンサ付きグローブによるリーダフォロワー制御を実装し，物体把持・操作ができることを確認しました．再現実験のため特に新規性はないのですが，もったいないので動画にしてまとめておきます． pic.twitter.com/22l730uQ61

— 電通大 東郷研究室 (@togo_lab) December 23, 2022

ヒートマップを使わない姿勢推定手法Kapaoで、マーチングバンドの姿勢推定をやってみる

ブログ：https://t.co/FbGf5Hqrme pic.twitter.com/b5vFLUlONl

— cedro (@jun40vn) December 19, 2022

無料で使えるモーションキャプチャーサービス『Rokoko Video』が公開。Webカメラなどで撮影した動画を使ってデータを生成https://t.co/Sa9SoBxPNz

作成したデータは、Unreal Engineなどの3Dツールで使用可能。チュートリアル動画も用意されている pic.twitter.com/FR5N024rLl

— ゲームメーカーズ (@GameMakersJP) December 7, 2022

VIVEトラッカー飛びやすい人は、ベースステーション増やすといいですよ(≧∇≦)/ 私は狭い部屋でゲーミングチェア(障害物)に寝転がってテーブル(障害物)でタイピングしながらVRしたい欲張りマンなので、テーブル下と足元に追加して、絶対飛ばない最強絶対座標フルトラ実現してます #VIVEアンバサダー pic.twitter.com/1YliOJ8Xg1

— バーチャル美少女ねむ/Nem⚡2/9『メタバース進化論』ITエンジニア本大賞決戦投票！ (@nemchan_nel) December 7, 2022

「2足歩行の人間」が「4足歩行のロボット」を全身運動で直感操作するとこうなる：Innovative Tech - ITmedia NEWS https://t.co/pUYmEjzWFO #ロボット業界ニュース

— ロボットスタート（ロボスタ） (@robotstart) December 4, 2022

一般的に、StyleGANベースでポートレートのスタイル転送をする場合、顔の位置合わせや領域について制約があります。今回ご紹介する DCT-Net は、これらの制約を解消する技術です。

これは、動画にアニメスタイル転送をした例です。

ブログ：https://t.co/NpWybBVPBP pic.twitter.com/PVKb2xXR6h

— cedro (@jun40vn) November 28, 2022

#mocopi is supported in #VRChat! We teamed up with Sony to integrate their mobile motion capture solution, on both PCVR and Quest!

VRChatはソニーと提携し、PCVR版とQuest版の両方で、モバイルモーションキャプチャー「mocopi」に対応しました！

@raynosbySony will tell you more! https://t.co/tpeljzwGSa

— VRChat (@VRChat) November 29, 2022