自分の手の影に小人が乗ったり、影同士で物を動かしたりする体験を考え、手の認識とUnityへの連携を検証しました。
手の認識とUnityへの連携
Webカメラの映像をPythonのMediaPipeで処理し、手のランドマークをUDPでUnityへ送る構成を試しました。取得した情報を指の回転へ反映し、キャラクターのボーン制御も調べました。
制作の工夫・振り返り
プロジェクターの光が手に当たると認識が不安定になり、影の投影と手のトラッキングを両立させる点が課題として残りました。完成した体験ではなく、実現方法を探る技術検証です。
関連URL
- YouTube — 紹介動画: https://youtu.be/RFDTQkE06Kc
