魔法一樣隔空在屏幕寫字，捏起手指就能實現！在線可玩

興坤 2021-10-19 12:27:05 來源：量子位

寫字不好的人當不了法師。

興坤發自凹非寺

量子位報道 | 公眾號 QbitAI

空中畫符的中二技能，誰不想擁有呢？

不如捏一只萬能的AI來當魔法畫筆吧。

這是一個用來寫寫畫畫的手部跟蹤程序，開發者將它命名為YoHa（Your Hand Tracking）。

這個程序基于TensorFlow.js實現了實時識別功能，能達到不卡頓、無延遲的效果。

捏起手指就可以變成畫筆，清空畫布也只需握拳就能辦到。

用YoHa給自己畫特效的效果這么好，難怪可以獲得555顆星。

這只AI怎么玩？

這款手勢識別程序已經開源，開發者Benjamin大方地提供給了所有人使用“魔法”的機會。

既可以安裝在自己的電腦上來玩，一行代碼就能輕松實現。

npm install @handtracking.io/yoha

也可以在線試玩，直接用網頁下載模型寫寫畫畫。

雖然YoHa目前只能對捏手指和握拳兩個指令動作做出功能響應，但是因為有TensorFlow.js加持，它的性能可一點都不低。

21個手部關節定位，左右手方向檢測，手部姿勢檢測等都可以實時實現。

來看看“買家秀”是不是也一樣秀。

原來成為不了法師只是因為符文畫太丑

如此好玩的AI背后，究竟是什么原理呢？

YoHa模型使用TensorFlow.js深度學習框架來進行從頭訓練，開發過程包含了訓練步驟和推理步驟兩大部分。

它的模型訓練階段利用了自定義神經網絡，以自定義數據集作為訓練數據，而在線實時推理則用到了TensorFlow.js推理框架。

不過，因為TensorFlow.js規模的限制，比起電腦，YoHa在移動設備上的表現較差。

另外，YoHa的本地運行速度也比在線試玩快很多，果然馴服AI還是得先帶回家里養。

YoHa的開發者Benjamin提到，制作這個項目一開始是為了增加網絡的互動性：

“現有的解決方案沒有我想要的，所以我給自己創建了新的解決方案”

不愧是動手能力強的大佬，沒有自己想要的，那就自己造一個。

手勢識別這么火，干脆多開發一些玩法，添加更豐富的功能讓VR/AR更好玩。

針對之前提到的YoHa性能缺陷，Benjamin也給玩家提供了高性能備選方案：通用手勢識別模型MediaPipe。

如果高端玩家對性能有更高追求，可以在這個經典模型基礎上進行功能擴展。

比如不久前以MediaPipe為基礎開發的類似項目air-drawing，在玩法上和YoHa稍有不同。

感興趣的話，自己去馴服一只AI來寫字畫畫吧。

GitHub地址：
https://github.com/handtracking-io/yoha
試玩地址：
https://handtracking.io/draw_demo/
https://loicmagne.github.io/air-drawing/