DEV Community · Show DEV9/3 19:5051 分
AirStems：用手势实时混音歌曲分轨
How I built AirStems: remixing a song's stems with your bare hands
AirStems 在 Musixmatch Musicathon 2026 上获得 LALAL.AI 特别奖。它利用 LALAL.AI 分离歌曲分轨，通过摄像头和 MediaPipe Hands 识别手势，实时控制人声、鼓、贝斯等音轨的播放。用户可通过手指动作切换音轨、拳头静音、手掌恢复，左手高度控制低通滤波器，手指张开添加混响，所有操作与节拍同步，并显示卡拉OK式歌词。项目分为离线准备和实时应用两部分，离线阶段调用 LALAL.AI、Musixmatch 和 Cyanite API 生成分轨、歌词和音乐分析数据，实时应用仅读取内存中的本地文件，确保无网络延迟。