Skip to content

Latest commit

 

History

History
204 lines (120 loc) · 7.68 KB

README.zh-cn.md

File metadata and controls

204 lines (120 loc) · 7.68 KB
Raw

banner

SysMocap

GitHub Actions release forks stars

English Version | 中文版本

跨平台的实时视频驱动动作捕捉及3D虚拟形象生成系统 for VTuber/Live/AR/VR.

提供用于Windows，macOS的可执行文件包(包括M系列芯片)，可在Linux上通过源代码运行

立刻下载

(这是一个多语言软件，支持中文和英文)

本科毕业设计作品。

特色

🌟 好看的用户图形界面（得益于Material Design 3自动取色系统），且支持深色模式

UI UI-dark

🌟 简单易用，只需拖拽即可导入虚拟形象模型

add-model-drag.mp4

🌟 动作转发系统支持支持WebXR API (HTTPS only，用于VR和AR技术)

webxr-ar-demo.mp4

🌟 带有骨骼控制器和变装工具的模型查看器

Model viewer

🌟 可导入至OBS进行直播使用

OBS

🌟 支持全身动作捕捉

Full-body

Full-body-animotion

🌟 支持自动检测骨骼类型并完成映射（ for All VRM files and Mixamo Format FBX files）

fbx-mixamo-animotion

🌟 支持通过手动进行骨骼映射来驱动各种骨骼类型FBX、GLB、GLTF模型文件

bdd-animotion

🌟 你可以使用 VRoid Studio 来创作属于自己的虚拟形象并导入至该系统，同时支持VRM 0.x & 1.0！

vroid

更多效果展示

🌟 面部

Facial-animotion

🌟 半身

Half-body-animotion

🌟 半身与手部

Half-body with Hands animotion

🌟 全身

Full-body-animotion

系统架构

System architecture

如何下载该应用程序 (Windows & macOS):

立刻下载

版本说明：

Windows 免安装版本：解压后直接运行 SysMocap.exe 即可

  • SysMocap-Windows-x64-<版本号>.7z: Windows 64位版本，适用于使用x86_64处理器（AMD、Intel等）64位Windows 10 & 11操作系统

  • SysMocap-Windows-arm64-<版本号>.7z: Windows ARM 64位版本，适用于使用arm64处理器（高通骁龙等）64位Windows 10 & 11操作系统

Windows 安装包：双击安装即可（安装包为英文，软件支持中文）

Snipaste_2024-07-07_20-56-11

  • SysMocap-Windows-x64-installer-<版本号>.msi: Windows 64位版本，适用于使用x86_64处理器（AMD、Intel等）64位Windows 10 & 11操作系统

  • SysMocap-Windows-arm64-installer-<版本号>.msi: Windows ARM 64位版本，适用于使用arm64处理器（高通骁龙等）64位Windows 10 & 11操作系统

macOS DMG镜像：拖动 SysMocap.app 到应用程序文件夹即可

Snipaste_2024-07-07_20-56-11

  • SysMocap-macOS-x64-<版本号>.dmg: 适用于Intel芯片的苹果电脑及黑苹果设备，macOS 10.15+操作系统

  • SysMocap-macOS-arm64-<版本号>.dmg: 适用于使用M系列芯片（Apple Silicon）的苹果电脑

针对macOS用户的额外说明:

  • You need set Gatekeeper to Anywhere in System Settings (在终端中执行 sudo spctl --master-disable) image

  • 如果你遇到 “SysMocap” is damaged and can’t be opened. You should move it to the Trash.（大概中文是 被损坏 您应该移动到废纸篓）， 请在终端中执行 sudo xattr -r -d com.apple.quarantine /Applications/SysMocap.app

如何使用源代码运行 (需要最新版 Node.js):

git clone https://github.com/xianfei/SysMocap.git
cd SysMocap
npm i
npm start

注意

  1. HTTP & HTTPS 在动作捕捉转发中将会使用同一个端口。

需要的骨骼节点 （glTF/glb/FBX Model File）:

(对于其他类型的骨骼，你可以在本程序中进行手动映射和坐标系转换)

  • Hips (Main Node, both Position and Rotation. Ratation only for other nodes)

  • Neck

  • Chest

  • Spine

  • RightUpperArm

  • RightLowerArm

  • LeftUpperArm

  • LeftLowerArm

  • LeftUpperLeg

  • LeftLowerLeg

  • RightUpperLeg

  • RightLowerLeg

Star 历史

Star History Chart

引用

BibTeX:

@INPROCEEDINGS{9974484,
  author={Song, Wenfeng and Wang, Xianfei and Gao, Yang and Hao, Aimin and Hou, Xia},
  booktitle={2022 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct)}, 
  title={Real-time Expressive Avatar Animation Generation based on Monocular Videos}, 
  year={2022},
  volume={},
  number={},
  pages={429-434},
  doi={10.1109/ISMAR-Adjunct57072.2022.00092}}

GB/T 7714 （国内高校毕业论文写这个就行）

Song W, Wang X, Gao Y, et al. Real-time Expressive Avatar Animation Generation based on Monocular Videos[C]//2022 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct). IEEE Computer Society, 2022: 429-434.