activivity / Lan-daoLinks
基于WebSocket协议实现实时弹幕信息爬取与信息通信。通过MaxKB容器训练直播互动模型,具备智能互动能力,通过微调预训练的语言模型来适应特定的直播场景需求,提升数字人的交互体验。基于TTS和Wav2lip开发语音克隆和唇形同步算法,通过预训练数字人模型的方式压缩生成时间,并根据多模态数据(如表情、语言等)进行微调,优化模型的计算性能,保证数字人在高并发环境下的实时响应,使数字人交互速度达到实时交互水平(5s)。
☆11Updated 11 months ago
Alternatives and similar repositories for Lan-dao
Users that are interested in Lan-dao are comparing it to the libraries listed below
Sorting:
- 数字人授课录制系统——全新的微课视频的生成方案——API