activivity / Lan-daoLinks

基于WebSocket协议实现实时弹幕信息爬取与信息通信。通过MaxKB容器训练直播互动模型,具备智能互动能力,通过微调预训练的语言模型来适应特定的直播场景需求,提升数字人的交互体验。基于TTS和Wav2lip开发语音克隆和唇形同步算法,通过预训练数字人模型的方式压缩生成时间,并根据多模态数据(如表情、语言等)进行微调,优化模型的计算性能,保证数字人在高并发环境下的实时响应,使数字人交互速度达到实时交互水平(5s)。
11Updated 10 months ago

Alternatives and similar repositories for Lan-dao

Users that are interested in Lan-dao are comparing it to the libraries listed below

Sorting: