rollingfruit / Free_Astra

gpt-4o前两天发布会有了视频聊天版本,再模仿前两天谷歌发布会的多模态AI项目Project Astra,粗略挫了个视觉聊天模型。现在能跟他自由交谈,它会根据摄像头拍到的画面与使用者的语言进行反映,并实时声音输出。目前英语效果是最好的,中文也算能支持。演示程序未加速未剪辑,视觉反映过程比较快,但是文转声会有延迟。 在Github项目DIY-Astra的基础上进行改进,现在可以做到拿着摄像头自由聊天。 目前感觉Gemini 1.5 Flash效果不错,不敢想象以后手机、甚至个人穿戴设备都被这些低功耗AI模型改造一遍的时代。 DIY-Astra地址:https://github.com/Doriandarko/DIY-Astra
31Updated 6 months ago

Related projects

Alternatives and complementary repositories for Free_Astra