joinly.ai

5天前发布 660 0 0

Joinly.ai是一个专注于AI代理实时互动​​的开源中间件平台,让 AI 智能体能够“加入”视频会议并实时参与协作,像真人一样听你说话、回应问题、执行任务,甚至共享屏幕。在 Zoom、Google Meet、微软 Teams 和其他视频平台上均可实现。

收录时间:
2025-07-06
joinly.aijoinly.ai

joinly.ai是什么?

Joinly.ai是一个专注于AI代理实时互动​​的开源中间件平台,让 AI 智能体能够“加入”视频会议并实时参与协作,像真人一样听你说话、回应问题、执行任务,甚至共享屏幕。在 Zoom、Google Meet、微软 Teams 和其他视频平台上均可实现,适配 OpenAI、Anthropic、Ollama 等众多大模型以及大众主流的 Whisper、Deepgram 等语音服务,并支持以口语或文字方式参会交流;具备自然对话流转控制、说话人识别和执行任务等功能,非常适合企业专属定制使用或开发人员自己编写代码使用自己的 AI Agent 或者直接部署使用。

主要功能特点

  • 实时会议协作:AI 代理可以在 Zoom、Teams、Webex 主流视频会议平台上实时监听发言和回应,比如记会议记录、实时翻译与回答开会者提问等。无需安装其他附加组件。
  • ​​会话流程管理​​:可视化工具编辑对话轮次,有无条件分支(可根据用户的反馈修改之后的回答),上下文记忆等。
  • ​​跨平台兼容性​​:对接 Slack、Discord 平台,以及企业微信、飞书等国内协作软件,可自托管部署保证用户的数据安全与隐私。
  • 灵活的技术栈​​:开发者可以自行选择自己的 LLM、TTS/STT 模型,切换成 GPT-4、Claude、本地 Qwen 等模型。 
  • 屏幕共享(即将上线):可以在会议里和其他人的屏幕分享,看幻灯片或者白板、搜索结果等等。
  • 100% 开源与隐私优先:可自托管部署确保自己的数据安全,公司以及各开发者自行定制开发!

应用场景​

  • ​​企业会议助手​​:自动总结会议要点、生成待办事项并分配责任人。
  • ​​教育培训​​:实时解答学员问题,记录课堂互动数据供后续分析。
  • ​​客户服务​​:在通话中自动识别客户需求,触发 CRM 系统同步工单。

​​技术优势​

  • ​​开源与自托管​​:代码完全公开(GitHub),支持私有化部署,避免敏感数据外流。
  • ​​低延迟交互​​:优化音频处理链路,延时最低几毫秒,接近真人交互体验。
  • ​​可扩展性​​:提供 REST API 和 SDK,方便对接企业内部系统(如 Salesforce、Zendesk)。

使用方法

1. 安装Docker 和 克隆Joinly项目代码:我们在本地安装好Docker,后面我们在终端中拿到我们的项目文件为Joinly的源代码,命令如下:

git clone https://github.com/joinly-ai/joinly
cd joinly

这将为你准备好部署 Joinly 的基础环境。

2. APIKey与模型服务:在根目录下新建 .env 并填写 OpenAI/Anthropic/Ollama 等大语言模型及服务(Whisper、Deepgram 识别服务)密钥。例如:

JOINLY_MODEL_NAME=gpt-4o
JOINLY_MODEL_PROVIDER=openai
OPENAI_API_KEY=你的OpenAI密钥

3. 拉取开始:通过上述命令拉取一个 Joinly 镜像(大概 2.3G 左右) docker pull ghcr.io/joinly-ai/joinly:latest,在这个会议里面运行这个镜像(zoom / google meet / teams meeting link),docker run –env-file .env ghcr.io/joinly-ai/joinly:latest -v –client

4. AI智能体参与会议交互:Joinly 会以 AI 代理身份加入会议,具备以下能力:

  • 听你说话(通过语音转文字)
  • 聊天回应与执行会议任务
  • 提供实时建议、搜索信息、起草内容 此外,它还支持多说话人识别,未来还将提供 屏幕共享功能,用于展示文稿或协作白板。

5. 高度定制与本地部署支持:Joinly.ai 全部开源,你可以针对自己的场景链接任何模型/语音服务,可以自托管加入你部署的生态中。非常适配企业、开发者或者某些小组来实现 AI 会议助手 / AI Agent 的高级版本应用。

常见问题解答(FAQ)

Q1:Joinly.ai目前有哪些主要的交互方式?

A1: 目前主要有两类,第一个是 AI 可以在会议聊天里发消息;第二个是可以与参会者进行语音对话。以后还会实现屏幕共享的功能。

Q2:Joinly.ai 能应用在哪些具体的工作场景中?

A2: 可以用它来搜索网络、写 ppt、更新 miro kanban、发会后邮件,或者做会议总结文档等等;也可以用来连接自己拓展的其他需求,在会议中应用。

Q3:Joinly.ai 对于用户的拓展性体现在哪里?

A3:Joinly.ai 提供了一个通用接口,用户可以自行开发功能并连接到平台,在会议中使用自定义的功能。

一句话总结

Joinly.ai 是一个让 AI 真正“进会议室”的工具,让智能体能听、说、看、做,成为你的会议搭档。

数据统计

相关导航

暂无评论

none
暂无评论...