diff --git a/CN/LLM-Hub/架构设计.md b/CN/LLM-Hub/架构设计.md index 29286ef..726a493 100644 --- a/CN/LLM-Hub/架构设计.md +++ b/CN/LLM-Hub/架构设计.md @@ -248,4 +248,5 @@ ai-model-platform/ 2. 请求被 `model-gateway-service` 接收 3. 门面服务通过核心服务获取候选模型(本地优先 / 多模型) 4. 核心服务选择合适实现服务,发起 HTTP 请求 -5. 实现服务完成调用,响应结果回传给前端 \ No newline at end of file +5. 实现服务完成调用,响应结果回传给前端 + diff --git a/CN/LLM-Hub/项目目标.md b/CN/LLM-Hub/项目目标.md new file mode 100644 index 0000000..ba89019 --- /dev/null +++ b/CN/LLM-Hub/项目目标.md @@ -0,0 +1,72 @@ +------ + +## ✅ 项目目标:插件化大模型服务平台 + +------ + +### 🧠 一、平台定位 + +构建一个**支持插件化大模型接入、可扩展调度策略、多能力融合、运营级管理的 AI 服务平台**,支持 SaaS 和私有化部署两种模式: + +- **SaaS 版本(我们自己运营)**:需要多租户、权限、日志、配额等 +- **私有部署版本**:更精简,可由企业自行维护,不强依赖权限系统 + +------ + +### 🧱 二、核心模块架构 + +| 模块 | 说明 | +| --------------------------- | ------------------------------------------------------------ | +| `api-core` | 定义统一 AI 能力接口 + SPI 扩展点(如 chat、embedding、vision) | +| `api-core-service` | 实现模型服务注册发现、调度策略、模型调度器 Dispatcher | +| `model-provider-*` | 每个模型服务模块(独立部署),实现具体能力并注册到核心服务 | +| `model-ability-service` | 可选扩展层,用于实现更高层 AI 能力(如对话管理、RAG) | +| `model-gateway`(门面服务) | 提供统一入口,转发请求到核心服务,并封装对外 API | +| `model-admin`(后台) | 模型安装、服务绑定、状态监控、服务管理 | +| `auth-center`(可选) | 提供租户、用户、权限、配额、访问日志等能力(SaaS专属) | + +------ + +### 📦 三、模型能力与服务设计 + +- **模型能力抽象(由 core 模块定义)**: + - Chat(对话) + - Completion(补全) + - Embedding(向量) + - Vision(图像识别) + - Audio(语音识别/合成) + - RAG(知识库问答) +- **能力服务层(Ability Service)**: + - 聚合多个 provider 能力 + - 实现会话记忆、内容预处理、后处理等上层逻辑 + - 支持能力复合与流程编排 + +------ + +### 🔁 四、服务调用与调度策略 + +- 支持按以下维度调用模型服务: + - 🔹 单模型(指定模型 ID) + - 🔹 多模型(自定义多个 ID 同时调用) + - 🔹 策略驱动(本地优先、Web 优先、负载均衡、加权) +- **调度器 Dispatcher**:支持能力感知与服务自动选择 +- **能力注册中心**:所有服务启动时自动注册能力和元信息 + +------ + +### 🔐 五、权限 / 日志 / 配额管理(SaaS 专属) + +- 用户、租户系统 +- 模型服务调用日志与统计 +- 按用户/模型设置调用频率限制和配额 +- Key 管理与调用权限绑定(可对接 Auth 中心) + +------ + +### 🌐 六、接入方式 + +- ✅ RESTful API 接口 +- ✅ 支持封装 SDK,供前端/业务系统调用 +- 🧩 IDE 插件支持(可后续扩展) +- 🚪 管理后台支持模型一键安装、本地部署监控、状态查看等功能 +