JCNC/docs
JCNC/docs
2
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

增加LLMHub 产品需求文档（PRD）

Browse Source
This commit is contained in:
Luke 2025-04-23 15:09:18 +08:00
parent afbfbcf9ec
commit 651089fd6a
11 changed files with 460 additions and 33 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

24
CN/LLM-Hub/Gewuyou/国内大模型平台与开源大模型汇总.md
View File

@ -1,24 +0,0 @@
## 一、国内多模型聚合平台
| 平台名称 | 官网地址 | 文档地址 |
| -------------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 阿里云百炼（Model Studio） | [官网](https://www.alibabacloud.com/zh/product/modelstudio?_p_lc=1) | [模型文档](https://help.aliyun.com/zh/model-studio/models) / [API文档](https://api.aliyun.com/document/bailian) |
| 百度文心千帆平台 | [官网](https://cloud.baidu.com/product-s/qianfan_home) | [文档](https://cloud.baidu.com/doc/API/index.html) |
| 智谱AI开放平台 | [官网](https://bigmodel.cn/) | [文档](https://bigmodel.cn/dev/welcome) |
| DMXAPI 多模态聚合平台 | [官网](https://www.dmxapi.cn/) | [文档](https://www.dmxapi.cn/python) |
------
## 二、模型提供商平台
以下是国内主要的大模型提供商及其平台信息，涵盖模型名称、GitHub地址、文档地址等。
| 模型名称 | GitHub地址 |
| ---------------------- | ----------------------------------------------- |
| DeepSeek | [GitHub](https://github.com/deepseek-ai) |
| 通义千问（阿里云） | [GitHub](https://github.com/QwenLM) |
| 文心一言（百度） | [GitHub](https://github.com/PaddlePaddle/ERNIE) |
| 智谱AI（GLM系列） | [GitHub](https://github.com/THUDM) |
| 商汤科技（SenseChat） | [GitHub](https://github.com/SenseTime) |
| 百川智能（Baichuan） | [GitHub](https://github.com/baichuan-inc) |
| 科大讯飞（星火大模型） | [GitHub](https://github.com/iflytek) |

26
CN/LLM-Hub/LLM-Hub-Glossary/LLM-Hub-Glossary.md Normal file
View File

@ -0,0 +1,26 @@
## 📘 LLMHub 术语表（Glossary）
| 术语 | 定义 |
|--------------------------|------------------------------------------------------|
| **LLM（大语言模型）** | Large Language Model，基于深度学习构建的自然语言理解与生成模型。 |
| **API** | Application Programming Interface，应用程序编程接口。用于程序之间通信。 |
| **RESTful API** | 一种基于资源的 Web 接口设计风格，使用 HTTP 方法表达操作。 |
| **OpenAPI** | 一种规范，用于描述 REST API 的结构、参数和响应格式。 |
| **MVP** | Minimum Viable Product，最小可行产品，最基础但可运行的产品版本。 |
| **多模态模型（Multimodal）** | 支持文本、图像、语音等多种输入类型的 AI 模型。 |
| **部署（Deployment）** | 将模型或服务安装、配置并运行在目标环境（如本地或云端）的过程。 |
| **Kubernetes（K8s）** | 一种容器编排系统，用于自动部署、扩展和管理容器化应用。 |
| **微服务架构（Microservices）** | 一种软件架构方式，将应用划分为一组小服务，每个服务可独立开发、部署、扩展。 |
| **多租户（Multi-tenancy）** | 一个系统支持多个用户组织（租户），彼此之间数据和配置隔离。 |
| **SDK** | Software Development Kit，开发工具包，封装接口调用的代码集合。 |
| **RBAC** | Role-Based Access Control，基于角色的访问控制系统。 |
| **OAuth2.0** | 一种行业标准的授权协议，用于第三方访问用户资源时的认证授权。 |
| **JWT** | JSON Web Token，一种轻量级的身份令牌，用于安全传输用户认证信息。 |
| **Web UI** | 基于浏览器的用户界面。 |
| **CLI** | Command Line Interface，命令行界面，常用于开发和部署场景。 |
| **SLA** | Service Level Agreement，服务等级协议，定义系统可用性目标。 |
| **A/B 实验** | 一种测试不同版本模型或服务的实验设计方法，衡量效果差异。 |
| **Webhook** | 一种由服务端主动向客户端推送事件通知的机制，通常用于异步通信。 |
| **模型适配器（Adapter）** | 用于连接具体模型平台（如 OpenAI、阿里百炼）的接口转换组件。 |
| **模型注册表** | 用于管理可部署模型清单、版本和元数据的服务模块。 |
| **Ensemble 推理** | 模型集成推理，结合多个模型的预测结果提升精度或稳健性。 |

297
CN/LLM-Hub/LLM-Hub-PRD/LLM-Hub-PRD.md Normal file
View File

@ -0,0 +1,297 @@
LLMHub 产品需求文档（PRD）
---
## 1. 文档版本与修订记录
| 版本号 | 日期 | 作者 | 变更说明 |
|-----|------------|---------|-----------|
| 0.1 | 2025-04-23 | JCNC 团队 | 初始版本，完成大纲 |
---
## 2. 产品概述
### 2.1 背景与现状
- 各大模型平台 API 标准差异大，调用繁琐；
- 企业对数据隐私、合规、高可用性需求日益提升；
- 多模态 AI 场景需求快速增长，但集成成本高。
### 2.2 产品愿景与价值
- **愿景**：打造 "一站式" 大模型接入与管理平台，让组织零门槛使用 AI 能力；
- **核心价值**：
- 降本增效：统一抽象、多云/本地混合部署；
- 安全合规：企业级权限、审计、加密；
- 可观察：全链路监控、告警、日志分析；
- 可扩展：插件化架构、生态开放。
---
## 3. 目标用户与用户画像
| 用户类型 | 角色 | 关键需求 |
|-----------|-----------|-------------------------------|
| 企业管理员 | CTO/IT 经理 | 快速部署与版本回滚；多租户隔离；权限管控；成本可视化 |
| 开发者 | 后端/AI 工程师 | 统一 SDK、丰富样例；自动化测试；调试日志；扩展性能调优 |
| 运维工程师 | DevOps | 健康检测；自动弹性伸缩；日志告警；灾备策略 |
| 产品经理&业务团队 | PM/产品 | 接口易用；版本管理；调用监控；成本中心分摊 |
| 最终用户（消费者） | 普通用户 | 简洁对话界面；快速响应；多端体验一致性 |
---
## 5. 用户旅程与场景
### 5.1 企业管理员一键部署场景
1. 登录控制台 → 选择模型版本 → 填写环境配置 → 点击 "部署"。
2. 平台触发 Helm 安装或 Kubernetes Operator → 自动化健康探针 → 部署成功通知。
3. 回滚与报警：若探针失败，自动回滚到上一次稳定版本，并在控制台与邮件/钉钉通知中推送告警。
### 5.2 开发者统一调用场景
1. 安装 SDK → 配置 API Key 与 Endpoint → 引入统一 "LLMHubSDK"。
2. 支持本地 Mock 模式与远程模式切换，便于本地调试。
### 5.3 运维监控与告警场景
- 引入 Prometheus Exporter → Grafana 可视化面板。
- 设定 QPS、延迟、错误率阈值 → 告警策略（短信/邮件/WebHook）。
- 日志聚合：Elasticsearch + Kibana，支持结构化日志查询与异常追溯。
---
## 6. 技术架构与模块设计
![](../Mermaid/LLMHub-Architecture-Diagram/LLMHub-Architecture-Diagram.png)
### 6.1 总体架构
### 6.2 模块细化
| 模块 | 功能点 |
|-----------|--------------------------------------------------------|
| API 网关 | 认证鉴权、限流、请求路由、熔断 |
| 适配器层 | 各供应商 API 封装、参数映射、版本兼容 |
| 编排模块 | Helm/Operator 调用、健康探针、回滚逻辑 |
| 调度模块 | GPU/CPU 利用率监控、Pod 弹性伸缩、分区隔离 |
| 监控告警 | Exporter、Grafana 仪表、Prometheus Alertmanager、WebHook 集成 |
| 日志审计 | 调用链追踪、ELK 日志聚合、审计报告导出 |
| 权限管理 | RBAC、OAuth2.0、SSO 集成 |
| SDK & CLI | 多语言 SDK、CLI 工具、Mock 本地模式 |
| 运维工具 | 灾备脚本、升级回滚脚本、备份恢复脚本 |
---
### 7. 接口规范与示例
```yaml
openapi: 3.0.1
info:
title: LLMHub API
version: 1.0.0
paths:
/v1/models:
get:
summary: 列出可用模型
responses:
'200':
description: 模型列表
content:
application/json:
schema:
$ref: '#/components/schemas/ModelList'
/v1/deploy:
post:
summary: 部署模型
requestBody:
required: true
content:
application/json:
schema:
$ref: '#/components/schemas/DeployRequest'
responses:
'202':
description: 部署已接受
content:
application/json:
schema:
$ref: '#/components/schemas/DeployResponse'
components:
schemas:
ModelList:
type: object
properties:
models:
type: array
items:
$ref: '#/components/schemas/Model'
Model:
type: object
properties:
id:
type: string
name:
type: string
description:
type: string
DeployRequest:
type: object
required:
- modelId
- cluster
properties:
modelId:
type: string
description: 要部署的模型 ID
cluster:
type: string
description: 目标集群名称
resources:
type: object
properties:
cpu:
type: integer
description: CPU 核数
gpu:
type: integer
description: GPU 卡数
env:
type: object
description: 环境变量列表
additionalProperties:
type: string
DeployResponse:
type: object
properties:
deploymentId:
type: string
description: 部署任务 ID
status:
type: string
description: 当前状态
startedAt:
type: string
format: date-time
description: 启动时间
```
---
### 7.2 样例请求与响应
#### 请求
```http
POST /v1/deploy HTTP/1.1
Host: api.llmhub.example.com
Authorization: Bearer <token>
Content-Type: application/json
{
"modelId": "openai-gpt-4-xlarge",
"cluster": "private-cloud-1",
"resources": {
"cpu": 16,
"gpu": 2
},
"env": {
"MAX_TOKENS": "2048"
}
}
```
#### 响应
```http
HTTP/1.1 202 Accepted
Content-Type: application/json
{
"deploymentId": "dep-123456",
"status": "initializing",
"startedAt": "2025-04-24T10:00:00+08:00"
}
```
## 8. 非功能需求
1. **性能**：
- 平均响应时长 ≤ 200ms（P95）;
- 系统峰值 QPS ≥ 2000;
2. **可用性**：
- SLA ≥ 99.9%（月度);
- 支持多 AZ 部署与链路故障切换;
3. **安全**：
- OAuth2.0 / JWT / RBAC;
- TLS 全链路加密;
- 日志审计覆盖 100% 调用;
4. **可扩展性**：
- 插件化适配器动态加载;
- 支持 0-100+ 模型实例线性扩容;
5. **可观测性**：
- Prometheus + Grafana 指标;
- ELK 日志搜索;
- 分布式追踪 (Jaeger);
6. **合规**：
- GDPR、ISO27001、等保二级;
- 数据脱敏与访问日志保留策略;
---
## 9. UX/UI 细节说明
- **部署向导**：多步骤分屏设计，当前步骤突出，支持中途保存;
- **仪表盘**：实时 QPS、延迟、资源利用率图表;
- **日志中心**：关键字搜索，高亮、过滤、导出;
- **权限控制**：角色列表页面，支持批量授权、权限树视图;
- **暗黑/明亮主题**：一键切换，跟随系统主题配置;
---
## 10. 测试与验收
1. 单元测试覆盖率 ≥ 90%;
2. 集成测试场景覆盖：部署、回滚、扩容、调用限流;
3. 安全渗透测试：无高危漏洞;
4. 性能压测：最大并发 2000 QPS 无误;
5. 用户验收：按用户故事完成演示并通过评审;
---
## 11. 风险与缓解措施
| 风险 | 概率 | 影响 | 缓解措施 |
|----------------|----|----|-----------------------------------------|
| 第三方模型接口变动 | 中 | 高 | 定期兼容性测试 + 自动化适配层升级 |
| 私有云网络隔离导致部署失败 | 中 | 高 | 与运维团队协作，提供脚本化网络检测与自动重试机制 |
| 多租户资源争抢 | 低 | 中 | 引入优先级调度与资源隔离（Namespace + ResourceQuota） |
| 审计日志量大导致存储成本上升 | 高 | 中 | 日志冷热分离，归档策略与压缩存储 |
---
## 12. 迭代计划与里程碑
| 阶段 | 时间范围 | 目标 |
|-------|--------------------|----------------------------------|
| Alpha | 2025-05-01 ~ 05-15 | 完成架构设计、API 抽象与一键部署 POC； |
| Beta | 2025-05-16 ~ 06-15 | 完成基础文本服务、多租户 & 权限系统、监控 & 告警集成； |
| RC | 2025-06-16 ~ 06-30 | 完成图像/语音多模态接入、系统性能 & 安全测试，Bug 修复； |
| GA | 2025-07-01 | 对外发布文档、部署指南、SDK & CLI，客服支持渠道就绪； |
| V1.1+ | 2025 Q3 ~ Q4 | 插件生态开放、多模态深度优化、行业解决方案模板； |
---
## 13. 附录
- **术语表**：[点击查看](../LLM-Hub-Glossary/LLM-Hub-Glossary.md)
- **部署指南**：
- **运维手册**：
- **用户手册（PDF）**：

0
CN/LLM-Hub/llmhub.md → CN/LLM-Hub/LLM-Hub.md
View File

52
CN/LLM-Hub/Mermaid/LLMHub-Architecture-Diagram/LLMHub-Architecture-Diagram.md Normal file
View File

@ -0,0 +1,52 @@
graph TD
UI[控制台 / UI]
UI --> APIGW[API 网关 & 认证层]
subgraph 核心功能模块
APIGW --> Abstraction[统一抽象接口层]
APIGW --> Adapter[多云模型适配器层]
APIGW --> Orchestration[部署编排模块<br>Helm / Operator]
APIGW --> Scheduler[资源调度模块]
APIGW --> AsyncQueue[异步任务队列<br>Celery / KEDA]
APIGW --> ConfigCenter[统一配置中心<br>Apollo / Nacos]
APIGW --> Auth[权限与认证<br>OAuth2 / RBAC / SSO]
end
subgraph 运维与可观测
Orchestration --> HealthProbe[健康探针 & 回滚逻辑]
Scheduler --> AutoScaling[Pod 弹性伸缩 & 节点隔离]
AsyncQueue --> LogArchiver[日志归档任务 / 审计导出]
APIGW --> Monitor[监控告警模块<br>Prometheus + Grafana]
APIGW --> Trace[分布式追踪<br>Jaeger + OpenTelemetry]
APIGW --> LogAudit[日志审计模块<br>ELK]
end
subgraph 模型服务层
Abstraction --> ModelCluster[本地 / 多云模型服务集群]
Adapter --> ModelAPI[供应商 API 调用<br>OpenAI, Baichuan...]
end
subgraph DevOps & 安全
GitRepo[Git 仓库<br>IaC + GitOps]
GitRepo --> CI_CD[CI/CD 管道<br>ArgoCD, Jenkins]
CI_CD --> ConfigCenter
CI_CD --> Orchestration
ConfigCenter --> Monitor
Auth --> AuditExport[审计报告导出]
end
Monitor --> AlertSys[告警系统<br>短信 / 邮件 / WebHook]
Trace --> Dashboard[追踪仪表盘]
LogAudit --> KibanaUI[Kibana 分析界面]
subgraph HA 架构
ModelCluster --> ServiceMesh[服务网格<br>Istio / Envoy]
ServiceMesh --> MultiAZ[多 AZ 支持 + 弹性负载]
MultiAZ --> Failover[故障自动切换]
end
subgraph PluginRuntime[插件生态与沙箱]
APIGW --> PluginEngine[插件运行时引擎<br>WASM / Lua Sandbox]
PluginEngine --> PluginStore[插件市场 / SDK 插件]
end

BIN
CN/LLM-Hub/Mermaid/LLMHub-Architecture-Diagram/LLMHub-Architecture-Diagram.png Normal file
View File

Binary file not shown.
Side by Side

After

Width:  |  Height:  |  Size: 258 KiB

24
CN/LLM-Hub/Model-List/Model-List.md Normal file
View File

@ -0,0 +1,24 @@
# 模型列表
## 一、模型聚合平台
| 平台名称 | 官网地址 | 文档地址 |
|---------------------|-------------------------------------------------------------------|-----------------------------------------------------------------------------------------------------------|
| 阿里云百炼（Model Studio） | [官网](https://www.alibabacloud.com/zh/product/modelstudio?_p_lc=1) | [模型文档](https://help.aliyun.com/zh/model-studio/models) / [API文档](https://api.aliyun.com/document/bailian) |
| 百度文心千帆平台 | [官网](https://cloud.baidu.com/product-s/qianfan_home) | [文档](https://cloud.baidu.com/doc/API/index.html) |
| 智谱AI开放平台 | [官网](https://bigmodel.cn/) | [文档](https://bigmodel.cn/dev/welcome) |
| DMXAPI 多模态聚合平台 | [官网](https://www.dmxapi.cn/) | [文档](https://www.dmxapi.cn/python) |
------
## 二、模型提供商平台
| 模型名称 | GitHub地址 |
|-----------------|-------------------------------------------------|
| DeepSeek | [GitHub](https://github.com/deepseek-ai) |
| 通义千问（阿里云） | [GitHub](https://github.com/QwenLM) |
| 文心一言（百度） | [GitHub](https://github.com/PaddlePaddle/ERNIE) |
| 智谱AI（GLM系列） | [GitHub](https://github.com/THUDM) |
| 商汤科技（SenseChat） | [GitHub](https://github.com/SenseTime) |
| 百川智能（Baichuan） | [GitHub](https://github.com/baichuan-inc) |
| 科大讯飞（星火大模型） | [GitHub](https://github.com/iflytek) |

0
CN/LLM-Hub/Gewuyou/assets/大模型平台调研/image-20250423102056154.png → CN/LLM-Hub/Model-List/assets/大模型平台调研/image-20250423102056154.png
View File

Side by Side Swipe Overlay

Before

Width:  |  Height:  |  Size: 3.9 KiB

After

Width:  |  Height:  |  Size: 3.9 KiB

0
CN/LLM-Hub/Gewuyou/assets/大模型平台调研/image-20250423102141585.png → CN/LLM-Hub/Model-List/assets/大模型平台调研/image-20250423102141585.png
View File

Side by Side Swipe Overlay

Before

Width:  |  Height:  |  Size: 40 KiB

After

Width:  |  Height:  |  Size: 40 KiB

52
CN/LLM-Hub/RESTful-API/RESTful-API.md Normal file
View File

@ -0,0 +1,52 @@
RESTful API（Representational State Transfer 风格的接口）是一种常见的 Web 服务设计规范，其核心思想和特点包括：
1. **资源（Resource）为中心**
- 把系统中的一切“对象”都看作资源，每个资源通过一个唯一的 URI（路径）来标识。
- 例如：`/models` 可能对应“模型列表”资源，`/models/123` 对应“ID 为 123 的模型”资源。
2. **使用 HTTP 方法表示操作**
- **GET**：读取资源（不应改变服务器状态），
- **POST**：创建资源，
- **PUT/PATCH**：更新资源，
- **DELETE**：删除资源。
这样可以让接口语义清晰、与 HTTP 协议天然契合。
3. **无状态性（Stateless）**
- 每一次请求都包含完成该请求所需的所有信息，服务端不在请求之间保留客户端状态。
- 优点是易于扩展与负载均衡；缺点是每次请求都要重复认证/传递上下文。
4. **表现层（Representation）**
- 客户端与服务端通过“表现层”交换资源状态，通常是 JSON、XML 或其他格式。
- 比如 `GET /models/123` 返回如下 JSON：
```json
{
"id": 123,
"name": "gpt-4",
"status": "deployed"
}
```
5. **超媒体驱动（HATEOAS，可选）**
- 在响应中带上“链接”（links），告诉客户端可以做哪些后续操作，比如：
```json
{
"id": 123,
"links": [
{ "rel": "update", "href": "/models/123", "method": "PUT" },
{ "rel": "delete", "href": "/models/123", "method": "DELETE" }
]
}
```
- 这样客户端无须硬编码所有路径，能动态发现可用操作。
---
### 在 LLMHub 中的应用
在我们的 PRD 里，“统一抽象接口层”采用 RESTful API 设计，并以 OpenAPI 3.0 规范来描述，这意味着：
- 每个大模型相关的功能（列出模型、部署模型、调用模型）都被定义为一种资源操作；
- 开发者通过标准的 HTTP 方法和约定好的路径，就能对接各种底层模型平台；
- 文档会自动生成（Swagger UI），并确保接口清晰、一致且易于测试。
这样，无论后端具体集成了哪家大模型服务，上层调用逻辑都保持不变——真正达到了“屏蔽底层差异、统一使用体验”的目标。

18
CN/LLM-Hub/项目目标.md
View File

@ -15,15 +15,15 @@
### 🧱 二、核心模块架构
| 模块 | 说明 |
| --------------------------- | ------------------------------------------------------------ |
| `api-core` | 定义统一 AI 能力接口 + SPI 扩展点（如 chat、embedding、vision） |
| `api-core-service` | 实现模型服务注册发现、调度策略、模型调度器 Dispatcher |
| `model-provider-*` | 每个模型服务模块（独立部署），实现具体能力并注册到核心服务 |
| `model-ability-service` | 可选扩展层，用于实现更高层 AI 能力（如对话管理、RAG） |
| `model-gateway`（门面服务） | 提供统一入口，转发请求到核心服务，并封装对外 API |
| `model-admin`（后台） | 模型安装、服务绑定、状态监控、服务管理 |
| `auth-center`（可选） | 提供租户、用户、权限、配额、访问日志等能力（SaaS专属） |
| 模块 | 说明 |
|-------------------------|-------------------------------------------------|
| `api-core` | 定义统一 AI 能力接口 + SPI 扩展点（如 chat、embedding、vision） |
| `api-core-service` | 实现模型服务注册发现、调度策略、模型调度器 Dispatcher |
| `model-provider-*` | 每个模型服务模块（独立部署），实现具体能力并注册到核心服务 |
| `model-ability-service` | 可选扩展层，用于实现更高层 AI 能力（如对话管理、RAG） |
| `model-gateway`（门面服务） | 提供统一入口，转发请求到核心服务，并封装对外 API |
| `model-admin`（后台） | 模型安装、服务绑定、状态监控、服务管理 |
| `auth-center`（可选） | 提供租户、用户、权限、配额、访问日志等能力（SaaS专属） |
------