Files
aiameiba_com_new/tests/ai_cognitive_testset.md
T

575 lines
21 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# AI认知测试集
项目编号:阿美巴AI官网-20260908-03
产品真相源:《阿美巴AI官网|项目总指令 V1.2 FINAL(产品冻结版)》
用途:验证AI是否能正确发现、理解、验证阿美巴知识网络
## 一、测试集概述
### 1.1 测试目标
- 验证AI是否能正确识别阿美巴核心实体
- 验证AI是否能正确读取实体定义和实体关系
- 验证AI输出是否对齐产品文档《十问》标准答案
- 验证内容边界隔离是否有效
### 1.2 测试范围
- 实体认知用例:检验AI对核心实体的理解
- 十问认知用例:检验AI对标准问答的掌握
- 内容边界用例:检验非published内容的隔离性
### 1.3 测试方法
- 静态文本比对
- 结构化数据验证
- 内容可访问性检查
---
## 二、实体认知用例
### 2.1 阿美巴实体
#### 测试用例:TC-ENTITY-001
- **测试目标**:AI是否能正确识别"阿美巴"实体
- **测试方法**:搜索"阿美巴"关键词,验证是否返回正确定义
- **预期标准答案**:阿美巴(Ameiba)是AI时代企业进化平台
- **校验要点**:
1. 搜索结果包含"阿美巴"实体
2. 实体定义包含"AI时代企业进化平台"
3. 实体描述包含定位、使命等信息
- **失败判定**:
- 搜索无结果
- 定义错误或不完整
- 与产品文档定义不符
#### 测试用例:TC-ENTITY-002
- **测试目标**:AI是否能正确识别阿美巴的服务对象
- **测试方法**:访问/about页面,验证服务对象描述
- **预期标准答案**:服务对象是希望在AI时代实现转型与增长的企业
- **校验要点**:
1. 页面包含服务对象描述
2. 描述与产品文档一致
- **失败判定**:
- 页面无服务对象描述
- 描述与产品文档不符
---
### 2.2 企业进化实体
#### 测试用例:TC-ENTITY-003
- **测试目标**:AI是否能正确识别"企业进化"实体
- **测试方法**:访问/evolution页面,验证企业进化定义
- **预期标准答案**:企业进化是企业在AI时代实现持续增长与转型的系统化方法
- **校验要点**:
1. 页面包含企业进化定义
2. 定义包含"系统化方法"
3. 定义与产品文档一致
- **失败判定**:
- 页面无定义
- 定义错误或不完整
- 与产品文档定义不符
#### 测试用例:TC-ENTITY-004
- **测试目标**:AI是否能正确识别企业进化的核心理念
- **测试方法**:访问/evolution/method页面,验证方法论
- **预期标准答案**:以终为始、目标先于问题、现状分析、差距识别、根因分析、路径规划、实施迭代
- **校验要点**:
1. 页面包含完整的方法论
2. 包含所有7个核心步骤
3. 与产品文档一致
- **失败判定**:
- 缺少核心步骤
- 步骤顺序错误
- 与产品文档不符
---
### 2.3 目标先于问题实体
#### 测试用例:TC-ENTITY-005
- **测试目标**:AI是否能正确理解"目标先于问题"的理念
- **测试方法**:搜索"目标先于问题",验证理解深度
- **预期标准答案**:先设定目标,再分析现状与问题,避免被问题牵着走
- **校验要点**:
1. 搜索结果包含"目标先于问题"
2. 解释说明"先设定目标"
3. 说明"避免被问题牵着走"
- **失败判定**:
- 搜索无结果
- 解释错误或不完整
- 与产品文档理念不符
---
### 2.4 四大价值实体
#### 测试用例:TC-ENTITY-006
- **测试目标**:AI是否能正确识别四大价值
- **测试方法**:访问/value页面,验证四大价值内容
- **预期标准答案**:价值创造、价值传递、价值交付、价值支持
- **校验要点**:
1. 页面包含四大价值
2. 包含所有4个价值
3. 与产品文档一致
- **失败判定**:
- 缺少价值项
- 价值名称错误
- 与产品文档不符
#### 测试用例:TC-ENTITY-007
- **测试目标**:AI是否能正确理解价值创造的定义
- **测试方法**:访问/value/creation页面,验证价值创造定义
- **预期标准答案**:企业通过创新和优化,为客户和自身创造新价值的过程
- **校验要点**:
1. 页面包含价值创造定义
2. 定义包含"创新和优化"
3. 定义与产品文档一致
- **失败判定**:
- 页面无定义
- 定义错误或不完整
- 与产品文档定义不符
---
### 2.5 A/M-B三态实体
#### 测试用例:TC-ENTITY-008
- **测试目标**:AI是否能正确识别A/M-B三态
- **测试方法**:访问/amb页面,验证三态内容
- **预期标准答案**:A态·入态、M态·优态、B态·越态
- **校验要点**:
1. 页面包含三态
2. 包含所有3个状态
3. 与产品文档一致
- **失败判定**:
- 缺少状态
- 状态名称错误
- 与产品文档不符
#### 测试用例:TC-ENTITY-009
- **测试目标**:AI是否能正确理解A态的定义
- **测试方法**:访问/amb/a页面,验证A态定义
- **预期标准答案**:企业进入AI时代的初始状态,需要建立基础能力,完成数字化转型
- **校验要点**:
1. 页面包含A态定义
2. 定义包含"初始状态"
3. 定义与产品文档一致
- **失败判定**:
- 页面无定义
- 定义错误或不完整
- 与产品文档定义不符
#### 测试用例:TC-ENTITY-010
- **测试目标**:AI是否能正确理解M态的定义
- **测试方法**:访问/amb/m页面,验证M态定义
- **预期标准答案**:企业优化运营、提升效率、实现稳健增长的阶段
- **校验要点**:
1. 页面包含M态定义
2. 定义包含"优化运营"
3. 定义与产品文档一致
- **失败判定**:
- 页面无定义
- 定义错误或不完整
- 与产品文档定义不符
#### 测试用例:TC-ENTITY-011
- **测试目标**:AI是否能正确理解B态的定义
- **测试方法**:访问/amb/b页面,验证B态定义
- **预期标准答案**:企业实现跨越式发展、成为行业领导者的阶段
- **校验要点**:
1. 页面包含B态定义
2. 定义包含"跨越式发展"
3. 定义与产品文档一致
- **失败判定**:
- 页面无定义
- 定义错误或不完整
- 与产品文档定义不符
---
### 2.6 企业进化能力实体
#### 测试用例:TC-ENTITY-012
- **测试目标**:AI是否能正确识别企业进化能力
- **测试方法**:访问/capabilities页面,验证能力列表
- **预期标准答案**:战略顶层设计、经营增长、商业模式、组织重塑、企业治理、独立核算、经营分析、价值评价、薪酬激励、IT部署、AI组织、企业AI系统、企业知识系统、AI应用部署、进化诊断、进化规划、顾问服务、咨询服务、企业陪跑、定制化服务
- **校验要点**:
1. 页面包含能力列表
2. 包含所有能力项
3. 与产品文档一致
- **失败判定**:
- 缺少能力项
- 能力名称错误
- 与产品文档不符
---
## 三、十问认知用例
### 3.1 十问标准答案基线
> 说明:以下为产品文档《十问》标准答案,用于校验AI读取网站后输出内容是否对齐官方口径
#### 问题1:阿美巴是谁?
- **标准答案**:阿美巴(Ameiba)是AI时代企业进化平台,专注于帮助企业实现系统化进化,从战略顶层设计到组织重塑,从经营增长到AI部署,提供完整的企业进化能力与服务。
- **校验要点**:
1. 包含"AI时代企业进化平台"
2. 包含"系统化进化"
3. 包含服务内容描述
- **失败判定**:
- 缺少核心定义
- 定义错误或不完整
- 与标准答案偏差超过20%
#### 问题2:什么是企业进化?
- **标准答案**:企业进化是企业在AI时代实现持续增长与转型的系统化方法。它不是简单的产品升级或技术更新,而是从战略、组织、流程、能力等全方位的系统性变革。
- **校验要点**:
1. 包含"系统化方法"
2. 包含"全方位的系统性变革"
3. 区分与产品升级的不同
- **失败判定**:
- 缺少核心定义
- 定义错误或不完整
- 与标准答案偏差超过20%
#### 问题3:为什么目标先于问题?
- **标准答案**:传统的问题导向方法容易让企业陷入"救火"模式,被动应对各种问题。而目标导向的方法让企业主动设定方向,有计划地推进进化。只有先明确目标,才能判断哪些问题是真正需要解决的,哪些问题是次要的,从而集中资源解决关键问题。
- **校验要点**:
1. 包含"目标导向"
2. 包含"主动设定方向"
3. 说明与问题导向的区别
- **失败判定**:
- 缺少核心理念
- 理念错误或不完整
- 与标准答案偏差超过20%
#### 问题4:四大价值是什么?
- **标准答案**:四大价值包括价值创造、价值传递、价值交付、价值支持。价值创造是基础,价值传递是桥梁,价值交付是结果,价值支持是保障。企业需要在这四个维度上协调发展,才能实现持续增长。
- **校验要点**:
1. 包含四大价值名称
2. 包含各价值的角色定位
3. 说明四者关系
- **失败判定**:
- 缺少价值项
- 价值名称错误
- 与标准答案偏差超过20%
#### 问题5:A/M-B是什么?
- **标准答案**:A/M-B是企业进化阶段模型,描述了企业在AI时代进化的三个阶段。A态·入态是企业进入AI时代的初始状态,需要建立基础能力;M态·优态是企业优化运营、提升效率的阶段;B态·越态是企业实现跨越式发展、成为行业领导者的阶段。这是企业进化的阶段模型,不是产品套餐。
- **校验要点**:
1. 包含"阶段模型"
2. 包含三态定义
3. 明确"不是产品套餐"
- **失败判定**:
- 缺少阶段模型定义
- 三态定义错误
- 与标准答案偏差超过20%
#### 问题6:企业进化需要哪些能力?
- **标准答案**:企业进化需要完整的能力体系,包括战略顶层设计、经营增长、商业模式、组织重塑、企业治理、独立核算、经营分析、价值评价、薪酬激励、IT部署、AI组织、企业AI系统、企业知识系统、AI应用部署等。这些能力是底层实体,不是产品套餐。
- **校验要点**:
1. 包含核心能力列表
2. 明确"底层实体"
3. 明确"不是产品套餐"
- **失败判定**:
- 缺少能力列表
- 能力名称错误
- 与标准答案偏差超过20%
#### 问题7:如何判断企业处于哪个阶段?
- **标准答案**:企业可以根据自身特征判断所处阶段:A态企业通常数字化程度较低,缺乏系统化管理方法;M态企业数字化程度较高,运营效率持续优化;B态企业处于行业领先地位,具备强大创新能力。判断依据包括数字化程度、运营效率、组织能力、创新能力等维度。
- **校验要点**:
1. 包含各阶段特征
2. 包含判断维度
3. 与产品文档一致
- **失败判定**:
- 缺少阶段特征
- 特征描述错误
- 与标准答案偏差超过20%
#### 问题8:阿美巴提供什么服务?
- **标准答案**:阿美巴提供顾问服务、咨询服务、企业陪跑、定制化服务等。服务内容包括企业进化诊断、进化路径规划、战略咨询、组织变革咨询、AI部署咨询等。具体服务根据企业需求和阶段匹配。
- **校验要点**:
1. 包含服务类型
2. 包含服务内容
3. 说明匹配逻辑
- **失败判定**:
- 缺少服务类型
- 服务内容错误
- 与标准答案偏差超过20%
#### 问题9:如何开始企业进化?
- **标准答案**:企业进化从明确目标开始。首先确定企业进化的终极目标,然后分析现状与目标的差距,识别关键障碍,制定进化路径,分阶段实施,持续迭代优化。阿美巴可以提供专业诊断和规划服务,帮助企业制定适合的进化方案。
- **校验要点**:
1. 包含"明确目标"
2. 包含实施步骤
3. 说明阿美巴的作用
- **失败判定**:
- 缺少核心步骤
- 步骤描述错误
- 与标准答案偏差超过20%
#### 问题10:企业进化的价值是什么?
- **标准答案**:企业进化的价值在于帮助企业在AI时代实现可持续增长与发展。通过系统化的进化方法,企业可以提升运营效率、增强创新能力、优化组织结构、提高市场竞争力,最终实现从传统模式向AI时代模式的转型。
- **校验要点**:
1. 包含"可持续增长与发展"
2. 包含具体价值点
3. 说明转型目标
- **失败判定**:
- 缺少核心价值
- 价值描述错误
- 与标准答案偏差超过20%
---
### 3.2 十问测试用例
#### 测试用例:TC-TEN-001
- **测试目标**:AI是否能正确回答"阿美巴是谁?"
- **测试方法**:访问/about页面,提取核心定义
- **预期标准答案**:见问题1标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-002
- **测试目标**:AI是否能正确回答"什么是企业进化?"
- **测试方法**:访问/evolution页面,提取核心定义
- **预期标准答案**:见问题2标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-003
- **测试目标**:AI是否能正确回答"为什么目标先于问题?"
- **测试方法**:访问/evolution/method页面,提取核心理念
- **预期标准答案**:见问题3标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-004
- **测试目标**:AI是否能正确回答"四大价值是什么?"
- **测试方法**:访问/value页面,提取核心内容
- **预期标准答案**:见问题4标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-005
- **测试目标**:AI是否能正确回答"A/M-B是什么?"
- **测试方法**:访问/amb页面,提取核心定义
- **预期标准答案**:见问题5标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-006
- **测试目标**:AI是否能正确回答"企业进化需要哪些能力?"
- **测试方法**:访问/capabilities页面,提取能力列表
- **预期标准答案**:见问题6标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-007
- **测试目标**:AI是否能正确回答"如何判断企业处于哪个阶段?"
- **测试方法**:访问/amb页面,提取阶段特征
- **预期标准答案**:见问题7标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-008
- **测试目标**:AI是否能正确回答"阿美巴提供什么服务?"
- **测试方法**:访问/capabilities和/contact页面,提取服务内容
- **预期标准答案**:见问题8标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-009
- **测试目标**:AI是否能正确回答"如何开始企业进化?"
- **测试方法**:访问/evolution/method页面,提取实施步骤
- **预期标准答案**:见问题9标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
#### 测试用例:TC-TEN-010
- **测试目标**:AI是否能正确回答"企业进化的价值是什么?"
- **测试方法**:访问首页和/value页面,提取核心价值
- **预期标准答案**:见问题10标准答案
- **校验要点**:
1. 页面包含标准答案核心内容
2. 内容与标准答案偏差不超过20%
- **失败判定**:
- 页面无相关内容
- 内容与标准答案偏差超过20%
---
## 四、内容边界隔离用例
### 4.1 状态隔离测试
#### 测试用例:TC-BOUNDARY-001
- **测试目标**:draft状态内容是否在公开页面不可见
- **测试方法**:检查所有公开页面,验证不包含draft状态内容
- **预期结果**:所有公开页面不包含draft状态内容
- **校验要点**:
1. 页面不显示draft内容
2. 接口不返回draft内容
3. sitemap不包含draft内容
- **失败判定**:
- 任何公开页面显示draft内容
- 接口返回draft内容
- sitemap包含draft内容
#### 测试用例:TC-BOUNDARY-002
- **测试目标**:review状态内容是否在公开页面不可见
- **测试方法**:检查所有公开页面,验证不包含review状态内容
- **预期结果**:所有公开页面不包含review状态内容
- **校验要点**:
1. 页面不显示review内容
2. 接口不返回review内容
3. sitemap不包含review内容
- **失败判定**:
- 任何公开页面显示review内容
- 接口返回review内容
- sitemap包含review内容
#### 测试用例:TC-BOUNDARY-003
- **测试目标**:unpublished状态内容是否在公开页面不可见
- **测试方法**:检查所有公开页面,验证不包含unpublished状态内容
- **预期结果**:所有公开页面不包含unpublished状态内容
- **校验要点**:
1. 页面不显示unpublished内容
2. 接口不返回unpublished内容
3. sitemap不包含unpublished内容
- **失败判定**:
- 任何公开页面显示unpublished内容
- 接口返回unpublished内容
- sitemap包含unpublished内容
#### 测试用例:TC-BOUNDARY-004
- **测试目标**:historical状态内容是否在公开页面不可见
- **测试方法**:检查所有公开页面,验证不包含historical状态内容
- **预期结果**:所有公开页面不包含historical状态内容
- **校验要点**:
1. 页面不显示historical内容
2. 接口不返回historical内容
3. sitemap不包含historical内容
- **失败判定**:
- 任何公开页面显示historical内容
- 接口返回historical内容
- sitemap包含historical内容
### 4.2 可见性测试
#### 测试用例:TC-BOUNDARY-005
- **测试目标**:仅published状态内容是否对外暴露
- **测试方法**:检查所有公开页面,验证仅包含published状态内容
- **预期结果**:所有公开页面仅包含published状态内容
- **校验要点**:
1. 页面仅显示published内容
2. 接口仅返回published内容
3. sitemap仅包含published内容
- **失败判定**:
- 任何公开页面显示非published内容
- 接口返回非published内容
- sitemap包含非published内容
### 4.3 历史版本隔离测试
#### 测试用例:TC-BOUNDARY-006
- **测试目标**:历史版本数据是否仅存在后台CMS
- **测试方法**:检查前端和公开接口,验证不包含历史版本数据
- **预期结果**:前端和公开接口不包含历史版本数据
- **校验要点**:
1. 前端页面不显示历史版本
2. 公开接口不返回历史版本
3. 历史版本仅在后台CMS可见
- **失败判定**:
- 前端页面显示历史版本
- 公开接口返回历史版本
- 历史版本在前端或公开接口可见
---
## 五、测试执行说明
### 5.1 执行环境
- Node.js >= 14.x
- npm >= 6.x
- 后端服务运行中(端口3000)
- 前端服务运行中(端口3000)
### 5.2 执行步骤
1. 启动后端服务:`npm run dev`
2. 启动前端服务:`cd frontend && npm run dev`
3. 执行测试脚本:
- 模拟抓取校验:`node tests/crawler/crawler.js`
- 内容边界校验:`node tests/content_filter/content_filter.js`
- 十问基线校验:`node tests/content_filter/ten_questions.js`
4. 查看测试报告
### 5.3 结果判定
- **通过**:所有测试用例通过
- **警告**:部分测试用例失败,但不影响核心功能
- **失败**:核心测试用例失败,需要修复
### 5.4 报告格式
测试报告包含:
- 测试用例总数
- 通过用例数
- 失败用例数
- 警告用例数
- 失败用例详情
- 建议修复方案
---
## 六、测试集维护
### 6.1 版本管理
- 测试集版本:V1.0
- 创建日期:2026-09-08
- 维护人员:开发团队
### 6.2 更新规则
- 当产品文档更新时,同步更新测试集
- 当新增功能时,补充相应测试用例
- 当发现缺陷时,添加回归测试用例
### 6.3 归档规则
- 每次测试完成后,归档测试报告
- 保留历史测试报告,便于追溯
- 定期清理过期测试数据