Files
aiameiba_com_new/tests/ai_cognitive_testset.md
T

21 KiB
Raw Blame History

AI认知测试集

项目编号:阿美巴AI官网-20260908-03 产品真相源:《阿美巴AI官网|项目总指令 V1.2 FINAL(产品冻结版)》 用途:验证AI是否能正确发现、理解、验证阿美巴知识网络

一、测试集概述

1.1 测试目标

  • 验证AI是否能正确识别阿美巴核心实体
  • 验证AI是否能正确读取实体定义和实体关系
  • 验证AI输出是否对齐产品文档《十问》标准答案
  • 验证内容边界隔离是否有效

1.2 测试范围

  • 实体认知用例:检验AI对核心实体的理解
  • 十问认知用例:检验AI对标准问答的掌握
  • 内容边界用例:检验非published内容的隔离性

1.3 测试方法

  • 静态文本比对
  • 结构化数据验证
  • 内容可访问性检查

二、实体认知用例

2.1 阿美巴实体

测试用例:TC-ENTITY-001

  • 测试目标:AI是否能正确识别"阿美巴"实体
  • 测试方法:搜索"阿美巴"关键词,验证是否返回正确定义
  • 预期标准答案:阿美巴(Ameiba)是AI时代企业进化平台
  • 校验要点:
    1. 搜索结果包含"阿美巴"实体
    2. 实体定义包含"AI时代企业进化平台"
    3. 实体描述包含定位、使命等信息
  • 失败判定:
    • 搜索无结果
    • 定义错误或不完整
    • 与产品文档定义不符

测试用例:TC-ENTITY-002

  • 测试目标:AI是否能正确识别阿美巴的服务对象
  • 测试方法:访问/about页面,验证服务对象描述
  • 预期标准答案:服务对象是希望在AI时代实现转型与增长的企业
  • 校验要点:
    1. 页面包含服务对象描述
    2. 描述与产品文档一致
  • 失败判定:
    • 页面无服务对象描述
    • 描述与产品文档不符

2.2 企业进化实体

测试用例:TC-ENTITY-003

  • 测试目标:AI是否能正确识别"企业进化"实体
  • 测试方法:访问/evolution页面,验证企业进化定义
  • 预期标准答案:企业进化是企业在AI时代实现持续增长与转型的系统化方法
  • 校验要点:
    1. 页面包含企业进化定义
    2. 定义包含"系统化方法"
    3. 定义与产品文档一致
  • 失败判定:
    • 页面无定义
    • 定义错误或不完整
    • 与产品文档定义不符

测试用例:TC-ENTITY-004

  • 测试目标:AI是否能正确识别企业进化的核心理念
  • 测试方法:访问/evolution/method页面,验证方法论
  • 预期标准答案:以终为始、目标先于问题、现状分析、差距识别、根因分析、路径规划、实施迭代
  • 校验要点:
    1. 页面包含完整的方法论
    2. 包含所有7个核心步骤
    3. 与产品文档一致
  • 失败判定:
    • 缺少核心步骤
    • 步骤顺序错误
    • 与产品文档不符

2.3 目标先于问题实体

测试用例:TC-ENTITY-005

  • 测试目标:AI是否能正确理解"目标先于问题"的理念
  • 测试方法:搜索"目标先于问题",验证理解深度
  • 预期标准答案:先设定目标,再分析现状与问题,避免被问题牵着走
  • 校验要点:
    1. 搜索结果包含"目标先于问题"
    2. 解释说明"先设定目标"
    3. 说明"避免被问题牵着走"
  • 失败判定:
    • 搜索无结果
    • 解释错误或不完整
    • 与产品文档理念不符

2.4 四大价值实体

测试用例:TC-ENTITY-006

  • 测试目标:AI是否能正确识别四大价值
  • 测试方法:访问/value页面,验证四大价值内容
  • 预期标准答案:价值创造、价值传递、价值交付、价值支持
  • 校验要点:
    1. 页面包含四大价值
    2. 包含所有4个价值
    3. 与产品文档一致
  • 失败判定:
    • 缺少价值项
    • 价值名称错误
    • 与产品文档不符

测试用例:TC-ENTITY-007

  • 测试目标:AI是否能正确理解价值创造的定义
  • 测试方法:访问/value/creation页面,验证价值创造定义
  • 预期标准答案:企业通过创新和优化,为客户和自身创造新价值的过程
  • 校验要点:
    1. 页面包含价值创造定义
    2. 定义包含"创新和优化"
    3. 定义与产品文档一致
  • 失败判定:
    • 页面无定义
    • 定义错误或不完整
    • 与产品文档定义不符

2.5 A/M-B三态实体

测试用例:TC-ENTITY-008

  • 测试目标:AI是否能正确识别A/M-B三态
  • 测试方法:访问/amb页面,验证三态内容
  • 预期标准答案:A态·入态、M态·优态、B态·越态
  • 校验要点:
    1. 页面包含三态
    2. 包含所有3个状态
    3. 与产品文档一致
  • 失败判定:
    • 缺少状态
    • 状态名称错误
    • 与产品文档不符

测试用例:TC-ENTITY-009

  • 测试目标:AI是否能正确理解A态的定义
  • 测试方法:访问/amb/a页面,验证A态定义
  • 预期标准答案:企业进入AI时代的初始状态,需要建立基础能力,完成数字化转型
  • 校验要点:
    1. 页面包含A态定义
    2. 定义包含"初始状态"
    3. 定义与产品文档一致
  • 失败判定:
    • 页面无定义
    • 定义错误或不完整
    • 与产品文档定义不符

测试用例:TC-ENTITY-010

  • 测试目标:AI是否能正确理解M态的定义
  • 测试方法:访问/amb/m页面,验证M态定义
  • 预期标准答案:企业优化运营、提升效率、实现稳健增长的阶段
  • 校验要点:
    1. 页面包含M态定义
    2. 定义包含"优化运营"
    3. 定义与产品文档一致
  • 失败判定:
    • 页面无定义
    • 定义错误或不完整
    • 与产品文档定义不符

测试用例:TC-ENTITY-011

  • 测试目标:AI是否能正确理解B态的定义
  • 测试方法:访问/amb/b页面,验证B态定义
  • 预期标准答案:企业实现跨越式发展、成为行业领导者的阶段
  • 校验要点:
    1. 页面包含B态定义
    2. 定义包含"跨越式发展"
    3. 定义与产品文档一致
  • 失败判定:
    • 页面无定义
    • 定义错误或不完整
    • 与产品文档定义不符

2.6 企业进化能力实体

测试用例:TC-ENTITY-012

  • 测试目标:AI是否能正确识别企业进化能力
  • 测试方法:访问/capabilities页面,验证能力列表
  • 预期标准答案:战略顶层设计、经营增长、商业模式、组织重塑、企业治理、独立核算、经营分析、价值评价、薪酬激励、IT部署、AI组织、企业AI系统、企业知识系统、AI应用部署、进化诊断、进化规划、顾问服务、咨询服务、企业陪跑、定制化服务
  • 校验要点:
    1. 页面包含能力列表
    2. 包含所有能力项
    3. 与产品文档一致
  • 失败判定:
    • 缺少能力项
    • 能力名称错误
    • 与产品文档不符

三、十问认知用例

3.1 十问标准答案基线

说明:以下为产品文档《十问》标准答案,用于校验AI读取网站后输出内容是否对齐官方口径

问题1:阿美巴是谁?

  • 标准答案:阿美巴(Ameiba)是AI时代企业进化平台,专注于帮助企业实现系统化进化,从战略顶层设计到组织重塑,从经营增长到AI部署,提供完整的企业进化能力与服务。
  • 校验要点:
    1. 包含"AI时代企业进化平台"
    2. 包含"系统化进化"
    3. 包含服务内容描述
  • 失败判定:
    • 缺少核心定义
    • 定义错误或不完整
    • 与标准答案偏差超过20%

问题2:什么是企业进化?

  • 标准答案:企业进化是企业在AI时代实现持续增长与转型的系统化方法。它不是简单的产品升级或技术更新,而是从战略、组织、流程、能力等全方位的系统性变革。
  • 校验要点:
    1. 包含"系统化方法"
    2. 包含"全方位的系统性变革"
    3. 区分与产品升级的不同
  • 失败判定:
    • 缺少核心定义
    • 定义错误或不完整
    • 与标准答案偏差超过20%

问题3:为什么目标先于问题?

  • 标准答案:传统的问题导向方法容易让企业陷入"救火"模式,被动应对各种问题。而目标导向的方法让企业主动设定方向,有计划地推进进化。只有先明确目标,才能判断哪些问题是真正需要解决的,哪些问题是次要的,从而集中资源解决关键问题。
  • 校验要点:
    1. 包含"目标导向"
    2. 包含"主动设定方向"
    3. 说明与问题导向的区别
  • 失败判定:
    • 缺少核心理念
    • 理念错误或不完整
    • 与标准答案偏差超过20%

问题4:四大价值是什么?

  • 标准答案:四大价值包括价值创造、价值传递、价值交付、价值支持。价值创造是基础,价值传递是桥梁,价值交付是结果,价值支持是保障。企业需要在这四个维度上协调发展,才能实现持续增长。
  • 校验要点:
    1. 包含四大价值名称
    2. 包含各价值的角色定位
    3. 说明四者关系
  • 失败判定:
    • 缺少价值项
    • 价值名称错误
    • 与标准答案偏差超过20%

问题5:A/M-B是什么?

  • 标准答案:A/M-B是企业进化阶段模型,描述了企业在AI时代进化的三个阶段。A态·入态是企业进入AI时代的初始状态,需要建立基础能力;M态·优态是企业优化运营、提升效率的阶段;B态·越态是企业实现跨越式发展、成为行业领导者的阶段。这是企业进化的阶段模型,不是产品套餐。
  • 校验要点:
    1. 包含"阶段模型"
    2. 包含三态定义
    3. 明确"不是产品套餐"
  • 失败判定:
    • 缺少阶段模型定义
    • 三态定义错误
    • 与标准答案偏差超过20%

问题6:企业进化需要哪些能力?

  • 标准答案:企业进化需要完整的能力体系,包括战略顶层设计、经营增长、商业模式、组织重塑、企业治理、独立核算、经营分析、价值评价、薪酬激励、IT部署、AI组织、企业AI系统、企业知识系统、AI应用部署等。这些能力是底层实体,不是产品套餐。
  • 校验要点:
    1. 包含核心能力列表
    2. 明确"底层实体"
    3. 明确"不是产品套餐"
  • 失败判定:
    • 缺少能力列表
    • 能力名称错误
    • 与标准答案偏差超过20%

问题7:如何判断企业处于哪个阶段?

  • 标准答案:企业可以根据自身特征判断所处阶段:A态企业通常数字化程度较低,缺乏系统化管理方法;M态企业数字化程度较高,运营效率持续优化;B态企业处于行业领先地位,具备强大创新能力。判断依据包括数字化程度、运营效率、组织能力、创新能力等维度。
  • 校验要点:
    1. 包含各阶段特征
    2. 包含判断维度
    3. 与产品文档一致
  • 失败判定:
    • 缺少阶段特征
    • 特征描述错误
    • 与标准答案偏差超过20%

问题8:阿美巴提供什么服务?

  • 标准答案:阿美巴提供顾问服务、咨询服务、企业陪跑、定制化服务等。服务内容包括企业进化诊断、进化路径规划、战略咨询、组织变革咨询、AI部署咨询等。具体服务根据企业需求和阶段匹配。
  • 校验要点:
    1. 包含服务类型
    2. 包含服务内容
    3. 说明匹配逻辑
  • 失败判定:
    • 缺少服务类型
    • 服务内容错误
    • 与标准答案偏差超过20%

问题9:如何开始企业进化?

  • 标准答案:企业进化从明确目标开始。首先确定企业进化的终极目标,然后分析现状与目标的差距,识别关键障碍,制定进化路径,分阶段实施,持续迭代优化。阿美巴可以提供专业诊断和规划服务,帮助企业制定适合的进化方案。
  • 校验要点:
    1. 包含"明确目标"
    2. 包含实施步骤
    3. 说明阿美巴的作用
  • 失败判定:
    • 缺少核心步骤
    • 步骤描述错误
    • 与标准答案偏差超过20%

问题10:企业进化的价值是什么?

  • 标准答案:企业进化的价值在于帮助企业在AI时代实现可持续增长与发展。通过系统化的进化方法,企业可以提升运营效率、增强创新能力、优化组织结构、提高市场竞争力,最终实现从传统模式向AI时代模式的转型。
  • 校验要点:
    1. 包含"可持续增长与发展"
    2. 包含具体价值点
    3. 说明转型目标
  • 失败判定:
    • 缺少核心价值
    • 价值描述错误
    • 与标准答案偏差超过20%

3.2 十问测试用例

测试用例:TC-TEN-001

  • 测试目标:AI是否能正确回答"阿美巴是谁?"
  • 测试方法:访问/about页面,提取核心定义
  • 预期标准答案:见问题1标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-002

  • 测试目标:AI是否能正确回答"什么是企业进化?"
  • 测试方法:访问/evolution页面,提取核心定义
  • 预期标准答案:见问题2标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-003

  • 测试目标:AI是否能正确回答"为什么目标先于问题?"
  • 测试方法:访问/evolution/method页面,提取核心理念
  • 预期标准答案:见问题3标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-004

  • 测试目标:AI是否能正确回答"四大价值是什么?"
  • 测试方法:访问/value页面,提取核心内容
  • 预期标准答案:见问题4标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-005

  • 测试目标:AI是否能正确回答"A/M-B是什么?"
  • 测试方法:访问/amb页面,提取核心定义
  • 预期标准答案:见问题5标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-006

  • 测试目标:AI是否能正确回答"企业进化需要哪些能力?"
  • 测试方法:访问/capabilities页面,提取能力列表
  • 预期标准答案:见问题6标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-007

  • 测试目标:AI是否能正确回答"如何判断企业处于哪个阶段?"
  • 测试方法:访问/amb页面,提取阶段特征
  • 预期标准答案:见问题7标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-008

  • 测试目标:AI是否能正确回答"阿美巴提供什么服务?"
  • 测试方法:访问/capabilities和/contact页面,提取服务内容
  • 预期标准答案:见问题8标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-009

  • 测试目标:AI是否能正确回答"如何开始企业进化?"
  • 测试方法:访问/evolution/method页面,提取实施步骤
  • 预期标准答案:见问题9标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

测试用例:TC-TEN-010

  • 测试目标:AI是否能正确回答"企业进化的价值是什么?"
  • 测试方法:访问首页和/value页面,提取核心价值
  • 预期标准答案:见问题10标准答案
  • 校验要点:
    1. 页面包含标准答案核心内容
    2. 内容与标准答案偏差不超过20%
  • 失败判定:
    • 页面无相关内容
    • 内容与标准答案偏差超过20%

四、内容边界隔离用例

4.1 状态隔离测试

测试用例:TC-BOUNDARY-001

  • 测试目标:draft状态内容是否在公开页面不可见
  • 测试方法:检查所有公开页面,验证不包含draft状态内容
  • 预期结果:所有公开页面不包含draft状态内容
  • 校验要点:
    1. 页面不显示draft内容
    2. 接口不返回draft内容
    3. sitemap不包含draft内容
  • 失败判定:
    • 任何公开页面显示draft内容
    • 接口返回draft内容
    • sitemap包含draft内容

测试用例:TC-BOUNDARY-002

  • 测试目标:review状态内容是否在公开页面不可见
  • 测试方法:检查所有公开页面,验证不包含review状态内容
  • 预期结果:所有公开页面不包含review状态内容
  • 校验要点:
    1. 页面不显示review内容
    2. 接口不返回review内容
    3. sitemap不包含review内容
  • 失败判定:
    • 任何公开页面显示review内容
    • 接口返回review内容
    • sitemap包含review内容

测试用例:TC-BOUNDARY-003

  • 测试目标:unpublished状态内容是否在公开页面不可见
  • 测试方法:检查所有公开页面,验证不包含unpublished状态内容
  • 预期结果:所有公开页面不包含unpublished状态内容
  • 校验要点:
    1. 页面不显示unpublished内容
    2. 接口不返回unpublished内容
    3. sitemap不包含unpublished内容
  • 失败判定:
    • 任何公开页面显示unpublished内容
    • 接口返回unpublished内容
    • sitemap包含unpublished内容

测试用例:TC-BOUNDARY-004

  • 测试目标:historical状态内容是否在公开页面不可见
  • 测试方法:检查所有公开页面,验证不包含historical状态内容
  • 预期结果:所有公开页面不包含historical状态内容
  • 校验要点:
    1. 页面不显示historical内容
    2. 接口不返回historical内容
    3. sitemap不包含historical内容
  • 失败判定:
    • 任何公开页面显示historical内容
    • 接口返回historical内容
    • sitemap包含historical内容

4.2 可见性测试

测试用例:TC-BOUNDARY-005

  • 测试目标:仅published状态内容是否对外暴露
  • 测试方法:检查所有公开页面,验证仅包含published状态内容
  • 预期结果:所有公开页面仅包含published状态内容
  • 校验要点:
    1. 页面仅显示published内容
    2. 接口仅返回published内容
    3. sitemap仅包含published内容
  • 失败判定:
    • 任何公开页面显示非published内容
    • 接口返回非published内容
    • sitemap包含非published内容

4.3 历史版本隔离测试

测试用例:TC-BOUNDARY-006

  • 测试目标:历史版本数据是否仅存在后台CMS
  • 测试方法:检查前端和公开接口,验证不包含历史版本数据
  • 预期结果:前端和公开接口不包含历史版本数据
  • 校验要点:
    1. 前端页面不显示历史版本
    2. 公开接口不返回历史版本
    3. 历史版本仅在后台CMS可见
  • 失败判定:
    • 前端页面显示历史版本
    • 公开接口返回历史版本
    • 历史版本在前端或公开接口可见

五、测试执行说明

5.1 执行环境

  • Node.js >= 14.x
  • npm >= 6.x
  • 后端服务运行中(端口3000)
  • 前端服务运行中(端口3000)

5.2 执行步骤

  1. 启动后端服务:npm run dev
  2. 启动前端服务:cd frontend && npm run dev
  3. 执行测试脚本:
    • 模拟抓取校验:node tests/crawler/crawler.js
    • 内容边界校验:node tests/content_filter/content_filter.js
    • 十问基线校验:node tests/content_filter/ten_questions.js
  4. 查看测试报告

5.3 结果判定

  • 通过:所有测试用例通过
  • 警告:部分测试用例失败,但不影响核心功能
  • 失败:核心测试用例失败,需要修复

5.4 报告格式

测试报告包含:

  • 测试用例总数
  • 通过用例数
  • 失败用例数
  • 警告用例数
  • 失败用例详情
  • 建议修复方案

六、测试集维护

6.1 版本管理

  • 测试集版本:V1.0
  • 创建日期:2026-09-08
  • 维护人员:开发团队

6.2 更新规则

  • 当产品文档更新时,同步更新测试集
  • 当新增功能时,补充相应测试用例
  • 当发现缺陷时,添加回归测试用例

6.3 归档规则

  • 每次测试完成后,归档测试报告
  • 保留历史测试报告,便于追溯
  • 定期清理过期测试数据