一个典型AI产品经理的产品评估工作是什么样的？
AI产品经理是围绕着AI能力构建产品的人，而传统产品经理，则主要围绕工程能力来构建产品。
所谓工程能力，就是日常看到的前端展示，以及背后的后端逻辑。它的特点就是确定性（或者叫可解释性好），也因此，在研发上，只要是正常需求，早晚都能做出来。
比如一次登录，正常情况下，只要账号密码正确，且网络和服务正常，就一定会成功。研发也不会说这个做不了。
而AI能力，目前主要就是各种识别和生成。像什么人脸识别，文字识别，以及文本生成，图片生成，视频生成等等。特点就是不确定性，或者叫可解释性差。
对识别类任务而言，即使是同一个人，可能稍微换个角度或光影，AI模型就认不出来了。
对生成类任务而言，即使是同一个输入，先后两次给到模型，输出结果也不一样。相信但凡用过各种gpt的，都对此深有体会。
面对可解释性差的特点，AI产品经理的一个核心工作，就是评估模型质量。毕竟如果你想知道加了数据之后，最终指标是变好还是变差，除了直接测试，就没有第二条路了。
对识别类任务的评估比较简单，业内的方法也很成熟了。
即给定一批样本（测试集），标注我们期望的输出（真值）。然后让模型基于这批样本进行预测，拿模型预测值和真值比较，看预测对了多少，错了多少。最后得出指标结果。
这就有点像高考的客观题部分。出题老师先出了一份试题，同时把答案提前准备好。然后把试题给到所有考生，他们看到试题后，会给出自己的答案。系统再拿考生的答案和老师的答案进行比较，最后算个分数出来。
上面的例子里，试题就是测试集，老师的答案就是真值，考生对应AI模型，而考生的答案就是预测值。
这里面，产品经理的工作，最主要就是定义要什么样的指标，准备简单的testcase，以及明确数据标注的规则。
然后等指标的计算变得自动化，并且测试数据也都标注好之后，前期的评估准备工作就结束了。这时候，通常我们会得到一个专用的测试工具。
有了测试工具，每次版本修改，就在测试集上做回归测试即可。
就像有了一套题库和答案，并且有了自动打分的系统之后，想知道学生们每隔一段时间的学习效果，就让他们考试。
当考试结果下来，AI产品经理又会变成班主任，要去简单分析学生丢分在哪里，哪些地方丢分严重。
然后，再给到算法工程师（任课老师）做进一步分析，包括为什么会在某些题目上丢分，后面要如何优化等等。
篇幅原因，就不展开了。
最后做个总结，一般AI产品经理对模型的评估，就是：
1）定义指标：即要测什么，不测什么；然后交给算法同事来实现指标的计算；
2）定义testcase，用来检验测试系统本身是否设计正确；
3）定义测试集标注规则：用来指导数据团队去标数据；
4）验收测试集标注质量；
5）组织周期性的模型效果测试，并推动算法做问题分析和问题优化。
PS. 这篇内容很多东西都是面试会问到的哈哈，转行AIPM必备。
AI产品经理是围绕着AI能力构建产品的人，而传统产品经理，则主要围绕工程能力来构建产品。
所谓工程能力，就是日常看到的前端展示，以及背后的后端逻辑。它的特点就是确定性（或者叫可解释性好），也因此，在研发上，只要是正常需求，早晚都能做出来。
比如一次登录，正常情况下，只要账号密码正确，且网络和服务正常，就一定会成功。研发也不会说这个做不了。
而AI能力，目前主要就是各种识别和生成。像什么人脸识别，文字识别，以及文本生成，图片生成，视频生成等等。特点就是不确定性，或者叫可解释性差。
对识别类任务而言，即使是同一个人，可能稍微换个角度或光影，AI模型就认不出来了。
对生成类任务而言，即使是同一个输入，先后两次给到模型，输出结果也不一样。相信但凡用过各种gpt的，都对此深有体会。
面对可解释性差的特点，AI产品经理的一个核心工作，就是评估模型质量。毕竟如果你想知道加了数据之后，最终指标是变好还是变差，除了直接测试，就没有第二条路了。
对识别类任务的评估比较简单，业内的方法也很成熟了。
即给定一批样本（测试集），标注我们期望的输出（真值）。然后让模型基于这批样本进行预测，拿模型预测值和真值比较，看预测对了多少，错了多少。最后得出指标结果。
这就有点像高考的客观题部分。出题老师先出了一份试题，同时把答案提前准备好。然后把试题给到所有考生，他们看到试题后，会给出自己的答案。系统再拿考生的答案和老师的答案进行比较，最后算个分数出来。
上面的例子里，试题就是测试集，老师的答案就是真值，考生对应AI模型，而考生的答案就是预测值。
这里面，产品经理的工作，最主要就是定义要什么样的指标，准备简单的testcase，以及明确数据标注的规则。
然后等指标的计算变得自动化，并且测试数据也都标注好之后，前期的评估准备工作就结束了。这时候，通常我们会得到一个专用的测试工具。
有了测试工具，每次版本修改，就在测试集上做回归测试即可。
就像有了一套题库和答案，并且有了自动打分的系统之后，想知道学生们每隔一段时间的学习效果，就让他们考试。
当考试结果下来，AI产品经理又会变成班主任，要去简单分析学生丢分在哪里，哪些地方丢分严重。
然后，再给到算法工程师（任课老师）做进一步分析，包括为什么会在某些题目上丢分，后面要如何优化等等。
篇幅原因，就不展开了。
最后做个总结，一般AI产品经理对模型的评估，就是：
1）定义指标：即要测什么，不测什么；然后交给算法同事来实现指标的计算；
2）定义testcase，用来检验测试系统本身是否设计正确；
3）定义测试集标注规则：用来指导数据团队去标数据；
4）验收测试集标注质量；
5）组织周期性的模型效果测试，并推动算法做问题分析和问题优化。
PS. 这篇内容很多东西都是面试会问到的哈哈，转行AIPM必备。
