第 18 天：分享你在 AI 测试中遇到的最大难题

我们已经进行到“30 天探索 AI 测试”旅程的第 18 天了！这段时间里，我们一起探讨了 AI 在不同测试环节中的应用。尽管 AI 带来的可能性让人激动，但在实际尝试这些新技术时，我们难免会遇到一些挫折和困惑。

今天，我们将分享在使用 AI 进行测试时遇到的个人挑战和顾虑。通过公开讨论这些经历，我们希望能深入了解可能的问题所在，并找到 AI 技术需要改进的方向。

任务步骤

  • 找出你的难题：回顾一下这次挑战中的经历，试着找出在测试中使用 AI 时什么给你带来了最大的困扰或担忧。这里有一些问题可以帮助你开始思考：

    • 功能限制：你是否觉得 AI 工具在某些测试领域（比如，可用性测试、安全测试）的功能不如你期待的那样强大？
    • 黑箱难题：是不是因为某些 AI 工具的运作不够透明，你发现很难信任它们的结果或从中学习？
    • 学习曲线挑战：是不是因为某些 AI 工具的复杂性或 AI 技术发展的速度，让你感到有点不知所措？
    • 机器偏见：你是否担心 AI 算法的潜在偏见可能会影响测试过程（比如，忽略了影响特定用户群体的问题）？
    • 数据隐私顾虑：对 AI 工具如何处理或存储测试数据感到不安吗？是否对数据安全或匿名化措施有所担心？
    • 职业安全忧虑：是否担心 AI 可能会自动化许多测试任务，从而让你的工作岗位变得不再必要？

如果这些提示不够贴合你的情况，欢迎分享你自己的经历！

  • 阐述你的看法：确定了挑战之后，详细说明为什么这成为你的一个重点问题。这是否和你在测试中使用 AI 的经验直接相关？
  • 额外收获 - 从他人经验中学习：关注并参与到他人分享的经验中，可能会为你提供新的见解，让你意识到之前未曾注意到的挑战或难题。对那些给你带来新视角的分享表示赞同或作出回复。

为什么参加

  • 找出改进的方向：通过公开讨论我们在 AI 测试中遇到的挑战，我们可以促进更开放的沟通，对 AI 的应用和发展采取更平衡的方法。同时，我们也能找出 AI 工具、技术或实践中需要进一步完善或改进的地方。

任务链接

https://club.ministryoftesting.com/t/day-18-share-your-greatest-frustration-with-ai-in-testing/75215

我的第 18 天任务

我使用 AI 工具进行测试活动的困扰或担忧

关于 AI 工具的数据隐私安全顾虑

之前的十几天挑战任务中，我都有提到：对 AI 工具的数据隐私安全担忧。因为这个担忧，我在使用 AI 工具进行测试活动的时候，都会小心谨慎，过滤掉任何和项目相关的上下文的情况下去使用 AI 工具进行测试活动，会让过程变得比较艰难，也使 AI 工具给出的结果和预期存在一些差异，没办法直接映射到当前的项目测试工作中，从而没办法直接和真实的提升测试工作效率。

关于 AI 工具的功能限制

在最近的十几天 AI 测试挑战中，我试用了不同的 AI 测试工具，包括 Applitools eyes，Katalon，Testim 和 Postman 的接口测试 AI 助手 Postbot，大部分的工具 AI 功能确实能提升测试效率，但提升仍然有限，AI 测试功能与官方宣传广告中的描述存在较大差异。个人感觉噱头大于实际。

关于 AI 工具的学习曲线挑战

这里我更多的是想提到不同 AI 大模型的提示词理解能力，如 ChatGPT3.5,ChatGPT4,gemini pro 和 Claude 3 等，不同 AI 大模型对同一提示词输出的结果都不一样，使用这些 AI 大模型应用到日常测试活动时，需要时间去适应，对比和学习不同的 AI 大模型工具，确认哪些测试活动更适合使用哪些 AI 大模型工具

关于 AI 工具的获取难度

这个对很多国外的 IT 小伙伴来说，比较简单，但对于中国大陆的 IT 人员而言，需要使用到最新的 AI 测试工具和 AI 大模型工具会异常的艰难，第一步就会卡在账号的申请和后期付费使用。

关于活动

30 天 AI 测试挑战活动是 Ministry 测试社区发起的活动，上一次我了解这个社区是关于他们发起的 30 天敏捷测试的活动。

社区官网：https://www.ministryoftesting.com

活动链接：https://www.ministryoftesting.com/events/30-days-of-ai-in-testing

挑战：

推荐阅读

欢迎关注软件测试同学的公众号“软件测试同学”，原创 QA 技术文章第一时间推送。