Quality scoring and progressive gates for AI-generated API tests. Stripe/Twilio profiles. Free tier.
APIThreshold 是一个为 AI 生成的 API 测试提供质量评分和渐进式门控机制的 MCP 服务器。它通过 Model Context Protocol 为 AI 助手接入了专业的 API 测试质量评估能力,特别针对 Stripe 和 Twilio 等主流 API 服务提供预配置的测试配置文件。该服务器的核心价值在于解决 AI 自动生成的 API 测试代码质量参差不齐的问题——当 AI 助手为开发者生成 API 集成测试时,APIThreshold 会对生成的测试用例进行多维度质量评分,包括覆盖率、边界条件处理、错误场景模拟等指标,并通过渐进式门控机制确保只有达到质量阈值的测试才会被采用。典型工作流是:开发者通过 AI 助手请求为特定 API 生成测试代码,AI 调用 APIThreshold 获取该 API 的测试配置文件和质量标准,生成测试后再次调用评分接口进行质量检查,根据评分结果决定是否需要改进或可以直接使用。服务提供免费层级,降低了 API 测试自动化的门槛。
docker run -i --rm ghcr.io/apithreshold/apithreshold:0.1.0 serve --transport stdio
{
"mcpServers": {
"apithreshold": {
"command": "docker",
"args": [
"run",
"-i",
"--rm",
"ghcr.io/apithreshold/apithreshold:0.1.0",
"serve",
"--transport",
"stdio"
],
"env": {
"APITHRESHOLD_LLM_PROVIDER": "<value>",
"OPENAI_API_KEY": "<your-secret>",
"ANTHROPIC_API_KEY": "<your-secret>",
"APITHRESHOLD_LICENSE": "<your-secret>"
}
}
}
}传输方式:stdio
需配置环境变量:APITHRESHOLD_LLM_PROVIDEROPENAI_API_KEYANTHROPIC_API_KEYAPITHRESHOLD_LICENSE
APIThreshold 和普通的 API 测试框架有什么区别?
APIThreshold 不是测试执行框架,而是质量评估层。它专门评估 AI 生成的测试代码质量,通过评分和门控机制确保生成的测试达到标准,需要配合 Jest、Pytest 等实际测试框架使用。
支持哪些 API 服务的预配置文件?
目前明确支持 Stripe 和 Twilio 的预配置测试配置文件。这些配置文件包含了针对这些服务的测试最佳实践和质量标准。
免费层级有什么限制?
服务提供免费层级,但具体的调用次数、评分请求限制等需要查看官方文档。适合个人项目和小规模使用场景。
渐进式门控机制是如何工作的?
该机制根据预设的质量阈值对生成的测试进行评分,只有达到阈值的测试才会被标记为可用。低于阈值的测试会触发改进建议,AI 助手可以基于反馈重新生成更高质量的测试代码。
CertScore website risk-signal tools for scans, findings, evidence, and latest-domain lookups.
★ 1.5kStripe 官方支付/账单工具
MCP for AI compliance documentation across SR 26-2, EU AI Act, NIST AI RMF, and ISO/IEC 42001.
★ 18.0kGitHub 官方 MCP 服务器
Feature flagging and A/B testing platform with AI-first experimentation workflows.
评论
还没有评论,来做第一个分享体验的人吧。