微软发布PyRIT,用于识别生成式AI系统中的风险
科技IT 2024-02-26 69852srtt
2月26日消息,据外媒报道,微软发布了一个名为PyRIT的开放访问自动化框架,用于主动识别生成式AI系统中的风险。
微软人工智能红色团队负责人Ram Shankar Siva Kumar表示,红色团队工具旨在“使全球每个组织都能利用最新的人工智能进步进行负责任的创新”。
该公司表示,PyRIT可用于评估大型语言模型(LLM)端点对不同伤害类别的稳健性,如捏造、滥用和禁止内容。并且还能用于识别从恶意软件生成到越狱的安全危害,以及身份盗窃等隐私危害。
PyRIT有五个接口:目标、数据集、评分引擎、支持多种攻击策略的能力,以及包含一个内存组件,该组件可以采用JSON或数据库的形式来存储中间输入和输出交互。
评分引擎还提供了两种不同的选项来对目标人工智能系统的输出进行评分,允许Red Team使用经典的机器学习分类器或利用LLM端点进行自我评估。
微软表示:“目标是让研究人员能够对他们的模型和整个推理管道在不同伤害类别下的表现有一个基线,并能够将该基线与他们模型的未来迭代进行比较。”
“这使他们能够获得关于他们的模型目前运行情况的经验数据,并根据未来的改进检测性能的任何下降。”换言之,该工具旨在通过生成提示来突出风险“热点”,这些提示可用于评估人工智能系统并标记需要进一步调查的领域。
微软进一步承认,Red Team生成式AI系统需要同时探测安全性和负责任的人工智能风险,这项工作更具概率性,同时也指出了生成式AI体系结构的巨大差异。
The End
相关阅读
- 比特网早报:黄仁勋现身链博会开幕式用中文演讲,AMD重启对华出口AI芯片
- 特斯拉将在德州奥斯汀推出无人驾驶出租车服务
- 专访Fortinet中国区高管:应对挑战,把握机遇,共筑网络安全新篇章
- 比特网早报:扣子3.0正式上线专业自媒体Skill,科大讯飞发布星火多模态大模型X2-VL
- 7月8日-10日兆龙互连邀您参观慕尼黑电子展N5.5236展台
- 助力全电气时代:浩亭亮相2025汉诺威工业博览会
- IDC 警告:2026 年 PC 市场出货量将减少 9%,内存短缺将持续数年
- 乘“数”而上 让新型电力系统更智慧――为电力行业数智化转型贡献华为智慧
- 比特网早报:百度智能云全面升级百舸AI计算平台,腾讯机器人实验室推出其第五代机器人
- 2026H1智能手机SoC市场:联发科、高通份额下滑,苹果和展锐逆势增长!