Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), şirketlerin yapay zeka modellerinden kaynaklanabilecek potansiyel riskleri test etmelerine ve anlamalarına yardımcı olmak için Dioptra adındaki aracı yeniden yayımladı.

Dioptra, modüler, açık kaynaklı ve web tabanlı bir araç olup, modelleri karşılaştırma ve araştırma amacıyla kullanılabilir ve aynı zamanda modelleri "red-teaming" ortamında simüle edilmiş tehditlere maruz bırakmak için ortak bir platform sağlar. Bu araç, özellikle yapay zeka modelinin eğitildiği verileri "zehirleyerek" performansın düşmesine yol açan kötü niyetli saldırılarla ilgili yapay zeka risklerini değerlendirmeyi, analiz etmeyi ve izlemeyi amaçlar. Dioptra, ABD hükümetinin gelişmiş yapay zeka model testlerini geliştirme çabalarının bir parçası ve İngiltere'nin AI Safety Institute'un benzer bir amaçla tasarlanan Inspect aracının lansmanını takip ediyor. Ayrıca Dioptra, NIST'in yapay zeka sistemi testlerine yardımcı olmasını ve yapay zeka güvenliği ve emniyeti için standartlar oluşturmasını emreden Başkan Joe Biden'ın yapay zeka konusundaki yürütme emrinin bir ürünü.

Dioptra, modellerin tamamen risksiz hale gelmesini iddia etmese de, hangi tür saldırıların bir yapay zeka sisteminin daha az etkili çalışmasına yol açabileceğini aydınlatabilir ve performans üzerindeki etkisini niceliksel olarak gösterebilir. Özellikle, Dioptra yalnızca Meta'nın Llama ailesi gibi yerel olarak indirilebilen ve kullanılabilen modellerde doğrudan çalışır. OpenAI'nin GPT-4 gibi bir API ile kullanımda olan modellerse şu anda bu araçla uyumlu değil.