Testleriniz Playwright, Selenium ve pytest olarak kalır. Bunların yerini almayız. Onları kurumsal kullanıma hazır hale getiririz; kodunuz, kanıtlarınız ve geçmişiniz size ait kalır.

Kendi geçmişinizden yapay zekâ ile test riski tahmini.

Nexus StudioQA, her test ve tarayıcıya bir sonraki çalıştırmada sorun yaşanma riski için 0 ile 100 arasında puan verir. Yalın JavaScript ile yazılmış bir lojistik regresyon modeli, makinenizdeki çalıştırma geçmişinden öğrenir. Geçmiş verileri çok az olduğunda üstel ağırlıklı ortalama devreye girer. Her puanla birlikte, puanı belirleyen etkenler de listelenir.

Nexus StudioQA ekibi tarafından, Verdict System LLC.

Son güncelleme: .

Neleri inceler

Tahmin aracı, her test ve tarayıcı için Geçmiş bölümündeki çalıştırmaları kronolojik sırayla okur ve son 10 çalıştırmadan sekiz özellik oluşturur.

ÖzellikNeleri ölçer
fail_rate_5, fail_rate_10Son 5 ve son 10 çalıştırma içindeki sorunlu çalıştırmaların oranı
flaky_rate_10Yeniden deneme gerektiren veya kararsız olan çalıştırmaların oranı
alternationSonucun başarılı ve başarısız arasında ne sıklıkla değiştiği
last_problemSon çalıştırmanın sorunlu olup olmadığı
streak_signedMevcut seri: art arda sorunlar için pozitif, art arda başarılar için negatif
duration_cv, duration_driftSürenin ne kadar değişken olduğu ve son çalıştırmanın medyana kıyasla durumu

Sorunlu bir çalıştırma BREACHED, BREACHED_FLAKY, TEST_DRIFT, TIMEOUT, CRASHED, UNREACHABLE veya BLOCKED durumundadır. Kaos çalıştırmaları bilinçli olarak dışarıda bırakılır; çünkü bu çalıştırmalardaki hatalar kasıtlı olarak oluşturulur ve modele yanlış şeyler öğretir.

Model ve yedek yöntemi

DurumYöntemÇıktı
En az 4 sorunlu ve 4 sorunsuz örnek içeren, bir araya getirilmiş en az 12 örnekTüm test ve tarayıcıların kayan pencereleri üzerinde birlikte eğitilen lojistik regresyonModel olasılığından elde edilen 0 ile 100 arasında puan
Bundan daha az örnekSezgisel yöntem: %50 sorunların EWMA'sı, %20 sonuç değişimi, %20 tutarsızlık oranı, %10 süre istikrarsızlığı0 ile 100 arasında puan
Bir test için 3'ten az çalıştırmaYokSatır yok; bu tür testlerin sayısı bildirilir

60 ve üzeri puanlar YÜKSEK, 30 ile 59 arası ORTA, kalanlar ise DÜŞÜK olarak sınıflandırılır. Model bloğu, doğruluğunu çoğunluk sınıfını temel alan bir referansa göre raporlar; bu doğruluk, kendi eğitim verileri üzerinde değil, birini dışarıda bırakmalı çapraz doğrulamayla (200 örneğin üzerinde 5 katlı) ölçülür.

Tutarsız, bozuk veya belirsiz

Her seferinde başarısız olan bir test öngörülebilirdir: bozuktur ve yeniden denemek bunu düzeltmez. Bu yüzden her satır bir örüntü de içerir. Değişken sonuçlar tutarsızlığı, sonuçlar değişmeden %80 veya üzeri başarısızlık oranı bozukluğu, diğer tüm durumlar ise belirsizliği gösterir. Studio, testleri aynı şekilde üç ayrı listede sıralar: belirlenimci olmayanlar, bozuk olanlar ve başarısız çalıştırmalara harcanan saniye cinsinden maliyet. Bir çiftin oranının anlamlı kabul edilmesi için en az 5 çalıştırma gerekir.

Nerede çalışır ve nerede görünür

nexus predict [TC] [--browser b] [--json] [--no-save] ile çalışır ve çalışma alanınıza evidence/mlops/flakiness-predictions.json dosyasını yazar. Studio, sıralamayı Evidence Locker'da gösterir. Harici hizmet veya ek bağımlılık kullanmaz: eğitim yalnızca JavaScript ile yapılır, dolayısıyla geçmişiniz makinenizden asla çıkmaz.

Sık sorulan sorular

  • Bu bir büyük dil modeli mi?

    Hayır. Çalıştırma geçmişiniz üzerinde yalnızca JavaScript ile eğitilen küçük bir lojistik regresyon modelidir. Belirlenimcidir: aynı geçmiş aynı puanları verir.

  • Uygulamadaki bir hatayı mı öngörür?

    Bir testin sonraki çalıştırmasında sorun yaşanma riskini öngörür; buna tutarsızlık ve ortam kaynaklı başarısızlıklar da dahildir. Kodunuzu okumaz veya neyin yanlış olduğunu söylemez.

  • Ne kadar geçmişe ihtiyaç duyar?

    Bir testi puanlayabilmek için en az 3 çalıştırma gerekir. Modeli eğitmek için en az 4 sorunlu ve 4 sorunsuz çalıştırma içeren, bir araya getirilmiş en az 12 örnek gerekir; o zamana kadar EWMA sezgisel yöntemi kullanılır.

  • Puanla birlikte neden etkenler gösterilir?

    Her puan, son çalıştırmalardaki yüksek sorun oranı veya aralıklı olarak başarılı ve başarısız sonuç verme örüntüsü gibi, kolay anlaşılır en fazla üç gerekçeyle birlikte gösterilir; böylece sıralama geçmişle karşılaştırılarak denetlenebilir.

Bir sonraki çalıştırmada hangi testlerin başarısız olacağını görün.

Her şey kendi makinelerinizde çalışır. Kart gerekmez.