Test ve test otomasyonu neden ölçülür?

Neden herhangi bir şeyi ölçüyorsunuz? Örneğin kendi otomobilinizi ele alalım. Çoğu insan, en azından bir noktada, otomobillerinin ulaştığı galon başına mili veya litre başına kilometreyi ölçmüştür; birkaç kişi düzenli olarak ölçer.

Bunu yapmak için bir dizi iyi neden vardır, örneğin:

• otomobilin iyi bir yatırım olup olmadığına karar vermek;
• seçenekleri değerlendirmek, alternatifleri karşılaştırmak ve gelişmeyi izlemek;
• sorunlar hakkında erken uyarı almak ve tahminlerde bulunmak;
• bir standarda veya rekabete göre kıyaslama yapmak.

Bunların hepsi sadece bir otomobilin yakıt tüketimi için değil, aynı zamanda test ve test otomasyonu için de geçerlidir. Bu kitap test otomasyonu hakkında olmasına rağmen, ölçümlerle ilgili bu bölümde, test otomasyonu için ölçümlere bakmanın yanı sıra test için ölçümleri de göz ardı edemeyiz.

Yalnızca bir şeyi ölçecekseniz, test sürecinin bir ölçüsü, otomasyon sürecinin bir ölçüsünden daha önemlidir. Zayıf bir otomatikleştirilmiş test süreci, ne kadar iyi otomatikleştirilmiş olursa olsun, size iyi bir manuel test sürecinden daha az fayda sağlayacaktır.

İyi bir manuel test rejimi, test otomasyonunun üzerine inşa edileceği sağlam bir temeldir. Şimdi, test etme ve test otomasyonu için geçerli olabilecekleri için yukarıda listelenen ölçüm nedenlerini ele alıyoruz.

Yatırım Getirisi

Yatırım getirisi (ROI) iki nedenden dolayı hesaplanabilir: bir şeye yatırım yapmadan önce (geliştirilmiş test etme veya bir araç satın alma gibi), ne kadar kazanabileceğinizi tahmin etmek için ve önerilen değişiklik uygulandıktan sonra nasıl yapılacağını görmek için. aslında çok şey kazandın. Birincisi, ölçümü tahmin için kullanmak, ikincisi ise onu değerlendirme için kullanmaktır.

Geliştirilmiş testlerden elde edilen yatırım getirisi

Aşağıdaki örnek, test uygulamalarını iyileştirmeye yönelik bir yatırım için (otomasyon olmadan) ROI’nin nasıl hesaplanabileceğini göstermektedir. Mevcut test sürecinin yılda 10.000 ABD dolarına mal olduğunu ve normalde canlı kullanımın ilk altı ayında bulunabilecek kusurların yaklaşık %70’ini bulduğunu varsayalım.

Testteki bir hatayı düzeltmenin maliyetinin 100 ABD Doları olduğunu ve bir kusuru yayınladıktan sonra düzeltmenin maliyetinin 1000 ABD Doları olduğunu varsayalım. (Bunlar, bu yazıyı yazdığım sırada orta ölçekli bir kuruluş için ihtiyatlı bir şekilde gerçekçi tahminlerdir. Kuruluşunuz için bu hesaplamayı yapmak için varsa kendi rakamlarınızı kullanın.)

Sistemin geliştirilmesi sırasında belirli sayıda kusur eklenmiş olacaktır. Bu örnek için, bunun tipik bir sistemde veya büyük geliştirmede 1000 civarında olduğunu varsayalım. Varsayılan %70’lik bir DDP ile bu, testte yaklaşık 700 kusurun bulunacağı ve serbest bırakıldıktan sonra 300 kusurun bulunacağı anlamına gelir.

Test sürecini iyileştirmek için ek 10.000$ yatırım yapmayı düşünüyoruz. Bu, örneğin DDP’mizi %70’ten %90’a çıkarmamızı sağlayacağını düşündüğümüz test teknikleri ve iyileştirilmiş dokümantasyon eğitimi içerebilir. Bu değerli bir yatırım olur mu? ROI’yi gösterildiği gibi bir yıl içinde hesaplayabiliriz.

Eklenen kusurların sayısı (örnekte 1000), örneğin tüm geliştirme ve test belgelerinin denetimi uygulanarak, bir büyüklük sırasına göre (100’e) düşürülürse, ROI hesaplamasının farklı bir ROI vereceğini unutmayın.

Yalnızca 100 hata eklendiğinde, iyileştirilmiş testlere yapılan 10000$’lık yatırım hala faydalıdır, ancak yatırım getirisi ilk yılda yalnızca %80’dir. (Bu hala çok değerli bir yatırım getirisidir.) DDP’miz %70’ten yalnızca %80’e yükselmiş olsaydı, bu yine de 8000/o’luk bir YG sağlardı.

Performans metrikleri
Metrikler Nedir
Metrik Nedir Google
web analizi konusunda, analiz araçlarını kullanarak hangi bilgileri elde edebilirsiniz?
Yazılımda metrik nedir
Metrik kategorisi
web sitenizde analiz programları kullanırken “dönüşüm” terimi ne anlama gelir?
Web sitenizde analiz programları kullanırken

Test Otomasyonundan Yatırım Getirisi

Bir test aracına yatırım yapmak, çoğu kuruluş için büyük bir yatırımdır ve tıpkı satın aldığınız otomobilin iyi bir alım olup olmadığını bilmek isteyeceğiniz gibi, bu yatırımın değerli olup olmadığını ve paranızın karşılığını sağlayıp sağlamadığını bilmek önemlidir.

Bir test aracında yatırım getirisini hesaplamak için basit bir model gösterilmektedir. Belirli bir test setini manuel olarak çalıştırmanın maliyetini, aracın kendisinin maliyeti ve testleri otomatikleştirmenin maliyeti de dahil olmak üzere, aynı testleri otomatik olarak çalıştırmanın maliyetiyle karşılaştırmamız gerekir.

Otomatikleştirilmiş testlerin toplam maliyeti, aynı testleri manuel olarak gerçekleştirmenin toplam maliyetinden azsa, faydaların eşit olduğu varsayılarak otomasyona yapılan yatırım geri ödeme yapıyor demektir. Avantajlar arasında çalıştırılan test sayısı, ulaşılan kapsam, müşteri memnuniyeti veya durumunuzla ilgili olan her şey yer alabilir.

Test maliyetleri, insanların zamanını, donanımını ve yazılım kaynaklarını içerecektir. Örnekte, bunların test tasarım maliyetlerine dahil edildiği varsayılmıştır. Otomatikleştirilmiş testlerin maliyetleri aynı zamanda aracın maliyetini, kullanımıyla ilgili eğitimi ve gereken ek donanım veya yazılımı da içerecektir. Bunların tablodaki takım maliyetine dahil edildiği varsayılmaktadır.

Bu basit örnek için, tam bir test döngüsü yürütme maliyetinin, bu testleri manuel olarak yürütme maliyetinden önemli ölçüde daha düşük olduğunu varsaydık (1000$’a karşı 5000$).

Bu eninde sonunda doğru olacak olsa da (bu kitaptaki ilkeler izlenirse), ilk otomatik döngü için doğru olmayacaktır. Ancak, temel prensibi göstermek için basit bir model kullanacağız. 10. Bölüm, bu faktörü dikkate alarak bir araç için daha gerçekçi bir iş gerekçesinin nasıl oluşturulacağını tartışır.

Uygulanabilecek tek model bu basit model değildir. Örneğin, otomatik test aslında daha az maliyetli olmayabilir, ancak bir ürünün pazara daha erken ulaşmasını sağlayarak şirkete rekabet avantajı sağlıyorsa, daha pahalı olmasına rağmen yine de iyi bir yatırımdır.

Otomasyondan bir ROI göstermesi muhtemel olmayan bir ölçüm, test tarafından bulunan kusurların sayısıdır (ancak bu, testten elde edilen ROI için çok önemlidir). Manuel testler, hataları bulmada otomatik testlerden daha iyidir.

Yüksek oranda otomatikleştirilmiş bir test rejiminde bile kusurların çoğu, testler otomatikleştirildiğinden ziyade ilk kez tasarlanıp çalıştırıldığında (manuel olarak) bulunur. Hataların %85’inin manuel testlerle bulunduğunu tahmin ediyor. Test otomasyon uzmanlarından oluşan bir düşünce kuruluşu, kusurların %60-80’inin test geliştirme sırasında bulunduğu konusunda hemfikirdir.

Ancak bu, otomasyonun faydalı olmadığı anlamına gelmez. Otomatikleştirilmiş testlerin gerçek değeri, genellikle yeni kusurlar bulmaktan çok güven sağlamaktır. Test ve test otomasyonunun maliyet ve faydalarını ölçmediğiniz sürece, iş açısından yatırımınızın değerli olup olmadığını bilemezsiniz.

The post Metrikler first appeared on Akademi Delisi (Tez Yaptırma).