Platformlar Arası Farklılıklar
Platformlar Arası Farklılıklar
Test verilerinin ‘taşınabilir’ olarak tasarlanmasına rağmen, farklı donanım platformlarında test sonuçlarının ne kadar farklı olduğunu bulmak şaşırtıcı geldi. Platformlar arasında karşılaştırılamayacakları için ikili dosyaların test sonucu verileri olarak çok az kullanılacağı her zaman biliniyordu. (Beklenen sonuç verilerinin tüm platformlar için saklanması ne arzu edilir ne de pratik olduğundan, bir platformdaki Test Sonuçlarını farklı bir platformdaki beklenen sonuç verileriyle karşılaştırmak gerekir.)
Ancak, farklı platformlarda aynı testlerle oluşturulan ASCII dosyalarındaki ince farklılıklara hazırlıklı değildik. Farklılıkların çoğu, mevcut karşılaştırıcılarla akıllıca ele alınabilirdi, ancak planlanmamış bir çaba gerektirdi. Bu farklılıkların üstesinden gelinmesi en zor olanı, öğelerin çizilme sırası gibi grafiksel çıktı verileridir.
Açıkça söylemek gerekirse, beklenmedik farklılıkların çoğu, test edilen programlardaki kusurlardı. Ancak, net etkileri olmadığından ve kesinlikle son kullanıcı üzerinde hiçbir etkileri olmadığından, kabul edilebilir farklılıklar olarak değerlendirildiler. Bir hatayı düzeltmek veya karşılaştırıcının farkı görmezden gelmesini sağlamak, tamamen nesnel bir yargı değildir. Bizim için bu, öncelikle her özel durumda harcanan çabaya bağlıydı.
Hata Ayıklama Bilgileri
Uygulamaların otomatik olarak test edilmesi ciddi bir şekilde başladığında, başarısız test durumlarında hata ayıklama kısa süre sonra zaman alıcı bir görev haline geldi. Büyük testler verimsizdi çünkü yazılım mühendisi genellikle başarısız olan her test durumunu izleme araçlarıyla birkaç kez yeniden çalıştırmak zorunda kalıyor ve ardından hatayı izlemeye başlamadan önce testin başarısızlık noktasına ulaşmasını beklemek zorunda kalıyordu.
Yazılım mühendislerinin sorunu belirlemek için daha fazla çalışma yapması gerektiğinden, hata ayıklama etkinliği test otomasyonu altında da zarar gördü. Otomasyondan önce, uygulama mühendisleri bir hatayı belirlediler ve ardından tam yerini saptamaya çalışmak için farklı girdi verileri veya eylemleri denediler.
Daha sonra bulgularını yazılım mühendisine sundular. Otomatikleştirilmiş testlerde, yazılım mühendislerine test senaryosunun neden başarısız olduğunu anlamaları (bu genellikle test senaryosunun neyi başarmaya çalıştığının anlaşılmasını gerektiriyordu) ve ardından hatayı kendilerinin belirlemesi kalıyordu.
Bu sorun, aracın hata ayıklamaya yardımcı olmak için değil, kusurları bulmak için özel olarak tasarlanmış olan ilk sürümleri tarafından daha da kötüleştirildi. Daha sonraki sürümlerde bu sorunu kolaylaştırmak için bir dizi test aracı geliştirmesi belirlendi ve uygulandı.
Platform Mimarisi
Çeşitli donanım platformu mimarilerindeki farklılıklar bazı sorunlara neden oldu. Bu farklardan en bariz olanı işlemci hızıdır. Test aracı, ‘takılan’ veya sonsuz bir döngüye giren bir test senaryosunu iptal etme yeteneğine sahiptir.
Bu, test senaryosunun beklenen çalışma süresinin test tanımının bir parçası olarak bildirilmesiyle elde edilir. Bir test senaryosunun çalışma süresi, farklı platformlarda on kat değişebilir, böylece ya bir test senaryosu erken iptal edilebilir ya da test aracının birkaç saat “ölen” bir test senaryosunu iptal etmesini beklerken makine zamanı boşa harcanabilir.
Dijital platformlar
Türkiye dijital platformlar
Dijital TV platformları
En iyi dijital platformlar
Dijital TV platformları fiyatları
Tüm dijital platformlar
Netflix gibi platformlar
Ücretli TV platformları
Teknik Olmayan Sorunlar
Çok fazla değişiklik çok erken
Çok erken çok fazla değişiklik üstlenilmesi bir sorundur. Test otomasyonunun kendisi dışında belki de en önemli değişiklik, uygulama mühendislerinin geliştirme gruplarına alınmasıyla sonuçlanan yeniden yapılanmaydı. Kendi gruplarına bırakılsalardı, diş çıkarma sorunlarının çözülmeye çalışıldığı bir dönemde daha az kişi devreye girecek ve bu sorunlar daha verimli ve çok daha az acıyla çözülebilecekti.
Yeniden yapılanma aynı zamanda bazı yazılım mühendislerinin daha önce uygulama mühendisleri tarafından gerçekleştirilen testleri yapmaları gerektiği anlamına geliyordu. Bu, dirençle karşılaştı – teste ve alete karşı direnç. Sorun, test eğitimi programı tarafından kısmen ele alındı.
Diğer sorunlar, yazılım sürümü sürümündeki bir değişiklikten kaynaklanmıştır. Sistem testi otomasyonuna başladığımızda, daha önce manuel olarak test edilmiş olan iki platform dışında tüm platformlar için Visula 5.0 kullanılması planlanmıştı. Otomatikleştirilmiş testlerin tamamlanması, yazılım bağlantı noktalarının kalan platformlara tamamlanmasıyla aynı zamana denk gelecekti.
Ancak, Visula 5.0’ın Visula 5.1 ile değiştirilmesine karar verildi. Visula 5.0 sistem test otomasyonu tamamlandıktan sonra, Visula 5.1’deki yeni ve değişen işlevsellik için başka testler eklemek gerekliydi. Bu, geliştirme gruplarının sorumluluğu haline geldi (çünkü bunlara artık uygulama mühendisleri de dahildi) ve bu nedenle, testi otomatikleştirmeye yönelik ilk girişimde arzu edilenden çok daha fazla insanı dahil etti.
Geliştirme testinin zımni otomasyonu
%100 test otomasyonuna ulaşma hedefi geniş çapta duyuruldu, ancak yeterince iyi nitelendirilmedi. Geliştirme testinin (geliştirme personeli tarafından gerçekleştirilen birim veya modül testi) otomatikleştirileceğine dair bir ima vardı. Bunun sonucunda bazı yazılım mühendisleri test araçlarına hızlıca göz attılar, bir veya daha fazla sorun gördüler ve sonra geri adım attılar. Hepsini araca daha yararlı bir şekilde tanıtmak için kaynaklar mevcut değildi.
Diş çıkarma sorunları gecikmelere neden oldu. Tanıtıldığı ilk birkaç hafta içinde otomatik testlere dahil olan insan sayısı nedeniyle, insanların teste yönelik yeni yaklaşımla karşılaştıkları sorun ve zorlukların sayısı çok fazla görünüyordu. Sorunların çoğunun düzeltilmesi oldukça basitti, ancak çözümü ilgili herkese iletme görevi zordu.
Araç, herkesin sorunları için iyi bir bahane oldu. Test aracında suçlanan birçok sorunun onunla hiçbir ilgisi olmadığı bulundu. ‘Otomatik test’ çok genel bir anlam kazanmıştı. Otomatik test sırasında karşılaşılan herhangi bir sorun Otomatik testin kendisinden sorumlu tutulabilirdi! Çoğu yönetici bunu göremedi ve hâlâ Otomatik Test’in projelerinin programın gerisinde kalmasına ve bütçeyi aşmasına neden olduğuna inanıyorlar.
Ürün sürümü başına test çabası
Otomatik teste tabi tutulacak ilk büyük Visula sürümü için, platform başına ortalama çaba, manuel testten beklenenin yaklaşık %48’i kadardı. Bu ortalama düşüyordu; Yazma sırasında, yazılım henüz tüm platformlara taşınmamıştı.
Tüm diş çıkarma sorunlarının bir sonucu olarak, ilk platform gerçek bir kazanç göstermedi (manuel testten beklenebilecek test çabasının %96’sı). Sonraki platformlar, öngörülen manuel çabanın %60, %50 ve %35’ini kullandı. Dokuzuncu platformdaki test çabasının %20 civarında olması bekleniyordu. Önceki yazılım sürümü sürümleriyle karşılaştırıldığında şimdiye kadarki ortalama test çabasını göstermektedir.
Dijital platformlar Dijital TV platformları Dijital TV platformları fiyatları En iyi dijital platformlar Netflix gibi platformlar Tüm dijital platformlar Türkiye dijital platformlar Ücretli TV platformları