Hogyan mérjük a tesztelés hatékonyságát?

Általában nehéz megmérni a tesztelési folyamat, vagy a tesztcsapat működésének hatékonyságát. Segíthet viszont, ha például összehasonlítjuk a tesztcsapat által jelentett hibák számát azzal, hogy hány hiba jutott ki a felhasználókhoz. Nagy átlagban ha a hibák 10-15%-a kijut a végfelhasználókhoz, az elfogadhatónak tekinthető. Az utóbbi években a cégek nagyon sok pénzt költöttek, hogy növeljék a minőséget. Ennek köszönhetően a hibák kiszivárgási aránya 10% alá csökkent.

Hogyan mérjük?

Állítsunk fel egy sorrendet a hibák súlyossági fokához. Az alábbi súlyossági fokok lehetségesek:

Gyűjtsük össze a tesztelők és a felhasználók által jelentett hibákat súlyossági fok szerint kategorizálva.

Például:

A felhasználók jelentettek: 1 kritikus, 1 súlyos, 2 közepes és 5 apró hibát. Ezeket a hibákat a tesztcsapatnak kellett volna azonosítania. Azokat a hibákat, melyeket nem lehetett a tesztkörnyezetben leképezni, csak az éles, valós környezetben fordulnak elő, azokat a számolásnál nem vehetjük figyelembe.

A tesztelők jelentettek: 10 kritikus, 5 súlyos, 10 közepes és 10 apró hibát.

A tesztelés hatékonyságát a következőképpen számoljuk ki:

 T / (T + C) * 100

T = a tesztcsapat által jelentett hibák száma szorozva a súlyossági fok számával
C = a felhasználók által jelentett hibák száma szorozva a súlyossági fok számávalPéldánkban a tesztelés hatékonyságát az alábbiak szerint számoljuk ki:

T = 10 * 4 + 5 * 3 + 10 * 2 + 10 * 1 = 85
C = 1 * 4 + 1 * 3 + 2 * 2 + 5 * 1 = 16

Szóval a tesztelés hatékonysága:

85 / (85+16) * 100 = 84.16%

Tételezzük fel, hogy a felhasználók nem jelentettek hibákat a fenti példában, akkor a hatékonyság 100%.
Ha a tesztcsapat nem talál egy hibát sem, de a felhasználók megtalálják őket, akkor az eredmény 0%.

Tételezzük fel, hogy egy kis projektben sem a tesztelők, sem a felhasználók nem találnak semmilyen hibát (rendesen meg lett tervezve az alkalmazás és egy jó programozó kellőképpen leellenőrizte a saját munkáját), akkor a képlet nem működik a 0-val való osztás miatt, ebben az esetben a formulát még finomítani kell.TALÁLJ HIBÁKAT, KÜLÖNBEN A FELHASZNÁLÓK FOGNAK!■

Forrás:http://testermania.blogspot.com

Szerző: George Ukkuru