Mobil tesztelés III. rész: Hét automatizált mobiltesztelési tipp (és öt nagy eszköz)

• 

Bármely mobilszolgáltató boltjába is sétálunk be, számos mobileszközt láthatunk eladásra. Természetesen biztosítani szeretnénk azt, hogy az alkalmazás minden ilyen eszközön jól működjön a régi eszközök mellett, amelyekkel egyes felhasználók rendelkeznek. A telefonon, vagy a táblagépen futtatott legegyszerűbb manuális tesztek végrehajtása is sok időbe telik. Ha megszorozzuk ezt az időt a támogatni kívánt eszközök számával, akkor az hatalmas tesztelési terhet idéz elő!
Itt jön be a képbe az automatizált mobil tesztelés. Szerencsések vagyunk, hogy olyan időkben tesztelünk, ahol már számos termék és szolgáltatás áll rendelkezésünkre, amelyek segítik automatizálni a mobil tesztjeinket. Később öt ilyen termék kerül bemutatásra és megvitatásra. Először is nézzünk meg 7 tippet, amelyek abban segítenek, hogy sikeresek legyünk az automatizált mobiltesztelés terén.

• 

Első tipp: Ne tesztelje mobil készüléken azokat a dolgokat, amelyek máshol könnyebben tesztelhetők

A mobil automatizálás nem alkalmas arra, hogy a back-end szolgáltatásokat tesztelhessünk vele, valamint általános logikák tesztelésére is akkor használható, ha az alkalmazás csak mobil eszközön érhető el. A mobil teszteket arra kell felhasználni, hogy ellenőrizzük velük a megjelenő elemeket a készüléken, és vizsgáljuk, hogy ezek az elemek a megfelelő használat mellett a helyes működést mutatják. Tegyük fel, hogy van egy jelentkezési lap az alkalmazásban. A mobil tesztelés során meg kell győződni arról, hogy az űrlap helyesen jelenik meg felületen, minden mező kitölthető, ha van hibaüzenet, az helyesen jelenik meg, és a Mentés gombra való kattintáskor az adatok elmentődnek. Azt viszont nem szeretnénk tesztelni, hogy a hibaüzenet a helyes szöveget mutatja-e, vagy hogy a mezők helyesen elmentődnek-e. Ezeket a teszteket viszont elmenthetjük egy szabványos webböngésző, vagy API automatizálás céljából.

Második tipp: Döntse el, hogy a teszteket valós eszközökön, vagy emulátoron kívánja-e futtatni

A tesztek valós eszközökön való futtatásának az előnye az, hogy úgy viselkednek, mint a saját felhasználók által használt eszközök azokkal a lehetőségekkel együtt, hogy az akkumulátor alacsony, esetleges csatlakozási problémák merülnek fel, valamint más alkalmazások is futhatnak a készüléken. Emiatt viszont az is valószínűbb, hogy a tesztek sikertelenek lesznek, mert a készülék lefagy, vagy egy másik tesztelő használja azt éppen. Az ilyen jellegű problémák viszont elkerülhetők emulátor használatával. Az emulátorok nem teljesen utánozzák az igazi felhasználói élményt, ezért el kell dönteni, hogy melyik módszer a legmegfelelőbb az alkalmazás tesztelésére.

Harmadik tipp: Egyszerre csak egy dolgot teszteljünk

A mobil tesztek eltérőek lehetnek a fentiekben tárgyalt valós eszközökben és más kérdésekben is, például a különböző telefonokban és táblagépekben található változatok miatt. Sok időt lehet eltölteni úgy, hogy a sikertelen teszteket vizsgáljuk, és diagnosztizáljuk, hogy miért nem sikerült. Emiatt jó stratégia a tesztek szétválasztása. Például, ha egy bejelentkezési képernyőt tesztelünk, és előszőr a sikeres, majd a sikertelen bejelentkezést vizsgáljuk, akkor érdemes ezeket a teszteket nem ugyanabban a folyamatban megvizsgálni, hanem külön választani.

Negyedik tipp: Készüljön fel a tesztek újra futtatására

Ahogyan azt a 3. tippben is említettük, előfordulhat, hogy némi meghibásodást tapasztalunk a mobil tesztek során. Ez lehet egy sikertelen teszt is, amit az emulátor is okozhat úgy, hogy a szolgáltatás egy pillanatra elveszíti a kapcsolatot. Emiatt érdemes beállítani egy rendszert, ahol a tesztek egyszer lefutnak, majd azután automatikusan újra futtatják a sikertelen teszteket. Ezután beállíthatunk egy figyelmeztetést is, amely csak akkor értesít minket, ha a teszt másodjára is sikertelen lett.

Ötödik tipp: Ne érezzük, hogy minden létező eszközt tesztelni kell

Mint tesztelők, szeretnénk, hogy nagyon alaposak legyünk. Szeretnénk minden lehetséges permutációt végig futtatni a tesztelés során. A mobiltesztelés során azonban ez hamar megváltozik. Minél több eszközt futtatunk egy automatizált tesztelés során, annál több hiba lesz. Minél több a hiba, annál több időt kell eltölteni a problémák diagnosztizálásával. Ez sajnos elveszi az időt az új funkciók tesztelésétől, illetve a feltáró tesztektől. Érdemes kutatásokat végezni, hogy milyen eszközökkel rendelkeznek a felhasználók, valamint listát készíteni azokról, amelyeken a legjobban elvégezhető a tesztelés, és amely a legtöbb eszközt lefedi.

Hatodik tipp: Képernyőképek készítése

Semmi sem frusztrálóbb attól, mikor azt látjuk, hogy egy teszt sikertelen, és nem tudunk rájönni, hogy miért. A képernyőképek segítenek meghatározni, hogy a tesztlépés ellenőrzése közben tényleg a megfelelő felületen voltunk-e, illetve, hogy az összes elem látható volt-e. Néhány mobil tesztelő cég a tesztelés előrehaladtával képernyőképeket készít, mások viszont automatikusan csak egy képernyőképet készítenek az utolsó nézetről, mielőtt egy teszt meghiúsulna. Egy tesztet úgy is lehet futtatni, hogy a specifikus lépésekről készítünk csak képernyőképet.

Hetedik tipp: Használjunk vizuális validációt

A vizuális validáció elengedhetetlen a mobil teszteléshez. Számos hiba, amelyekkel találkozunk, olyan hiba lesz, amely az elemek megjelenéséről szól a képernyőn. Tesztelhetünk egy elemet, hogy a felületen megjelenik-e, de ha nincs módunk összehasonlítani egy képernyőképpel, akkor azt ténylegesen nem tudjuk ellenőrizni, hogy láthatók-e a felhasználók számára. Az Applitools kiváló termék a vizuális összehasonlításhoz. Integrálódik a közös tesztprogramokkal, mint például a Selenium, Appium és a Procator. Az Applitools segítségével vizuális hitelesítést készíthetünk a tesztekben, és minden egyes készülékről is, amelyet tesztelünk, és a képek összehasonlításához használhatjuk a képernyők teljes gyűjteményét.
Most beszéljük néhány jó eszközről a tesztautomatizáláshoz. Már említettük az Applitools-t, de még 4 eszközt szeretnénk megemlíteni, amelyek nagyszerűek a mobil teszt automatizáláshoz. A mobil világ tele van nyílt forráskódi és fizetős automatizált teszteléssel. Ebben a bejegyzésben csak az általam használt termékeket mutatom be, de még rengeteg nagyszerű termék van a piacon.
Visual Studio App Center: Microsoft termék, amely lehetővé teszi az Android és az iOS alkalmazások valós eszközökön történő tesztelését. Minden vizsgált lépésről egy képernyőképet készítünk, ami megkönnyíti hiba esetén annak felderítését.

Appium: Egy nyílt forráskódú termék, amely integrálódik a Seleniummal, és lehetőséget biztosít a teszteléshez az eszköz emulátorokon (vagy valódi eszközökön, hogy ha integrálva vannak az eszköz farmon).

Sauce Labs: A Sauce Labs kiválóan alkalmas mind mobil eszközökön, mind böngészőkön való tesztelésre mindenféle operációs rendszeren. A teszteket valós eszközökön, vagy emulátoron is elvégezhetjük, és a teszteket párhuzamosan is futtathatjuk. Jól integrálódik a Seleniumhoz és az Appiumhoz. A tesztek meghiúsulása esetén egy képernyőképet készít, és a hozzá tartozó tesztet is megtekinthetjük az eredményről.

Perfecto: Valódi eszközöket használ, és integrálódik a Visual Studio, az Appium és a Seleniumhoz. Ezek szimulálhatják a valós felhasználói feltételeket, például a hálózat elérhetőségét és helyét.

Bármilyen automatizált teszteszközt is használjon, ne felejtse el a fenti tippeket, és gondoskodjon arról, hogy átfogóan tesztelje az alkalmazást a mobilon anélkül, hogy sok időt töltene a hibajavítással.
Kezdetben azt mondtam, hogy ez a sorozat a mobil tesztelésről 3 blog bejegyzésben fog megjelenni, de rájöttem, hogy szükség lesz egy negyedik bejegyzésre is, amelyben a mobil biztonság tesztelés lesz a téma.

Forrás: https://thethinkingtester.blogspot.com/2018/08/mobile-testing-part-iii-seven-automated.html

A téma korábbi cikkei itt és itt olvashatók.