Mobil tesztelés – emulátorok vagy valós eszközök
Aki valaha is mobil fejlesztésre/tesztelésre adta a fejét, az nagyon jól tudja, hogy a mobil eszközök változatossága mekkora kihívást jelent. A tesztelésben hamar előjön a kérdés, hogy valós eszközöket, vagy valamilyen szimulációt használjanak az ellenőrzések alatt. Hogy hol van a kettő között az arany középút azt mindannyiunknak egyenként kell megtapasztalni.
A honlapok és mobil alkalmazások tesztelése nem új dolog. Most csak felidézem, hogy milyen helyzetek merültek fel, amikor elkezdtük tesztelni a webes alkalmazásainkat a mobiltelefonokon.
Fő célok
A használhatóság és a design területén nem kötöttünk kompromisszumokat, például a honlapnak működnie kell és jól kell kinéznie minden felhasználó mobilján. Az ügyfél biztosított számunkra egy elfogadható listát azokról a mobiltelefonokról, amiket támogatni akartak. Mi ezt a listát két részre osztottuk: érintőképernyősre és okos eszközökre.
Ezután a front-end fejlesztők be tudták határolni a honlap viselkedését és minden egyes támogatott mobil típusra megalkották az oda illő honlap stílust. Már a tesztelés kezdetén felmerült a fő kérdés: valódi eszközöket használjunk vagy elegendő lesz a szimuláció? Természetesen soha nem fogyunk ki az ötletekből és ebben az esetben is sok jó ötletünk volt, amit érdemes volt megvizsgálni. Egy kis kutatás után azt találtam, hogy minden gyártónak sok szimulátora van, mint például:
- iPhone – Xcode – Az Apple integrált fejlesztési környezete, amivel a Mac gépekre lehet nagyszerű alkalmazásokat fejleszteni.
- iPad – az Xcode használatával lehet szimulálni minden verzióra, beleértve a iOS 5.0-át is
- Blackberry – Blackberry Smartphone Simulators
- Nokia – Nokia távoli hozzáférés, Nokia asztali emulátorok (S60, S40)
- Android rendszerű telefonok – Android SDK
- Windows telefonok – Windows phone Developer tools
- Minden egyéb telefonra – MITE (Mobile Internet Testing Environment), ez egy asztali alkalmazás, amivel lehet a tartalmakat tesztelni és ellenőrizni. 2000 eszközt és 12000 eszközprofilt tud emulálni.
Mint látható ezekkel az emulátorokkal a piacon kapható eszközök legnagyobb részét le lehet fedni, de a fő kérdés még mindig megmaradt, hogy eléggé megbízhatóan lehet-e helyettesíteni a valódi eszközöket? Erre a kérdésre már a tesztelés első napján megkaptuk a választ. Sok példa bizonyítja, hogy a webes használhatóság és design emulátoros tesztelése nem elégíti ki az ügyfeleket. Példaként nézzük meg mit találtunk a Blackberry 8520-nál. A felső menü elemek a teljes képernyőt elfoglalják.
Más szimulátoron olyan helyzetek fordultak elő, hogy a Back to top link nem megfelelően működött vagy a képek átméretezése nem jól jelent meg a valós eszközön és mindezt megtetőzte a más-más operációs rendszer sajátos esetei
Ha emulátort használunk egy oldal tesztelésére, ne felejtsük el leellenőrizni az emulátor alapbeállításait és figyeljünk arra, hogy tükrözze a valós eszköz viselkedését, mint például a felbontás, maximum VM application heap size, RAM memória méret, Cache partíció mérete és az olyan egyedi jellemzőket, mint a JavaScript, alapértelmezett böngésző, operációs rendszer.
Tesztelőként a sávszélesség korlátait is figyelembe kell venni. Ha nem tudod milyen eszközt használj erre, akkor a Fiddler-t vagy a NetLimiter-t tudom javasolni, hogy szimuláld a GSM/GPRS hálózat sebességét. Ha olyan szerencsés vagy mint mi, hogy valódi eszközöket használhatsz, akkor a következőket ellenőrizd le:
- Érvényes-e a SIM-kártya?
- Wi-fi kapcsolat korlátozott sávszélességgel, hogy a mobilhálózatot szimuláljuk, így le lehet ellenőrizni, hogy a honlap betöltési ideje elég rövid-e, hogy az ügyfél elégedett legyen.
- A Cache memóriát ürítsd ki amikor az újrateszteléseket végzed!
- Az eszköz operációs rendszeréből mindig a legújabb verziót használd!
Böngészők vs. eszközök
A következő dolog amit figyelembe kellett vennünk az a támogatandó böngészők listája. A népszerű böngészőket (Android és Safari) támogatják az eszközök, de vannak olyan felhasználók, akik más böngészőket töltenek le, mert mondjuk ingyenes, mint például az Opera Mini-t. Sőt, a statisztikák azt mutatják, hogy ez a böngésző a teljes piac egy jelentős részét uralja. Ez nyilvánvalóan azt jelentette, hogy az Opera Mini-t be kellett vennünk a tesztelésbe és elkezdtük a támogatás kialakítását, hogy elkerüljük a későbbi bonyodalmakat.
Tesztelési problémák
Ha kíváncsi vagy, hogy melyek voltak a legjelentősebb dolgok amivel találkoztunk a tesztelés során, akkor nézd meg a következő top 3-as listát:
1. az url gépelés / megnyitása
- az emulátorban könnyű (copy/paste)
- nem lehetséges a mobilon a felhasználónak saját kezűleg kell beírni az url-t. Megoldás lehet a telefon könyvjelzője, az url rövidítő szolgáltatások vagy az url küldése bluetooth-on keresztül
- vagy egyszerűen létrehozni egy oldalt ami tartalmazza a linkeket
2. screenshot készítése, hogy nyomon kövessük a problémát
- az emulátoron könnyű a helyzet
- valós eszközön időigényes (kutatást, utánajárást igényel)
- minden operációs rendszer más eszközt használ erre
- kell egy olyan eszköz ami megjeleníti a mobil képernyőjét a számítógépen ez viszont kapcsolatot igényel a mobil és a PC között
3. validáció kérése
- hogy a mobilról érkező kéréseket érvényesíteni lehessen, a wi-fi eszközön be kell állítani, hogy az melyik eszközre vonatkozzon
- a honlap hibakeresést a valódi eszközön kell elvégezni
Néhány záró gondolat
Az emulátorokat ugyanolyan körültekintően kell használni a login funkcióval ellátott alkalmazásoknál, mint a valós eszközöket. Miért? A válasz egyszerű: Lehet, hogy a tesztelés során nem fedezel fel egy problémát amely igazán csak akkor lesz fájdalmas, amikor már az aktuális eszközt használva veszed észre azt. Mostanra gondolom hozzászoktál a példákhoz, szóval jöjjön még néhány:
- a login nem megfelelően működik
- hibás képbetöltések
- nem működő linkek
- teljesítmény problémák: némelyik BlackBerry telefon nem tölti be az oldalon található képeket ha azok nagyok (több mint 200kB)
Természetesen az emulátorok használata néha az egyetlen megoldás, mert nem lehet minden telefontípust elérni (pl. régebbi típusok) és nincs rá pénzügyi keret sem, hogy megvegyük az összes eszközt.
Mi azt javasoljuk a web fejlesztőknek, hogy az emulátort használják az új design vagy funkció első tesztjeire. Ezt a minőségbiztosítás szemszögéből nézve az alapfunkciók belső tesztjére javasolnánk. Ha van elegendő költségkeretünk, akkor jobb ha megveszünk néhány főbb eszközt támaszkodva azokra a web analitikákra, amelyeket például a Bango, Google Analytics vagy az Omniture dob ki nekünk.
Egy ilyen fajta megközelítéssel az ügyfelek és az eszközt használók boldogok lesznek egy ideig. A mobil piac olyan gyorsan nő, hogy előbb vagy utóbb megint az emulátorok használatán kell gondolkodnunk és reméljük az emulátorok elég gyorsan fognak fejlődni, hogy jobbak legyenek.
Forrás: https://www.cognifide.com/our-blogs/mobile/mobile-testing-emulators-or-real-devices
Szerző: Krzysztof Konopko
A szerző
-
Munkám során részt veszek egy hibakezelő rendszer fejlesztésében: hiba munkafolyamat fejlesztés, minőségbiztosítási folyamat kialakítása, tesztelők kiválasztása, teszt tervek kialakítása, teszteset és teszt-történetek kialakítása a tesztesetek felülvizsgálata és ellenőrzése, új követelmények megfogalmazása, problémák-, kérdések továbbítása a vezetőség felé.
Hozzám tartozik még a funkcionális tesztek eredményességének a vizsgálata, tesztadatok és tesztkörnyezet kialakítása, automata teszt szkriptek kialakítása és felügyelete, mobilos tesztek felügyelete, mobil emulátorokon teljesítménytesztek futtatása és kezelése, Jmeter használatával terheléses és teljesítmény tesztek felügyelete.
Figyelmet fordítok a szociális élet jobbá tételére a szervezeten belül: horgászklub megalapítása, alkalmi összejövetelek megszervezése.
Cikkeimet itt olvashatod:http://www .cognifide.com