Automatyzacja testów po GUI to SCAM - Radosław Smilgin | Tech3camp
HTML-код
- Опубликовано: 11 сен 2024
- Tytuł prezentacji: "Automatyzacja testów po GUI to SCAM" - Radosław Smilgin
"Są trzy powody dla których automatyzowanie testów symulujących
zachowanie użytkowników na graficznym interfejsie jest wielkim oszustwem
współczesnych projektów informatycznych:
- JEST DROGO - za automatyków trzeba płacić dużo więcej niż za zwykłych
testerów.
- JEST TO MARKETINGOWA WYDMUSZKA - za nośnymi hasłami nie idzie realna wartość.
- TO NIE DZIAŁA - w większości prowadzonych projektów automatyzacji to po prostu nie działa.
Podczas prezentacji opowiem jak wygląda wektor ataku na managerów i jak
urabia się osoby decyzyjne aby inwestowały w automatyzację i kupowały
narzędzia. Pokażę jakie są główne czynniki niepowodzeń projektów
automatyzacji, których znajomość pozwoli obronić się przed scamem. Pokażę zmowę milczenia wokół tego tematu oraz to kto wyciąga z tego finansowe korzyści.
Na koniec pokażę tanie i pewniejsze metody automatyzacji, które mają realne przełożenie na jakość produktów softwareowych, w tym tzw. „bieda”
automatyzację, która ma dużo większą wartość przy dużo niższej cenie."
Prezentacja miała miejsce 15.04.2024r.
Małe sprostowanie się należy :) wspomniana przez Ciebie moja prezentacja nie dotyczyła utworzenia skryptów do testowania skryptów testujących, ale utworzenia skryptów których użycie znacznie przyspieszyło napisanie kodu potrzebnego do testów automatycznych :)
To wszystko prawda! Wspomniałem prezentację Natalii Krawczyk "„KLIENT MA ZAWSZE RACJE”, CZYLI JAK POPADŁAM W INCEPCJĘ I NAPISAŁAM AUTOMATY DO AUTOMATÓW". Prezentacja NIE OPOWIADA o testowaniu automatycznym testów automatycznych, a o przyspieszeniu pracy w automatyzacji. Chociaż praktyka testowania testów automatycznych w sposób automatyczny jest mi znana z wielu źródeł to w prezentacji Natalii nie o tym była mowa. To moja ewidentna pomyłka i przepraszam za nią.
Nie przekonało mnie stwierdzenie autora, że automatyzacja po GUI jest scamem. Uważam za to, że jest przeceniana. Można się obejść bez automatyzacji stosując przytoczone metody, ale czy warto przy każdym release siedzieć jak na szplikach myśląc czy aby nie przeoczyło się jednej ze zmian, zamiast puścić skrypty i spać spokojnie? Pewnie dla nas nie, ale dla firm w których pracujemy już tak :)
Zaskakujące opinie. Moim zdaniem ta prezentacja to low quality bait i mieszanie pojęć i przestrzeni. Porównanie pensji zwykłego testera i testera automatyzującego nie bierze pod uwagę wydajności/zwrotu z tych pieniędzy.
Testy a/b w fb... Chyba nie o takich testach była mowa.
Rozwiązania - ciężko zrozumieć jak one mają zastępować automatyzację, skoro mogą być wprowadzone obok a nie zamiast automatyzacji.
Plus kompletne zignorowanie czynników zewnętrznych mogących generować błędy - zmiany wersji przeglądarek, biblioteki zewnętrzne...
Dzięki za opinię.
Pisząc o zwrocie z inwestycji i wydajności testerów zakładam, że mówisz o przewadze w tym względzie po stronie automatyka. Jesteś w stanie przytoczyć dane lub badania?
Testy a/b to jedna z form kontroli regresu. Nie rozumiem Twoich wątpliwości.
"Rozwiązania" mogą bez problemu zastąpić automatyzację po GUI. Nie warto testować tego samego dwa razy.
Zmiana powodująca regres, która wynika ze źródeł zewnętrznych jest do przewidzenia i można ją bez problemy obsłużyć innymi metodami.
Dziękuje. Dobra prelekcja. Samemu trzeba wyciągnąć wnioski.
Nadzwyczajne twierdzenia wymagaja nadzwyczajnych dowodow. Tu autor opowiada o swoich doswiadczeniach a nie o faktach, takie doswiadczenia zbic mozna "a bo u mnie tak nie jest" i bedzie to rownowazny argument.
To fakt ze automatyzacja moze byc scamem, szczegolnie jak jest zrobiona byle jak i zle. Ale tak samo przeciez bedzie z testami manualnymi. Manualny tester w teorii znajduje bledy ale sa patologiczne sytuacje (w cale nie takie rzadkie) w ktorych tester wpisuje pass i idzie na kawe. Tak samo jest z automatyzacja. Zeby oplacala sie to musi byc zrobiona poprostu dobrze.
Truizmem jest ze nie w kazdym projekcie automatyzacja jest w ogole potrzebna, ale nie kazdy projekt to sklep internetowy gdzie tester jest w stanie przeklikac wszystkie sciezki biznesowe (i to przy zalozeniu ze dnia 1001 bedzie mu sie wciaz chcialo).
Co do testow A/B, nie kazdy projekt ma taka skale gdzie da sie utworzyc takie grupy, nie kazdy projekt ma taki tracking, nie kazdy projekt ma mozliwosc puscic na produkcję kod bez testow.
Trudno tez zgodzic sie z twierdzeniem ze automatyzacja niewiele umie. Automatyzacja umie tyle ile umie jej autor.
Patologiczne podejście opisane jako status quo, w kilku miejscach ewidente bzdury, z tego wyciąganie wniosków, ze automaty per se to zlo. To dopiero scam.
Dobrze niedługo AI zastąpi testerów programistów i managerów
Samo zaprojektuje podukt i go kupi.