Europese alternatieven voor TestRail

Waarom mensen TestRail verlaten

TestRail is de testcasemanager waarmee veel QA-afdelingen hebben leren werken. De leverancier stelt dat Gurock Software GmbH in 2004 is opgericht, dat meer dan 400,000 QA- en ontwikkelprofessionals het product gebruiken en dat meer dan 10,000 klanten het draaien. De juridische pagina van de groep noemt Gurock Software GmbH in Leverkusen als het Europese hoofdkantoor, dus de contractpartij voor een Europese koper is een Duits bedrijf en geen Amerikaans bedrijf.

Het eigendom is waar de vraag begint. De eigen over-ons-pagina van TestRail zegt dat Gurock in 2016 is overgenomen door Idera, Inc. en nu opereert als onderdeel van Sembi, een dochter van Idera.

De juridische pagina's van de groep geven een Amerikaans hoofdkantoor in Austin, Texas, en de privacyverklaring en de transfer impact assessment op die site zijn gepubliceerd onder de naam Sembi, Inc. Een Duitse GmbH met een Amerikaanse groep erboven is precies de structuur waar functionarissen gegevensbescherming naar vragen bij een leveranciersbeoordeling.

Mensen vertrekken ook om simpelere redenen. De prijslijst loopt nu van EUR 22 tot EUR 78 per gebruiker per maand, en de functies die gereguleerde teams vragen zitten in het hoogste abonnement. Versiebeheer van testcases met review en goedkeuring, single sign-on, multifactorauthenticatie en auditlogs zijn op de prijspagina allemaal alleen in Enterprise beschikbaar. Een team dat start met Essentials en later een audittrail nodig heeft, betaalt per gebruiker meer dan drie keer zoveel.

• De groep boven de Duitse leverancier is Amerikaans De contractpartij is misschien Gurock Software GmbH, maar de leverancier stelt dat het onderdeel is van Sembi, een dochter van Idera, Inc., en de juridische pagina van de groep geeft het Amerikaanse hoofdkantoor als Austin, Texas. Voor kopers die moeten aantonen dat geen niet-Europees bedrijf de verwerker controleert, is dit de doorslaggevende regel. De tools hieronder worden beheerd door bedrijven wier eigendomsketen eindigt in de EU, het Verenigd Koninkrijk of Zwitserland.
• Governancefuncties zitten vast in het topabonnement Op de prijspagina van de leverancier verschijnen SSO, multifactorauthenticatie, auditlogs, beheer op projectniveau, versiebeheer van testcases en goedkeuringsworkflows alleen in de kolom Enterprise van EUR 78. Rolgebaseerde toegangscontrole begint bij Professional. Verschillende Europese tools zetten SSO of audittrails lager in hun prijsladder, en een paar geven je het hele product op een server die je zelf beheert.
• Zelf hosten kent een ondergrens, dataresidentie is nog in ontwikkeling TestRail biedt wel een on-premise-editie, maar alleen op Professional en Enterprise, met een minimum van 10 gebruikersplaatsen en een contract van 12 maanden. Op dezelfde pagina staat de lijn voor een private cloud met dataresidentie gemarkeerd als binnenkort beschikbaar. Een team van zes dat zijn eigen server wil, of vandaag al een vaste regio nodig heeft, loopt tegen beide grenzen aan.
• Opslag wordt na een bepaald punt aangerekend Het opslagbeleid van de leverancier geeft Professional Cloud 50 GB en Enterprise Cloud 500 GB, waarbij bijlagen en de database samen worden geteld, en rekent extra opslag af tegen USD 0.15 per GB op de volgende afrekening. Teams die screenshots en video's aan mislukte stappen toevoegen, kunnen die limiet sneller bereiken dan ze verwachten.

Wat je moet vervangen, niet alleen evenaren

Overstappen weg van TestRail betekent een structuur vervangen, niet alleen een lijst met testcases. Projecten, suites, secties, testplannen, runs, mijlpalen, aangepaste velden, configuraties voor browser en besturingssysteem en gedeelde stappen moeten allemaal ergens terechtkomen. Niet elke Europese tool modelleert al deze onderdelen. Een lichte tool maakt secties misschien tot mappen, en sommige kennen helemaal geen configuratiematrix.

De tweede laag is de koppeling. TestRail heeft integraties met Jira, GitHub, GitLab en Azure DevOps, een CLI die TRCLI heet, reporters voor frameworks zoals JUnit, Cypress en Playwright, een REST API die afhankelijk van het abonnement is beperkt tot 100, 180 of 300 verzoeken per minuut, en webhooks. Elke verbinding in je pipeline wijst naar een TestRail-URL, en elk daarvan moet worden aangepast, herschreven of uitgeschakeld. Tel de CI-jobs die resultaten posten voordat je de testcases telt.

De derde laag zijn de mensen. Ontwikkelaars die alleen even naar runresultaten kijken, productowners die acceptatietests goedkeuren en auditors die een traceerbaarheidsrapport lezen, gebruiken allemaal een ander deel van dezelfde tool. Vraag welke van hen een betaalde gebruikersplaats in het nieuwe product nodig heeft. Sommige tools hieronder geven testers die alleen runs uitvoeren een gratis gastlicentie, terwijl andere elke benoemde gebruiker laten betalen.

De alternatieven vergeleken

Hoe elk alternatief zich verhoudt tot TestRail

Wat er echt stukgaat als je overstapt

Plan de export eerst. TestRail documenteert CSV- en XML-import en -export op elk abonnement, en die bestanden zijn het gangbare uitwisselingsformaat bij een verhuizing. Velden die specifiek zijn voor jouw installatie, zoals eigen casesjablonen, resultaatstatussen en configuratiegroepen, passen zelden één op één. Exporteer een voorbeeldproject, laad het in twee kandidaten en vergelijk wat er is overgekomen voordat je voor een van beide kiest.

Regel daarna de contracten en de timing. TestRail factureert bij de jaarabonnementen op jaarbasis vooruit, en de on-premise-editie heeft een minimale looptijd van 12 maanden, dus een overstap die midden in een looptijd begint betekent dat je een tijd lang twee tools draait. Reken op een parallelle periode waarin nieuwe runs naar de nieuwe tool gaan terwijl oude runs leesbaar blijven in TestRail, en bewaar een laatste export voor auditors die historisch bewijs kunnen vragen.

Is TestRail een Europees product, aangezien Gurock een Duits bedrijf is?

Gedeeltelijk. De juridische entiteit die voor Europese klanten wordt genoemd is Gurock Software GmbH, en TestRail stelt dat het gebonden is aan de Duitse en Europese wetgeving op het gebied van gegevensbescherming. De eigen over-ons-pagina van het bedrijf zegt ook dat het in 2016 is overgenomen door Idera, Inc. en nu deel uitmaakt van Sembi, dus de hoogste eigenaar is een Amerikaanse groep. Beide uitspraken kloppen tegelijk.

Of dat ertoe doet, hangt af van je beleid. Als dat alleen een Europese contractpartner vraagt, kan TestRail voldoen. Als het vraagt wie uiteindelijk de verwerker controleert, voldoet TestRail niet, en de tools in deze vergelijking zijn gekozen omdat ze dat wel doen. Let op: de site noemt Leverkusen op de juridische pagina van de groep en Frankfurt op de over-ons-pagina van TestRail, dus vraag welk adres je contract zal noemen.

Met welk TestRail-abonnement vergelijken we eigenlijk?

Vergelijk op de functies die je gebruikt, niet op de instapprijs. Essentials voor EUR 22 begrenst het team tot vijf gebruikers en is alleen in de cloud beschikbaar. Professional voor EUR 38 voegt rolgebaseerde toegang, geplande rapporten en de on-premise-optie toe. Enterprise voor EUR 78 voegt het governanceblok toe, met SSO, auditlogs en versiebeheer.

Een QA-lead met 12 testers die een audittrail nodig heeft, vergelijkt dus met EUR 78 per gebruikersplaats, wat EUR 936 per maand is exclusief btw tegen de lijstprijs. Naast dat bedrag zien de europrijzen van de Europese tools er anders uit dan naast het startabonnement.

Welke kies je

Kies voor een klein team dat de kortste weg wil eerst Testiny en, als europrijzen en een certificaat zwaarder wegen dan een importtool, TestMonitor. Voor teams die de software zelf moeten draaien, zijn Squash TM en Kiwi TCMS de twee kandidaten. Squash TM past bij een Franstalige publieke instelling en Kiwi TCMS bij een container-vaardig team dat liever een vast tarief heeft.

Als TestRail vooral een traceerbaarheidstool voor auditors was, kijk dan naar Meliora Testlab, aqua cloud of TestBench, en als je testers zakelijke gebruikers in een project zijn, naar Reqtest. Testpad past bij het tegenovergestelde geval, een team dat de formulieren van TestRail nooit volledig heeft ingevuld. Als TestRail Essentials voor EUR 22 al alles doet wat je nodig hebt en het Amerikaanse eigendom past binnen je beleid, is blijven zitten een verdedigbare keuze.