Hoe kies je tussen een platform voor dataannotatie, een team van annotators en een scripttool?
Begin bij wie er gaat klikken. Als je eigen domeinexperts gaan labelen, heb je een platform nodig met rollen en review, en Kili Technology is daarop gebouwd: er wordt een overeenstemmingsscore gemeten voordat data wordt geëxporteerd, en elke versie van een oordeel blijft bewaard bij de persoon die het maakte.
Als je eigen datawetenschappers in code gaan labelen, past Prodigy beter, omdat de annotatieworkflows Python-scripts zijn, recepten genoemd, en er geen serverovereenkomst nodig is. Als niemand aan jouw kant tijd heeft om te labelen, koop je een team in, en wordt de shortlist Kognic voor rijdata en isahit en Innovatiana voor algemeen werk.
De tweede vraag gaat over het datatype. Kognic verwerkt camera-, LiDAR- en radardata samen. Supervisely noemt afbeeldingen, video, LiDAR en DICOM-medische volumes. Picsellia, Lightly, SentiSight.ai en Keylabs richten zich op computervision (Keylabs voegt 3D toe), terwijl Kili Technology en Prodigy de twee zijn die duidelijk ook tekst dekken. Een team dat contracten en supporttickets labelt, moet SentiSight.ai niet op de shortlist zetten, want op de gecontroleerde pagina's wordt die alleen voor afbeeldingen beschreven.
Een derde, minder zichtbare splitsing is of labelen een project of een pijplijn is. Picsellia verkoopt annotatie als één fase vóór training, uitrol en monitoring, en Supervisely voegt het trainen van neurale netwerken toe. Lightly zit vóór de labelstap en kiest welke samples het waard zijn om gelabeld te worden. Als je alleen deze maand boxen moet tekenen op een map met afbeeldingen, zijn die platforms meer dan je nodig hebt.
Wat kosten Europese platforms voor dataannotatie?
Vijf van de tien publiceren iets. SentiSight.ai is de goedkoopste instap: 1 euro per 1,000 labels en 3.6 euro per uur training, met een aanmeldtegoed van 20 euro en elke maand 5 euro gratis, wat de leverancier gelijkstelt aan 5,000 labels per maand.
Supervisely heeft een gratis Community-editie met 5 GB opslag en Pro vanaf 199 euro per maand. Prodigy is een eenmalige aankoop van $390 persoonlijk of $490 per bedrijfsplaats in pakketten van 5, elk met 12 maanden updates.
Picsellia zit aan het andere eind. De Data Engine-module kost 1,000 euro per maand of 12,000 euro per jaar met drie gebruikersplaatsen, extra gebruikers kosten 500 euro per maand, labelerplaatsen 10 euro per maand en annotatiediensten 9.60 euro per uur. Dat is een pijplijnprijs, geen annotatieprijs, en een enkele annotator is beter af bij Supervisely of SentiSight.ai.
Kili Technology, Kognic, Lightly, Keylabs, isahit en Innovatiana publiceren geen prijslijst. Kili biedt een gratis proefperiode van 2 tot 5 gebruikersplaatsen en 100 tekst- of afbeeldingsitems, Keylabs een gratis proefperiode, isahit een gratis klein project en Innovatiana een gratis offerte. Reken op een verkoopgesprek en vraag daarin wat de meeteenheid is, want per label, per gebruikersplaats, per uur en per project worden allemaal gebruikt.
Blijft je data in Europa als je een Europese leverancier voor labeling kiest?
Een Europese contracterende entiteit bepaalt welk recht het contract beheerst en welke toezichthouder toezicht houdt. Kili Technology noemt MYAI SAS in Parijs, Kognic noemt Kognic AB met de Zweedse Autoriteit voor de bescherming van persoonsgegevens als toezichthouder, Picsellia noemt de CNIL als klachtroute, en Lightly AG is in Zürich ingeschreven onder Zwitsers recht. Dat deel is controleerbaar op de juridische pagina's van de leveranciers zelf.
Waar de data fysiek staat, is een apart feit, en veel leveranciers laten dat open. Picsellia zegt dat zijn SaaS EU- en VS-datacenters gebruikt. Kili, Supervisely, SentiSight.ai, Kognic, Keylabs, isahit en Innovatiana vermelden op de gecontroleerde pagina's geen hostingregio. Alleen een paar tools maken de vraag overbodig: Prodigy draait op je eigen hardware, Kili en Picsellia kunnen op je eigen Kubernetes draaien (Picsellia ook volledig afgesloten van het internet), en Supervisely en Lightly noemen on-premise-uitrol.
Bij leveranciers van workforces is er een derde locatie: de annotators zelf. Isahit zegt dat zijn werkers grotendeels in ontwikkelingslanden zitten, en Innovatiana omschrijft zichzelf als Frans en Madagaskisch. Een Europees contract betekent niet dat er Europese ogen naar je beelden kijken, en een verwerkersovereenkomst moet vastleggen wie de ruwe bestanden mag zien.
Hoe moeilijk is het om van Scale AI over te stappen naar een Europees alternatief?
Het softwaredeel is het makkelijkst. Scale AI, Inc. is een bedrijf uit San Francisco waarvan Data Engine via demo's wordt verkocht, en de eigen site beschrijft werk van annotatie tot RLHF en red teaming. Europese platforms nemen je bestaande labels over in gangbare formaten: Lightly ondersteunt COCO, YOLO, Pascal VOC en KITTI, en Prodigy exporteert JSON. Reken op dagen, niet maanden, om de tooling over te zetten.
Het moeilijke deel zijn de mensen. Scale levert een pool van bijdragers, en de leverancier zegt dat 25 procent een geavanceerde graad heeft. Als je kwaliteit vandaag van die pool afhangt, vervang die dan bewust: Kognic voor autonomiedata, isahit of Innovatiana voor algemene annotatie en RLHF, en Kili Technology met je eigen experts als reviewers. Draai een betaalde pilot op dezelfde 500 items die je naar Scale stuurde, en vergelijk de overeenstemming voordat je overschakelt.
Let ook op de contractvoorwaarden. Een Scale-hoofdovereenkomst noemt zijn eigen lijst met subverwerkers, terwijl een Europese leverancier je een verwerkersovereenkomst onder de AVG geeft. Vraag beide partijen om verwijdering van de oude gelabelde sets zodra de overdracht is geverifieerd.
Wanneer moet je juist niet overstappen van Scale AI?
Wanneer je volume of de breedte van je domein het punt is. Scale beschrijft zichzelf als leverancier van data aan bouwers van frontiermodellen en noemt op de site werk voor bedrijven, overheid en defensie. Geen van de Europese tools in deze directory publiceert iets vergelijkbaars qua schaal, en de beheerde (Kognic, isahit, Innovatiana) zijn er klein bij. Een lab dat volgende week duizenden experts nodig heeft, moet daar eerlijk over zijn.
Het heeft ook weinig zin om te verhuizen als de data niet gevoelig is en het budget krap. Openbare afbeeldingen, al gelicentieerd en in bulk gelabeld, hebben geen Europees jurisdictieargument nodig, en SentiSight.ai met 1 euro per 1,000 labels is de enige Europese optie die concurreert op een prijs die je kunt lezen.
Stap tot slot niet over alleen om de vlag te veranderen van een ongewijzigde workflow. Als de relatie met Scale werkt en je juridische team die heeft geaccepteerd, zijn de Europese tools het waard om voor het volgende project te pilotten, niet om het laatste project te migreren.
Welke tools werken voor gereguleerde of auditgevoelige projecten?
Kili Technology is de tool die het meest direct over audit praat. De leverancier beschrijft een register van elke versie van een oordeel, wie het maakte en hoe reviewers het eens waren, en noemt de EU AI Act op de site. Het installeert ook op je eigen Kubernetes zonder dat er na de installatie internet of root-toegang nodig is, maar dat is een add-on die alleen voor Enterprise geldt.
Picsellia vermeldt ISO 27001:2022-certificering op een pagina van de leverancier en biedt on-premise en volledig afgesloten uitrol. Keylabs claimt AVG- en ISO 27001-conformiteit, wat we een claim van de leverancier noemen omdat de juridische pagina's uit 2020 dateren. Isahit biedt een dienst AI Act Trust and Validate voor het testen van menselijk toezicht.
Voor medische beeldvorming ondersteunt Supervisely DICOM-labeling in meerdere vlakken en Innovatiana noemt medische data onder zijn diensten. Geen van beide pagina's vertelt welke certificeringen op jouw situatie van toepassing zijn, dus vraag om de documenten en niet alleen om het keurmerk.
