Europese LLM-observability- en evaluatietools

#1 LangWatch

Amsterdam, Nederland Gratis Developer-abonnement (50k events per maand); Growth EUR 29 per core-gebruikersplaats per maand; Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: Teams die tracing, evals en gesimuleerde gebruikers in één open-source tool willen

• Exploiterend bedrijf. Reasoning Engines B.V.
• Jurisdictie. EU (Nederland)
• Waar de gegevens staan. Cloudregio's EU, VS, VK en APAC; of je eigen infrastructuur
• Broncode. Closed source
• Vervangt. LangSmith, Arize, Helicone

LangWatch brengt tracing, evaluators, agent-simulaties en promptbeheer samen in één werkruimte. Dat dekt de lus die de meeste agent-teams zelf in elkaar zetten: zien wat de agent deed, die score geven en daarna realistische gebruikersscenario's herhalen voordat een wijziging live gaat. De simulaties laten een LLM de gebruiker over meerdere beurten spelen, met een judge die elk gesprek beoordeelt op criteria die in gewone taal zijn geschreven. Ze draaien in pytest of vitest en kunnen daarmee een pull request tegenhouden.

Reasoning Engines B.V. is het bedrijf uit Amsterdam achter de tool, en de voorwaarden volgen het Nederlands Burgerlijk Wetboek. De leverancier vermeldt geen oprichtingsjaar en op de beoordeelde pagina's worden geen klanten genoemd.

De code is gepubliceerd onder Apache-2.0 op GitHub, en volgens de leverancier draait de cloud in de regio's EU, VS, VK en APAC of in je eigen Docker-, Kubernetes- of VPC-opstelling. Growth kost EUR 29 per core-gebruikersplaats per maand, en het gratis abonnement bewaart data maar 14 dagen.

Opvallende functie. LangWatch is het enige alternatief dat tracing onder Apache-2.0 combineert met gesimuleerde gebruikers die als gewone pytest- of vitest-tests draaien.

#2 Latitude

Barcelona, Spanje Gratis Starter (20K credits per maand); Pro $99 per maand (100K credits); Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: Teams die agents in productie draaien en die fouten gegroepeerd en geprioriteerd willen zien

• Exploiterend bedrijf. Latitude Data S.L.
• Jurisdictie. EU (Spanje)
• Waar de gegevens staan. Gehoste data die op Europese servers wordt opgeslagen en verwerkt
• Broncode. Closed source
• Vervangt. LangSmith, Helicone, Arize

Latitude begint waar andere tools stoppen: nadat de traces zijn binnengekomen. Falende sessies worden signalen, vergelijkbare fouten worden samengevoegd tot één issue met een trendlijn en voorbeeldtraces, en waarschuwingen komen binnen via Slack, e-mail of webhooks. Een team met duizenden gesprekken per dag leest een korte lijst terugkerende problemen in plaats van losse runs door te scrollen, en menselijke annotaties op elke span voeden datasets voor regressieruns.

Latitude Data S.L. exploiteert de dienst vanuit Barcelona onder Spaans recht, met geschillen voor de rechter in Barcelona. Op de beoordeelde pagina's staan geen oprichtingsjaar en geen genoemde klanten. De code is MIT-gelicentieerd op GitHub, opname van data verloopt via de SDK of elke OpenTelemetry-pijplijn, en de leverancier zegt dat gehoste data op Europese servers blijft en dat het SOC 2 Type II-gecertificeerd is. Starter geeft 20K credits met 30 dagen bewaartermijn, en Pro kost $99 per maand met 90 dagen.

Opvallende functie. Latitude clustert productiefouten standaard tot issues met trends, zodat triage start bij een patroon en niet bij één trace.

#3 Galtea

Barcelona, Spanje Gratis abonnement (EUR 0, 1,500 credits per maand); Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: AI-teams bij banken, verzekeraars en overheden die moeten kunnen aantonen hoe ze een model hebben getest

• Exploiterend bedrijf. Galtea Solutions S.L.
• Jurisdictie. EU (Spanje)
• Waar de gegevens staan. Cloud, of zelf gehost of private tenant op Enterprise
• Broncode. Closed source
• Vervangt. LangSmith, Arize

Galtea begint met een specificatie in plaats van een dataset. Je legt vast wat een AI-systeem wel en niet mag doen, en het platform genereert daaruit testcases, gesimuleerde gesprekken met meerdere beurten en red-team-pogingen, waarna het de antwoorden scoort met judge-evaluators. Die volgorde past bij een bank of verzekeraar die beleid op papier heeft maar nog geen gelabeld productieverkeer.

Galtea Solutions S.L. is een bedrijf uit Barcelona. De over-pagina zegt dat het voortkwam uit onderzoek aan het Barcelona Supercomputing Center. Er worden geen oprichtingsjaar en geen klanten genoemd. Volgens de leverancier vermeldt de site ISO 27001 en verwerkersovereenkomsten conform de AVG, en de prijspagina publiceert creditkosten per handeling. Het gratis abonnement heeft 1,500 credits, één gebruiker en 90 dagen bewaartermijn; een private-tenant- of zelf gehoste implementatie is op aanvraag onderdeel van Enterprise.

Opvallende functie. Galtea genereert een testset uit je geschreven eisen, zodat evaluatie kan beginnen voordat een gebruiker het systeem heeft aangeraakt.

#4 Giskard

Frankrijk Opgericht in 2021 Open source gratis; Professional op aanvraag Demo op aanvraag

Het meest geschikt voor: Teams die modellen en agents vóór release moeten testen

• Exploiterend bedrijf. GISKARD AI SAS
• Jurisdictie. EU (Frankrijk)
• Waar de gegevens staan. On-premise, private cloud of SaaS met opties voor dataresidentie
• Broncode. Closed source
• Vervangt. Weights & Biases Weave-evaluaties, Arize, Deepchecks

Giskard is een test- en red-teamingtool voor LLM-agents en ML-modellen, en het is de enige vermelding hier die is gebouwd om vóór release te draaien in plaats van productie te bewaken. Het scoort prompt-injectie, het prijsgeven van data, sycofantie, hallucinaties, tegenstrijdigheden en ongepaste weigeringen. De Professional-variant noemt meer dan 50 geautomatiseerde adversariële probes, waaronder aanvallen over meerdere beurten en dekking van risicokaders zoals OWASP.

GISKARD AI SAS is een Franse onderneming, en de voettekst van de site zegt dat het product in Frankrijk is gebouwd.

Volgens de over-pagina is het in 2021 opgericht door mensen met ervaring bij Dataiku en Thales; op de beoordeelde pagina's worden geen klanten genoemd. De bibliotheek is Apache-2.0, een SDK koppelt hem aan CI/CD, en de enterprise-variant noemt on-premise, private cloud of SaaS met dataresidentie. Vergeleken met LangSmith is het een smallere tool: het traceert niet, versioneert geen datasets en serveert geen modellen.

Opvallende functie. Giskard maakt van beveiligingsrisico's zoals prompt-injectie en het prijsgeven van data herhaalbare adversariële tests die een Franse leverancier in je CI-pijplijn draait.

#5 Orq.ai

Amsterdam, Nederland Pay-as-you-go: 4.5% kosten op Orq-beheerde sleutels; 1M gratis BYOK-aanvragen per maand, daarna 4%; Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: Teams die één beheerde endpoint voor alle modellen willen, met traces inbegrepen

• Exploiterend bedrijf. Orq.AI Holding B.V.
• Jurisdictie. EU (Nederland)
• Waar de gegevens staan. Verwerkt in de EER volgens de privacyverklaring
• Broncode. Closed source
• Vervangt. Helicone, LangSmith, gateways in de stijl van Portkey

Orq.ai benadert observability vanuit de gateway. Elke aanvraag die via het OpenAI-compatibele endpoint wordt gestuurd, wordt vastgelegd als trace met kosten, tokens, latentie en volledige payloads, zodat een team tracing krijgt zonder elke service te instrumenteren. Budgetten, uitgavelimieten, guardrailregels en PII-redactie worden op dezelfde aanvraag toegepast, en de leverancier zegt dat ze kunnen waarschuwen of blokkeren voordat het geld is uitgegeven.

Orq.AI Holding B.V. is ingeschreven bij de Kamer van Koophandel met een adres in Amsterdam, en de dienstvoorwaarden vallen onder Nederlands recht. Het oprichtingsjaar en de klanten worden niet vermeld op de beoordeelde pagina's.

De privacyverklaring zegt dat data wordt verwerkt in de EER, maar noemt geen cloudregio. De prijspagina telt elke gerouteerde aanvraag, elke agent-stap en elke evaluator-run als een span, met 100k spans per maand voordat EUR 7 per 100k geldt, en Enterprise voegt on-prem- en VPC-opties toe.

Opvallende functie. Orq.ai past modelroutering, uitgavelimieten, PII-redactie en tracing toe bij één gateway-aanroep.

#6 Rhesis AI

Potsdam, Duitsland Gratis cloudtegoed en gratis zelf gehoste editie; zie de website voor betaalde cloudabonnementen Demo op aanvraag

Het meest geschikt voor: Teams waarin niet-engineers de juiste antwoorden kennen en de agent moeten beoordelen

• Exploiterend bedrijf. Rhesis AI GmbH
• Jurisdictie. EU (Duitsland)
• Waar de gegevens staan. Cloud of zelf gehost
• Broncode. Closed source
• Vervangt. LangSmith, Arize

Rhesis AI is gebouwd voor de situatie waarin de mensen die het juiste antwoord kennen niet de mensen zijn die de agent bouwen. Reviewers openen een gedeelde link, chatten met de live agent, maken van gesprekken testcases en geven pass- of fail-oordelen over hele antwoorden of over losse beurten. Elk oordeel hoort bij de testcase en de agentversie die het heeft voortgebracht, en terugkerende feedback wordt metrics die bij elke wijziging draaien.

Rhesis AI GmbH is het bedrijf uit Potsdam dat op de colofon staat, en de README zegt dat het project in Potsdam, Duitsland, is gemaakt. Er worden geen oprichtingsjaar en klanten genoemd. De code heeft een MIT-badge plus een enterprise-gelicentieerd deel, en de documentatie noemt conversatiesimulatie, adversariële tests, op DeepEval gebaseerde metrics, tracing, SSO en streaming van audit-logs. De cloud heeft een gratis maandelijks tegoed en de open-sourceversie wordt niet gemeten, maar betaalde cloudprijzen waren niet te verifiëren.

Opvallende functie. Rhesis AI laat domeinexperts een live agent beoordelen via een gedeelde link en zet elk oordeel om in een regressietest.

#7 Coralogix AI Center

Ramat Gan, Israël AI-data $1.50 per 1M tokens; logs $0.42 per GB; traces $0.16 per GB; 14 dagen gratis proefperiode Demo op aanvraag

Het meest geschikt voor: Bedrijven die al één observability-platform willen voor infrastructuur en AI-agents

• Exploiterend bedrijf. Coralogix Ltd.
• Rechtsgebied. Israël (buiten de EU/EEA)
• Waar de gegevens staan. EU1 (AWS Ierland) en EU2 (AWS Stockholm) beschikbaar
• Broncode. Closed source
• Vervangt. LangSmith, Arize, Datadog LLM-observability

Coralogix AI Center is één module van een algemeen observability-platform, en dat is het onderscheidende kenmerk. Evaluators voor hallucinaties, PII-lekken, relevantie en toxiciteit worden aan elke agent toegekend en scoren berichten zodra ze binnenkomen. Een sessie-explorer volgt een gebruikersreis van begin tot eind, en de leverancier noemt kostenregistratie per bericht, sessie en agent naast gewone logs, metrics en traces.

Coralogix Ltd. is volgens de hoofdovereenkomst opgericht in Israël met als hoofdvestiging Ramat Gan, en Israël telt op deze site als Europees.

De voettekst toont Coralogix Inc. en de voorwaarden staan toe dat een gelieerde onderneming de contractpartij is, dus controleer de entiteit op het bestelformulier. De documentatie vermeldt EU1 op AWS Ierland en EU2 op AWS Stockholm. AI-data kost $1.50 per 1M tokens, en op de gecontroleerde pagina's is er geen zelf gehoste editie.

Opvallende functie. Coralogix AI Center is de enige tool hier die een mislukte modelaanroep toont naast de infrastructuurlogs en metrics eronder.

#8 Qualifire

Israël (plaats niet vermeld), Israël Gratis abonnement; Pro $550 per maand; Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: Teams die realtime beleidshandhaving en evaluatie willen, niet alleen tracing achteraf

• Exploiterend bedrijf. Qualifire Ltd.
• Rechtsgebied. Israël (buiten de EU/EEA)
• Waar de gegevens staan. SaaS, je eigen cloud of on-premise; faciliteiten in Israël volgens het privacybeleid
• Broncode. Closed source
• Vervangt. LangSmith, Arize, guardrail-add-ons

Qualifire controleert de output terwijl het verzoek nog onderweg is. Kleine judge-modellen, afgestemd op een bedrijfsdomein en diens beleid, testen op prompt-injectie, PII, hallucinaties en onderbouwing bij elke aanroep. Dezelfde resultaten voeden een observability-weergave en een prompt studio met experimenten. De leverancier linkt vanaf de homepage ook naar Rogue, een open evaluator- en red-teamtool.

Qualifire Ltd. stelt de voorwaarden op, die vallen onder het recht van de Staat Israël, en het privacybeleid noemt faciliteiten in Israël en steunt op het adequaatheidsbesluit van de Europese Commissie voor Israël. Oprichtingsjaar, plaats en klanten worden niet vermeld. De abonnementen omvatten een gratis variant en Pro voor $550 per maand met 1 miljard tokens per maand en 90 dagen logs, en Enterprise voegt BYOC- of on-premise-implementatie toe. De prijspagina geeft tegenstrijdige limieten voor tokens in de gratis variant, dus controleer die.

Opvallende functie. Qualifire draait kleine, op domein afgestemde judge-modellen in het verzoekpad, zodat een beleidsschending kan worden gestopt in plaats van alleen gelogd.

#9 ZenML

München, Duitsland Open source gratis; Scale SaaS $999 per maand; Enterprise op aanvraag Demo op aanvraag

Het meest geschikt voor: ML-engineers die pipelines willen laten verhuizen tussen orkestrators en clouds

• Exploiterend bedrijf. ZenML GmbH
• Jurisdictie. EU (Duitsland)
• Waar de gegevens staan. Zelf gehost op je eigen infrastructuur, of ZenML Pro SaaS
• Broncode. Closed source
• Vervangt. Weights & Biases, Comet, Databricks MLflow

ZenML is het vreemde element in deze lijst, omdat het Python-pipelines orkestreert in plaats van LLM-aanroepen te traceren. Het verdient zijn plek door de laag onder een LLM-project. Je schrijft stappen één keer en draait ze op de orkestrator en cloud die je al beheert, en elke run slaat artefacten en metadata op, wat lineage geeft van een model terug naar de data die het heeft voortgebracht. Een aanvullend product, Kitaru, legt agent-sessies vast en speelt ze opnieuw af op productiedata.

ZenML GmbH is ingeschreven in München (HRB 268487) en de voorwaarden vallen onder Duits recht. De site vermeldt geen oprichtingsjaar en noemt op de beoordeelde pagina's geen klanten.

Volgens de leverancier staan op de homepage SOC 2 Type II en ISO 27001, en de kern is Apache 2.0. Verwacht op de vermelde abonnementen geen grafiekrijk dashboard voor het vergelijken van runs, en let op dat het open-source modelregister als basic wordt omschreven. Scale SaaS voor $999 per maand is een grote stap vanaf het gratis abonnement.

Opvallende functie. ZenML laat een pipeline die op een laptop is geschreven naar Kubernetes of een andere orkestrator verhuizen zonder herschrijving, iets wat geen van de tracing-tools probeert.

#10 Opper

Zweden, Zweden Pay as you go: 3% platformkosten (Gateway), 5.5% (Control Plane); Enterprise op maat Demo op aanvraag

Het meest geschikt voor: Teams die eerst een EU-gateway willen en daarmee basisdebugging van traces

• Exploiterend bedrijf. Opper Technology AB
• Jurisdictie. EU (Zweden)
• Waar de gegevens staan. EU-gehoste API met EU-routes; standaard zero data retention
• Onafhankelijke controles. ISO/IEC 27001:2022 (vermeld op trust.opper.ai)
• Broncode. Closed source
• Vervangt. Helicone, LangSmith (alleen tracing)

Opper is eerst een gateway, met een onderdeel Observe and Control waarin elke aanroep wordt vastgelegd met model, provider, status, tokens, kosten, latentie en regio. Tracing registreert een boom van spans voor modelaanroepen, tool-aanroepen en de regels die zijn afgegaan, en een trace kan in de playground opnieuw worden afgespeeld. Controles per aanroep markeren, redacteren, blokkeren of scoren een verzoek, met een vast tarief per controle.

Opper Technology AB is volgens de voorwaarden in Zweden geregistreerd onder ondernemingsnummer 559446-3720; het oprichtingsjaar, de plaats en de klanten worden niet vermeld. Aanroepen worden standaard alleen als metadata vastgelegd, en input, output en spans worden alleen opgeslagen als een bewaarregel dat zegt. De gateway kost een platformvergoeding van 3 procent en Control Plane 5.5 procent, met volledige traces die 1 tot 30 dagen worden bewaard. De pagina's tonen geen tooling voor datasets of experimenten.

Opvallende functie. Opper bewaart alleen aanroepmetadata tenzij je expliciet een bewaarregel instelt, waardoor zero data retention het uitgangspunt is.