Kennisbank / MHS & AI die machines bestuurt
Er is een verschil tussen een agent die een verkeerde factuur boekt en een agent die een robotarm te snel laat bewegen. Het eerste kost een correctie. Het tweede kan iemand raken.
Dat verschil is de reden dat de Model Hardware Standard er anders uitziet dan de standaarden die eraan voorafgingen. En het is de reden dat Anthropic de standaard eerst als research preview vrijgeeft, met als expliciet doel om veiligheidsevaluaties op te bouwen voordat de standaard breed beschikbaar komt.
Dit is het belangrijkste ontwerpbesluit in MHS, en het is de moeite waard om te begrijpen waarom.
Bij elk apparaat hoort een referentiebestand. Daarin staat wat het apparaat kan meten, wat er verstelbaar is, en welke veiligheidsgrenzen gehandhaafd worden. Een robotarm krijgt daar een maximale snelheid en toegestane hoeken. Een laser een maximaal vermogen.
Dat bestand is geen instructie aan de agent. Het is een grens die de laag onder de agent afdwingt. Het verschil is fundamenteel: een instructie is een verzoek dat genegeerd kan worden, een grens is een muur.
Waarom dat uitmaakt, is met één zin te zien. Wij hebben in eigen werk vaker meegemaakt dat een controle in een scherm zat in plaats van in de laag eronder, en dan komt elk verzoek dat het scherm omzeilt er gewoon langs. Bij software is dat een gat in je administratie. Bij een machine is het een ongeval.
De preview leverde daar een concreet voorbeeld van. Bij een van de partners weigerde de opstelling zes verschillende situaties voordat er iets bewoog. Onder meer: een ontbrekende plaat, een gedraaide plaat, een lezer die nog bezig was, en een camera die niet meer aangesloten was.
Dat rijtje is leerzaam, want geen van die vier is een fout van de agent. Het zijn omstandigheden in de fysieke wereld die de agent niet kán zien. De bewaking hoort daarom te zitten waar de wereld gemeten wordt, en niet waar over de wereld nagedacht wordt.
Anthropic is hier opvallend open over, en die openheid hoort in elke afweging mee.
Een taalmodel heeft de fysieke wereld leren kennen uit tekst en beeld. Het heeft nooit iets vastgehouden, nooit iets horen ratelen, nooit een trilling gevoeld. Dat levert twee soorten blinde vlekken op, en allebei zijn ze in de preview gemeten.
Fysieke oorzaken worden voor softwarefouten aangezien. Bij Genentech ontstond schuim in de eiwitmonsters. Het model behandelde dat als een probleem in de besturing, terwijl het alleen fysiek op te lossen was. Onderzoekers moesten het model daar expliciet naartoe leiden.
Buiten de besturing houdt het begrip op. Bij QuEra werkte de agent uitstekend zolang alles via de aansturing verliep. Zodra er iets aan de opstelling zelf haperde, wist het niet waar te beginnen. Zijn begrip van de opstelling was programmatisch en niet fysiek.
De conclusie is niet dat het niet werkt. Het slagingspercentage bij QuEra ging van 58 naar 99,3 procent. De conclusie is dat deskundig toezicht nodig blijft, en dat je precies dit soort gevallen vooraf moet benoemen in plaats van erop te wachten.
MHS regelt de onderste laag. De twee daarboven zijn organisatorisch en die moet je zelf inrichten.
Laag 1: de harde grens in het apparaat. Snelheid, hoek, vermogen, temperatuur. Vastgelegd in het referentiebestand, afgedwongen onder de agent. Niet onderhandelbaar en niet te overrulen met een goedgekozen zin.
Laag 2: de goedkeuringspoort. Welke handelingen mogen zonder mens, en welke niet. De vuistregel die wij hanteren is simpel: alles wat onomkeerbaar is, gaat eerst langs een mens. Bij software is dat een verzendknop of een betaling. Bij hardware is de lijst langer, want veel fysieke handelingen zijn per definitie onomkeerbaar. Zie wanneer mag AI zelf handelen.
Laag 3: de melding als het misgaat. Een proces dat stil faalt is gevaarlijker dan handwerk, want je vertrouwt op iets dat niet gebeurde. Zorg dat een storing terechtkomt op een plek waar iemand hem ziet, ook buiten kantooruren en ook als het dashboard dicht staat. Zie AI die uit zichzelf werkt.
Er speelt iets dat losstaat van AI maar er precies overheen valt.
Vanaf 20 januari 2027 geldt in de EU een nieuwe machineverordening. Die vervangt de oude machinerichtlijn en dekt voor het eerst expliciet AI-gestuurde veiligheidsfuncties en machines waarvan het gedrag zich ontwikkelt.
De consequentie is scherper dan hij op het eerste gezicht lijkt. Een MHS-bestand dat vastlegt hoe snel een robotarm mag bewegen, vervult technisch gezien een veiligheidsfunctie. In de hoogste risicocategorieën vervalt onder de nieuwe verordening de mogelijkheid om zelf een conformiteitsverklaring af te geven: daar moet een aangemelde instantie aan te pas komen.
Anders gezegd: wie dat bestand schrijft, schrijft mogelijk een gereguleerd veiligheidsonderdeel. Dat is een vraag voor een jurist en niet voor een leverancier, en hij verdient een antwoord voordat er iets in productie draait. De verordening staat verder uitgewerkt in de EU-machineverordening van 2027.
Wij bouwen de laag tussen systemen: koppelingen, agents, bewaking en de goedkeuringspoort die bepaalt wat er zonder mens gebeurt. Dat is werk dat wij dagelijks doen, en de regels hierboven zijn niet theoretisch maar de neerslag van dingen die in eigen projecten misgingen.
Wat wij niet doen is de veiligheidscertificering van een machine. Dat is het domein van de machinebouwer en van een aangemelde instantie. Wie beweert dat allebei te leveren, verkoopt iets dat hij niet kan waarmaken.
Die laatste vraag is de belangrijkste, en hij is niet nieuw. Hij geldt al zolang er machines zijn.
Wil je weten waar bij jou de grens hoort te staan, neem contact op.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056