Bij software is een fout herstelbaar, bij hardware soms niet. Hoe MHS grenzen afdwingt, waar het model tekortschiet en waarom de EU-machineverordening van 2027 hier bovenop valt.
Er is een verschil tussen een agent die een verkeerde factuur boekt en een agent die een robotarm te snel laat bewegen. Het eerste kost een correctie. Het tweede kan iemand raken.
Dat verschil verklaart waarom de Model Hardware Standard er anders uitziet dan de standaarden die eraan voorafgingen, en waarom hij eerst als research preview is vrijgegeven met als expliciet doel om veiligheidsevaluaties op te bouwen.
Dit is het belangrijkste ontwerpbesluit in MHS.
Bij elk apparaat hoort een referentiebestand met daarin wat het kan meten, wat er verstelbaar is en welke veiligheidsgrenzen gehandhaafd worden. Een robotarm krijgt zijn maximale snelheid en toegestane hoeken, een laser zijn maximale vermogen.
Dat bestand is geen instructie aan de agent maar een grens die de laag eronder afdwingt. Het verschil is fundamenteel: een instructie is een verzoek dat genegeerd kan worden, een grens is een muur.
Wij kennen dat verschil uit eigen werk, in een minder gevaarlijke vorm. Een controle die in een scherm zit in plaats van in de laag eronder houdt niets tegen dat het scherm omzeilt. Bij software levert dat een gat in je administratie op; bij een machine levert het een ongeval op.
De preview leverde daar een concreet voorbeeld van. Bij een van de partners weigerde de opstelling zes verschillende situaties voordat er iets bewoog. Onder meer een ontbrekende plaat, een gedraaide plaat, een lezer die nog bezig was, en een camera die niet meer aangesloten was.
Let op wat die vier gemeen hebben: geen ervan is een fout van de agent. Het zijn omstandigheden in de fysieke wereld die de agent niet kán zien. De bewaking hoort daarom te zitten waar de wereld gemeten wordt, en niet waar over de wereld nagedacht wordt.
Anthropic is hier opvallend open over, en die openheid hoort in elke afweging mee. Een taalmodel heeft de fysieke wereld leren kennen uit tekst en beeld. Het heeft nooit iets vastgehouden, nooit iets horen ratelen.
Dat levert twee blinde vlekken op, en allebei zijn ze gemeten. Fysieke oorzaken worden voor softwarefouten aangezien: bij Genentech ontstond schuim in de eiwitmonsters en het model behandelde dat als een probleem in de besturing. Buiten de besturing houdt het begrip op: bij QuEra werkte de agent uitstekend zolang alles via de aansturing verliep, maar zodra de opstelling zelf haperde wist het niet waar te beginnen.
De conclusie is niet dat het niet werkt, want datzelfde QuEra-resultaat ging van 58 naar 99,3 procent. De conclusie is dat deskundig toezicht nodig blijft.
MHS regelt de onderste laag. De twee daarboven zijn organisatorisch.
De harde grens in het apparaat. Snelheid, hoek, vermogen, temperatuur. Afgedwongen onder de agent, niet te overrulen met een goedgekozen zin.
De goedkeuringspoort. Alles wat onomkeerbaar is gaat eerst langs een mens. Bij hardware is die lijst langer dan bij software, want veel fysieke handelingen zijn per definitie niet terug te draaien. Zie wanneer mag AI zelf handelen.
De melding als het misgaat. Een proces dat stil faalt is gevaarlijker dan handwerk, want je vertrouwt op iets dat niet gebeurde. Zie AI die uit zichzelf werkt.
Er speelt iets dat losstaat van AI maar er precies overheen valt. Vanaf 20 januari 2027 geldt in de EU verordening 2023/1230, de nieuwe machineverordening. Die vervangt de oude machinerichtlijn en dekt voor het eerst expliciet AI-gestuurde veiligheidsfuncties en machines waarvan het gedrag zich ontwikkelt.
De consequentie is scherper dan hij lijkt. Een MHS-bestand dat vastlegt hoe snel een robotarm mag bewegen, vervult technisch gezien een veiligheidsfunctie. In de hoogste risicocategorieën vervalt onder de nieuwe verordening de mogelijkheid om zelf een conformiteitsverklaring af te geven: daar moet een aangemelde instantie aan te pas komen.
Anders gezegd: wie dat bestand schrijft, schrijft mogelijk een gereguleerd veiligheidsonderdeel. Dat is een vraag voor een jurist en niet voor een leverancier. Zie de EU-machineverordening van 2027.
Wij bouwen de laag tussen systemen: koppelingen, agents, bewaking en de goedkeuringspoort die bepaalt wat er zonder mens gebeurt. Wat wij niet doen is de veiligheidscertificering van een machine. Dat is het domein van de machinebouwer en een aangemelde instantie, en wie beweert dat allebei te leveren, verkoopt iets dat hij niet kan waarmaken.
Dat hangt af van wie als fabrikant geldt en of het begrenzende bestand als veiligheidscomponent telt. Precies daarom is dat een vraag voor een jurist, en wel dit jaar.
Ja, en dat is niet nieuw. Een fysieke noodstop die geen enkele software kan overrulen is de belangrijkste voorziening die er is.
Niet als die onder hem worden afgedwongen. Daarom hoort dat bestand ook in versiebeheer en niet in iemands map.
Ja, het is een verordening en die werkt rechtstreeks in de hele EU, zonder nationale omzetting.
Nee. Een agent die metingen uitleest en rapporten schrijft raakt geen veiligheidsfunctie. Een agent die bepaalt hoe hard iets mag bewegen wel.
Welke grenzen golden en sinds wanneer, plus elke opdracht die naar een apparaat ging met tijdstip en uitkomst.
Wil je weten waar bij jou de grens hoort te staan en welke handelingen langs een mens moeten, neem contact op of lees het volledige artikel over verantwoordelijkheid.
dGEN Productions, AI agency en business-automation partner uit Eindhoven. info@dgenproductions.nl · 06-87413056