From Good to Great – GLP, Quality Assurance and Quality Improvement Tools 

Op vrijdag 29 november 2024 waren ongeveer 50 deelnemers aanwezig in de Eenhoorn te Amersfoort voor een GLP themadag over recente OECD GLP documenten.

Frans Brouwer, voorzitter van de GLP-commissie, zette de toon met een routekaart die ons leidde vanaf de invoering van de OESO-GLP's in 1981, gevolgd door enkele belangrijke mijlpalen, waaronder het consensusdocument over de validatie van computerised systems in 1995 (dat in 2016 werd bijgewerkt tot een adviesdocument nr. 17). In 2002 verscheen het consensusdocument voor de toepassing van GLP voor het beheer van multi-site studies (nr. 13) en in 2022 werd een adviesdocument over QA en GLP (nr. 23) gepubliceerd, samen met een position paper over instrumenten voor kwaliteitsverbetering en GLP (nr. 24). De vraag werd gesteld: waar gaan we in de toekomst heen en welke rol gaat AI spelen in ons dagelijks leven en in de life sciences research?

Erna Hissink, GLP-inspecteur van de Nederlandse GLP-Monitoring Autoriteit IGJ, presenteerde de belangrijkste elementen van adviesdocument nr. 23.  Dit omvatte de verantwoordelijkheden van QA, waaronder het belang van QA om toegang te hebben tot het Master Schedule. Ze benoemde dat de Nederlandse inspecteurs niet standaard QA-rapporten ter inzage zullen vragen, maar dat sommige andere landen wel kunnen vragen om ze te zien. Ze gaf aan dat zelfs in een global bedrijf het de verwachting van de Nederlandse inspecteurs is dat QA rapporteert aan de TFM op de lokale locatie. QA hoeft niet deskundig te zijn in alle procedures, maar ze moeten de inhoud van de relevante SOP's begrijpen. Het is ook belangrijk dat de onafhankelijkheid van QA goed is gedefinieerd. QA moet passend toezicht houden op het onderzoek en kritische activiteiten voor inspecties moeten worden gedefinieerd in de QA-SOP's. Tijdens proces inspecties kunnen sommige studies niet worden geïnspecteerd. De frequentie en rationale van procesinspecties moeten worden opgenomen in QA-SOP's. De functie van TFM moet ook worden opgenomen als onderdeel van de facility inspecties. QA kan ook andere rollen hebben, zoals het opleiden van personeel in GLP, het beheren van SOP's, het inspecteren van derde partijen etc. Het TFM moet op de hoogte zijn van QA-activiteiten en ervoor zorgen dat zij het QA programma uitvoeren zoals gepland. Het is aan QA om te beslissen of ze een risk based programma implementeren of niet. Risico's moeten worden bepaald op basis van ervaringen uit het verleden, inspecties, veranderingen in de organisatie van de testfaciliteit, enz. De QA moet ook worden beoordeeld. Dit kan worden gedaan door iemand van een andere afdeling of een externe QA.

Mirjam Smeets, ook GLP-inspecteur van de Nederlandse GLP-Monitoring Autoriteit IGJ, sprak over position paper nr. 24 van de OESO, GLP betreffende instrumenten voor kwaliteitsverbetering. Ze gaf aan dat dit een position paper is en dat de IGJ het daarom niet kan afdwingen. TFM is verantwoordelijk voor de verbetering van de faciliteit. Er moet een mechanisme zijn voor het verzamelen van problemen en het uitvoeren van een analyse van de Root Cause voordat een besluit wordt genomen over de corrigerende en preventieve maatregelen. Ook de effectiviteit van de genomen maatregelen moet worden gemonitord. Input voor verbetering kan komen van het detecteren van: problemen, non-compliances, afwijkingen, risicobeoordeling, systeemprestaties en monitoring, en feedback van medewerkers! Ook interne en externe audits en inspecties van de overheid kunnen input leveren voor verbetering. Bij het uitvoeren van een Root Cause Analysis is het van cruciaal belang dat de echte hoofdoorzaken worden vastgesteld.

Er zijn veel hulpmiddelen die kunnen worden gebruikt, waaronder: de 5 Why’s, visgraat tabellen, pareto-grafieken (80/20-regel) en FMEA.

De top 3 veelgemaakte fouten zijn: overhaaste conclusies trekken, symptoom bestrijding en vingerwijzen (blame game). Overhaaste conclusies trekken kan een tijdelijke oplossing zijn, maar het is meestal niet de oplossing voor de lange termijn. Bij het opstellen van CAPA-plannen is het essentieel dat de oplossingen de Root Cause echt aanpakken. Zie het als een cockpit dashboard, je moet weten wat het probleem is als er een waarschuwingslampje gaat branden. Houd er rekening mee dat er meer dan één probleem kan zijn.

Maaike van Dooren gaf een uitgebreid overzicht van hoe Charles River Laboratories in Den Bosch een risk based proces auditprogramma heeft geïmplementeerd. De eerste stap is het bepalen van de risicoklasse door te kijken naar de impact en kans dat er iets misgaat in de studiefase. De risicoklasse wordt dan afgezet tegen de mogelijkheid van detectie. Dit geeft een risicocategorie. Ten slotte wordt het gebruik van de risicocategorie afgezet tegen de frequentie van de procesprestaties (maandelijks of minder, wekelijks of meer dan 2 keer per maand en dagelijks of meer dan 2 keer per week).

Maaike lichtte de volgende stappen toe die ze hebben doorlopen om tot een succesvol risk based proces auditprogramma te komen: 

1. Begrijp het studietype 

2. Splits het onderzoek op in processen 

3. Classificeer welke processen routinematig en repetitief zijn 

4. Bepaal de risicoklasse 

5. Vraag hulp aan experts 

6. Beoordeel risicocategorieën 

7. Vraag hulp aan experts 

8. Bepaal de frequentie van de procesaudit 

9. Voer een jaarlijkse beoordeling uit en evalueer elk kwartaal opnieuw 

Frans Boeijen gaf vervolgens een presentatie over AI in Quality Land. Hij begon met de geschiedenis van AI die teruggaat tot 1950 met het eerste damprogramma. In 1965 werd de eerste ELIZA-chatbox ontwikkeld en in de jaren 1990 werd grote vooruitgang geboekt op het gebied van AI en Machine Learning. In 2000 hadden we slim speelgoed en in 2020 was Open AI beschikbaar op het internet. Bij AI gaat het om Machine Learning en daarbinnen is er ook Deep Learning. Versterkt leren kan met vallen en opstaan en door feedback te geven met slagen en falen. AI-systemen zijn niet foutloos en moeten zorgvuldig worden beoordeeld. Er is veel vooruitgang geboekt in het onderzoek met behulp van gegevens van bijvoorbeeld trendapparaten (slimme horloges, ringen, telefoons enz.). Het is essentieel dat goede, betrouwbare data wordt gebruikt voor AI.

De kwaliteit van de input = de kwaliteit van de output.

Enkele van de risico's van AI en Machine Learning zijn: 

• Gebruik van externe leveranciers
• Behoud van voldoende technische en wetenschappelijke kennis 
• Morbiditeitsmodel
• Wijzigingen in productiegegevens
• Systeemprestaties en downtime
• Fouten in de gegevens
• Dataset te klein
• Gegevens niet correct gelabeld
• Dataset met beperkte scenario's
• Gegevens zijn bevooroordeeld.

GAMP 5 kan worden toegepast voor de levenscyclus van data in Machine Learning. Via de conceptfase naar de projectfase en door naar de operationele fase en uiteindelijk de retirement fase.

Tijdens het middagprogramma kregen de aanwezigen de kans om deel te nemen aan een hands-on AI-workshop met Machine Learning om onderscheid te maken tussen katten en honden.

De dag werd afgesloten met een vraag- en antwoordsessie met de IGJ GLP-inspecteurs die duidelijkheid verschaffen voor die grijze gebieden in GLP.

De GLP-commissie wil iedereen bedanken die aanwezig was en kijkt uit naar een geweldig 2025!