EU regulative: Analitički osvrt na upotrebu umjetne inteligencije (AI) u procesu razvoja i primjene lijekova

1. UVOD

Upotreba umjetne inteligencije (AI) važan je dio digitalne transformacije. Takvi sistemi se često razvijaju kroz proces mašinskog učenja (ML), gdje se modeli treniraju na podacima, sa ili bez ljudskog unosa. Međutim, budući da ovi modeli često sadrže izuzetno velik broj parametara koji se mogu prilagoditi unutar netransparentnih modelskih arhitektura, uvode se novi rizici koje je potrebno ublažiti kako bi se osigurala sigurnost pacijenata i integritet rezultata kliničkih studija. Također, budući da je ovaj pristup u svojoj suštini vođen podacima, potrebno je poduzeti aktivne mjere kako bi se smanjila integracija pristranosti u AI/ML aplikacije i promovisala pouzdana i vjerodostojna umjetna inteligencija.

Ovaj analitički osvrt donosi razmatranja o upotrebi AI/ML u životnom ciklusu lijekova, uključujući razvoj, odobravanje i post-marketinšku fazu lijekova. S obzirom na brzi razvoj ovog područja, cilj ovog dokumenta je osvrnuti se na principe relevantne za regulatornu evaluaciju prilikom primjene ovih novih tehnologija kako bi se podržao siguran i učinkovit razvoj, proizvodnja i primjena lijekova.

Ključno je identificirati aspekte AI/ML koji spadaju u nadležnost EMA-e ili Nacionalnih nadležnih tijela država članica, jer će nivo regulatorne procjene zavisiti upravo o ovoj nadležnosti. Ovaj dokument fokusira se isključivo na upotrebu AI u životnom ciklusu lijekova, a svi spomeni kvalifikacije novih metodologija za razvoj lijekova (1) i regulatorne interakcije trebaju se razumjeti u tom kontekstu. Također, medicinski uređaji koji koriste AI/ML tehnologiju mogu se koristiti u okviru kliničkih ispitivanja za generiranje dokaza koji podržavaju zahtjev za odobrenje za stavljanje lijeka u promet i/ili mogu biti kombinovani s primjenom lijeka. U takvim slučajevima, EMA će biti uključena u procjenu da li je uređaj adekvatan za generiranje dokaza koji podržavaju EU odobrenje za stavljanje u promet. Slično tome, ako se uređaj koristi za davanje preporuka u Sažetku karakteristika lijeka, npr. o doziranju ili monitoringu, EMA će procijeniti sve relevantne aspekte predložene kombinovane upotrebe.

Ovaj analitički dokument opisuje trenutno iskustvo EMA-e u području gdje naučna saznanja brzo napreduju. Treba ga čitati u skladu s pravnim zahtjevima i sveukupnim EU principima i zakonodavstvom o umjetnoj inteligenciji (uključujući Akt o umjetnoj inteligenciji i Direktivu o odgovornosti za AI), zaštiti podataka (uključujući GDPR), kibernetičkoj sigurnosti (uključujući Akt o kibernetičkoj sigurnosti) te regulativi o lijekovima (vidjeti reference).

Iako su neka razmatranja u ovom dokumentu od općeg značaja za razvoj veterinarskih lijekova, važno je naglasiti da postoje značajne razlike između humane i veterinarske medicine, uključujući pravne osnove, regulatorne zahtjeve i smjernice, etička pitanja, rizike pristranosti i druge izvore diskriminacije. Dalja razmatranja bit će potrebna kako bi se bolje identificirali specifični konteksti i izvori pristranosti u veterinarskoj oblasti. Iako su veterinarski lijekovi regulirani Uredbom (EU) 2019/6 općenito obuhvaćeni naučnim okvirom ovog dokumenta, čitateljima se savjetuje da obrate pažnju na bilješke koje ukazuju na temeljne razlike. Moguće je da će u budućnosti biti razvijene specifične veterinarske smjernice ili refleksije.

2. RASPRAVA

2.1. Definicije i obuhvat

Prema definiciji OECD-a, AI sistem je sistem zasnovan na mašinama, dizajniran da funkcioniše s različitim nivoima autonomije i koji može pokazivati adaptivnost nakon implementacije. Takav sistem, u skladu s eksplicitnim ili implicitnim ciljevima, analizira ulazne podatke kako bi generirao izlaze poput predikcija, sadržaja, preporuka ili odluka koje mogu utjecati na fizičko ili virtualno okruženje.

U ovom refleksijskom dokumentu termin AI/ML koristi se za obuhvatanje svih modela razvijenih putem procesa mašinskog učenja (ML), bez obzira na specifičnu arhitekturu modela.

2.2. Opća razmatranja

AI/ML alati i metodologije mogu, ako su pravilno razvijeni i korišteni, efikasno podržati prikupljanje, transformaciju, analizu i interpretaciju podataka u životnom ciklusu lijeka. Važno je napomenuti da se mnoge preporuke, najbolje prakse i prethodna saznanja iz područja modelima informisanog razvoja lijekova i biostatistike također mogu primijeniti na oblast AI/ML. Srodne metodološke smjernice koje mogu biti relevantne navedene su na kraju ovog dokumenta.

Pristup zasnovan na procjeni rizika za razvoj, implementaciju i praćenje performansi AI/ML alata omogućava developerima da unaprijed definišu rizike koji će se upravljati tokom cijelog životnog ciklusa sistema. Ovaj dokument koristi termin „visok rizik za pacijente” za sisteme koji utiču na sigurnost pacijenata, dok se termin „visok regulatorni uticaj” koristi u slučajevima kada je uticaj na regulatorno donošenje odluka značajan.

Savjeti o upravljanju rizicima dodatno će biti obrađeni u budućim regulatornim smjernicama, s obzirom na to da posljedice neispravnog funkcionisanja sistema ili suboptimalne performanse modela mogu varirati od minimalnih do kritičnih, pa čak i po život opasnih. Nivo rizika ne zavisi samo od AI tehnologije i kvaliteta podataka, već i od konteksta upotrebe i stepena uticaja koji AI tehnologija ima. Također, nivo rizika može se mijenjati tokom životnog ciklusa AI sistema.

Sponzori kliničkih ispitivanja, podnositelji zahtjeva za odobrenje lijeka, nosioci odobrenja za stavljanje lijeka u promet (MAH) i proizvođači koji planiraju implementirati AI/ML tehnologiju trebali bi uzeti u obzir i sistematski upravljati relevantnim rizicima od ranih faza razvoja do povlačenja sistema iz upotrebe. Ako se planira korištenje AI/ML sistema u razvoju, evaluaciji ili nadzoru nad lijekovima, te ako se očekuje da će čak i potencijalno utjecati na omjer koristi i rizika lijeka, preporučuje se rana regulatorna interakcija (vidi Regulatorne interakcije).

Nivo regulatornog nadzora zavisi od nivoa rizika i regulatornog uticaja sistema. Ključni princip jeste da je odgovornost sponzora kliničkog ispitivanja, podnositelja zahtjeva za odobrenje ili proizvođača da osigura da su svi algoritmi, modeli, skupovi podataka i procesi obrade podataka prikladni za namjenu i usklađeni s pravnim, etičkim, tehničkim, naučnim i regulatornim standardima, kako je definirano u zakonodavstvu EU, GxP standardima i važećim smjernicama EMA-e.

Važno je naglasiti da ti zahtjevi mogu biti strožiji od onoga što se obično smatra standardnom praksom u oblasti nauke o podacima. Za sve zahtjeve za savjet ili mišljenje, od podnositelja zahtjeva ili MAH-a očekuje se da dostavi naučnu osnovu zajedno s dovoljno tehničkih detalja kako bi se omogućila sveobuhvatna procjena AI sistema koji se koriste u životnom ciklusu lijeka, uključujući integritet podataka korištenih za razvoj modela i opću primjenjivost performansi modela na ciljnu populaciju i specifični kontekst upotrebe.

2.3. AI u životnom ciklusu lijekova

Sljedeće sekcije strukturirane su prema životnom ciklusu lijekova, počevši od otkrivanja i razvoja lijekova do postautorizacijskih okruženja, uključujući farmakovigilancu i studije efikasnosti.

2.3.1. Otkrivanje lijekova

Primjena AI/ML u procesu otkrivanja lijekova može imati mali regulatorni utjecaj ako neoptimalno djelovanje utječe samo na razvojne stručnjake. Međutim, ako rezultati doprinosu ukupnom tijelu dokaza koji se predaju na regulatornu reviziju, principi za nekemijski razvoj (vidi dolje) trebaju biti poštovani. U ovom kontekstu, svi modeli i skupovi podataka koji se koriste trebaju biti pregledani od strane sponzora kako bi se smanjili etički problemi, rizici od pristranosti i drugi izvori diskriminacije prema manjinskim genotipovima i fenotipovima s obzirom na kvalitetu i količinu podataka (vidi Tehnički aspekti – Akvizicija i augmentacija podataka).

2.3.2. Neklinički razvoj

AI/ML aplikacije u nekemijskom razvoju mogu težiti ne samo poboljšanju performansi u analizi podataka i njihovoj interpretaciji, već bi mogle uključivati i AI/ML pristupe modeliranja za zamjenu, smanjenje i usavršavanje upotrebe životinja te poboljšanje humanog prijenosa. Postojeći standardni operativni postupci (SOP) trebaju se primjenjivati na sve AI/ML aplikacije u nekemijskim studijama. Kada je primjenjiva OECD serija o principima dobrih laboratorijskih praksi (GLP), treba uzeti u obzir savjetodavne dokumente o primjeni GLP principa na računalne sustave (br. 17) i integritet podataka GLP-a (br. 22). Dok nehemijski razvoj može dopuštati iterativni pristup temeljen na podacima AI/ML, za specifične slučajeve možda će biti potrebno testiranje performansi modela tijekom razvoja i predefinirane analize tijekom inferencije. Aplikacije koje utječu na sigurnost pacijenata (kao što su modeliranje učinkovitosti i sigurnosti koje informira dizajn “prvih studija na ljudima”), koje su potencijalno relevantne za ocjenu odnosa koristi i rizika medicinskog proizvoda, ili imaju visok regulatorni utjecaj na drugi način, trebaju biti razvijene i testirane u skladu s time.

2.3.3. Klinička ispitivanja

2.3.3.1. Dobra klinička praksa (GCP)

Upotreba AI/ML u kontekstu kliničkih ispitivanja treba udovoljavati primjenjivim zahtjevima u ICH E6 smjernici za dobru kliničku praksu (GCP) ili VICH GL9 Dobre kliničke prakse (veterinarske). Treba napomenuti da ako upotreba može imati visok regulatorni utjecaj ili visok rizik za pacijenta u kliničkom ispitivanju, a metoda nije prethodno kvalificirana od strane EMA za specifični kontekst uporabe, cijela arhitektura modela, dnevnici razvoja modela, validacija i testiranje, podaci za obuku i opis obrada podataka bit će vjerojatno smatrani dijelovima podataka kliničkog ispitivanja ili dosjea protokola ispitivanja te se mogu zahtijevati za sveobuhvatnu procjenu pri podnošenju zahtjeva za odobrenje na tržištu, aplikaciju za kliničko ispitivanje ili inspekciju GCP.

Dodatne informacije moraju se uzeti u obzir pri primjeni AI/ML u kliničkom ispitivanju, gdje utjecaj na specifične aspekte kao što su dizajn i provedba ispitivanja, upotreba decentraliziranih elemenata i namjena kao softver za podršku odluci trebaju biti odraženi u specifičnoj procjeni odnosa koristi i rizika u protokolu.

2.3.3.2. Upotreba medicinskih uređaja i in vitro dijagnostike u kliničkim ispitivanjima

Medicinski uređaji i in vitro dijagnostika (IVD) regulirani su prema Uredbi (EU) 2017/745 o medicinskim uređajima (MDR) ili Uredbi (EU) 2017/746 o in vitro dijagnostičkim medicinskim uređajima (IVDR). Aplikacije unutar područja razvoja i uporabe lijekova mogu uključivati međudjelovanje s takvim uređajima. Stoga je ova sekcija pružena u svrhu potpune informacije, bez prejudiciranja postojećih smjernica o medicinskim proizvodima koji se koriste u kombinaciji s medicinskim uređajima.

Kada se AI/ML sustavi koriste za kliničko upravljanje pojedinim pacijentom, mogu se smatrati medicinskim uređajima prema MDR ili IVDR (2,3). Specifične smjernice o kvalifikaciji i klasifikaciji softverskih aplikacija unutar okvira MDR i IVDR mogu se pronaći u MDCG 2019-11 (3). Nije u nadležnosti EMA da kvalificira ili klasificira softver prema gore navedenim uredbama. Čak i kada se koriste CE označeni medicinski uređaji, može biti potrebno ispuniti dodatne zahtjeve kako bi se kvalificirali za uporabu u kontekstu kliničkog ispitivanja, kako bi se osigurala prava, sigurnost, dobrobit ispitanika, integritet podataka i rezultata kliničkog ispitivanja, uključujući njihovu generalizabilnost.

2.3.3.3. Analiza podataka i inferencija

Kada se AI/ML modeli koriste za transformaciju, analizu ili interpretaciju podataka unutar kliničkog ispitivanja medicinskog proizvoda, smatraju se dijelom statističke analize i trebaju slijediti primjenjive smjernice o statističkim principima za klinička ispitivanja (vidi povezane smjernice metodologije) te uključivati analizu utjecaja na kasniju statističku inferenciju. Za inferenciju u kasnim fazama kliničkog razvoja, ovo zahtijeva detaljan opis unaprijed definiranog pipeline-a za kuraciju podataka i “zamrznut” i dokumentiran (vidi Tehničke aspekte) ili EMA kvalificiran (vidi Regulatorne interakcije) skup modela, unutar plana statističke analize.

Rana faza kliničkih ispitivanja

Upotreba AI/ML modela za analizu podataka u ranim fazama kliničkog razvoja često je niskog rizika, ali može sadržavati aplikacije s visokim rizikom za pacijenta, kao što je dodjela tretmana ili doza. U svim slučajevima, treba poduzeti mjere kako bi se osiguralo da su svi procijenjeni podaci koji se koriste za planiranje sljedećih kliničkih ispitivanja statistički robusni i da se istraživačke analize interpretiraju u odnosu na višestrukost. U okolnostima gdje podaci iz ranih faza kliničkih ispitivanja mogu imati značajan regulatorni utjecaj, kao u ograničenim kliničkim programima, zahtjevi mogu biti viši i trebaju se raspraviti kroz ranu regulatornu interakciju.

Pivotalna klinička ispitivanja

U kasnim fazama pivotalnih kliničkih ispitivanja, svi rizici povezani s prekomjernim prilagođavanjem modela (overfitting) i curenjem podataka moraju se pažljivo smanjiti. Prije implementacije modela u okruženju s visokim regulatornim utjecajem, kao u odnosu na primarni cilj, performanse treba testirati s podacima koji se generiraju prospektivno (u budućem vremenskom razdoblju) i koji su prikupljeni u okruženju ili populaciji koja je reprezentativna za predviđeni kontekst uporabe. Pristupi s inkrementalnim učenjem nisu prihvaćeni, a bilo koja izmjena modela tijekom ispitivanja zahtijeva regulatornu interakciju kako bi se izmijenio plan statističke analize.

Prije zaključivanja baze podataka i kasnijeg otkrivanja podataka korištenih za testiranje hipoteza, pipeline za predobradu podataka i svi modeli trebaju biti zamrznuti i dokumentirani na način koji je pratljiv u planu statističke analize. Kada je skup podataka otvoren, bilo kakve nepodrazumijevane izmjene u obradi podataka ili modelima impliciraju da su rezultati analize smatrani post hoc i stoga nisu prikladni za potvrđivanje dokaza.

Ako je moguće, potiče se da modeli budu objavljeni u javno dostupnom spremištu prije njihove implementacije u pivotalnom kliničkom ispitivanju, kako bi se omogućila treća strana revizija i promicanje standardizacije.

2.3.4. Personalizirana medicina (4)

AI/ML se može koristiti za individualizaciju liječenja u odnosu na faktore kao što su karakteristike bolesti, genotip pacijenta, širokopojasni paneli biomarkera i klinički parametri. To može uključivati selekciju pacijenata, određivanje doziranja, de novo dizajn varijanti proizvoda i odabir iz unaprijed proizvedene biblioteke varijanti. Moguće je da se AI/ML aplikacija navodi u Sažetku opisa svojstava lijeka kako bi podržala donošenje odluka o indikacijama i doziranju. Ne dovodeći u pitanje potrebu za ocjenom usklađenosti od strane drugih regulatornih tijela, sigurnost i učinkovitost lijeka u kombinaciji s AI vođenom aplikacijom ostaje u nadležnosti regulatora lijekova.

Primjene AI/ML-a u vezi s indikacijama ili doziranjem smatraju se visokim rizikom za pacijente, kao i područjem s visokim regulatornim utjecajem. Osim principa navedenih u ovom dokumentu za takve situacije, posebnu pažnju treba posvetiti definiranju što predstavlja promjenu indikacije ili doziranja koja bi zahtijevala regulatornu evaluaciju prije implementacije. Također, važno je osigurati smjernice koje će liječnicima omogućiti kritičko razumijevanje te uključiti alternativne strategije liječenja u slučaju tehničkog kvara.

2.3.5. Informacije o proizvodu

AI/ML aplikacije koje se koriste za izradu, sastavljanje, uređivanje, prevođenje, prilagođavanje ili pregled dokumenata s informacijama o lijeku trebaju biti pod strogim nadzorom čovjeka. S obzirom na to da generativni jezični modeli imaju sklonost davanju naizgled uvjerljivih, ali netačnih ili nepotpunih rezultata, potrebno je uspostaviti mehanizme kontrole kvalitete kako bi se osiguralo da je sav tekst generiran modelom činjenično i sintaktički ispravan prije podnošenja na regulatorni pregled.

2.3.6. Proizvodnja

Očekuje se da će upotreba AI/ML tehnologija u proizvodnji lijekova, uključujući dizajn i povećanje procesa, optimizaciju procesa, kontrolu kvalitete tokom proizvodnje i puštanje serija, značajno porasti u narednim godinama. Razvoj modela, procjena performansi i upravljanje životnim ciklusom trebaju slijediti principe upravljanja kvalitetom rizika, uzimajući u obzir sigurnost pacijenata, integritet podataka i kvalitet proizvoda. Kod lijekova za humanu upotrebu potrebno je primijeniti principe ICH Q8, Q9 i Q10, dok se čeka revizija postojećih regulatornih zahtjeva i GMP standarda.

2.3.7. Postmarketinška faza

Predviđa se da AI/ML alati mogu efikasno podržati aktivnosti nakon odobrenja, poput studija postmarketinške efikasnosti i sigurnosti (PAES i PASS) za lijekove za humanu upotrebu te studija nadzora nakon stavljanja u promet za veterinarske lijekove, kao i farmakovigilancijske aktivnosti, uključujući upravljanje prijavama nuspojava i otkrivanje sigurnosnih signala, u skladu s važećim zahtjevima dobre farmakovigilancijske prakse za humane i veterinarske lijekove.

Primjena AI/ML u farmakovigilanciji može omogućiti fleksibilniji pristup modeliranju i primjeni, gdje inkrementalno učenje može kontinuirano poboljšavati modele za klasifikaciju i procjenu težine prijava nuspojava, kao i za otkrivanje sigurnosnih signala. Međutim, odgovornost nositelja odobrenja (MAH) ostaje da validira, nadzire i dokumentira performanse modela te uključi AI/ML operacije u farmakovigilancijski sistem kako bi umanjio rizike povezane sa svim korištenim algoritmima i modelima.

Ako je postmarketinška studija navedena kao uvjet za odobrenje stavljanja lijeka u promet, primjena AI/ML modela treba biti razmotrena u okviru regulatornog postupka, osim ako su detalji već dogovoreni u trenutku odobrenja. Važno je napomenuti da se mogu primijeniti isti zahtjevi kao i za ključna klinička ispitivanja, uključujući unaprijed određeni statistički plan analize, definiran postupak obrade podataka i zamrznute modele.

2.4. Regulatorne interakcije

Od podnositelja zahtjeva i razvijača očekuje se da provedu analizu regulatornog utjecaja i rizika svih AI/ML aplikacija te se preporučuje traženje regulatornih interakcija kada ne postoji jasno primjenjiva pisana smjernica. Regulatorni utjecaj izravno ovisi o fazi životnog ciklusa lijeka i važnosti dokaza koje ti podaci imaju u predviđenom kontekstu. U slučajevima gdje AI/ML može imati značajan utjecaj na regulatorno donošenje odluka, uvijek se preporučuje interakcija s regulatornim tijelima.

Rana interakcija o eksperimentalnim tehnologijama omogućena je putem EMA Innovation Task Force (ITF). Znanstveno savjetovanje i kvalifikacija1 novih metodologija u razvoju lijekova pružaju Scientific Advice Working Party (SAWP) pri CHMP-u i CVMP-u. Pojam kvalifikacijski savjet/mišljenje odnosi se na nove metodologije primijenjene u razvoju lijekova, gdje bi metodologija trebala biti neovisna o medicinskim uređajima ili softveru.

Vremenski okvir regulatornih interakcija treba biti vođen regulatornim utjecajem i rizikom povezanim s primjenom AI modela u kontekstu životnog ciklusa lijeka. U slučajevima visokog utjecaja, interakcija može biti ključna već u fazi planiranja.

Dokumentacija koja informira regulatorne interakcije treba obuhvatiti pitanja poput predviđenog konteksta primjene, mogućnosti generalizacije, performansi, robusnosti, transparentnosti i kliničke primjenjivosti, s dovoljnom razinom detalja za sveobuhvatnu procjenu. Preporučuje se postavljanje specifičnih i jasno formuliranih regulatornih i znanstvenih pitanja kako bi se omogućili sažeti i precizni odgovori.

2.5. Tehnički aspekti

2.5.1. Prikupljanje i povećanje podataka

AI/ML modeli su intrinsički vođeni podacima, jer izvode ili prilagođavaju svoje parametre iz podataka za obuku. To ih čini podložnim integraciji pristranosti u modele. Potrebno je uložiti napore u stjecanje uravnoteženog i dovoljno velikog skupa podataka za obuku u odnosu na predviđeni kontekst primjene. Potrebno je razmotriti prekomjerno uzorkovanje rijetkih populacija, uzimajući u obzir sve relevantne osnove diskriminacije, kako je navedeno u načelu EU zabrane diskriminacije i temeljnim pravima EU.

Posvetiti će se posebna pažnja kako bi se identificirali problemi kvalitete podataka i potencijalne pristranosti koje se primjenjuju na veterinarske lijekove, uzimajući u obzir razlike, npr., u ciljanim populacijama i regulatornim zahtjevima između veterinarskih i ljudskih lijekova. Izvori podataka i proces njihovog prikupljanja, zajedno sa svim obradama kao što su čišćenje, transformacija, imputacija, anotacija, normalizacija i povećanje, trebaju biti dokumentirani na detaljan i potpuno traceabilan način u skladu s GxP zahtjevima.

Treba provesti istraživačku analizu podataka kako bi se opisale karakteristike podataka, reprezentativnost, pravednost i relevantnost za predviđeni zadatak. Minimalno, trebaju biti dokumentirana razmatranja o:

• relevantnosti i reprezentativnosti populacije podataka, te pretpostavkama o intra-/ekstrapolaciji, • neravnotežama klasa i odgovarajućim mjerama ublažavanja poduzetim, te
  • potencijalnom riziku od nepravednih ili diskriminirajućih rezultata korištenjem podataka.

Tehnike augmentacije mogu se primijeniti za proširenje skupa podataka za obuku. Za slikovne podatke, ovo uključuje, ali nije ograničeno na, geometrijske transformacije, rezanje i spajanje, dodavanje šuma te promjenu kontrasta/svjetline/dubine boje/rezolucije slikovnih podataka. Slično tome, sintetički podaci drugih modaliteta mogu u nekim slučajevima biti korisni za proširenje skupa podataka za obuku, kako za povećanje performansi modela, tako i u odnosu na nediskriminaciju.

Ako ograničenja u skupu podataka za obuku ostanu, utječući na generalizaciju ili pravednost modela, ta ograničenja trebaju biti jasno prikazana u dokumentaciji modela, zajedno s preporukama o korištenju alternativnih metoda u slučajevima kada model nije smatra primjenjivim.

2.5.2. Skupovi podataka za obuku, validaciju i testiranje

Pojam validacije često se koristi na različite načine u poljima AI/ML i razvoja lijekova. Za AI/ML, validacija se odnosi na podatke koji se koriste za informiranje o odabiru arhitekture modela i podešavanju hiperparametara, te je stoga dio procesa vođenog podacima. Podskup validacije može biti statičan ili se može iterativno uzimati iz skupa podataka za obuku koristeći unakrsnu validaciju. Kada je ovaj proces završen, konačne performanse modela ocjenjuju se jednom koristeći odvojeni testni skup podataka. Ako performanse na testu nisu zadovoljavajuće i potrebna je daljnja razvoj modela, trenutni testni skup podataka ne može se ponovo koristiti u tu svrhu i zahtijeva se potpuno novi i neovisni testni skup podataka za ponavljanje testnog postupka za ažurirani model.

Praktikovanje ranog razdvajanja skupa podataka za obuku i testiranje u odvojene i nesrelatedne skupove podataka, prije bilo kakve normalizacije ili drugih vrsta obrade u kojima se koriste agregirani podaci, snažno se preporučuje. Ipak, rizik od direktnog ili indirektnog (često nenamjernog ili čak nesvjesnog) curenja podataka ne može se potpuno isključiti. Na primjer, nepoznata preklapanja slučajeva u kliničkim bazama podataka, osnovne značajke specifične za sponzora koje se dijele između protokola studije ili čak opće a priori znanje o globalnim ishodima studije mogu sadržavati informacije koje povećavaju rizik od prekomjernog prilagođavanja modela. Stoga, modeli namijenjeni za visoki rizik za pacijente i/ili visoki regulatorni utjecaj (osobito netransparentni modeli koji se koriste u kasnim fazama kliničkog razvoja) trebaju biti prospektivno testirani koristeći nove podatke koji su reprezentativni za budući kontekst primjene.

2.5.3. Razvoj modela

S obzirom na mnoštvo pristupa i arhitektura modeliranja, ovdje su navedene samo opće smjernice za razvoj modela. Odgovornost je sponzora, podnositelja zahtjeva ili MAH-a (nositelja odobrenja za stavljanje lijeka na tržište) osigurati da SOP-ovi (standardne operativne procedure) promiču praksu razvoja koja favorizira generalizabilnost i robusnost modela – osobito za postavke gdje modeli ne mogu biti ažurirani tijekom implementacije – te održavati dokumentaciju i dnevnike razvoja koji omogućuju sekundarnu procjenu razvojnih praksi. Ako se AI model ili usluga treće strane koristi unutar životnog ciklusa lijeka s visokim regulatornim utjecajem ili visokim rizikom za pacijente, očekuje se da je proizvođač sustava pružio takve detalje kroz postupak kvalifikacije metodologije (vidi Regulatorne interakcije) koji pokriva specifičan kontekst primjene.

Snažno se preporučuje istraživanje i implementacija metoda koje promiču generalizabilnost, uključujući tehnike regularizacije, drop-out i analize osjetljivosti s stratifikacijom podataka za obuku prema kalendarskom vremenu.

Posebno je važno izbjegavati overfitting (prekomjerno prilagođavanje modela), jer to negativno utječe na generalizabilnost performansi modela u budućem kontekstu primjene. Overfitting koji je rezultat neoptimalnih praksi modeliranja obično se otkrije u fazi testiranja modela. Problematičniji uzrok overfittinga je curenje podataka (data leakage) iz testnog skupa podataka u okruženje za obuku/validaciju (vidi Trening, validacija i testni skupovi podataka). Važno je jasno definirati namjenu modela kako bi se omogućila procjena valjanosti odluka tijekom razvoja i inženjeringa značajki, ako je primjenjivo.

2.5.4. Procjena performansi

Izbor metrike za procjenu performansi modela ključan je za adekvatnu procjenu modela. Poželjno je da skup metrika sadrži parametre koji su imuni na neravnotežu klasa. Za klasifikaciju, to bi moglo uključivati Matthews Correlation Coefficient, koji uzima u obzir cijeli konfuzioni matriks. Kako bi se identificirali slučajni efekti povezani s podjelom treninga i testa, distribucija metrika performansi generiranih kroz križnu validaciju trebala bi biti predstavljena. Očekuje se analiza osjetljivosti za manjinske klase i u odnosu na kalendarsko vrijeme, kako bi se podržala generalizabilnost na podatke s različitim proporcijama klasa i robusnost u odnosu na nekontrolirane sekularne trendove u podacima tijekom primjene. Predefinirani pragovi za metrike performansi koji se mogu povezati s kontekstom primjene, kao i razmatranja o zahtjevima performansi u zavisnosti od razine rizika za pacijenta i regulatornog utjecaja, dodatno podržavaju vjerodostojnost performansi modela.

2.5.5. Interpretabilnost i objašnjivost

Kako bi se ojačala proceduralna pravičnost, odgovornost i spriječila pristranost, preferira se uporaba transparentnih modela. Međutim, priznaje se da nekoliko najperformantnijih arhitektura modela omogućuju samo ograničen uvid u predstavljanje podataka i apstrakciju unutar modela. Korištenje takvih “crnih kutija” modela može biti prihvatljivo u slučajevima kada programeri opravdavaju da transparentni (tj. interpretabilni) modeli pokazuju nezadovoljavajuće performanse ili robusnost. Upotreba modela treba biti podržana temeljnim općim obrazloženjem i detaljnim informacijama o arhitekturi modela, podešavanju hiperparametara, metrima za obuku, kao i rezultatima validacije i testa, uz unaprijed definiran plan za praćenje i upravljanje rizicima sustava za ublažavanje problema netransparentnosti. Preporučuje se da se takve aplikacije detaljno raspravljaju unutar okvira EMA kvalifikacije ili znanstvenog savjetovanja. Kako bi se omogućila revizija i praćenje modela crne kutije, trebali bi se koristiti metodi iz područja objašnjive umjetničke inteligencije kada god je to moguće. To uključuje pružanje metrika objašnjivosti, poput SHAP i/ili LIME analiza, kako za model, tako i za pojedinačne zaključke tijekom primjene. Modeli računalnog vida, te proširenja na druge modalitete gdje se koriste mehanizmi pažnje, trebali bi, kad god je to moguće, biti podržani mapama aktivacije klase, salijentnosti ili pažnje kako bi se verificiralo da su značajke izvučene iz relevantnih pozicija na slici ili sekvenci.

2.5.6. Implementacija modela

Implementacija AI/ML modela trebala bi se provoditi u skladu s pristupom temeljenim na riziku koji je opisan za razvoj modela. Za slučajeve viskog rizika za pacijente i visoki regulatorni utjecaj, sve netrivijalne promjene u softverskoj i hardverskoj infrastrukturi koja podržava model, uključujući promjene ključnih ovisnosti, zahtijevaju ponovnu procjenu performansi sustava. Također je važno da hardver za akviziciju podataka, softver i transformacijski proces podataka tijekom inferencije budu usklađeni s unaprijed definiranim specifikacijama.

Praćenje performansi modela treba biti uspostavljeno kako bi se omogućilo rano otkrivanje promjena u izvedbi ili degradacije modela, a pragovi za prihvatljive performanse modela trebaju biti jasno definirani. To može uključivati rutinsko uzorkovanje podataka za ručnu klasifikaciju ili korištenje vanjski pruženih testnih podataka iz vanjskih programa kontrole kvalitete. Također, usklađenost s primjenjivim standardima treba redovito procjenjivati. Za sve modele, posebno one u kojima nema ljudske kontrole, treba razviti plan upravljanja rizicima sustava koji definira vjerojatne rizike od načina neuspjeha algoritma. To uključuje posljedice netočnih predviđanja/klasifikacija, kao i pristupe za praćenje i ublažavanje/korekciju, poput načina za aktiviranje obustave/dekomisije modela i postupaka za obustavu ili dekomisiju.

2.6. Upravljanje

SOP-ovi koji primjenjuju GxP principe za upravljanje podacima i algoritmima trebaju biti prošireni kako bi obuhvatili sve podatke, modele i algoritme koji se koriste za AI/ML u slučajevima visokog regulatornog utjecaja ili visokog rizika za pacijente. Aspekti koji se odnose na upravljanje svim komponentama, primjenu zaštite podataka i usklađenost s primjenjivim zakonima o zaštiti podataka i etičkim standardima trebaju biti dokumentirani i redovito pregledavani.

2 2.7. Aspekti integriteta i zaštite podataka

Novi i još nedovoljno karakterizirani rizici pojavljuju se kada se podaci transformiraju u modele visoke složenosti, jer oni mogu sadržavati sličnu razinu informacija na razini pojedinca kao i podaci za obuku, ali s ograničenim uvidom u način na koji su podaci predstavljeni. Na primjer, ako su osobni podaci korišteni za obuku modela, potrebno je dodatno procijeniti može li se takve informacije realno izvući putem napada temeljenih na članstvu, inferenciji i obrnutim napadima na model, kako bi se ublažio rizik od ponovne identifikacije kada je to potrebno. Veliki jezični modeli, koji često sadrže milijarde parametara, posebno su skloni memoriranju zbog svoje veličine. Overfitting povećava rizik od memoriranja. Regularizacija, odustajanje i dodavanje nasumičnog šuma mogu pružiti djelomičnu ili potpunu anonimnost, ovisno o implementaciji.

Zaključno, ako podaci za obuku nisu prikladni za dijeljenje, mjere za očuvanje integriteta i anonimnost osobnih podataka trebaju se poduzeti prije nego što se model prenese u nesigurnije okruženje. Odgovornost podnositelja zahtjeva ili nositelja odobrenja za stavljanje na tržište (MAH) je osigurati da se svi osobni podaci, uključujući one koji su neizravno pohranjeni u AI/ML modelima, pohranjuju i obrađuju u skladu s zakonodavstvom Unije o zaštiti podataka. Sukladno tome, sve aktivnosti obrade podataka moraju biti u skladu s načelima zakonitosti, poštenja i transparentnosti, ograničenja svrhe, minimiziranja podataka, točnosti, ograničenja pohrane, integriteta i povjerljivosti, odgovornosti, kao i prava ispitanika i zaštite podataka u fazi dizajniranja i prema zadanim postavkama. U EU-u, nadzor i praćenje usklađenosti s pravilima zaštite podataka za AI sustave u nadležnosti su relevantnih nacionalnih nadzornih tijela za zaštitu podataka. Kao opći savjet u slučaju bilo kakve obrade osobnih podataka od strane AI-a, potrebno je provesti specifičnu procjenu rizika koja se fokusira na AI sustav. Ovo treba obuhvatiti i dokumentirati mogući utjecaj na prava, slobode i sigurnost ispitanika, te dokazati usklađenost s gore navedenim načelima, uključujući nužnost i proporcionalnost predviđene obrade osobnih podataka. Procjena nužnosti trebala bi uzeti u obzir mogućnost korištenja podataka koji ne dopuštaju (ponovnu) identifikaciju fizičke osobe, kao što su anonimni podaci. Inače, potrebno je opravdati zašto te opcije nisu izvedive s obzirom na ciljeve koji se žele postići.

Procjena proporcionalnosti trebala bi obuhvatiti adekvatnost količine i vrste osobnih podataka koji će biti obrađeni (u skladu s načelom minimizacije podataka) te identificirati najmanje intruzivne metode uporabe podataka kako bi se minimalizirao utjecaj na ispitanike.

2.8. Etnički aspekti i pouzdana AI

Kao što je prikazano u prethodnim odjeljcima, osnovna etička načela za AI navedena u nastavku primjenjuju se na sve faze životnog ciklusa lijeka za ljudsku uporabu, a u odgovarajućoj mjeri i za veterinarske lijekove. Ova načela definirana su u smjernicama za pouzdani AI i predstavljena u Popisu za procjenu pouzdane umjetničke inteligencije za samoocjenjivanje (ALTAI), koji je predstavila neovisna Grupa visokog nivoa za AI koju je osnovala Europska komisija.

• Ljudska agencija i nadzor
  • Tehnička robusnost i sigurnost
  • Privatnost i upravljanje podacima
  • Transparentnost
  • Odgovornost
  • Društvena i ekološka dobrobit
  • Raznolikost, nediskriminacija i pravičnost

ALTAI može voditi uključene subjekte, uključujući razvojne i implementacijske timove AI-a, u primjeni ovih principa u praksi.

Za izgradnju povjerenja u učinkovitost, pouzdanost i pravednost AI/ML alata, pristup usmjeren na čovjeka trebao bi voditi sav razvoj i implementaciju AI-a i ML-a. To zahtijeva ne samo da se poduzmu aktivne mjere tijekom prikupljanja podataka i modeliranja (vidi Tehničke aspekte), već i da se uključuju mjere koje izvještavaju korisnici i pacijenti o rezultatima i iskustvima pri interakciji s AI/ML alatima. (5)

Sustavna analiza utjecaja trebala bi se provesti u ranim fazama planiranja i razvoja AI/ML alata, a stručnost u etičkim i pravnim aspektima (uključujući zaštitu podataka za osiguranje privatnosti u dizajnu) trebala bi biti uključena već u početnim fazama svih projekata. Također, utjecaj korištenja postojećih AI/ML alata treba procijeniti u fazi planiranja odgovarajuće faze razvoja lijeka kako bi se adekvatno uključile relevantne mjere i nadzor kroz dizajn. U tom smislu, preporučuje se da podnositelji zahtjeva i nositelji odobrenja uzmu u obzir Etičke smjernice za pouzdani AI od strane Grupe visokih stručnjaka za AI, koju je osnovala Europska komisija.

3. ZAKLJUČAK

Zaključno, brzo razvijajuće područje AI/ML pokazuje veliki potencijal za unapređenje svih faza životnog ciklusa lijekova. U nekoliko aspekata, poput upravljanja podacima, upravljačke prakse i statističke preciznosti, trenutno uspostavljena regulatorna načela, smjernice i najbolje prakse izravno se primjenjuju na AI/ML, a trebalo bi se uložiti napore u svim organizacijama kako bi se reciprocno integrirala stručnost u znanosti o podacima s odgovarajućim područjima u razvoju lijekova, proizvodnji i farmakovigilanciji.

Međutim, korištenje AI modela s izuzetno velikim brojem parametara koji se mogu trenirati, smještenih u netransparentnim arhitekturama, uvodi nove rizike koje je potrebno ublažiti tijekom razvoja modela i njegove primjene kako bi se osigurala sigurnost pacijenata i integritet rezultata kliničkih studija. Također, budući da je pristup u osnovi vođen podacima, potrebno je poduzeti aktivne mjere kako bi se izbjegla integracija pristranosti u AI/ML aplikacije i promoviralo povjerenje u AI. Na kraju, korištenje AI/ML u životnom ciklusu medicinskog proizvoda uvijek treba biti u skladu s postojećim zakonskim zahtjevima, uzimajući u obzir etiku i njezina temeljna načela te uz poštovanje osnovnih prava. Pristup usmjeren na čovjeka trebao bi voditi sav razvoj i primjenu AI i ML.

4. RJEČNIK

Definicije bi trebale biti usklađene s definicijama sadržanim u Uredbi Europskog parlamenta i Vijeća koja utvrđuje usklađena pravila o umjetnoj inteligenciji (Akt o umjetnoj inteligenciji) i mijenja određene zakonodavne akte Unije, nakon što ova uredba bude konačno donesena.

5. POVEZANE SMJERNICE METODOLOGIJE

5.1. Smjernice koje se odnose na ljudska lijekove

Sljedeće smjernice i drugi dokumenti mogu pružiti korisne preporuke za implementaciju AI/ML aplikacija u životnom ciklusu proizvoda ljudskih lijekova:

• The International Council for Harmonisation of Technical Requirements for Pharmaceuticals for Human Use (ICH):

o ‘Draft ICH guideline E11A on pediatric extrapolation Step 2b’ (EMA/CHMP/ICH/205218/2022) (6 April 2022) (Accessed 26 May 2023)

o ‘ICH E9 Statistical Principles for Clinical Trials’ (EMA/CPMP/ICH/363/96) (1 September 1998) (Accessed 26 May 2023)

o ‘ICH E9 (R1) addendum on estimands and sensitivity analysis in clinical trials to the guideline on statistical principles for clinical trials’ (EMA/CHMP/ICH/436221/2017) (17 February 2020) < E9 (R1) Step 5 addendum on estimands and Sensitivity Analysis in Clinical Trials to the guideline on statistical principles for clinical trials (europa.eu)> (Accessed 26 May 2023)

o ‘ICH E10 Choice of control group in Clinical Trials’ (EMA/CPMP/ICH/364/96) (1 January 2001) (Accessed 26 May 2023)

o ‘ICH Q8 (R2) on pharmaceutical development’ (EMA/CHMP/ICH/167068/2004) (22 June 2017) < Q8 (R2) Step 5 Pharmaceutical Development (europa.eu)> (Accessed 26 May 2023)

o ‘ICH Q9 (R1) on quality risk management’ (EMA/CHMP/ICH/24235/2006) (26 July 2023) (Accessed 29 May 2024)

o ‘ICH Q10 (R1) on pharmaceutical quality system’ (EMA/CHMP/ICH/214732/2007) (1 June 2008) (Accessed 29 May 2024)

• European Medicines Agency Committee for Medicinal Products for Human Use (CHMP) (formerly The European Agency for the Evaluation of Medicinal Products Committee For Proprietary Medicinal Products (CPMP)):

o ‘Draft guideline on multiplicity issues in clinical trials’ (EMA/CHMP/44762/2017) (15 December 2016) (Accessed 26 May 2023)

o ‘Guideline on adjustment for baseline covariates in clinical trials’ (EMA/CHMP/295050/2013) (26 February 2015)’ (Accessed 26 May 2023)

o ‘Guideline on missing data in confirmatory clinical trials’ (EMA/CPMP/EWP/1776/99 Rev. 1) (24 June 2010) (Accessed 26 May 2023)

o ‘Guideline on computerised systems and electronic data in clinical trials (EMA/INS/GCP/112288/2023) (9 March 2023)’ (Accessed 15 July 2024)

o ‘Guideline on registry-based studies’ (EMA/426390/2021) (16 September 2021) (Accessed 26 May 2023)

o ‘Guideline on reporting the results of population pharmacokinetic analyses’ (CHMP/EWP/185990/06) (21 June 2007) (Accessed 26 May 2023)

o ‘Guideline on the investigation of subgroups in confirmatory clinical trials’ (EMA/CHMP/539146/2013) (31 January 2019) (Accessed 26 May 2023)

o ‘Points to consider on application with 1. Meta-analyses; 2. One pivotal study’ (EMA/CHMP/EWP/2330/99) (31 May 2001) (Accessed 26 May 2023)

o ‘Reflection paper on methodological issues in confirmatory clinical trials planned with an adaptive design’ (EMA/CHMP/EWP/2459/02) (18 October 2007) (Accessed 26 May 2023)

• Medical Device Coordination Group

o ‘MDCG 2022 – 5 – Guidance on borderline between medical devices and medicinal products under Regulation (EU) 2017/745 on medical devices’ (April 2022) (Accessed 15 July 2024)

5.2. Smjernice koje se odnose na veterinarske lijekove
Sljedeće smjernice i drugi dokumenti mogu pružiti korisne preporuke za implementaciju AI/ML aplikacija u životnom ciklusu proizvoda veterinarskih lijekova:

• The International Cooperation on Harmonisation of Technical Requirements for Registration of Veterinary Medicinal Products (VICH):

o ‘VICH GL9 on good clinical practices’ (CVMP/VICH/595/98-FINAL) (4 July 2000) (Accessed 20 June 2023)

• European Medicines Agency Committee for Veterinary Medicinal Products (CVMP):

o ‘Guideline on statistical principles for clinical trials for veterinary medicinal products (pharmaceuticals)’ (EMA/CVMP/EWP/81976/2010-Rev.1) (15 July 2021) (Accessed 20 June 2023)

o ‘Guideline on clinical trials with immunological veterinary medicinal products’ (EMA/CVMP/IWP/260956/2021) (19 January 2021) (Accessed 20 June 2023)

6. REFERENCE

Ovaj popis referenci je općenito primjenjiv, osim ako nije posebno naznačena primjenjivost na ljudske ili veterinarske lijekove.

1. European Commission, ‘Data protection: Rules for the protection of personal data inside and outside the EU’ (Accessed 24 May 2023)
2. European Commission, ‘Infographic – Is your software a Medical Device?’ (23 March 2021) < Infographic – Is your software a Medical Device? (europa.eu)> (Accessed 21 June 2023) – Veterinary medicines not in scope
3. European Commission, Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, COM/2021/206 final [2021] Available at: EUR-Lex – 52021PC0206 – EN – EUR-Lex (europa.eu) (Accessed 24 May 2023)
4. European Commission, Proposal for a Regulation of the European Parliament and of the Council laying down Union procedures for the authorisation and supervision of medicinal products for human use and establishing rules governing the European Medicines Agency, amending Regulation (EC) No 1394/2007 and Regulation (EU) No 536/2014 and repealing Regulation (EC) No 726/2004, Regulation (EC) No 141/2000 and Regulation (EC) No 1901/2006, COM/2023/193 final [2023]. Available at: EUR-Lex – 52023PC0193 – EN – EUR-Lex (europa.eu) (Accessed 24 May 2023) -Partly applicable to human medicines only
5. European Commission, Proposal for a Directive of the European Parliament and of the Council on the Union code relating to medicinal products for human use, and repealing Directive 2001/83/EC and Directive 2009/35/EC COM/2023/192 final [2023]. Available at: EUR-Lex – 52023PC0192 – EN – EUR-Lex (europa.eu) (Accessed 24 May 2023) -Applicable to human medicines only.
6. EU regulatory framework on AI (Accessed 15 July 2024)
7. European Commission High-Level Expert Group on AI (Accessed 24 May 2023)
8. European Commission High-Level Expert Group on AI, ‘Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment’ (17 July 2020). <https://digital-strategy.ec.europa.eu/en/library/assessment-list-trustworthy-artificial-intelligence-altai-selfassessment> (Accessed 24 May 2023)
9. European Commission High-Level Expert Group on AI, ‘Ethics guidelines for trustworthy AI’ (8 April 2019) < https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthyai> (Accessed 19 June 2023)
10. European Commission, ‘Personalised medicine’ (Accessed 15 June 2023)8
11. European Medicines Agency Qualification of novel methodologies for medicine development < Qualification of novel methodologies for medicine development | European Medicines Agency (europa.eu)> (Accessed 15 June 2023) -Applicable to human medicines only.
12. International Coalition of Medicines Regulatory Authorities (ICMRA), ‘Innovation’ < Innovation | International Coalition of Medicines Regulatory Authorities (ICMRA)> (Accessed 24 May 2023) – Applicable to human medicines only.
13. International Coalition of Medicines Regulatory Authorities (ICMRA), ‘Informal Innovation Network Horizon Scanning Assessment Report: Artificial Intelligence’ (6 August 2021) (Accessed 24 May 2023) – Applicable to human medicines only.
14. Medical Device Coordination Group (MDCG), ‘MDCG 2019-11 Guidance on Qualification and Classification of Software in Regulation (EU) 2017/745 – MDR and Regulation (EU) 2017/746 – IVDR’ Available at: DocsRoom – European Commission (europa.eu) (11 October 2019) (Accessed 21 June 2023) – Applicable to human medicines only.
15. ‘Non-discrimination (the principle of)’ (Glossary of summaries) (Accessed 24 May 2023)
16. Organisation for Economic Co-operation and Development (OECD) Environment Directorate Chemicals And Biotechnology Committee, ‘Series on Principles of Good Laboratory Practice (GLP) and compliance monitoring’ < https://doi.org/10.1787/2077785x> (Accessed 16 June 2023)
17. Organisation for Economic Co-operation and Development (OECD) Environment Directorate Chemicals And Biotechnology Committee, ‘Series on Principles of Good Laboratory Practice (GLP) and compliance monitoring: Advisory Document of the Working Party on Good Laboratory Practice Application of GLP Principles to Computerised Systems’ (No. 17) (9 November 2022) (Accessed 16 June 2023)
18. Organisation for Economic Co-operation and Development (OECD) Environment Directorate Chemicals And Biotechnology Committee, ‘Series on Principles of Good Laboratory Practice (GLP) and compliance monitoring: Advisory Document of the Working Party on Good Laboratory Practice on GLP Data Integrity’ (No. 22) (20 September 2021) < pdf (oecd.org)> (Accessed 16 June 2023)
19. Regulation (EU) 2017/745 of the European Parliament and of the Council of 5 April 2017 on medical devices, amending Directive 2001/83/EC, Regulation (EC) No 178/2002 and Regulation (EC) No 1223/2009 and repealing Council Directives 90/385/EEC and 93/42/EEC [2017] OJ L 117/1. Available at: EUR-Lex – 32017R0745 – EN – EUR-Lex (europa.eu) (Accessed 16 June 2023) – Applicable to human medicines only.
20. Regulation (EU) 2017/746 of the European Parliament and of the Council of 5 April 2017 on in vitro diagnostic medical devices and repealing Directive 98/79/EC and Commission Decision2010/227/EU [2017] OJ L 117/176. Available at: EUR-Lex – 32017R0746 – EN – EUR-Lex (europa.eu) (Accessed 5 July 2023) – Applicable to human medicines only.
21. Regulation (EU) 2019/6 of the European Parliament and of the Council of 11 December 2018 on veterinary medicinal products and repealing Directive 2001/82/EC. Available at : EUR-Lex – 32019R0006 – EN – EUR-Lex (europa.eu) (Accessed 20 June 2023) – Applicable to veterinary medicines only.
22. Regulation (EU) 2022/868 of the European Parliament and of the Council of 30 May 2022 on European data governance and amending Regulation (EU) 2018/1724 (Data Governance Act) [2022] OJ L 152/1. Available at: EUR-Lex – 32022R0868 – EN – EUR-Lex (europa.eu) (Accessed 24 May 2023)

Izvor: EMA/CHMP/CVMP/83833/2023, Komitet za lijekove za humanu upotrebu (CHMP), Komitet za lijekove za veterinarsku upotrebu (CVMP)