Laboratoriene holdt strukturene tilbake. Da de endelig ble sammenlignet med forslagene fra AlphaFold, var likheten så stor at forskerne også måtte lete etter feil i det som skulle være fasiten.

I 2020 hadde arrangørene av forskningsprøven CASP bedt laboratorier som arbeidet med proteinstrukturer, om hjelp. De trengte resultater som ennå ikke var offentlig kjent, enten strukturene allerede var bestemt gjennom eksperimenter eller laboratoriene fortsatt arbeidet med dem. Opplysninger om hva proteinene var bygd av, skulle deles med deltakerne som ville forsøke å beregne formen. Selve strukturene måtte vente til forslagene var levert. Først da kunne man prøve dem mot kunnskap deltakerne ikke hadde hatt tilgang til.

Et protein består av én eller flere kjeder av aminosyrer, små kjemiske byggesteiner. Når en slik kjede legger seg i en tredimensjonal form, kan deler som ligger langt fra hverandre langs kjeden, havne tett sammen. Det oppstår overflater og hulrom som er med på å bestemme hva proteinet kan gjøre. Rekkefølgen på byggesteinene kalles sekvensen. Den forteller hva kjeden består av og i hvilken orden, men gir oss ikke uten videre formen den legger seg i.

Og det er formen forskeren trenger for å undersøke hvilke deler som møtes, eller hvordan proteinet kan passe sammen med et annet. En strukturmodell gir beregnede posisjoner i tre dimensjoner som det er mulig å arbeide videre med. På skjermen blir disse posisjonene til bildet av et protein. Men en jevn, fargerik form lar seg tegne like pent enten beregningen er god eller dårlig.

Førstevalget for T1032, en del av museproteinet Smchd1. Referansestrukturen dekker posisjon 100–269.

CASP14: T1032Referansestrukturen 6N64

I CASP, den internasjonale vurderingen av metoder for å forutsi proteinstrukturer, måtte deltakerne derfor peke ut sitt førstevalg før referansen ble offentlig. Det var dette forslaget som skulle telle i rangeringen av høy nøyaktighet.

Får du vite svaret før du leverer forslaget, kan du tilpasse beregningen til nettopp det du vet den skal finne. CASP stengte den muligheten ved å holde referansestrukturene skjult. Prøven var blind. Det deltakerne skulle forutsi, var kunnskap de ikke hadde fått se, selv om laboratoriet allerede kunne ha funnet den. Å forutsi noe behøver ikke bety å se inn i fremtiden.

DeepMind hadde deltatt med AlphaFold allerede i 2018. To år senere kom gruppen tilbake under lagnavnet AlphaFold2 med et system som var bygd vesentlig annerledes. Det brukte et nevralt nettverk, et system av beregninger med mange justerbare tall som var formet gjennom trening på eksempler. Tidligere bestemte proteinstrukturer ga kunnskap om mulige former, og de beslektede proteinene ga en annen type spor: Sammenligner man dem, kan man se hvilke deler av kjeden som endres sammen gjennom evolusjonen. Det gir holdepunkter for hvilke deler som ligger nær hverandre når kjeden er foldet. Systemet kombinerte dette med rekkefølgen i proteinet som skulle undersøkes, og beregnet en struktur i tre dimensjoner.

Da de uavhengige vurdererne sammenlignet resultatene, var avstanden til de andre deltakerne stor. Av 97 strukturenheter Joana Pereira og kollegene vurderte i analysen av høy nøyaktighet, hadde AlphaFold2 levert de beste modellene for 89. En slik enhet kunne være en del av et protein, og det å være best var ikke det samme som å ha alt riktig. Likevel var samsvaret i hovedkjeden ofte på nivå med det forskerne kunne oppnå gjennom eksperimenter.

DeepMind deltok i kategorien hvor mennesker kunne gripe inn underveis. Nesten alle forslagene var automatiske, med tilpasninger i noen få tilfeller.

Den presisjonen kunne brukes til mer enn å vinne en forskningsprøve. Når en struktur bestemmes eksperimentelt, må forskerne tolke målingene for å finne atomposisjonene. Ved arbeid med proteinkrystaller kan en foreløpig strukturmodell hjelpe dem med å finne hvordan molekylene ligger i krystallen. Claudia Millán, Ronan Keegan og kollegene undersøkte om CASP-modellene var gode nok til dette, og AlphaFold2-modellene ga forskerne et brukbart utgangspunkt. Beregningen kunne hjelpe dem med å tolke de eksperimentelle dataene og bestemme en struktur.

Men da måtte også fasiten tåle å bli undersøkt. Strukturene som tjente som referanse i CASP, var også resultater av tolkning av målinger, og Pereira og kollegene fant svakheter i enkelte av dem som senere ble rettet. De la også til en vurdering av strukturmodellens geometri. Geometrien kunne være rimelig og modellen likevel feil, men et avvik fra referansen behøvde ikke skyldes modellen. Begge strukturene kunne trenge kontroll.

Lisa Kinch og kollegene tok for seg de vanskelige tilfellene, hvor kjente strukturer ga mindre hjelp. AlphaFold2 hadde et stort forsprang også her, men fikk problemer med bevegelige områder og med proteiner som inngår i større sammensetninger. Et protein kan få deler av formen sin gjennom kontakten med naboene. Beregner vi én kjede for seg, trenger vi derfor ikke få den formen den har når den inngår i et slikt samarbeid. Og proteinene kan skifte form. Én struktur viser ikke alle tilstandene som har betydning i en celle.

Det AlphaFold hadde beregnet, var posisjoner. Hvordan kjeden fysisk beveget seg frem til formen, fulgte ikke med, selv om systemet hadde gått gjennom beregningen flere ganger. En struktur som snurrer på skjermen, kan vise nøyaktig det samme resultatet fra nye vinkler. Det er fortsatt ingen film av foldingen.

AlphaFold leverte også et eget anslag på hvor presist forskjellige deler av strukturen var forutsagt, før noen eksperimentell sammenligning fantes. Lav tillit kunne bety at beregningen hadde problemer, men også at området ikke holdt seg i én fast form, eller først fikk struktur sammen med andre molekyler. Den usikre delen trengte dermed ikke være en feil forskeren skulle rette. Den kunne være et sted å undersøke nærmere.

I arbeidet med krystallmålingene kunne forskerne ta anslagene for feil i atomposisjonene inn i beregningen. Millán-gruppen prøvde modellene med og uten disse anslagene, og fikk større nytte av dem når gode feilanslag fikk styre vektingen. Atomposisjonene kunne være de samme. Forslaget ble mer nyttig fordi de antatt svakere delene fikk mindre innflytelse.