Tidligere i dag publiserte jeg en bokomtale av en bok jeg nettopp hadde lest ferdig. I ettermiddag fant jeg ut at jeg ville teste hva kunstig intelligens kunne prestere. Nedenfor ser du hva såkalt «generativ KI» (kunstig intelligens) presterte basert på a) en oppgave (å skrive en bokomtale), og b) en referanse av aktuell kilde i APA 7. Resultatet ser du her:
«Piecing together systematic reviews and other evidence syntheses, redigert av M. J. Foster og S. T. Jewell, er et nyttig verktøy for forskere som ønsker å utføre systematiske gjennomganger og andre typer kunnskapssynteser. Boken gir en detaljert innføring i hvordan man kan samle inn, analysere og kommunisere kunnskap fra systematiske gjennomganger og andre typer kunnskapssynteser. Den dekker også et bredt spekter av temaer, inkludert kvalitetsvurdering, metodologi, kunnskapskommunikasjon og etikk. Boken er skrevet av et team av eksperter innen systematiske gjennomganger og andre typer kunnskapssynteser, og gir en omfattende og detaljert innføring i disse temaene. Dette er et nyttig verktøy for forskere som ønsker å utføre systematiske gjennomganger og andre typer kunnskapssynteser.»
Kan man bruke disse to tekstene til å lære noe om KI? Svaret mitt er ja, og ser vi på ulike aspekter så kan vi fort se styrkene og svakhetene. Rent tidsmessig var den generative teksten en klar og suveren vinner. Og den er på ingen måter kvalitativt veldig dårlig, men den er også mye mindre presis fordi den har relativt få data å jobbe ut ifra. Leser man boka, så blir man kjent med detaljer som den generative teksten naturligvis ikke kunne kjenne til. Den som leser boka ser også at den henvender seg ikke minst til bibliotekarene og andre søkespesialister og deres rolle i arbeid med systematiske oversikter. Jeg synes å se tydelig at den generative teksten er basert på et mønster for bokomtaler, og det er jo nettopp det den kan gjøre. Dataene og strukturene den er trent på er jo nettopp styrken – og svakheten og begrensningene – ved slike løsninger. Hadde kunstig intelligens tilgang til hele teksten, er jeg ganske trygg på at resultatet også ville vært mye bedre. Og jeg ville ikke bli overrasket om omtalene hadde blitt langt bedre enn hva jeg selv presterte.
Jeg har brukt de siste to ukene på å lese antologien Piecing together systematic reviews and other evidence syntheses, redigert av Margaret J. Foster og Sarah T. Jewell. Og for å berolige eventuelle lesere – jeg har ingen planer om et karriereskift. Min motivasjon for å lese en slik bok baserer seg på faglig nysgjerrighet og hvordan man best kan legge til rette for slike tjenester i et fagbibliotek. Som kanskje enkelte vet er jeg er til tider forbauset, fortvilet og forbannet over hvor lettvint ledere på ulike nivåer forholder seg til aktuelle tema uten å gå inn i det og forstå implikasjonene. Papegøyeledere er absolutt ikke idealet mitt. I 2023 er en av målsetningene mine å fordype meg mer og synse mindre, men uten at jeg skal påberope meg noe i nærheten av ekspertise. I min verden er det fortsatt stor forskjell på å lese om noe og å kunne noe man gjør jevnlig. Jeg tror en faglig, stødig praksis- og kunnskapsorientert innsikt og forståelse fra ledernivåene gir bedre kontrollspørsmål, prosesser og resultater når nye tjenester skal utvikles, igangsettes og driftes.
Tilbake til bokomtalen: Tittelen på boka forklarer godt tematikken for publikasjonen. Gjennom bokas 22 enkeltbidrag får vi et godt og dokumentert innblikk i hva arbeid med systematiske oversikter og andre kunnskapssynteser/-sammenstillinger innebærer. De senere årene har arbeid og tjenesteutvikling knyttet til systematiske oversikter blitt et relativt vanlig innslag i arbeidsdagen for mange bibliotekarer i norske fagbibliotek, og skal dette utvikles videre på en bærekraftig måte innenfor allerede stramme ressursrammer må alle involverte utvikle forståelsen for kompleksiteten og kompetansen som kreves for å utarbeide gode kunnskapssynteser.
Boka jeg omtaler her i dag består av 7 hoveddeler, som ikke nødvendigvis må leses i rekkefølge hvis man kjenner til temaet fra tidligere. Slik denne boka er organisert går det helt fint å hoppe inn der man ønsker. I del 1 – The Big Picture – får leseren en generell og bred innføring i tematikken forskningssynteser og systematiske oversikter. Hva er det og hvorfor har det fått så stor aktualitet i stadig flere vitenskapsområder blir forsøkt besvart her. I del 2 – Plan – introduseres vi for de ulike fasene i planleggingen for gjennomføringen av systematiske oversikter og ikke minst betydningen av god planlegging. I den neste seksjonen (del 3) – Identify – handler det om temaer og problemstillinger mange bibliotekarer og andre søkespesialister raskt kjenner seg hjemme i: Søk i og kunnskap om databaser, presisjon (precision) og fullstendighet (recall) og søking etter grå litteratur. I del 4 – Evaluate – settes fokuset på hva som skal inkludere, ekskluderes ulike screeningsmetoder, og betydningen av å drøfte og begrunne valgene som tas underveis i prosessen. Her behandles tema som bias og kritisk vurdering av kildenes forskningsdesign underveis i prosessen med å gjennomføre en systematisk oversikt eller kunnskapssammenstilling. I den femte delen – Collect, Combine, and Explain – dreier det seg om å ta vare på, sette sammen og forklare resultatene fra tidligere faser i prosessen. I del seks – Summarize and Share – finner du bidrag om hvordan publisering kan skje på ulike trinn og måter underveis i prosessen mot ferdig resultat. I del sju – The Art of Puzzle Solving – som jeg leste først – handler det om hvordan de ulike brikkene legges sammen til et helhetlig bilde/resultat.
Jeg synes dette er en god bok som klarer å kombinere overordna, teoretiske perspektiver med de praktiske. Den heller muligens mer i retning av den empiriske og erfaringsbaserte kunnskapen, men jeg tror denne balansen fungerer fint for målgruppa. Så langt jeg kan vurdere det synes enkeltbidragene å holde en jevnt, høy faglig kvalitet, og redaktørene har klart å sette sammen enkeltdelene til et velfungerende hele. Litteraturhenvisningene ser ut til å være oppdaterte, og jeg innbiller meg derfor at boka gir en oppdatert status for arbeidet med kunnskapssynteser og systematiske oversikter. Det er naturligvis slik at man ut fra egen kunnskap og innsikt kan ønske seg mer om enkelte detaljer, men med de gode henvisningene bør det være enkelt å forfølge egne interesser på egen hånd.
En slik bok er naturlig nok relativt omfattende (345 sider). Kanskje for omfattende vil enkelte mene, men jeg tror organiseringen og systematiseringen av stoffet sammen med gode oppsummeringer etter hver bidrag, gjør boka leseverdig hvis man ønsker å gå litt under overskriftene og dypere inn i materien. Jeg vil tro at både nye og mer erfarne bibliotekarer og andre som jobber med systematiske oversikter vil finne interessant materiale i denne boka.
Bibliografiske opplysninger:
Foster, M. J. & Jewell, S. T. (Red.). (2022). Piecing together systematic reviews and other evidence syntheses. Rowman & Littlefield,.
Den siste tiden har jeg slått følge med svært mange andre for å teste ut hvordan kunstig intelligens kan støtte meg i det daglig arbeidet. Noe av det har jeg skrevet om her på bloggen tidligere, og i dag har jeg testet ut nye ideer. Nedenfor gjør jeg rede for noen av oppgavene jeg bruker kunstig intelligens for å støtte meg i arbeidet. Lista er ikke ment å være uttømmende og den er å forstå som foreløpige erfaringer. Jeg har brukt ulike verktøy og kommer til å fortsette med det. Foreløpig har ChatGPT stått sentralt, men i og med at den tjenesten har hatt problemer pga. stor pågang, har jeg også brukt andre løsninger.
En ting som jeg liker veldig godt med disse tjenestene er å bruke dem som idegeneratorer. I og med at jeg er skyldig i kreativitet, trenger jeg titt og ofte ideer og innspill for å komme i gang, og her har jeg fått en ny teknologisk «venn» å spille litt ball i hatt med. Jeg har for eksempel bedt ChatGPT om å lage et forslag til innholdet i kurs for både nybegynnere og avanserte brukere av EndNote, og de forslagene har vært gode. De er ikke feilfri, men likevel fungert som gode innholdsmessige utgangspunkt for videre bearbeiding.
Å bruke kunstig intelligens i regneark er også blitt en del av den nye hverdagen. Jeg er ikke en spesielt avansert bruker av regneark, men fordi jeg bruker både Excel og Google Sheet hender det at jeg må be ChatGPT eller noen av de andre tjenestene om råd for å løse enkelte oppgaver fordi syntaksen kan være litt forskjellig. Særlig morsomt og interessant synes jeg det er når responsen fra ChatGPT eller de andre viser at de trenger mer presise spørsmål fra min side. Som man roper i skogen får man svar…
Jeg utfører vanligvis ikke litteratursøk i jobben min – det har vi heldigvis andre og langt mer dyktige folk til. Men når jeg en og annen gang skal bistå studenter i å søke etter litteratur, vet jeg at det å finne de gode og riktige søkebegrepene er helt avgjørende for resultatet. Naturligvis er det også andre helt avgjørende ting å passe på (søkestreng, valg av database etc,), men det kan vi la ligge nå. Tidligere kunne du naturligvis slå opp i en synonymordbok hvis du trengte synonymer, men med de nye verktøyene får jeg ikke bare opp lister med aktuelle synonymer, jeg kan også umiddelbart få de oversatt. Fryktelig praktisk! Også MESH-termene jeg fikk var riktige, i tillegg til forklaringen på hva MESH-termer er og hvordan de fungerer.
Å bruke kunstig intelligens på faktaspørsmål er også blitt en del av den nye hverdagen, Ikke rart at Google skjelver litt i buksene om dagen nå når Microsoft med OpenAI plutselig er blitt en konkurrent igjen som på mange måter truer Google sin forretningsmodell og posisjon som søkemotor. Å utøve kildekritikk er naturligvis fortsatt helt avgjørende, men for meg er det å konsultere disse tjenestene for å sjekke detaljer om tema jeg selv kjenner til allerede blitt en hverdagslig ting. Ikke sjelden erfarer jeg at kunstig intelligens har sine absolutte begrensninger, men det er grunn til å tro at dette blir forbedret etter hvert som algoritmene forbedres og maskinkraften får økt kapasitet.
I går forsøkte jeg å bruke kunstig intelligens for å skrive et personlig dikt til to kollegaer. Resultatet var vel ikke imponerende på noen som helst måte. Det jeg fikk i retur på min forespørsel var på nivå med det vi skrev i minnebøkene i barneskolen på 60- og 70-tallet. Forsterket jeg forespørselen og ba om et hyldningsdikt, ja, da ble det automatisk genererte diktet absolutt mer høystemt. Men ubrukelig det var det fortsatt! Så har jeg også bedt om assistanse fra disse verktøyene til å skrive blogginnlegg for meg. Jeg har puttet inn noen få stikkord, og så returneres tjenesten en tekst. Og da er pussig å se hva den legger til av fakta som er riktig og hva som er feil.
Når jeg spurte ChatGPT om hvor kreativ kunstig intelligens kan bli, fikk jeg følgende svar: «Kunstig intelligens kan være ganske kreativ, avhengig av den spesifikke applikasjonen og metodene som brukes. For eksempel kan maskinlæringsalgoritmer trenes på store datamengder med bilder, musikk eller tekst for å generere nytt, liknende innhold. AI kan også brukes til å skape nye design, komponere musikk, skrive historier og til og med lage kunst. Men det er viktig å merke seg at kreativiteten til AI fortsatt er begrenset av dataene og algoritmene som brukes til å trene den. Det er også viktig å merke seg at AI-generert kunst, musikk og skriving kun er så kreative som de menneskelige programmererne som designer AI og datamengdene den er trent på.» Så vidt jeg forstår så har den selvinnsikt … 🙂
Også søndager kan brukes til lek og utforsking. Ikke minst når vær- og føreforhold gjør det litt vanskelig og utrygt å bevege seg utendørs uten brodder, hjelm og polstring. Jeg har derfor brukt en liten time av formiddagen til å lære litt mer om kunstig intelligens og maskinlæring, og ikke minst har jeg prøvd å implementere noen løsninger, for eksempel et skript som skriver blogginnlegg for meg. Jeg er på ingen måte særlig teknisk kyndig, men med hjelp av noen korte instruksjonsfilmer (2-6 minutter) fikk jeg raskt flere løsninger til å fungere. Og dagens lille blogginnlegg handler om mine erfaringer og tanker rundt dette.
Først, hvorfor bruke slike verktøy for å lage tekster og illustrasjoner? Rent filosofisk er et vanskelig å forstå at så mye nytt og kreativt skal komme ut at masse data. Men ser jeg bort i fra det, er min motivasjon primært knyttet til at jeg synes det er spennende å finne ut mer om hvordan teknologiske løsninger fungerer, og hvilke negative og positive implikasjoner de kan ha. Jeg er sikkert ikke alene om å legge merke til diskusjonene som går om såkalt kunstig intelligens etter at ChatGPT ble lansert og gjort tilgjengelig for alle som vil teste. I det hele har standpunktene og meningsutvekslingene vært forutsigbare, og ikke alltid så veldig spennende. Når det skjer teknologiske endringer lar noen seg fasinere over mulighetene teknologien åpner opp for, mens andre inntar en mer avventende og skeptisk holdning hvor først og fremst bekymringene dominerer. Slik har det vært siden de greske filosofene bekymret seg for skriving og lesning som erstatning for den muntlige dialogen, og slik ser det ut til å fortsette. C. P. Snow sine tanker og ideer om det to kulturer fra slutten av 1950-tallet – den rasjonelle, empiriske naturvitenskapelig tenkemåten versus den fortolkende, subjektive humanistiske tenkemåten – ser ut til fortsatt å ha gyldighet også når man mer enn 60 år senere skal beskrive den offentlige samtalen om kunstig intelligens og maskinlæring.
Mange mener visstnok, og tror, de kan vaske beina uten å stikke beina ned i vannet. Jeg, helt avhengig som jeg har vært av briller siden jeg var fire-fem år, mener det er vanskelig, om ikke umulig og antagelige lite fruktbart, å skille skarpt mellom mennesker og teknologi. Du kan ikke særlig godt forstå det ene uten å forstå det andre, og motsatt. Jeg skal ikke påta meg rollen som spåmann, men jeg tror teknologier som kunstig intelligens og maskinlæring, representert ved ChatGPT, vil medføre endringer i måten vi arbeider og utfører arbeidsoppgaver på. Hvilke samfunnsområder og hvilke endringer og konsekvenser som vil finne sted når disse teknologiene anvendes i enda større omfang, overlater jeg til andre med sikrere grep om spåkula å uttale seg om. Men jeg mistenker at bl.a. Matteus-effekten vil slå til også på dette området.
Til det praktiske – hva har jeg testet ut i dag? Jo, jeg har testet ut en løsning basert på et skript og Google Docs. Etter å ha fått skriptet på plass (tok to minutter), kan jeg nå skrive ett eller flere stikkord i et Google-dokument, markere ordene før jeg kjører scriptet som heter «Generate Blog». Etter noen sekunder leverer skripet en tekst med to illustrasjoner. Jeg har limt inn et utklipp av et eksempel nedenfor (et utsnitt av teksten først og illustrasjonen nedenfor).
Figur 1: Utdrag av skript-generert blogginnlegg.Figur 2: Automatisk skript-generert illustrasjon.
Jeg synes testresultatet var mer enn brukbart, men da det er lenge siden jeg hadde Snow og «The Two Cultures» som pensum, måtte jeg sjekke den genererte teksten mot artikkelen i Wikipedia. Artikkelen i Wikipedia er mer utfyllende og presis, blant annet oppgir den først forelesningen hvor Snow opprinnelig redegjorde for tankene om de to kulturene. Også en mer presis gjengivelse av boktittelen som ble publisert samme år, hadde gjort den AI-genererte teksten bedre. Men rent innholdsmessig synes jeg sammendraget som skriptet ga, var meget bra. Og illustrasjonen – jo, absolutt innafor det også.
Så har jeg også sett på en løsning hvor jeg direkte i WordPress-kontoen kan få gjort mye av det samme og litt mer. Om jeg kommer til å bruke den løsningen er jeg litt usikker på, men rent teknisk fungerer den. Innholdsmessig så vil jeg kanskje velge å bruke OpenAI-løsninger som en idegeneratorer og for å løse konkrete faktautfordringer, feks. til å få laget et skript. Og så har jeg rukket å teste hvordan OpenAI og Excel fungerer sammen.
Flere av mine kollegaer på UB Kjeller har testet ut ChatGPT, og vi vil fortsette å gjøre oss erfaringer. Vi har oppdaget at f.eks. angivelser av kilder er direkte tullball selv om det formelt ser greit ut. Og i dag testet jeg ChatGPT på et område jeg kjenner godt til, og det genererte svaret om hvordan man kombinerer EndNote og Google Docs var også i klassen «sprøyt». Så har vi også brukt verktøyet der det har fungert helt utmerket. Jeg og mine kolleger er derfor ganske sikre på at teknologier som ChatGPT representerer er her for å bli, og at de vil bli stadig bedre. Vi tror det er best å møte utviklingen med en aktiv, nysgjerrig og kritisk utprøvende holdning og praksis til disse teknologiene.
En EndNote-bruker tok kontakt i går og lurte på om det lar seg gjøre å bruke EndNote sammen med Google Docs. Det går jo helt fint bare man gjør det riktig, og særlig vanskelig er det heller ikke. Samme metode kan for øvrig bruker hvis man skriver i Word Online. Jeg har skrevet om dette her på bloggen tidligere, men i dag fant jeg ut at jeg ville skrive en oppdatert versjon av hvordan du gjør det og hva du må passe litt på for å få alt riktig. Og denne gangen har jeg valgt å skrive ut detaljene i en pdf-fil. For å åpne den, klikker du på lenka nedenfor.
Jaja, om litt står lunsjtid og helg på programmet. Men først skal jeg lese litt mer om arbeidet med systematiske oversikter i fagbibliotekene og hvordan man best legger til rette for slike tjenester innenfor de ressursbegrensningene som vi alltid opererer under. Mange ønsker seg stadig mer, og da må det prioriteres skal kvalitet, relevans og en bærekraftig ressursbruk opprettholdes. Men aldri prioritering uten først å sette seg inn i materien – det anser jeg omtrent som en dødssynd. Ha en fortreffelig ukeslutt!
Klaus Jørans skriblerier 