Applying LLMs and Semantic Technologies for Data Extraction in Literature Reviews: A Pilot Study in LIS - Demers, Camille (Proceedings of the Annual Conference of CAIS / Actes du congrès annuel de l'ACSI, 2025)
This pilot study evaluates the capabilities of two LLMs, Mistral Small 3.1 and GPT-4o mini, in performing ontology-based data extraction to support literature reviews in library and information science (LIS). A sample of four published systematic reviews was selected as ground truth data. The open-access publications included in these reviews (n = 47) were collected as inputs for the models to perform semantic information extraction, using classes from the Document Components Ontology (DoCO). These preliminary findings highlight the opportunities and challenges of using AI and semantic technologies to streamline literature reviews in the social sciences. Application des GML et des technologies sémantiques pour l'extraction de données dans les revues de littérature : Une étude pilote en sciences de l'information Résumé Cette étude pilote évalue les capacités de deux GML, Mistral Small 3.1 et GPT-4o mini, pour effectuer une extraction de données basée sur une ontologie pour supporter les revues de littérature en bibliothéconomie et sciences de l'information (BSI). Un échantillon de quatre revues systématiques publiées a été sélectionné comme données véridiques de base. Les publications à accès libre incluses dans ces revues (n = 47) ont été choisies comme entrées dans les modèles, pour qu'ils effectuent une extraction d'information sémantique en utilisant les catégories du Document sur les composantes de l'ontologie (DoCO). Ces résultats préliminaires soulignent les opportunités et les défis de l'utilisation de l'IA et des technologies sémantiques pour l'organisation des revues littéraires en sciences sociales. Mots-Clés GML; Technologie sémantique; Extraction d'information; Synthèse de connaissances