Modelling the Language of Structured Data

Wright, Adrienne (July 2024): Modelling the Language of Structured Data. Master Thesis, Faculty of Languages and Literatures, Ludwig-Maximilians-Universität München.

Abstract

Large language models (LLMs) develop a model of natural language through the large scale consumption of natural language corpora. This thesis explores the development of LLMs that model the language of structured data to enable interoperability with other computational systems. This requires an ability to mediate between structured data and natural language to generate arguments for tool use in JSON format. Existing models with this capability are integrated into a job skill extraction pipeline, as well as a LoRA fine-tuned model developed for this task, Laura from Compliance (LfC). This model was fine-tuned on generations of the model Mistral-7B-Instruct guided by a finite-state machine (FSM). Evaluated on a talent acquisition dataset from Siemens AG, LfC required 83% fewer tokens and half the inference time to achieve performance comparable to the model on which it was fine-tuned. This thesis therefore presents a methodology for the optimisation of an LLM for the use of a singular tool in a data science pipeline.

Abstract

Große Sprachmodelle modellieren natürliche Sprachen unter Verwendung immenser Sprachkorpora. Diese Arbeit untersucht Methoden zur Modellierung strukturierter Daten, um die Interoperabilität mit anderen Rechnersystemen zu ermöglichen. Dies erfordert die Fähigkeit, zwischen strukturierten Daten und natürlicher Sprache zu vermitteln, um Argumente für die Verwendung von Tools im JSON-Format zu generieren. Bestehende Modelle mit dieser Fähigkeit werden in eine Datenpipeline zur Extraktion von beruflichen Fähigkeiten integriert, ebenso wie ein für diese Aufgabe entwickeltes, fein abgestimmtes LoRA-Modell namens Laura from Compliance (LfC). Dieses Modell wurde auf der Grundlage der von einem endlichen Automaten gesteuerten Generierungen von Mistral-7B-Instruct feinabgestimmt. Bei der Evaluierung eines Datensatzes zur Personalbeschaffung der Siemens AG benötigte LfC 83% weniger Tokens sowie die Hälfte der Inferenzzeit und erzielte dabei eine vergleichbare Leistung zum Modell, auf das es feinabgestimmt wurde. Somit stellt diese Arbeit eine Methodik zur Optimierung eines großen Sprachmodells für den Einsatz eines singulären Tools in einer Datenpipeline vor.

• Item Type: LMU Munich: Thesis
• Keywords: LLM; Large Language Model; Fine-tuning; LoRA; Low-Rank Adaptation; FSM; Finite-state machine; JSON; Tool use; HR; Human resources; Talent acquisition; Skill extraction; NLP; Natural language processing
• Faculties: Languages and Literatures > Department 2 > Computational Linguistics
• Research Centers: Center for Information and Language Processing (CIS)
• Institut or Department: Centrum für Informations- und Sprachverarbeitung (CIS)
• Subjects: 000 Computer science, information and general works > 004 Data processing computer science; 400 Language > 410 Linguistics
• Language: English