Bibliometric analysis of chatbot training research: key concepts and trends

Abstract

This bibliometric analysis aims to identify current research directions and priorities in the field of chatbot training – software agents capable of natural language dialogue. The study is based on the analysis of 549 scientific sources from the Scopus database on this topic. The analysis revealed a steady increase in relevant publications starting from 2018, indicating a growing relevance of this subject area in recent years. Based on a cluster analysis of keywords, four main research areas were identified: natural language processing, application of relevant technologies in various spheres of society, use of machine learning methods for natural language processing, and application of chatbots in education and services. In the field of natural language processing, the focus of current research is on computational linguistics, language modeling and machine comprehension, particularly speech recognition tasks. Leading research on artificial intelligence applications in this area concerns the responsible and ethical use of modern large language models and conversational agents, such as ChatGPT, in education and healthcare. Machine learning methods are actively being developed for creating virtual intelligent assistants, natural language user interfaces, and other natural language processing systems, including for diagnostic tasks in medicine. Key applications of chatbots are identified in adaptive learning systems, knowledge management, and customer service. Based on the analysis, the most significant concepts in each of the studied areas are defined to outline priorities for further research in the field of chatbot training. Future work involves conducting a systematic literature review with the automation of certain stages using large language models. In particular, these models will be employed to automatically classify study abstracts according to inclusion/exclusion criteria during the screening phase. Automating systematic review stages using artificial intelligence opens up significant prospects for accelerating scientific research, particularly in the education field based on an evidence-based approach. Бібліометричний аналіз проведено з метою визначення актуальних напрямків і пріоритетів досліджень у галузі навчання чат-ботів – програмних агентів, здатних вести природний діалог. Дослідження виконане на основі опрацювання 549 наукових джерел з бази даних Scopus, присвячених зазначеній проблематиці. Аналіз виявив стійке зростання кількості відповідних публікацій, починаючи з 2018 року, що свідчить про підвищення актуальності цієї тематики в останні роки. За результатами кластерного аналізу ключових слів виокремлено чотири основні напрямки досліджень: опрацювання природної мови, застосування відповідних технологій у різних сферах життя суспільства, використання методів машинного навчання для опрацювання природної мови, а також застосування чат-ботів у навчанні та сфері послуг. У сфері опрацювання природної мови фокус сучасних досліджень робиться на проблемах обчислювальної лінгвістики, моделюванні та машинному розумінні природної мови, зокрема на задачах розпізнавання мовлення. Провідні дослідження застосувань штучного інтелекту в цій галузі стосуються відповідального та етичного використання сучасних великих мовних моделей та розмовних агентів, як-от ChatGPT, Gemini, Claude, у галузях освіти та охорони здоров’я. Активно розробляються методи машинного навчання для створення віртуальних інтелектуальних помічників, природномовних інтерфейсів користувача та інших систем опрацювання природної мови, зокрема для задач діагностики в медицині. Ключові застосування чат-ботів виявлено в системах адаптивного навчання, управління знаннями та обслуговування клієнтів. За результатами аналізу визначено найбільш значущі поняття в кожній з досліджуваних сфер для окреслення пріоритетів подальших досліджень у галузі навчання чат-ботів. У перспективі планується провести систематичний літературний огляд з автоматизацією окремих етапів за допомогою великих мовних моделей. Зокрема, передбачається використати такі моделі для автоматичної класифікації анотацій досліджень за критеріями включення/виключення на етапі скринінгу. Автоматизація етапів систематичного огляду за допомогою штучного інтелекту відкриває значні перспективи для прискорення наукових досліджень, зокрема в освітній галузі на засадах доказового підходу.