Розробка і дослідження програмних інструментів для автоматизованої обробки текстових даних

Abstract

Метою кваліфікаційної роботи є створення програмного забезпечення на базі архітектури RAG для автоматизованого пошуку, обробки та генерації контекстно-залежних відповідей на основі наданих текстових файлів, а також дослідження впливу векторизаційних моделей та вибору LLM на ресурсоємність, швидкість, релевантність пошуку та точність генерації відповідей. У ході виконання кваліфікаційної роботи спроєктовано та реалізовано програму мовою Python. Розроблено архітектуру, що включає модулі семантичного розбиття тексту із збереженням метаданих (назви файлу походження, ієрархії заголовків, сторінки), асинхронної взаємодії з векторною базою даних та генерації відповідей через локальну LLM. Проведено серію експериментальних досліджень. Виконано порівняльний аналіз різних векторизаційних моделей щодо їх здатності знаходити релевантний контекст. Досліджено роботу кількох локальних LLM, за результатами чого оцінено рівень їх ресурсоємності (споживання оперативної пам’яті, навантаження на процесор), швидкодію (час відповіді) та схильність до галюцинацій при генерації відповідей на основі знайденого тексту. Основні положення кваліфікаційної роботи опубліковано у вигляді тез доповіді на XIX Всеукраїнській науково-практичній WEB конференції аспірантів, студентів та молодих вчених «Комп’ютерні інтелектуальні системи та мережі» КІСМ 2026.