1. DSpace KNU
  2. Наукові публікації
  3. 5. Факультет інформаційних технологій
  4. Кафедра професійної та соціально-гуманітарної освіти
Please use this identifier to cite or link to this item: http://ds.knu.edu.ua/jspui/handle/123456789/9242
Full metadata record
DC FieldValueLanguage
dc.contributor.authorСлободянюк, Артем Валерійович-
dc.contributor.authorСемеріков, Сергій Олексійович-
dc.date.accessioned2026-07-10T05:46:12Z-
dc.date.available2026-07-10T05:46:12Z-
dc.date.issued2025-05-22-
dc.identifier.citationЕволюція нейронних моделей генерування тексту: систематичний огляд досліджень 2022–2024 років / Артем Валерійович Слободянюк, Сергій Олексійович Семеріков // Ukrainian Journal of Information Systems and Data Science. – 2024. – Vol. 2. – Iss. 2. – P. 89-119. – DOI: https://doi.org/10.31558/2786-9482.2024.2.4uk_UA
dc.identifier.issn2786-9482-
dc.identifier.urihttps://doi.org/10.31558/2786-9482.2024.2.4-
dc.identifier.urihttp://ds.knu.edu.ua/jspui/handle/123456789/9242-
dc.descriptiongeneration with natural language instructions. In A. Krause, E. Brunskill, C. K., B. Engelhardt, S. Sabato, & J. Scarlett (eds.). Proceedings of Machine Learning Research (Vol. 202, pp. 42602–42613). ML Research Press. https://proceedings.mlr.press/v202/zhou23g/zhou23g.pdf Bayer, M., Kaufhold, M.-A., Buchhold, B., Keller, M., Dallmeyer, J., Reuter, C. (2023). Data augmentation in natural language processing: a novel text generation approach for long and short text classifiers. International Journal of Machine Learning and Cybernetics, 14, 135–150. https://doi.org/10.1007/s13042-022-01553-3 Hong, S., Moon, S., Kim, J., Lee, S., Kim, M., Lee, D., & Kim, J.-Y. (2022). DFX: A low-latency multi-FPGA appliance for accelerating transformer-based text generation. In Proceedings of the Annual International Symposium on Microarchitecture (pp. 616–630). IEEE Computer Society. https://doi.org/10.1109/MICRO56248.2022.00051 Ghazvininejad, M., Karpukhin, V., Gor, V., & Celikyilmaz, A. (2022). Discourse-aware soft prompting for text generation. In Y. Goldberg, Z. Kozareva, & Y. Zhang (eds.). Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (pp. 4570–4589). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.emnlp-main.303 Koplin, J. J. (2023). Dual-use implications of AI text generation. Ethics and Information Technology, 25, 32. https://doi.org/10.1007/s10676-023-09703-z Pautrat-Lertora, A., Perez-Lozano, R., & Ugarte, W. (2022). EGAN: Generatives adversarial networks for text generation with sentiments. In F. Coenen, A. Fred, & J. Filipe (eds.). International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (Vol. 1, pp. 249-256). Science and Technology Publications. https://doi.org/10.5220/0011548100003335 Wu, J., Guo, Y., Gao, C., & Sun, J. (2023). An automatic text generation algorithm of technical disclosure for catenary construction based on knowledge element model. Advanced Engineering Informatics, 56, 101913. https://doi.org/10.1016/j.aei.2023.101913 Li, Y., Cui, L., Yan, J., Yin, Y., Bi, W., Shi, S., & Zhang, Y. (2023). Explicit syntactic guidance for neural text generation. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (Vol. 1, pp. 14095–14112). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.acl-long.788 Chu, X. (2022). Feature extraction and intelligent text generation of digital music. Computational Intelligence and Neuroscience, 2022. https://doi.org/10.1155/2022/7952259 Shahriar, S. (2022). GAN computers generate arts? A survey on visual arts, music, and literary text generation using generative adversarial network. Displays, 73, 102237. https://doi.org/10.1016/j.displa.2022.102237 Strobelt, H., Kinley, J., Krueger, R., Beyer, J., Pfister, H., & Rush, A. M. (2022). GenNI: Human-AI collaboration for data-backed text generation. IEEE Transactions on Visualization and Computer Graphics, 28, 1106–1116. https://doi.org/10.1109/TVCG.2021.3114845 Yin, X., & Wan, X. (2022). How do Seq2Seq models perform on end-to-end data-to-text generation? In S. Muresan, P. Nakov, & A. Villavicencio (eds.). Proceedings of the Annual Meeting of the Association for Computational Linguistics (Vol. 1, pp. 7701–7710). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.acl-long.531 Montella, S., Nasr, A., Heinecke, J., Bechet, F., & Rojas-Barahona, L. M. (2023). Investigating the effect of relative positional embeddings on AMR-to-text generation with structural adapters. In EACL 2023 – 17th Conference of the European Chapter of the Association for Computational Linguistics (pp. 727–736). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.eacl-main.51 Fatima, N., Daudpota, S. M., Kastrati, Z., Imran, A. S., Hassan, S., Elmitwally, N. S. (2023). Improving news headline text generation quality through frequent POS-Tag patterns analysis. Engineering Applications of Artificial Intelligence, 125, 106718. https://doi.org/10.1016/j.engappai.2023.106718 Seifossadat, E., & Sameti, H. (2024). Improving semantic coverage of data-to-text generation model using dynamic memory networks. Natural Language Engineering, 30, 454-479. https://doi.org/10.1017/S1351324923000207 Meyer, C., Adkins, D., Pal, K., Galici, R., Garcia-Agundez, A., & Eickhoff, C. (2023). Neural text generation in regulatory medical writing. Frontiers in Pharmacology, 14. https://doi.org/10.3389/fphar.2023.1086913 Lu, X., Welleck, S., West, P., Jiang, J., Kasai, D., Khashabi, R., Le Bras, L., Qin, Y., Yu, R., Zellers, N. A., Smith, Y., & Choi, Y. (2022). NEUROLOGIC AFesque decoding: Constrained text generation with lookahead heuristics. In NAACL 2022 – 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (pp. 780–799). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.naacl-main.57 Xu, W., Tuan, Y., Lu, Y., Saxon, M., Li, L., & Wang, W. Y. (2022). Not all errors are equal: Learning text generation metrics using stratified error synthesis. In Y. Goldberg, Z. Kozareva, & Y. Zhang (eds.). Findings of the Association for Computational Linguistics: EMNLP 2022 (pp. 6588–6603). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.findings-emnlp.489 Hanafi, A., Bouhorma, M., & Elaachak, L. (2022). Machine learning-based augmented reality for improved text generation through recurrent neural networks. Journal of Theoretical and Applied Information Technology, 100, 518–530. http://www.jatit.org/volumes/Vol100No2/18Vol100No2.pdf Le, H., Le, D.-T., Weber, V., Church, C., Rottmann, K., Bradford, M., & Chin, P. (2022). Semi-supervised adversarial text generation based on Seq2Seq models. In EMNLP 2022 – Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track (pp. 264–272). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.emnlp-industry.26 Yue, X., Inan, H. A., Li, X., Kumar, G., McAnallen, J., Shajari, H., Sun, H., Levitan, D., & Sim, R. (2023). Synthetic text generation with differential privacy: A simple and practical recipe. In Proceedings of the Annual Meeting of the Association for Computational Linguistics (Vol. 1, pp. 1321–1342). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.acl-long.74 Lin, Z., Gong, Y., Shen, Y., Wu, T., Fan, Z., Lin, C., Duan, N., & Chen, W. (2023). Text generation with diffusion language models: A pre-training approach with continuous paragraph denoise. In Proceedings of the 40th International Conference on Machine Learning. JMLR.org. https://dl.acm.org/doi/abs/10.5555/3618408.3619275 Amin, M. S., Mazzei, A., Anselma, L. (2022). Towards Data Augmentation for DRS-to-Text Generation. CEUR Workshop Proceedings, 3287, 141–152. https://ceur-ws.org/Vol-3287/paper14.pdf Chen, M., Lu, X., Xu, T., Li, Y., Zhou, J., Dou, D., Xiong, H. (2022). Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach. In Y. Goldberg, Z. Kozareva, Y. Zhang (eds.). Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022 (pp. 8199–8210). Association for Computational Linguistics (ACL). https://doi.org/10.18653/v1/2022.emnlp-main.562 Agarwal, V., Ghosh, S., BSS, H., Arora, H., Raja, B. R. K. (2024). TrICy: Trigger-Guided Data-to-Text Generation With Intent Aware Attention-Copy. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 32, 1173–1184. https://doi.org/10.1109/TASLP.2024.3353574 Si, W. M., Backes, M., Zhang, Y., & Salem, A. (2023). Two-in-one: A model hijacking attack against text generation models. In 32nd USENIX Security Symposium (Vol. 3, pp. 2223–2240). USENIX Association. https://www.usenix.org/system/files/usenixsecurity23-si.pdf Gong, H., Feng, X., & Qin, B. (2023). Quality control for distantly-supervised data-to-text generation via meta learning. Applied Sciences, 13, 5573. https://doi.org/10.3390/app13095573 Mou, L. (2022). Search and learning for unsupervised text generation. AI Magazine, 43, 344-352. https://doi.org/10.1002/aaai.12068 Taunk, D., Sagare, S., Patil, A., Subramanian, S., Gupta, M., & Varma, V. (2023). XWikiGen: Cross-lingual summarization for encyclopedic text generation in low resource languages. In ACM Web Conference 2023 – Proceedings of the World Wide Web Conference (pp. 1703–1713). Association for Computing Machinery. https://doi.org/10.1145/3543507.3583405 Introducing the next generation of Claude (2024). https://www.anthropic.com/news/claude-3-family Awesomegpts.ai (2024). Scholar GPT. https://chatgpt.com/g/g-kZ0eYXlJe-scholar-gpt?oai-dm=1 Slobodianiuk, A. V. (2024). Papers’ review. https://docs.google.com/spreadsheets/d/e/2PACX-1vR6ZUaeeBjVgVl-do6QXm-Pua-HdztOxjC4DUqunrSDZ_-YSRz-Ng9xktYH9b0LDT502SiVy3YePx9F/pubhtml Hugging Face (2024). Languages. https://huggingface.co/languagesuk_UA
dc.description.abstractОстанні роки характеризуються значним прогресом у сфері нейронного генерування тексту завдяки появі великих мовних моделей та зростанню інтересу до цієї галузі. Цей систематичний огляд ідентифікує та узагальнює сучасні тенденції, підходи та методи нейронного генерування тексту за період 2022–2024 рр., доповнюючи попередній огляд за 2015–2021 рр. Відповідно до методології PRISMA, для аналізу було початково відібрано 89 статей з бази даних Scopus, із яких після перевірки критеріїв включення та виключення залишилося 43 статті. Виявлено зміщення акценту в бік інноваційних архітектур моделей, як-от Transformer-based (GPT-2, GPT-3, BERT), механізмів уваги та контрольованого генерування тексту. Метрики BLEU, ROUGE та оцінювання людиною залишаються найпопулярнішими. Але з’явилися і нові метрики, поміж яких виділимо BERTScore. Набори даних охоплюють різноманітні домени і типи даних; спостерігається зростання інтересу до неанотованих даних. Сфери застосування розширилися до областей генерування тексту на основі таблиць та графів знань, синтезу анотацій та машинного перекладу. У галузевому плані виділяється генерування медичних текстів. Хоча англійська мова продовжує домінувати, але спостерігається зростання досліджень для низькоресурсних мов, зокрема до німецької та китайської. Огляд також висвітлює актуальні виклики в цій галузі, зокрема адаптацію моделей для низькоресурсних мов, генерування тексту за умов обмеженості навчальних даних та етичні аспекти використання потужних мовних моделей. Автори підкреслюють важливість розробки більш ефективних та інтерпретовних архітектур, вдосконалення методів контрольованого генерування тексту та створення нових оцінювальних метрик. Результати дослідження підкреслюють швидку еволюцію методів нейронного генерування тексту, розширення сфер його застосування. В огляді також окреслено перспективні напрями для майбутніх досліджень з урахуванням актуальних викликів та етичних принципів.uk_UA
dc.language.isoukuk_UA
dc.subjectнейроне генерування текстуuk_UA
dc.subjectглибоке навчанняuk_UA
dc.subjectсистематичний оглядuk_UA
dc.subjectобробка природної мовиuk_UA
dc.subjectметрикаuk_UA
dc.subjectнабори данихuk_UA
dc.subjectнизькоресурсні мовиuk_UA
dc.subjectтрансформериuk_UA
dc.subjectмеханізми увагиuk_UA
dc.titleЕволюція нейронних моделей генерування тексту: систематичний огляд досліджень 2022–2024 роківuk_UA
dc.typeArticleuk_UA
dc.identifier.doi10.31558/2786-9482.2024.2.4-
local.submitter.emailsemerikov@ccjourn...uk_UA
Appears in Collections:Кафедра професійної та соціально-гуманітарної освіти

Files in This Item:
File Description SizeFormat 
17345-Текст статті-34527-1-10-20250522.pdf1.37 MBAdobe PDFView/Open
Show simple item record


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.