- Код статьи
- S3034588XS0205959225040084-1
- DOI
- 10.7868/S3034588X25040084
- Тип публикации
- Статья
- Статус публикации
- Опубликовано
- Авторы
- Том/ Выпуск
- Том 46 / Номер выпуска 4
- Страницы
- 85-98
- Аннотация
- Актуальность исследования определяется необходимостью разработки методологии использования систем искусственного интеллекта для расширения возможностей человека, в частности, применительно к решению задач классификации качественных данных на основе использования больших языковых моделей (Large Language Models, LLM). Целью описанного в настоящей, первой статье (цикл из двух статей) исследования, стало представление методического подхода, реализующего использование больших языковых моделей для классификации индивидуальных вербальных прогнозов о возможных и невозможных событиях в будущем. Китайские участники (n = 149, дали 447 прогнозов) посредством системы Венцюсин (问卷星 / SoJump) порождали описания событий по указанным трем условиям: возможные – невероятные – невозможные. Полученный корпус открытых ответов на китайском языке был проанализирован с использованием пяти современных LLM: GPT-4, Claude 3.5, Qwen 2.5-72B, Gemini Pro 1.5 и Llama 3.1-70B. После процедуры обучения каждой модели было поручено проанализировать ответы по нескольким семантическим параметрам. Анализ ответов пяти больших языковых моделей (Claude 3.5 Sonnet, GPT-4, Gemini Pro, LLaMA 3 и Qwen) выявил как значительные общие черты, так и заметные различия в их подходах к анализу вербальных прогнозов (китайских участников исследования). Интегративная метамодель синтезировала результаты в единую рубрику, что позволило провести тестирование надежности внутри каждой модели и сравнительный анализ между моделями. Выявленные различия в реализованных моделями аналитических подходах свидетельствуют о том, что, хотя эти модели обладают общими возможностями в определении основных тем и паттернов семантических единиц, представленных в вербальных прогнозах участников, они демонстрируют разные сильные стороны в выделяемых ими аспектах анализа текстов, что существенно расширяет возможности психолога-исследователя. Полученные высокие показатели надежности (согласованности между и внутри моделей) свидетельствуют о потенциале технологий искусственного интеллекта в прикладной научной деятельности в области “смешанных” методов.
- Ключевые слова
- вербальные прогнозы мышление возможного/невозможного искусственный интеллект большие языковые модели GPT-4 Claude 3.5 Qwen 2.5-72B Gemini Pro 1.5 Llama 3.1-70B
- Дата публикации
- 01.04.2025
- Год выхода
- 2025
- Всего подписок
- 0
- Всего просмотров
- 10
Библиография
- 1. Взорин Г.Д., Ушаков Д.В. Образы Человека: от “фасеточного видения” – к Homo Complexus // Образовательная политика. 2023. Т. 94, № 2. С. 8–19. DOI: 10.22394/2078-838X-2023-2-8-18.
- 2. Знаков В.В. Теоретические основания психологии возможного // Вестник Санкт-Петербургского университета. Психология. 2022. Т. 12. № 2. С. 122–131. DOI: 10.21638/spbu16.2022.202.
- 3. Корнилова Т.В. Интеллектуально-личностный потенциал человека в условиях неопределенности и риска. СПб.: Нестор-История, 2016.
- 4. Корнилова Т.В., Тихомиров О.К. Принятие интеллектуальных решений в диалоге с компьютером. М.: Издательство МГУ, 1990.
- 5. Bender E.M., Koller A. Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data / In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020. Р. 5185–5198. Association for Computational Linguistics.
- 6. Bran A.M., Cox S., Schilter O., Baldassari C. et al. Augmenting large language models with chemistry tools // Nature Machine Intelligence. 2024. V. 6(5). P. 525–535. DOI: 10.1038/s42256-024-00832-8.
- 7. Brown T., Mann B., Ryder N. et al. Language models are few-shot learners // In Advances in Neural Information Processing Systems. 2020. V. 33. Р. 1877–1901.
- 8. Buhr C.R., Smith H., Huppertz T. et al. ChatGPT Versus Consultants: Blinded Evaluation on Answering Otorhinolaryngology Case–Based Questions // Journal of Medical Internet Research Medical Education. 2023. V. 9. P. e49183. DOI: 10.2196/491839.
- 9. Engelbart D.C. Augmenting Human Intellect: A conceptual framework. Summary Report AFOSR-3233. Stanford Research Institute, 1962.
- 10. Hutchins E. Cognition in the Wild. MIT Press, 1995.
- 11. Krippendorff K. Content analysis: An introduction to its methodology (4th ed.). Sage Publications, 2018.
- 12. Liu S., Fang Y. Use Large Language Models for Named Entity Disambiguation in Academic Knowledge Graphs / In Proceedings of the 2023 3rd International Conference on Education, Information Management and Service Science (EIMSS 2023). NY: Atlantis Press, 2023. Р. 681–691.
- 13. Liu M.D., Salganik M.J. Successes and Struggles with Computational Reproducibility: Lessons from the Fragile Families Challenge / Successes and Struggles with Computational Reproducibility. Technical Report. 2019. OSF.io. https://osf.io/preprints/socarxiv/ g3pdb/.
- 14. Miles M.B., Huberman A.M., Saldaña J. Qualitative data analysis: A methods sourcebook (3rd ed.). Sage Publications, 2014.
- 15. Nasution A.H., Onan A. ChatGPT Label: Comparing the Quality of Human-Generated and LLM-Generated Annotations in Low-Resource Language NLP Tasks // IEEE Access. 2024. V. 12. Р. 71876–71900.
- 16. Newell A., Simon H.A. Human problem solving. 1972. Prentice-Hall.
- 17. Ouyang L., Wu J., Jiang X. et al. Training language models to follow instructions with human feedback. 2022. arXiv preprint arXiv:2203.02155.
- 18. Saldaña J. The Сoding Manual for Qualitative Researchers (3rd ed.). 2016. Sage Publications.
- 19. Wong M.-F. et al. EuclidNet: Deep Visual Reasoning for Constructible Problems in Geometry. Advances in Artificial Intelligence and Machine Learning; 2023. Research 3 (1). P. 839–852.
- 20. Zhou R., Chen L.Y.K. Is LLM a Reliable Reviewer? A Comprehensive Evaluation of LLM on Automatic Paper Reviewing Tasks / In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024). 2024. Р. 9340–9351.
