РУССКИЙ МУЛЬТИКАНАЛЬНЫЙ ДИСКУРС. ЧАСТЬ II. РАЗРАБОТКА КОРПУСА И НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ
РУССКИЙ МУЛЬТИКАНАЛЬНЫЙ ДИСКУРС. ЧАСТЬ II. РАЗРАБОТКА КОРПУСА И НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ
Аннотация
Код статьи
S0205-95920000338-8-1
Тип публикации
Статья
Статус публикации
Опубликовано
Аннотация
В первой части статьи, опубликованной в номере 1 “Психологического журнала” за 2018 год, было обосновано понятие мультиканального дискурса как нового и перспективного объекта исследования. В отличие от традиционного представления о языке как вербальной структуре, было предложено более объемлющее представление, при котором в язык включается широкий спектр коммуникативных каналов. Вербальный канал и просодический канал, включая многочисленные его компоненты, реализуются в рамках вокальной (слуховой) модальности. Кинетическая (зрительная) модальность представлена в виде большого набора коммуникативных каналов, включая движения глаз, различные типы жестов и проксемику. Были рассмотрены принципы аннотирования основных коммуникативных каналов, включая вербальный, просодический, мануально-жестовый и окуломоторный. В данной (второй) части обсуждается ресурс “Рассказы и разговоры о грушах”, включающий серию записей естественной коммуникации между несколькими участниками, в совокупности с вокальной и кинетической аннотацией этих записей. Ресурс сформирован в рамках комплексного теоретико-методологического подхода к изучению русского мультиканального дискурса. Записи были выполнены при помощи оригинальных технических решений, включающих высококачественную аудиозапись и видеозапись, а также регистрацию движений глаз. На этой основе формулируется программа мультиканальных исследований, включая общие понятия теории коммуникации и проблему взаимодействия между каналами. Дается обзор основных направлений актуальных исследований в области мультиканальной коммуникации. В заключении подводятся итоги обеих частей статьи и формулируются дальнейшие научные перспективы. Подход, представленный в статье, предлагается со стороны лингвистики, но при этом является междисциплинарным и ориентирован на психологическую аудиторию.
Ключевые слова
коммуникация, дискурс, мультимодальность, мультиканальность, просодия, жесты, движения глаз.
Классификатор
Всего подписок
8
Всего просмотров
578
Оценка читателей
0.0 (0 голосов)
Цитировать   Скачать pdf

Библиография



Дополнительные библиографические источники и материалы

1.Belikov V.I, Krysin L.P. Sociolingvistika. Uchebnik dlja bakalavriata i magistratury. 2-e izd. Moscow: Jurajt, 2015. (In Russian)

  1. Burlak S.A. Proishozhdenie jazyka: Fakty, issledovanija, gipotezy. Moscow: Corpus, 2011. (In Russian)
  2. Grishina E.A. Russkaja zhestikuljacija s lingvisticheskoj tochki zrenija (korpusnye issledovanija). Moscow: YaSK, 2017. (In Russian)
  3. Kibrik A.A. Kognitivnyj analiz diskursa: lokal’naja struktura // Jazyk i mysl’: sovremennaja kognitivnaja lingvistika / Red. A.A. Kibrika, A.D. Kosheleva, A.V. Kravchenko, Ju.V. Mazurovoj, O.V. Fedorovoj. Moscow: YaSK, 2015. Р. 595–634. (In Russian)
  4. Kibrik A.A. Russkij mul’tikanal’nyj diskurs. Chast’ I. Postanovka problemy // Psikhologicheskii zhurnal. 2018. V. 39. № 1. P. 71–81. (In Russian)
  5. Kibrik A.A., Molchanova N.B. Kanaly mul’timodal’noj kommunikacii: otnositel’nyj vklad v ponimanie diskursa  // Mul’timodal’naja kommunikacija: teoreticheskie i  jempiricheskie issledovanija: materialy seminara. Moskva, 15 nojabrja 2013 g. / Ed. O.V. Fedorovoj, A.A. Kibrika. Moscow: Buki Vedi, 2014. P. 99–114. (In Russian)
  6. Kotov A.A., Zinina A.A. Funkcional’nyj analiz neverbal’nogo kommunikativnogo povedenija // Komp’juternaja lingvistika i intellektual’nye tehnologii: Po materialam ezhegodnoj Mezhdunarodnoj konferencii “Dialog”. Moscow: RGGU, 2015. P. 308–320. (In Russian)
  7. Litvinenko A.O., Nikolaeva Ju.V., Kibrik A.A. Annotirovanie russkih manual’nyh zhestov: teoreticheskie i prakticheskie voprosy // Komp’juternaja lingvistika i intellektual’nye tehnologii: Po materialam ezhegodnoj Mezhdunarodnoj konferencii “Dialog” (Moskva, 31 maja –4 ijunja 2017 g.). Vyp. 16 (23). Moscow: Izd-vo RGGU, 2017. P. 271–286. (In Russian)
  8. Pogodin A.L. Jazyk kak tvorchestvo (psihologicheskie i social’nye osnovy tvorchestva rechi): Proishozhdenie jazyka. Har’kov, 1913. (In Russian)
  9. Rasskazy o snovidenijah: korpusnoe issledovanie ustnogo russkogo diskursa / Red. Kibrika A.A., Podlesskoj V.I. Moscow: YaSK, 2009. (In Russian)
  10. Tomasello M. Istoki chelovecheskogo obshhenija. Moscow: YaSK, 2011. (In Russian)
  11. Fedorova O.V. Raspredelenie zritel’nogo vnimanija sobesednikov v estestvennoj kommunikacii: 50 let spustja // Kognitivnajanauka v Moskve: novye issledovanija. Materialy konferencii 15 ijunja 2017 g. / Red. E.V. Pechenkovoj, M.V. Falikman. Moscow: BukiVedi, IPPiP. P. 370–375. (In Russian)
  12. Fedorova O.V. Vklad kineticheskoj sostavljajushhej v mul’timodal’nuju kommunikaciju, ili Eshhe raz o strategijah opisanija tangramm // Komp’juternaja lingvistika i intellektual’nye tehnologii: Po materialam ezhegodnoj Mezhdunarodnoj konferencii “Dialog” (Moskva, 31 maja –4 ijunja 2017 g.). Vyp. 16 (23). Moscow: Izd-vo RGGU, 2017. V. 2. P. 118–133. (In Russian)
  13. Fedorova O.V., Kibrik A.A., Korotaev N.A., Litvinenko A.O., Nikolaeva Ju.V. Vremennaja koordinacija mezhdu zhestovymi i rechevymi edinicami v mul’timodal’noj kommunikacii // Komp’juternaja lingvistika i intellektual’nye tehnologii: Po materialam ezhegodnoj Mezhdunarodnoj konferencii “Dialog” (Moskva, 1–4 ijunja 2016 g.). Vyp. 15 (22). Moscow: Izd-vo RGGU, 2016. P. 159–170. (In Russian)
  14. Abuczki A., Esfandiari B.G. An overview of multimodal corpora, annotation tools and schemes // Argumentum. 2013. V. 9. P. 86–98.
  15. Allwood J. Multimodal Corpora // Corpus linguistics. An international handbook / Eds. Lüdeling A., Kytö M. Berlin: Mouton de Gruyter, 2008. P. 207–225.
  16. Body–language-communication: An international handbook on multimodality in human interaction / Eds. Müller С., Cienki A., Fricke E., Ladewig S.H., McNeill D., Teßendorf S. Berlin: Mouton de Gruyter, 2013.
  17. Brône G., Oben B. InSight interaction. A multimodal and multifocal dialogue corpus // Language resources and evaluation. 2015. V. 49 (1). P. 195–214.
  18. Chafe W. The importance of not being earnest: The feeling behind laughter and humor. Amsterdam: Benjamins, 2007.
  19. Fernández-Baena A., Montaño R., Antonijoan M., Roversi A., Miralles D., Alías F. Gesture synthesis adapted to speech emphasis // Speech communication. 2014. V. 57. P. 331–350.
  20. Gairola P., Kumar S. Hand gesture recognition from video // International journal of science and research. 2014. V. 3. Is. 4. P. 154–158.
  21. Geeraerts D., Kristiansen G. Variationist linguistics // Handbook of Cognitive Linguistics / Eds. E. Dąbrowska, D. Divjak. Berlin: de Gruyter Mouton, 2015. P. 366–389.
  22. Goldin-Meadow S. The role of gesture in communication and thinking // Trends in cognitive sciences. 1999. V. 3 (11).
  23. Goldin-Meadow S. What modern-day gesture can tell us about language evolution // The Oxford handbook of language evolution / Eds. M. Tallerman, K.R. Gibson. Oxford: Oxford University Press, 2012. P. 545–557.
  24. Huang X., Baker J., Reddy R. A historical perspective of speech recognition // Communications of the ACM. 2014. V. 57. № 1. P. 94–103.
  25. Karpiński M., Jarmołowicz-Nowikow E., Malisz Z. Aspects of gestural and prosodic structure of multimodal utterances in Polish task-oriented dialogues // Speech and language technology. 2009. V. 11. P. 113–122.
  26. Kendon A. Some functions of gaze direction in social interaction // Acta psychologica. 1967. V. 26. P. 22–63.
  27. Kendon A. Gesticulation and speech: Two aspects of the process of utterance // The relationship of verbal and nonverbal communication / Ed. M.R. Key. Berlin: Walter de Gruyter, 1980. P. 207–227.
  28. Kendon A. Gesture. Visible action as utterance. Cambridge: Cambridge university press, 2004.
  29. Kibrik A.A. Reference in discourse. Oxford: Oxford university press, 2011.
  30. Kibrik A.A. The problem of non-discreteness and spoken discourse structure // Computational linguistics and intellectual technologies. 2015. V. 14 (21). P. 225–233.
  31. Kita S., Özyürek A. What does cross-linguistic variation in semantic coordination of speech and gesture reveal? Evidence for an interface representation of spatial thinking and speaking // Journal of memory and language. 2003. V. 48 (1). P. 16–32.
  32. Knight D. The future of multimodal corpora // Revista brasileira de linguística aplicada. 2011. V. 2. P. 391–415.
  33. Kopp S., Bergmann K., Kahl S. A spreading activation model of the semantic coordination of speech and gesture // Proceedings of the 35th annual meeting of the Cognitive science society. Berlin, 2013
  34. Leonard Th., Cummins F. The temporal relation between beat gestures and speech // Language and cognitive processes. 2010. V. 26 (10). P. 1457–1471.
  35. Levinson S.C., Holler J. The origin of human multi-modal communication // Philosophical transactions of the Royal society B. 2014. V. 369. P. 20130302.
  36. Loehr D. Temporal, structural, and pragmatic synchrony between intonation and gesture // Laboratory phonology. 2012. V. 3 (1). P. 71–89.
  37. McNeill D. Hand and mind: what gestures reveal about thought. Chicago: University of Chicago Press, 1992.
  38. Melinger А., Levelt W.J.M.. Gesture and the communicative intention of the speaker // Gesture. 2004. V. 4.2. P. 119–141.
  39. Mondada L. Bodies in action // Language and dialogue. 2014. V. 4 (3). P. 357–403.
  40. Morrel-Samuels P., Krauss R.M. Word familiarity predicts temporal asynchrony of hand gestures and speech // Journal of experimental psychology: human learning and memory. 1992. V. 18 (3). P. 615–622.
  41. Multimodal corpora: From models of natural interaction to systems and applications // Eds. Kipp M., Martin J.-C., Paggio P., Heylen D. Berlin, Heidelberg: Springer, 2009.
  42. Schegloff E.A. On some gestures’ relation to talk // Structures of Social Action / Eds. Atkinson J.M., Heritage J. Cambridge: Cambridge university press, 1984. P. 266–298.
  43. Swerts M., Krahmer E. 2008. Facial expressions and prosodic prominence: comparing modalities and facial areas // Journal of phonetics. 2008. V. 36 (2). P. 219–238.
  44. The pear stories: Cognitive, cultural, and linguistic aspects of narrative production / Ed. Chafe W.L. Norwood, NJ: Ablex, 1980.
  45. Wagner P., Malisz Z., Kopp S.. Gesture and speech in interaction: An overview // Speech Communication. 2014. V. 57. P. 209–232.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести