Bulletin of Bryansk state technical university Bulletin of Bryansk state technical university Вестник Брянского государственного технического университета 1999-8775 14132 10.12737/22917 Вычислительная техника и информационные технологии Computer engineering and information technology Вычислительная техника и информационные технологии Application of deep learning models for aspect based sentiment analysis. ИССЛЕДОВАНИЕ ПРИМЕНИМОСТИ МОДЕЛЕЙ ГЛУБОКОГО ОБУЧЕНИЯ ДЛЯ ЗАДАЧИ АСПЕКТНОГО АНАЛИЗА ТОНАЛЬНОСТИ ТЕКСТОВЫХ СООБЩЕНИЙ Будыльский Дмитрий Викторович Budylskiy Dmitriy Викторович budmitr@tu-bryansk.ru. Подвесовский Александр Георгиевич Podvesovskiy Aleksandr Georgievich

кандидат технических наук;

candidate of technical sciences;

 Брянский государственный технический университет Россия Bryansk State Technical University Russian Federation 29 11 2016 29 11 2016 2015 3 117 126 https://zh-szf.ru/en/nauka/article/14132/view

Рассмотрена задача аспектного анализа тональности текстовых сообщений на естественном языке. Исследованы четыре нейросетевые модели, относящиеся к разделу глубокого обучения: сверточная нейронная сеть, рекуррентная нейронная сеть, сеть GRU, сеть LSTM. Представлены результаты экспериментальной проверки указанных моделей на корпусе текстовых отзывов SentiRuEval-2015.

This paper describes actual problem of sentiment based aspect analysis and four deep learning models: convolutional neural network, recurrent neural network, GRU and LSTM networks. We evaluated these models on Russian text dataset from SentiRuEval-2015. Results show good efficiency and high potential for further natural language processing applications.

 машинное обучение аспектный анализ тональности нейронные сети глубокое обучение. machine learning aspect based sentiment analysis neural networks deep learning.

Blinov, P. Semantic similarity for aspect-based sentiment analysis / P. Blinov, E. Kotelnikov // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue» (2015). - 2015. - Issue 14. - Vol. 2. - P. 12-21. Blinov, P. Semantic similarity for aspect-based sentiment analysis / P. Blinov, E. Kotelnikov // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue» (2015). - 2015. - Issue 14. - Vol. 2. - P. 12-21. Deng, L. Deep Learning: Methods and Applications / L. Deng, Y. Dong // Foundations and Trends in Signal Processing. - 2014. - Vol. 7. - P. 197-387. Deng, L. Deep Learning: Methods and Applications / L. Deng, Y. Dong // Foundations and Trends in Signal Processing. - 2014. - Vol. 7. - P. 197-387. Distributed representations of words and phrases and their compositionality / T. Mikolov [et al.] // Advances in Neural Information Processing Systems. - 2013. - P. 3111-3119. Distributed representations of words and phrases and their compositionality / T. Mikolov [et al.] // Advances in Neural Information Processing Systems. - 2013. - P. 3111-3119. Elman, J. Finding structure in time / J. Elman // Cognitive science. - 1990. - Vol. 14. - № 2. - P. 179-211. Elman, J. Finding structure in time / J. Elman // Cognitive science. - 1990. - Vol. 14. - № 2. - P. 179-211. Empirical evaluation of gated recurrent neural networks on sequence modeling / J. Chung [et al.] // arXiv pre-print arXiv:1412.3555. - 2014. Empirical evaluation of gated recurrent neural networks on sequence modeling / J. Chung [et al.] // arXiv pre-print arXiv:1412.3555. - 2014. Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural computation. - 1997. - Vol. 9. - № 8. - P. 1735-1780. Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural computation. - 1997. - Vol. 9. - № 8. - P. 1735-1780. Jordan, M. Serial order: A parallel distributed processing approach / M. Jordan // Advances in psychology. - 1997. - Vol. 121. - P. 471-495. Jordan, M. Serial order: A parallel distributed processing approach / M. Jordan // Advances in psychology. - 1997. - Vol. 121. - P. 471-495. Kim, Y. Convolutional neural networks for sentence classification / Y. Kim // arXiv preprint arXiv:1408.5882. - 2014. Kim, Y. Convolutional neural networks for sentence classification / Y. Kim // arXiv preprint arXiv:1408.5882. - 2014. Lakkaraju, H. Aspect Specific Sentiment Analysis using Hierarchical Deep Learning / H. Lakkaraju, R. Socher, C. Manning // NIPS Workshop on Deep Learning and Representation Learning. - 2014. Lakkaraju, H. Aspect Specific Sentiment Analysis using Hierarchical Deep Learning / H. Lakkaraju, R. Socher, C. Manning // NIPS Workshop on Deep Learning and Representation Learning. - 2014. Natural language processing (almost) from scratch / R. Collobert [et al.] // The Journal of Machine Learning Research. - 2011. - Vol. 12. - P. 2493-2537. Natural language processing (almost) from scratch / R. Collobert [et al.] // The Journal of Machine Learning Research. - 2011. - Vol. 12. - P. 2493-2537. On the properties of neural machine translation: Encoder-decoder approaches / K. Cho [et al.] // arXiv preprint arXiv:1409.1259. - 2014. On the properties of neural machine translation: Encoder-decoder approaches / K. Cho [et al.] // arXiv preprint arXiv:1409.1259. - 2014. Pang, B. Opinion mining and sentiment analysis / B. Pang, L. Lee // Foundations and trends in information re-trieval. - 2008. - Vol. 2. - P. 1-135. Pang, B. Opinion mining and sentiment analysis / B. Pang, L. Lee // Foundations and trends in information re-trieval. - 2008. - Vol. 2. - P. 1-135. Pennington, J. Glove: Global vectors for word representation / J. Pennington, R. Socher, C. Manning // Proceed-ings of the Empiricial Methods in Natural Language Processing (EMNLP 2014). - 2014. - Vol. 12. Pennington, J. Glove: Global vectors for word representation / J. Pennington, R. Socher, C. Manning // Proceed-ings of the Empiricial Methods in Natural Language Processing (EMNLP 2014). - 2014. - Vol. 12. Recurrent neural network based language model / T. Mikolov [et al.] // INTERSPEECH 2010: 11th Annual Conference of the International Speech Communication Association, Makuhari, Chiba, Japan (September 26-30, 2010). - 2010. - P. 1045-1048. Recurrent neural network based language model / T. Mikolov [et al.] // INTERSPEECH 2010: 11th Annual Conference of the International Speech Communication Association, Makuhari, Chiba, Japan (September 26-30, 2010). - 2010. - P. 1045-1048. SentiRuEval: тестирование систем анализа тональности текстов на русском языке по отношению к заданному объекту / Н. В. Лукашевич [и др.] // Компьютерная лингвистика и интеллектуальные техно-логии: по материалам ежегодной международной конференции «Диалог» (г. Москва, 27-30 мая 2015 г.). В 2 т. Т. 2. Доклады специальных секций. - М.: Изд-во РГГУ, 2015. - Вып. 14 (21). - С. 3-14. Testing object-oriented sentiment analysis systems in Russian / N. V. Lukashevich [etc.] // Computational linguistics and intellectual technologies: Materials of the annual International Conference "Dialogue" (Moscow, May 27-30, 2015). In 2 Vol. Vol. 2. Reports of special sections. - M.: Publishing House of RSUH , 2015. - Issue 14 (21). - pp. 3-14. «Диалог» - международная конференция по компьютерной лингвистике. - URL: http://www.dialog-21.ru/. "Dialogue" - Computational Linguistics International Conference. - URL: http://www.dialog-21.ru/. Лукашевич, Н.В. Открытое тестирование систем анализа тональности на материале русского языка / Н.В. Лукашевич, И.И. Четверкин // Искусственный интеллект и принятие решений. - 2014. - № 1. - С. 25-33. Lukashevich, N. V. Open evaluating sentiment analysis systems in Russian / N. V. Lukashevich, I. I. Chetverkin // Artificial intelligence and decision-making. - 2014. - No. 1. - pp. 25-33. Подвесовский, А.Г., Проблемы и особенности автоматизации мониторинга социальных сетей и интел-лектуальной обработки пользовательских сообщений / А.Г. Подвесовский, Д.В. Будыльский // Вестник Брянского государственного технического университета. - 2014. - № 4 (44). - С. 146-152. Podvesovsky, A.G., Problems and features of monitoring automation of social networks and user messages intellectual processing / A.G. Podvesovsky, D. V. Budylsky // Bulletin of Bryansk State Technical University. - 2014. - No. 4 (44). - pp. 146-152.