dgisocioЦифровая социология/Digital SociologyDigital Sociology2658-347X2713-1653Государственный университет управления10.26425/2658-347X-2022-5-1-87-97dgisocio-132Research ArticleЦИФРОВАЯ СРЕДАDIGITAL ENVIRONMENTИспользование машинного обучения для изучения качества жизни населения: методологические аспектыUsing machine learning to study the population life quality: methodological aspectshttps://orcid.org/0000-0001-7377-0645ЩекотинЕ. В.ShchekotinE. V.

Щекотин Евгений Викторович, канд. филос. наук, доц., зав. лаб.

г. Новосибирск

Evgeniy V. Shchekotin, Cand. Sci. (Philos.), Assoc. Prof., Head of the laboratory

Novosibirsk

evgvik1978@mail.ruhttps://orcid.org/0000-0002-5985-3724ГойкоВ. Л.ГойкоВ. Л.

Гойко Вячеслав Леонидович, зав. лаб.

г. Томск

Vyacheslav L. Goiko, Head of the laboratory

Tomsk

goiko@data.tsu.ruhttps://orcid.org/0000-0001-7904-7394БасинаП. А.BasinaP. A.

Басина Полина Александровна, аналитик

г. Томск

Polina A. Basina, Analyst

Tomsk

polya.basina@yandex.ruhttps://orcid.org/0000-0003-2073-6341БакулинВ. В.BakulinB. B.

Бакулин Вячеслав Викторович, аналитик

г. Томск

Vyacheslav V. Bakulin, Analyst

Tomsk

slava38710505@gmail.comФГБОУ ВО «Новосибирский государственный университет экономики и управления «НИНХ»РоссияNovosibirsk State University of Economics and ManagementRussian FederationФГАОУ ВО «Национальный исследовательский Томский государственный университет»РоссияNational Research Tomsk State UniversityRussian Federation202230032022518797Copyright © Щекотин Е.В., Гойко В.Л., Басина П.А., Бакулин В.В., 20222022Щекотин Е.В., Гойко В.Л., Басина П.А., Бакулин В.В.Shchekotin E.V., Гойко В.Л., Basina P.A., Bakulin B.B.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://digitalsociology.guu.ru/jour/article/view/132

Оценка качества жизни населения является важной и актуальной задачей социологии. Машинное обучение, как инструмент классификации цифровых следов пользователей социальных сетей, позволяет сформировать базу для расчета индекса субъективного качества жизни. В статье последовательно рассмотрены все этапы применения алгоритмов машинного обучения для оценки качества жизни населения регионов Российской Федерации и вопросы повышения точности работы нейронной сети. Для обучения нейросети авторами был сформирован набор размеченных данных, извлеченных из региональных сообществ социальная сеть «ВКонтакте». Проанализированы различные подходы к векторизации текстов, общедоступные нейросетевые модели, предобученные на больших русскоязычных текстовых корпусах, а также метрики оценки результатов работы алгоритмов. Проведены вычислительные эксперименты с разными алгоритмами, по результатам которых был выбран алгоритм Rubert-tiny в связи с его высокой скоростью обучения и классификации. В ходе настройки параметров модели была достигнута точность f1-macro 0,545. Вычислительные эксперименты проводились с использованием скриптов на языке Python. Рассмотрены типичные ошибки, которые совершает нейронная сеть в процессе автоматической классификации контента. Результаты исследования можно использовать для расчета индекса онлайн-активности в социальной сети «ВКонтакте» пользователей из различных российских регионов, на основе которого в дальнейшем можно рассчитывать индекс субъективного качества жизни. Повышение точности работы нейронной сети позволит получить более надежные данные для оценки качества жизни в регионах на основе цифровых следов пользователей.

Assessment of the population life quality is an important and relevant sociological task. Machine learning as a classification tool of social network users’ digital traces makes it possible to create a base to calculate subjective life quality index. The article consistently reviews all stages of the machine learning algorithms application to assess the life quality of the population of the regions of the Russian Federation and the issues of improving neural network accuracy. To train the neural network the authors formed a set of marked-up data extracted from regional communities of the social network “VKontakte”. Various approaches to text vectorisation, publicly available neural network models pre-trained on large Russian-language text corpora, as well as metrics for evaluating the algorithms results were analysed. Computational experiments with different algorithms were carried out, according to the results of which the Rubert-tiny algorithm was selected due to its high learning and classification rate. During the model parameters adjustment, the accuracy of f1-macro 0.545 was achieved. Computational experiments were carried out using Python scripts.Typical errors that a neural network makes in the process of automatic content classification were considered. The results of the study can be used to calculate the online activity index in the VKontakte social network of users from various Russian regions, on the basis of which the subjective life quality index will be calculated in the future. Improving the neural network accuracy will make it possible to obtain more reliable data for assessing the life quality in Russian regions based on users’ digital traces.

качество жизниблагополучиецифровые методынереактивные методыцифровые следысоциальные сетиВКонтактемашинное обучениеклассификации текстовlife qualitywell-beingdigital methodsnon-reactive methodsdigital tracessocial networksVKontaktemachine learningtext classificationsИсследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-011-00391.The reported study was funded by the Russian Foundation for Basic Research as a part of scientific project No. 20-011-00391.ReferencesБогданов М.Б., Смирнов И.Б. (2021). Возможности и ограничения цифровых следов и методов машинного обучения в социологии // Мониторинг общественного мнения: экономические и социальные перемены. № 1. С. 304–328. https://doi.org/10.14515/monitoring.2021.1.1760Bogdanov M.B. and Smirnov I.B. (2021), “Opportunities and limitations of digital footprints and machine learning methods in Sociology”, Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial’nye peremeny, no. 1, pp. 304–328. (In Russian). https://doi.org/10.14515/monitoring.2021.1.1760Двойникова А.А., Карпов А.А. (2020). Аналитический обзор подходов к распознаванию тональности русскоязычных текстовых данных // Информационно-управляющие системы. № 4 (107). С. 20–30. https://doi.org/10.31799/1684-8853-2020-4-20-30Chen T. and Guestrin C. (2016), “XGBoost: A Scalable Tree Boosting System”, KDD ‘16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 785–794. https://doi.org/10.1145/2939672.293978515Крыштановская О.В. (2018). Бесконтактная социология: новые формы исследований в цифровую эпоху // Цифровая социология. № 1. С. 4-9. https://doi.org/10.26425/2658-347Х-2018-1-4-8Chichkanov V.P. and Vasilyeva E.V. (2014), “Management of regional life quality: effectiveness evaluation and mechanism”, Gosudarstvennoe upravlenie. Elektronnyi vestnik, no. 47, pp. 163–182. (In Russian).Мюллер А., Гвидо С. (2016). Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными / пер. с анг. и ред. А.В. Груздева. М.: Вильямс. 393 с.Dawson C. (2019), A–Z of digital research methods, Routledge, New York, USA.Николаенко Г.А., Федорова А.А. (2017). Нереактивная стратегия: применимость незаметных методов сбора социологической информации в условиях Web 2.0 на примере цифровой этнографии и BigData // Социология власти. T. 29, № 4. С. 36–54. https://doi.org/10.22394/2074-0492-2017-4-36-54Devlin J., Chang M., Lee K. and Toutanova K. (2019), “Bert: Pre-training of deep bidirectional transformers for language understanding”, Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT), vol. 1, pp. 4171–4186. https://doi.org/10.18653/v1/N19-1423Толстова Ю.Н. (2015). Социология и компьютерные технологии // Социологические исследования. № 8 (376). С. 3–13.Dvoynikova A.A. and Karpov A.A. (2020), “Analytical review of approaches to Russian text sentiment recognition”, Information and control systems, no. 4 (107), pp. 20–30. (In Russian). https://doi.org/10.31799/1684-8853-2020-4-20-30Чичканов В.П., Васильева Е.В. (2014). Управление качеством жизни в регионе: оценка эффективности и механизм // Государственное управление. Электронный вестник. № 47. С. 163–182.Jones K.S. (2004), “A statistical interpretation of term specificity and its application in retrieval”, Journal of Documentation, vol. 60, no. 5, pp. 493–502. https://doi.org/10.1108/00220410410560573Щекотин Е.В. (2021). Цифровые следы как новый источник данных о качестве жизни и благополучии: обзор современных тенденций // Вестник Томского государственного университета. № 467. С. 170–181. https://doi.org/10.17223/15617793/467/21Joulin A., Grave E., Bojanowski P. and Mikolov T. (2016), “Bag of tricks for efficient text classification”, Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, vol. 2. Valencia, Spain: Association for Computational Linguistics, pp. 427–431. https://doi.org/10.18653/V1/E17-2068Щекотин Е.В., Мягков М.Г., Гойко В.Л., Кашпур В.В., Коварж Г.Ю. (2020). Субъективная оценка (не)благополучия населения регионов РФ на основе данных социальных сетей // Мониторинг общественного мнения: экономические и социальные перемены. № 1 (155). С. 78–116. https://doi.org/10.14515/monitoring.2020.1.05Kryshtanovskaya O.V. (2018), “Contactless sociology: new forms of research in a digital age”, Digital Sociology, no. 1, pp. 4-9. (In Russian). https://doi.org/10.26425/2658-347Х-2018-1-4-8Chen T., Guestrin C. (2016). XGBoost: A Scalable Tree Boosting System // KDD ‘16: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. Pp. 785–794. https://doi.org/10.1145/2939672.293978515Kutuzov A. and Kuzmenko E. (2017), “WebVectors: A toolkit for building web interfaces for vector semantic models”, Communications in Computer and Information Science, vol. 661, pp. 155–161. https://doi.org/10.1007/978-3-319-52920-2_15Dawson C. (2019). A–Z of digital research methods. New York: Routledge. 424 p.McGillivray M., Clarke M. [Eds], (2006.) Understanding human well-being, United Nations University Press, Tokyo, Japan; New York, USA; Paris, France.Devlin J., Chang M., Lee K., Toutanova K. (2019). Bert: Pre-training of deep bidirectional transformers for language understanding // Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACLHLT), V. 1. Pp. 4171–4186. https://doi.org/10.18653/v1/N19-1423Mikolov T., Chen K., Corrado G. and Dean J. (2013a), “Efficient estimation of word representations in vector space”, Proceedings of Workshop at ICLR, Scottsdale, May 2–4, pp. 1–11.Jones K.S. (2004). A statistical interpretation of term specificity and its application in retrieval // Journal of Documentation. V. 60, No. 5. Pp. 493–502. https://doi.org/10.1108/00220410410560573Mikolov T., Yih W.-T. and Zweig G. (2013b), “Linguistic regularities in continuous space word representations”, Proceedings of NAACL HLT, Atlanta, Georgia, June 9–14, pp. 746–751.Joulin A., Grave E., Bojanowski P., Mikolov T. (2016). Bag of tricks for efficient text classification // Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. V. 2. Valencia. Spain: Association for Computational Linguistics. Pp. 427–431. https://doi.org/10.18653/V1/E17-2068Müller A. and Guido S. (2016), Introduction to machine learning with Python, trans. from Eng. and ed. A.V. Gruzdeva, Williams, Moscow, Russia. (In Russian).Kutuzov A., Kuzmenko E. (2017). WebVectors: A toolkit for building web interfaces for vector semantic models // Communications in Computer and Information Science. V. 661. Pp. 155–161. https://doi.org/10.1007/978-3-319-52920-2_15Nikolaenko G.A. and Fedorova A.A. (2017), “Non-reactive strategy: unobtrusive methods of gathering sociological information in web 2.0 age – evidence from digital ethnography and big data”, Sociology of power, vol. 29, no. 4, pp. 36–54. (In Russian). https://doi.org/10.22394/2074-0492-2017-4-36-54McGillivray M., Clarke M. [Eds]. (2006.) Understanding human well-being. Tokyo, New York, Paris: United Nations University Press. 380 p.Pennington J., Socher R. and Manning C.D. (2014), “GloVe: Global vectors for word representation”, Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar: Association for Computational Linguistics, pp. 1532–1543. https://doi.org/10.3115/v1/D14-1162Mikolov T., Chen K., Corrado G., Dean J. (2013a). Efficient estimation of word representations in vector space // Proceedings of Workshop at ICLR. Scottsdale. May 2–4. Pp. 1–11.Peters M.E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K. and Zettlemoyer L. (2018), “Deep contextualized word representations”, Proceedings of NAACL-HLT, vol. 1, June 1–6, New Orleans, Louisiana, Association for Computational Linguistics, pp. 2227–2237. https://doi.org/10.18653/v1/N18-1202Mikolov T., Yih W.-T., Zweig G. (2013b). Linguistic regularities in continuous space word representations // Proceedings of NAACL HLT. Atlanta. Georgia. June 9–14. Pp. 746–751.Potdar K., Pardawala T.S. and Pai C.D. (2017), “A comparative study of categorical variable encoding techniques for neural network classifiers”, International Journal of Computer Applications, vol. 175, no. 4, pp. 7–9. https://doi.org/10.5120/IJCA2017915495Pennington J., Socher R., Manning C.D. (2014). GloVe: Global vectors for word representation // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha, Qatar: Association for Computational Linguistics. Pp. 1532–1543. https://doi.org/10.3115/v1/D14-1162Shchekotin E.V. (2021), “Digital footprints as a new source of data on quality of life and well-being: an overview of current trends”, Tomsk State University journal, no. 467, pp. 170-181. (In Russian). https://doi.org/10.17223/15617793/467/21Peters M.E., Neumann M., Iyyer M., Gardner M., Clark C., Lee K., Zettlemoyer L. (2018). Deep contextualized word representations // Proceedings of NAACL-HLT. V. 1. June 1–6. New Orleans. Louisiana: Association for Computational Linguistics. Pp. 2227–2237. https://doi.org/10.18653/v1/N18-1202Shchekotin E.V., Myagkov M.G., Goiko V.L., Kashpur V.V. and Kovarzh G.Yu. (2020), “Subjective measurement of population ill-being/well-being in the Russian regions based on social media data”, Monitoring obshchestvennogo mneniya: ekonomicheskie i sotsial’nye peremeny, no. 1 (155), pp. 78–116. (In Russian). https://doi.org/10.14515/monitoring.2020.1.05Potdar K., Pardawala T.S., Pai C.D. (2017). A comparative study of categorical variable encoding techniques for neural network classifiers // International Journal of Computer Applications. V. 175, No. 4. Pp. 7–9. https://doi.org/10.5120/IJCA2017915495Schober M.F., Pasek J., Guggenheim L., Lampe C. and Conrad F.G. (2016), “Research synthesis: Social media analyses for social measurement”, Public Opinion Quarterly, vol. 80, no. 1, pp. 180–211. https://doi.org/10.1093/poq/nfv048Schober M.F., Pasek J., Guggenheim L., Lampe C., Conrad F.G. (2016). Research synthesis: Social media analyses for social measurement // Public Opinion Quarterly. V. 80, No. 1. Pp. 180–211. https://doi.org/10.1093/poq/nfv048Soumya G.K. and Joseph S. (2014), “Text classification by augmenting bag of words (BOW) representation with co-occurrence feature”, IOSR Journal of Computer Engineering, vol. 16, no. 1, pp. 34–38. https://doi.org/10.9790/0661-16153438Soumya G.K., Joseph S. (2014). Text classification by augmenting bag of words (BOW) representation with co-occurrence feature // IOSR Journal of Computer Engineering. V. 16, No. 1. Pp. 34–38. https://doi.org/10.9790/0661-16153438Tolstova Yu.N. (2015), “Sociology and computer technologies”, Sotsiologicheskie issledovaniya, no. 8 (376), pp. 3–13. (In Russian).

The authors declare that there are no conflicts of interest present.