Побудова моделей для прогнозування часових рядів застосовуючи мережі довгострокової пам'яті

Н.  Бойко; В. Качмарик

doi:10.24144/2616-7700.2022.40(1).109-125

Автор(и)

Н. Бойко Національний університет "Львівська політехніка", Україна https://orcid.org/0000-0002-6962-9363
В. Качмарик Національний університет "Львівська політехніка", Україна https://orcid.org/0000-0003-1074-2721

DOI:

https://doi.org/10.24144/2616-7700.2022.40(1).109-125

Ключові слова:

довга короткочасна пам’ять, рекурентна нейронна мережа, машинне навчання, k-nearest neighbors, Long short term memory, Root mean square error

Анотація

Дослідження присвячено комплексному вивченню мереж довгої короткочасної пам’яті (ДКЧП). Дана архітектура є видом рекурентних нейронних мереж (РНМ), у яких з’єднання між вузлами утворюють граф, орієнтований у часі. У дослідженні проводиться огляд будови та роботи ДКЧП. Також здійснюється аналіз матеріалів і методів. У статті проводяться експерименти: будуються різні моделі для передбачення часових рядів. Аналізуються отримані результати дослідження. У цьому дослідженні будуть розглянуті цінність ДКЧП з практичної сторони у плані застосування, в залежності від виду вхідних даних, а також з теоретичної сторони, яка базуватиметься на розумінні будови блоку ДКЧП.

Біографії авторів

Н. Бойко, Національний університет "Львівська політехніка"

Доцент кафедри Системи штучного інтелекту. Кандидат економічних наук

В. Качмарик, Національний університет "Львівська політехніка"

Студент 4-го курсу кафедри Системи штучного інтелекту

Посилання

Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735 [in English].
Brownlee, J. A. (2022). Gentle Introduction to Long Short-Term Memory Networks by the Experts, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/ [in English].
Brownlee, J. (2021). Mini-Courseon Long Short-Term Memory Recurrent Neural Networks with Keras, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/long-short-term-memory-recurrent-neural-networks-minicourse/ [in English].
Brownlee, J. (2021). Stacked Long Short-Term Memory Networks, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/stacked-long-short-term-memorynetworks/ [in English].
Özlü, A. (2021). Long Short Term Memory (LSTM) Networksin a nutshell, Medium. Retrieved from https://ahmetozlu93.medium.com/long-short-term-memory-lstm-networks-in-a-nutshell-363cd470ccac [in English].
Malik, U. (2021). Time Series Analysis with LSTM using Python’s Keras Library, Stack-Abuse. Retrieved from https://stackabuse.com/time-series-analysis-with-lstm-using-pythonskeras-library/ [in English].
Ganegedara, Th. (2021). Stock Market Predictions with LSTM in Python. Retrieved from https://www.datacamp.com/community/tutorials/lstm-python-stock-market [in English].
Zou, Zh., & Qu, Z. Using LSTM in Stock prediction and Quantitative Trading. CS230: Deep Learning [in English].
Singh, A. (2021). Stock Prices Prediction Using Machine Learning and Deep Learning Techniques, Analytics Vidhya. Retrieved from https://www.analyticsvidhya.com/blog/2018/10/predicting-stock-price-machine-learningnddeep-learning-techniques-python/ [in English].
Hongju, Y., & Hongbing, O. (2018). Financial time series prediction based on deep learning. Wireless Personal Communications, 102(2), 683–700. https://doi.org/10.1007/s11277-017-5086-2 [in English].
Box, G. E., Jenkins, G. M., Reinsel, G. C. & Ljung, G. M. (2015) Time Series Analysis: Forecasting and Control. John Wiley & Sons, Hoboken, 715 [in English].
Boyko, N. (2016). Application of mathematical models for improvement of “cloud” data processes organization. Mathematical Modeling and Computing: scientific journal "Computational problems elektotehniky", 3(2), 111–119. https://doi.org/10.23939/mmc2016.02.111 [in English].
Boyko, N., & Shakhovska, N. (2018). Prospects for Using Cloud Data Warehouses in Information Systems, International Scientific and Technical Conference on Computer Sciences and Information Technologies, CSIT 2018, 2, 136–139. https://doi.org/10.1109/STCCSIT.2018.8526745 [in English].
Taylor, G. W. (2009). Composable, distributed-state models for high-dimensional time series. Toronto: University of Toronto [in English].
Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556 [in English].
Sarikaya, R., Hinton, G. E., & Deoras, A. (2014). Application of Deep Belief Networks for natural language understanding. ACM Transactions on Audio Speech and Language Processing, 22(4), 778–784 [in English].
Trafalis, T. B., & Ince, H. (2000). Support vector machine for regression and applications to financial forecasting. Neural Networks. In Proceedings of the IEEE -INNS-ENNS international joint conference on IJCNN 2000, 348–353 [in English].
Guresen, E., Kayakutlu, G., & Daim, T. U. (2011). Using artificial neural network models in stock market index prediction. Expert Systems with Applications, 38, 10389–10397 [in English].