Побудова моделей для прогнозування часових рядів застосовуючи мережі довгострокової пам'яті

Н.  Бойко; В. Качмарик

doi:10.24144/2616-7700.2022.40(1).109-125

Автор(и)

Н. Бойко Національний університет "Львівська політехніка", Україна https://orcid.org/0000-0002-6962-9363
В. Качмарик Національний університет "Львівська політехніка", Україна https://orcid.org/0000-0003-1074-2721

DOI:

https://doi.org/10.24144/2616-7700.2022.40(1).109-125

Ключові слова:

довга короткочасна пам’ять, рекурентна нейронна мережа, машинне навчання, k-nearest neighbors, Long short term memory, Root mean square error

Анотація

Дослідження присвячено комплексному вивченню мереж довгої короткочасної пам’яті (ДКЧП). Дана архітектура є видом рекурентних нейронних мереж (РНМ), у яких з’єднання між вузлами утворюють граф, орієнтований у часі. У дослідженні проводиться огляд будови та роботи ДКЧП. Також здійснюється аналіз матеріалів і методів. У статті проводяться експерименти: будуються різні моделі для передбачення часових рядів. Аналізуються отримані результати дослідження. У цьому дослідженні будуть розглянуті цінність ДКЧП з практичної сторони у плані застосування, в залежності від виду вхідних даних, а також з теоретичної сторони, яка базуватиметься на розумінні будови блоку ДКЧП.

Посилання

Hochreiter, S., & Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735 [in English].

Brownlee, J. A. (2022). Gentle Introduction to Long Short-Term Memory Networks by the Experts, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/ [in English].

Brownlee, J. (2021). Mini-Courseon Long Short-Term Memory Recurrent Neural Networks with Keras, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/long-short-term-memory-recurrent-neural-networks-minicourse/ [in English].

Brownlee, J. (2021). Stacked Long Short-Term Memory Networks, Machine Learning Mastery. Retrieved from https://machinelearningmastery.com/stacked-long-short-term-memorynetworks/ [in English].

Özlü, A. (2021). Long Short Term Memory (LSTM) Networksin a nutshell, Medium. Retrieved from https://ahmetozlu93.medium.com/long-short-term-memory-lstm-networks-in-a-nutshell-363cd470ccac [in English].

Malik, U. (2021). Time Series Analysis with LSTM using Python’s Keras Library, Stack-Abuse. Retrieved from https://stackabuse.com/time-series-analysis-with-lstm-using-pythonskeras-library/ [in English].

Ganegedara, Th. (2021). Stock Market Predictions with LSTM in Python. Retrieved from https://www.datacamp.com/community/tutorials/lstm-python-stock-market [in English].

Zou, Zh., & Qu, Z. Using LSTM in Stock prediction and Quantitative Trading. CS230: Deep Learning [in English].

Singh, A. (2021). Stock Prices Prediction Using Machine Learning and Deep Learning Techniques, Analytics Vidhya. Retrieved from https://www.analyticsvidhya.com/blog/2018/10/predicting-stock-price-machine-learningnddeep-learning-techniques-python/ [in English].

Hongju, Y., & Hongbing, O. (2018). Financial time series prediction based on deep learning. Wireless Personal Communications, 102(2), 683–700. https://doi.org/10.1007/s11277-017-5086-2 [in English].

Box, G. E., Jenkins, G. M., Reinsel, G. C. & Ljung, G. M. (2015) Time Series Analysis: Forecasting and Control. John Wiley & Sons, Hoboken, 715 [in English].

Boyko, N. (2016). Application of mathematical models for improvement of “cloud” data processes organization. Mathematical Modeling and Computing: scientific journal "Computational problems elektotehniky", 3(2), 111–119. https://doi.org/10.23939/mmc2016.02.111 [in English].

Boyko, N., & Shakhovska, N. (2018). Prospects for Using Cloud Data Warehouses in Information Systems, International Scientific and Technical Conference on Computer Sciences and Information Technologies, CSIT 2018, 2, 136–139. https://doi.org/10.1109/STCCSIT.2018.8526745 [in English].

Taylor, G. W. (2009). Composable, distributed-state models for high-dimensional time series. Toronto: University of Toronto [in English].

Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv:1409.1556 [in English].

Sarikaya, R., Hinton, G. E., & Deoras, A. (2014). Application of Deep Belief Networks for natural language understanding. ACM Transactions on Audio Speech and Language Processing, 22(4), 778–784 [in English].

Trafalis, T. B., & Ince, H. (2000). Support vector machine for regression and applications to financial forecasting. Neural Networks. In Proceedings of the IEEE -INNS-ENNS international joint conference on IJCNN 2000, 348–353 [in English].

Guresen, E., Kayakutlu, G., & Daim, T. U. (2011). Using artificial neural network models in stock market index prediction. Expert Systems with Applications, 38, 10389–10397 [in English].