Делаем прогноз слов рекуррентной сетью. Embedding слой | #21 нейросети на Python

Как можно создать сеть для прогнозирования последующих слов текста? Пример реализации в пакете Keras. Рассказывается о сопосбе представления слов в обучающей выборке, о парсинге текста с помощью инструмента Tokenizer, методы: fit_on_texts, texts_to_sequences, to_categorical. Коллекции: word_counts, index_word. Что такое Embedding слой, для чего нужен и как реализуется в Keras.

Телеграм-канал: https://t.me/machine_learning_selfedu

Инфо-сайт: http://proproprogs.ru
lesson 21. RNN words predict.py: https://github.com/selfedu-rus/neural-network
lesson 21. RNN Embedding words predict.py: https://github.com/selfedu-rus/neural-network
Embedding: https://ru-keras.com/embedding-layers/

( ! ) Warning: Invalid argument supplied for foreach() in /home/domains/malitikov.ru/public_html/wp-content/themes/malitikov/single.php on line 44
Call Stack
#	Time	Memory	Function	Location
1	0.0000	350344	{main}( )	.../index.php:0
2	0.0000	350624	require( '/home/domains/malitikov.ru/public_html/wp-blog-header.php )	.../index.php:17
3	0.0878	8474304	require_once( '/home/domains/malitikov.ru/public_html/wp-includes/template-loader.php )	.../wp-blog-header.php:19
4	0.0893	8498992	include( '/home/domains/malitikov.ru/public_html/wp-content/themes/malitikov/single.php )	.../template-loader.php:106

Мы рекомендуем

( ! ) Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 67108872 bytes) in /home/domains/malitikov.ru/public_html/wp-includes/class-wpdb.php on line 3114
Call Stack
#	Time	Memory	Function	Location
1	0.0000	350344	{main}( )	.../index.php:0
2	0.0000	350624	require( '/home/domains/malitikov.ru/public_html/wp-blog-header.php )	.../index.php:17
3	0.0878	8474304	require_once( '/home/domains/malitikov.ru/public_html/wp-includes/template-loader.php )	.../wp-blog-header.php:19
4	0.0893	8498992	include( '/home/domains/malitikov.ru/public_html/wp-content/themes/malitikov/single.php )	.../template-loader.php:106
5	0.3444	22705192	WP_Query->__construct( $query = ['post_type' => 'post', 'post_status' => 'publish', 'fields' => 'ids', 'posts_per_page' => -1, 'no_found_rows' => TRUE, 'orderby' => 'none'] )	.../single.php:65
6	0.3444	22705192	WP_Query->query( $query = ['post_type' => 'post', 'post_status' => 'publish', 'fields' => 'ids', 'posts_per_page' => -1, 'no_found_rows' => TRUE, 'orderby' => 'none'] )	.../class-wp-query.php:4081
7	0.3444	22705192	WP_Query->get_posts( )	.../class-wp-query.php:3949
8	0.3448	22717056	wpdb->get_col( $query = 'SELECT wp_posts.ID\n\t\t\t\t\t FROM wp_posts \n\t\t\t\t\t WHERE 1=1 AND wp_posts.post_type = \'post\' AND ((wp_posts.post_status = \'publish\'))\n\t\t\t\t\t \n\t\t\t\t\t \n\t\t\t\t\t ', $x = ??? )	.../class-wp-query.php:3300