Текст книги "Нейросети. Работа с текстом"

На практике хорошо обученная модель будет иметь следующие характеристики:

– Точность на обучении растет и стабилизируется на определенном уровне.

– Потери на обучении уменьшаются и стабилизируются на низком уровне.

Если точность на тестовых данных также высока, это означает, что модель успешно обобщает знания на новые, ранее не виденные данные.

На графиках, представленных в коде, вы сможете оценить, как точность и потери меняются с течением эпох, и определить успешность обучения модели.

Кроме того, существуют более сложные архитектуры, которые комбинируют RNN и CNN, чтобы использовать преимущества обоих типов сетей. Например, архитектура под названием Transformer, изначально разработанная для машинного перевода, стала основой для многих современных моделей в NLP, таких как BERT и GPT.

Архитектура Transformer представляет собой мощный прорыв в области обработки естественного языка (NLP) и обработки последовательностей в целом. Она представляет собой нейронную сеть, спроектированную специально для работы с последовательностями, и она имеет ряд ключевых особенностей:

1. Механизм внимания: Одной из ключевых особенностей Transformer является механизм внимания. Внимание позволяет модели фокусироваться на разных частях входных данных в зависимости от их важности. Это улучшает способность модели обрабатывать длинные последовательности и улавливать долгосрочные зависимости в данных.

2. Свёрточные и полносвязные слои: Transformer включает в себя свёрточные слои, которые работают с каждой позицией в последовательности независимо. Это позволяет модели извлекать локальные признаки из текста. Также в архитектуре есть полносвязные слои, которые обрабатывают информацию с учётом взаимодействия всех позиций в последовательности.

3. Многоуровневая структура: Transformer состоит из нескольких идентичных слоев, называемых «трансформерами», каждый из которых обрабатывает входные данные независимо. Это многоуровневое устройство позволяет модели извлекать признаки разной абстракции и работать с последовательностью на разных уровнях.

4. Многоголовое внимание: Transformer также использует многоголовое внимание (multi-head attention), что позволяет модели фокусироваться на разных аспектах входных данных одновременно. Это способствует изучению различных типов зависимостей в данных.

5.Позиционное кодирование: Поскольку Transformer не имеет встроенной информации о позиции слова в последовательности (как у RNN), используется позиционное кодирование. Это позволяет модели учитывать позицию каждого элемента в последовательности.

Архитектура Transformer и её модификации (например, BERT и GPT) стали основой для многих современных задач в NLP, включая машинный перевод, обработку текста, анализ тональности, вопросно-ответные системы и многое другое. Эти модели показали выдающуюся производительность благодаря своей способности к обучению на больших объёмах данных и обобщению на различные задачи.

BERT (Bidirectional Encoder Representations from Transformers) и GPT (Generative Pre-trained Transformer) – это две мощные модели для работы с естественным языком (Natural Language Processing, NLP). Они используют архитектуры Transformer для различных задач NLP, но они имеют разные цели и способы использования. Давайте рассмотрим каждую из них с подробным описанием и примерами использования.

BERT (Bidirectional Encoder Representations from Transformers)

Описание: BERT – это модель, разработанная Google AI, и она представляет собой архитектуру Transformer, обученную на огромном корпусе текста. Особенность BERT заключается в том, что она способна понимать контекст и семантику текста, учитывая оба направления (слева направо и справа налево) при обработке текста. Это делает BERT очень мощной для различных задач NLP.

Примеры использования:

1. Классификация текста: BERT может использоваться для задач классификации текста, таких как определение тональности (положительный/отрицательный отзыв), определение языка, категоризация текста и т. д.

Пример кода на Python с использованием библиотеки Transformers от Hugging Face:

```python

from transformers import BertTokenizer, BertForSequenceClassification

import torch

tokenizer = BertTokenizer.from_pretrained (’bert-base-uncased’)

model = BertForSequenceClassification.from_pretrained (’bert-base-uncased’)

text = «This is a positive example.»

inputs = tokenizer (text, return_tensors=’pt’)

outputs = model (**inputs)

print (outputs. logits)

```

2. Извлечение информации: BERT может использоваться для извлечения информации из текста, такой как именованные сущности (NER) или ключевые фразы.

Пример кода для извлечения именованных сущностей:

```python

from transformers import BertForTokenClassification

model = BertForTokenClassification.from_pretrained (’bert-base-uncased’)

text = «Apple Inc. was founded by Steve Jobs.»

inputs = tokenizer (text, return_tensors=’pt’)

outputs = model (**inputs)

print (outputs. logits)

```

3. Машинный перевод: BERT может быть интегрирован в системы машинного перевода, где он может быть полезен для обработки контекста и перевода текста.

Пример кода для машинного перевода:

```python

from transformers import BertTokenizer, BertForConditionalGeneration

tokenizer = BertTokenizer.from_pretrained (’bert-base-uncased’)

model = BertForConditionalGeneration.from_pretrained (’bert-base-uncased’)

text = «Hello, how are you?»

inputs = tokenizer (text, return_tensors=’pt’)

outputs = model.generate (**inputs)

print(tokenizer.decode (outputs [0], skip_special_tokens=True))

```

GPT (Generative Pre-trained Transformer)

Описание: GPT – это другая модель, основанная на архитектуре Transformer. GPT разработана OpenAI и предназначена для генерации текста и выполнения задач NLP, требующих понимания и генерации текста на естественном языке.

Примеры использования:

1. Генерация текста: Одним из ключевых применений GPT является генерация текста на естественном языке. Модель может использоваться для автоматической генерации статей, новостей, текстовых сообщений и даже кода.

Пример кода для генерации текста:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained (’gpt2»)

model = GPT2LMHeadModel.from_pretrained (’g

pt2»)

input_text = «Once upon a time»

input_ids = tokenizer. encode (input_text, return_tensors=’pt’)

output = model.generate (input_ids, max_length=50, num_return_sequences=1)

generated_text = tokenizer.decode (output [0], skip_special_tokens=True)

print (generated_text)

```

2. Диалоговые системы: GPT может быть использована в разработке чат-ботов и виртуальных ассистентов, способных вести естественные беседы с пользователями.

Пример кода для создания чат-бота:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained (’gpt2»)

model = GPT2LMHeadModel.from_pretrained (’gpt2»)

def chatbot (input_text):

input_ids = tokenizer. encode (input_text, return_tensors=’pt’)

output = model.generate (input_ids, max_length=50, num_return_sequences=1)

generated_text = tokenizer.decode (output [0], skip_special_tokens=True)

return generated_text

user_input = «Tell me a joke.»

response = chatbot (user_input)

print (response)

```

Результат выполнения этого кода будет сгенерированный текстовый ответ, который представляет собой шутку. Код использует модель GPT-2, обученную на большом объеме текстовых данных, для генерации текста на основе входного текста пользователя.

Пример сгенерированной шутки может выглядеть примерно так:

```

Why don’t scientists trust atoms? Because they make up everything!

```

Здесь модель GPT-2 сгенерировала шутку в ответ на запрос пользователя «Расскажи мне шутку.» Генерируемый текст зависит от обучения модели и может быть разным при разных запусках. GPT-2 стремится генерировать текст, который подходит по контексту, и в данном случае, она успешно создала ответ в форме шутки на заданный запрос.

Для использования модели GPT-2 с русским текстом, вы можете воспользоваться моделью, обученной на русском языке. Вот пример кода, который использует такую модель:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

# Загружаем предобученную модель и токенизатор для русского языка

tokenizer = GPT2Tokenizer.from_pretrained (’sberbank-ai/rugpt3small’)

model = GPT2LMHeadModel.from_pretrained (’sberbank-ai/rugpt3small’)

def chatbot (input_text):

# Кодируем входной текст в токены

input_ids = tokenizer. encode (input_text, return_tensors=’pt’)

# Генерируем ответ от модели

output = model.generate (input_ids, max_length=50, num_return_sequences=1, no_repeat_ngram_size=2)

# Декодируем сгенерированный текст и убираем специальные токены

generated_text = tokenizer.decode (output [0], skip_special_tokens=True)

return generated_text

# Пример ввода пользователя и получение ответа

user_input = «Расскажи анекдот.»

response = chatbot (user_input)

print (response)

```

В этом примере мы используем модель `sberbank-ai/rugpt3small`, обученную на русском языке, и токенизатор для этой модели. После ввода запроса, модель генерирует текст на русском языке в ответ. Результат будет представлять собой сгенерированный текст на основе запроса пользователя.

!!! При возникновении ошибки

HTTPError: 401 Client Error: Unauthorized for url: https://huggingface.co/sberbank-ai/rugpt3small/resolve/main/vocab.json

Из сообщения об ошибке видно, что возникла проблема с доступом к модели `sberbank-ai/rugpt3small` на Hugging Face Model Hub. Эта модель может быть приватной или требует аутентификации.

Для решения этой проблемы вы можете использовать следующее:

Убедитесь, что у вас установлена библиотека `transformers` последней версии:

```bash

pip install transformers

```

Зарегистрируйтесь на сайте Hugging Face (https://huggingface.co) и войдите в свою учетную запись.

Если `sberbank-ai/rugpt3small` является приватной моделью, убедитесь, что у вас есть доступ к ней. Если это так, вы можете выполнить вход в свой аккаунт Hugging Face с помощью следующей команды:

```bash

transformers-cli login

```

Если доступ к модели требует токена, убедитесь, что у вас есть правильный токен, и передайте его при загрузке модели. Вот пример:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

# Загружаем предобученную модель и токенизатор для русского языка

tokenizer = GPT2Tokenizer.from_pretrained (’sberbank-ai/rugpt3small’, token='<your_token>»)

model = GPT2LMHeadModel.from_pretrained (’sberbank-ai/rugpt3small’, token='<your_token>»)

```

Замените ` <your_token> ` на ваш действующий токен.

Если `sberbank-ai/rugpt3small` не является приватной моделью и вы по-прежнему не можете получить доступ, убедитесь, что модель существует в Hugging Face Model Hub и что вы используете правильное имя модели.

Если вы хотите использовать другую доступную модель, вы можете выбрать ее из Model Hub. Например, вы можете использовать `gpt2` (модель GPT-2 на английском языке) без аутентификации:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained (’gpt2»)

model = GPT2LMHeadModel.from_pretrained (’gpt2»)

```

После выполнения этих шагов вы сможете загрузить и использовать модель GPT-2 без ошибок.

3. Автоматическая генерация кода: GPT может быть использована для автоматической генерации программного кода на естественном языке.

Пример кода для генерации кода:

```python

from transformers import GPT2LMHeadModel, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained (’gpt2»)

model = GPT2LMHeadModel.from_pretrained (’gpt2»)

code_description = «Sort a list of numbers in ascending order.»

input_ids = tokenizer. encode (code_description, return_tensors=’pt’)

output = model.generate (input_ids, max_length=100, num_return_sequences=1)

generated_code = tokenizer.decode (output [0], skip_special_tokens=True)

print (generated_code)

```

Обратите внимание, что в каждом примере мы используем библиотеку Transformers, которая упрощает работу с моделями BERT и GPT. Вы можете изменить предварительно обученную модель на другую, если ваши задачи требуют специфичных знаний.

Важно отметить, что выбор конкретной архитектуры зависит от задачи и доступных данных. Каждая из этих архитектур имеет свои преимущества и недостатки, и их эффективность может варьироваться в зависимости от контекста. В современных исследованиях и приложениях NLP часто используются комбинации различных архитектур и методов для достижения наилучших результатов.

2.2. Разбор работы эмбеддингов слов и их важности в NLP

Важность работы с эмбеддингами слов (word embeddings) в NLP (Natural Language Processing) трудно переоценить. Эмбеддинги слов – это числовые представления слов в виде векторов, которые могут быть использованы в машинном обучении и глубоком обучении для анализа и обработки текстовых данных.

Рассмотрим некоторые ключевые аспекты работы с эмбеддингами слов и их важность в NLP:

1. Представление слов в числовой форме:

Представление слов в числовой форме – это одна из ключевых задач в обработке естественного языка (NLP). Машины, в отличие от человеков, не могут понимать и обрабатывать текст напрямую, как слова и фразы. Вместо этого им требуется какой-то способ преобразования текстовых данных в числовую форму, с которой они могут работать. И здесь на сцену выходят эмбеддинги слов.

Вот как это работает:

Текстовые данные и словарь: В начале процесса у нас есть текстовые данные, состоящие из слов и фраз. Сначала мы создаем словарь, который содержит уникальные слова в нашем корпусе текста. Это позволяет нам представить каждое слово в виде уникального идентификатора (индекса) в словаре.

Присвоение векторов словам: Затем мы создаем матрицу эмбеддингов слов, в которой каждая строка соответствует слову из словаря, а каждый столбец представляет собой компоненту вектора. Векторы слов могут быть обучены на больших корпусах текстовых данных с использованием различных методов, таких как Word2Vec, GloVe, FastText, BERT и другие.

Преобразование текста в числа: Для преобразования текста в числа мы разбиваем текст на отдельные слова или токены (процесс, называемый токенизацией) и затем находим соответствующий индекс каждого слова в словаре. Эти индексы используются для извлечения соответствующих векторных представлений слов из матрицы эмбеддингов.

Числовое представление текста: Теперь, когда у нас есть векторные представления для каждого слова, мы можем объединить их, чтобы получить числовое представление всего текста. Это можно сделать, например, путем усреднения векторов слов в тексте или конкатенации их в один большой вектор.

Использование числовых представлений: Числовое представление текста может быть использовано в различных задачах NLP, таких как классификация текста, машинный перевод, анализ тональности, кластеризация текстов и другие. Модели машинного обучения и глубокого обучения могут обрабатывать эти числовые представления и делать выводы на основе них.

Семантический смысл: Одной из ключевых особенностей эмбеддингов слов является то, что близкие по смыслу слова имеют близкие векторные представления. Это означает, что векторы слов кодируют семантический смысл слов, и это может быть использовано для выполнения различных задач, таких как поиск синонимов, анализ контекста и даже измерение семантической близости между текстами.

Давайте рассмотрим, как компьютеры могут понимать текст так же, как мы, люди, используя числа и векторы. Это важно для задач обработки текста, таких как перевод, анализ тональности и многое другое.

Представьте, у нас есть фраза «Солнце светит ярко». Для нас это понятно, но компьютеру нужно преобразовать это в числа. Для этого создается словарь, который выглядит как список всех уникальных слов в наших текстах. В нашем случае, это «Солнце», «светит» и «ярко». Каждому слову присваивается номер, например: «Солнце» – 1, «светит» – 2, «ярко» – 3.

Теперь мы создаем векторы слов, которые выглядят как таблица, где каждое слово имеет свой вектор с числами. Например:

– «Солнце» может быть [0.2, 0.8, 0.5]

– «светит» может быть [0.5, 0.9, 0.1]

– «ярко» может быть [0.7, 0.6, 0.3]

Когда мы хотим понять фразу, компьютер находит вектор каждого слова и комбинирует их. Например, если мы хотим понять «Солнце светит ярко», то компьютер возьмет вектор «Солнце» + вектор «светит» + вектор «ярко» и получит что-то вроде [1.4, 2.3, 0.9]. Это числовое представление фразы.

Теперь, когда фраза представлена числами, компьютер может выполнять различные задачи, такие как определение ее смысла, перевод на другие языки и многое другое.

Пример: представьте, что у нас есть векторы слов «хороший» и «плохой», и они похожи на [0.9, 0.7] и [0.2, 0.1] соответственно. Если мы сложим вектор «хороший» с фразой «Этот день очень», получится что-то близкое к [1.1, 0.8], что может указывать на положительный смысл фразы. Аналогично, если мы сложим вектор «плохой» с фразой «Этот фильм ужасен», получится что-то близкое к [0.4, 0.2], что может указывать на негативный смысл.

Таким образом, числовые представления слов и фраз, называемые эмбеддингами слов, позволяют компьютерам понимать и работать с текстом так же, как мы, люди.

Рассмотрим код, который реализует представление векторов слов и фраз в двумерном пространстве и визуализацию этого представления:

```python

import matplotlib.pyplot as plt

# Векторы слов

word_vectors = {

«Солнце»: [0.2, 0.8],

«светит»: [0.5, 0.9],

«ярко»: [0.7, 0.6],

«хороший»: [0.9, 0.7],

«плохой»: [0.2, 0.1]

}

# Разделите векторы слов на координаты X и Y и создайте список меток

word_labels, word_coordinates = zip(*word_vectors.items ())

word_x, word_y = zip (*word_coordinates)

# Создайте график и визуализируйте векторы слов

plt.figure (figsize= (10, 6))

plt.scatter (word_x, word_y, marker=«o», color=«blue», label=«Векторы слов»)

# Добавьте метки для слов

for i, label in enumerate (word_labels):

plt.annotate (label, (word_x [i], word_y [i]), fontsize=12)

plt. xlabel («Dimension 1»)

plt. ylabel («Dimension 2»)

plt. title («Word Embeddings Visualization»)

plt. legend ()

# Отобразите график

plt.grid (True)

plt.show ()

```

Разбор кода:

Этот код позволяет визуализировать векторы слов в двумерном пространстве. Визуализация показывает, как каждое слово представлено в этом пространстве и как они распределены относительно друг друга. Давайте разберем, что этот код конкретно делает:

1. `word_vectors`: Давайте поговорим более подробно о `word_vectors`, так как это важный аспект для понимания кода и общей идеи представления слов в числовой форме.

`word_vectors` представляет собой словарь, в котором каждому слову сопоставлен его вектор. Вектор в данном контексте – это набор чисел, который представляет семантический смысл слова. Словарь `word_vectors` выглядит примерно так:

```python

word_vectors = {

«Солнце»: [0.2, 0.8],

«светит»: [0.5, 0.9],

«ярко»: [0.7, 0.6],

«хороший»: [0.9, 0.7],

«плохой»: [0.2, 0.1]

}

```

В этом словаре каждое слово (например, «Солнце», «светит», «ярко» и т. д.) является ключом, и ему соответствует вектор, представленный списком чисел. Эти числа – это координаты в двумерном пространстве. Например, для слова «Солнце» у нас есть вектор ` [0.2, 0.8] `, что означает, что в двумерном пространстве это слово представлено точкой с координатами X=0.2 и Y=0.8.

Как только у нас есть такие векторы для всех слов, мы можем визуализировать их в двумерном пространстве, чтобы понять, как эти слова связаны между собой и как они расположены относительно друг друга. Визуализация позволяет увидеть семантические отношения между словами и понять, какие слова близки по смыслу.

Это очень полезно для задач обработки естественного языка, так как это позволяет компьютерам понимать и работать с текстом, представляя его в числовой форме, а затем анализировать семантические свойства слов и фраз.

2. `word_labels` и `word_coordinates`: `word_labels` Поговорим о переменных `word_labels` и `word_coordinates`, так как они играют важную роль в создании графика и визуализации векторов слов.

– `word_labels`: Это переменная, которая содержит метки слов. В нашем случае, метки представляют собой сами слова, например, «Солнце», «светит», «ярко» и так далее. Эти метки используются для подписей на графике, чтобы мы могли видеть, какое слово соответствует каждой точке в двумерном пространстве.

– `word_coordinates`: Это переменная, которая содержит координаты слов в двумерном пространстве. Каждая координата – это числовое значение, которое указывает на положение слова в пространстве. Например, ` [0.2, 0.8] ` означает, что слово находится на координатах X=0.2 и Y=0.8 в этом пространстве.

Эти две переменные формируются с помощью функции `zip`, которая позволяет извлечь метки и координаты из словаря `word_vectors`. Как только у нас есть `word_labels` и `word_coordinates`, мы можем использовать их для создания графика и аннотировать точки на графике метками слов.

Это делает график более информативным, так как мы можем видеть, какое слово представлено каждой точкой на графике, и как эти точки связаны между собой.

3. `word_x` и `word_y`: Продолжим разбираться с переменными `word_x` и `word_y`, которые представляют собой координаты X и Y векторов слов в нашем пространстве.

– `word_x`: Это переменная, которая содержит координаты X (горизонтальные) для векторов слов. В нашем примере, это числовые значения, представляющие горизонтальное положение каждого слова в двумерном пространстве. Например, если у нас есть вектор слова «Солнце» с координатами ` [0.2, 0.8] `, то `0.2` будет значением `word_x` для этого слова.

– `word_y`: Это переменная, которая содержит координаты Y (вертикальные) для векторов слов. Точно так же, как `word_x`, `word_y` представляет собой числовые значения, которые указывают на вертикальное положение каждого слова в пространстве. Например, для слова «Солнце» с координатами ` [0.2, 0.8] `, `0.8` будет значением `word_y`.

Обе эти переменные формируются с помощью функции `zip`, которая извлекает координаты X и Y из `word_coordinates`. Как результат, у нас есть два списка: `word_x` и `word_y`, которые содержат числовые значения, представляющие положение слов в пространстве.

Используя эти переменные, мы можем легко создавать графики, аннотировать точки на графике и визуализировать векторы слов в двумерном пространстве, что делает визуализацию информативной и наглядной.

4. `plt.figure (figsize= (10, 6)) `: Этот фрагмент кода `plt.figure (figsize= (10, 6)) ` используется для создания нового объекта графика с заданными размерами. В данном случае, мы указали размеры графика в дюймах: ширина 10 дюймов и высота 6 дюймов.

Контекст `plt.figure` служит для настройки параметров текущего графика перед его созданием. Установка размеров графика позволяет контролировать, каким образом график будет отображен на экране или в сохраненном изображении.

Установка подходящих размеров графика может быть полезной для достижения оптимальной видимости и читаемости данных, особенно когда вы работаете с большими объемами информации или хотите уточнить детали визуализации. Размеры в данной строке могут быть адаптированы под ваши конкретные потребности в визуализации данных.

5. `plt.scatter (word_x, word_y, marker=«o», color=«blue», label=«Векторы слов») `: Данная строка кода `plt.scatter (word_x, word_y, marker=«o», color=«blue», label=«Векторы слов») ` используется для создания точечного графика, который отображает векторы слов в двумерном пространстве. Рассмотрим каждый из параметров подробнее:

– `word_x` и `word_y`: Это координаты X и Y для точек на графике. В данном контексте, `word_x` содержит координаты X для векторов слов, а `word_y` содержит соответствующие координаты Y. Это означает, что каждая точка на графике будет представлена парой координат (X, Y), где X и Y – это координаты для каждого слова.

– `marker=«o»`: Этот параметр определяет форму маркера, который будет использоваться для отметки каждой точки на графике. В данном случае, установлен маркер «o», что означает, что будут использоваться круглые маркеры для представления векторов слов.

– `color=«blue»`: Этот параметр задает цвет точек на графике. В данном случае, все точки будут синего цвета, так как установлено значение «blue».

– `label=«Векторы слов»`: Этот параметр добавляет легенду к графику. Легенда – это текстовое описание, которое объясняет, что представляют собой точки на графике. В данном случае, легенда «Векторы слов» будет видна на графике и поможет идентифицировать, что именно отображают точки.

Этот график точек (scatter plot) позволяет визуализировать векторы слов и их относительные расположения в двумерном пространстве. Каждая точка на графике представляет вектор для одного слова, а их расположение отражает структуру и семантические отношения между этими словами.6. `for i, label in enumerate (word_labels) `: Этот цикл добавляет метки для каждого слова на график, используя функцию `plt.annotate`. `enumerate` позволяет получить итерируемые элементы вместе с их индексами.

7. `plt. xlabel («Dimension 1») ` и `plt. ylabel («Dimension 2») `задают метки для осей X и Y на графике.

– `plt. xlabel («Dimension 1») `: Эта строка устанавливает метку (подпись) для оси X на графике. В данном случае, метка установлена как «Dimension 1», что означает, что ось X будет подписана как «Dimension 1». Обычно ось X представляет одну из измеренных характеристик или переменных данных.

– `plt. ylabel («Dimension 2») `: Эта строка устанавливает метку (подпись) для оси Y на графике. Аналогично, метка установлена как «Dimension 2», что означает, что ось Y будет подписана как «Dimension 2». Ось Y обычно представляет другую из измеренных характеристик или переменных данных.

Установка меток для осей графика полезно для интерпретации данных. В данном случае, метки «Dimension 1» и «Dimension 2» могут указывать на смысл и значения соответствующих координат на графике, что облегчит понимание данных, представленных на графике.

8. `plt. title («Word Embeddings Visualization») `: Устанавливает заголовок для графика.

9. `plt. legend () `: Добавляет легенду к графику, которая помогает понять, что представляют точки.

10. `plt.grid (True) `: Включает отображение сетки на графике.

11. `plt.show () `: Отображает сам график.

В результате выполнения этого кода, вы увидите точечный график, на котором будут представлены векторы слов, и каждое слово будет подписано его меткой. Это дает представление о том, как слова представлены в двумерном векторном пространстве и как они располагаются относительно друг друга.

Для более наглядной визуализации векторов слов, давайте добавим несколько разных видов графиков: точечный график, столбчатую диаграмму и круговую диаграмму. Это позволит нам по-разному представить векторы слов.

```python

import matplotlib.pyplot as plt

import numpy as np

# Векторы слов

word_vectors = {

«Солнце»: [0.2, 0.8],

«светит»: [0.5, 0.9],

«ярко»: [0.7, 0.6],

«хороший»: [0.9, 0.7],

«плохой»: [0.2, 0.1],

}

# Разделите векторы слов на координаты X и Y и создайте список меток

word_labels, word_coordinates = zip(*word_vectors.items ())

word_x, word_y = zip (*word_coordinates)

# Визуализация векторов слов: точечный график

plt.figure (figsize= (12, 4))

plt.subplot (1, 3, 1)

for i in range (len (word_labels)):

x, y = word_x [i], word_y [i]

plt.scatter (x, y, marker=«o», label=word_labels [i])

plt. xlabel («Dimension 1»)

plt. ylabel («Dimension 2»)

plt. title («Scatter Plot»)

plt. legend ()

# Визуализация векторов слов: столбчатая диаграмма

plt.subplot (1, 3, 2)

plt.barh (word_labels, word_x, color=’skyblue’)

plt. xlabel («Dimension 1»)

plt. title («Bar Chart (Dimension 1)»)

# Визуализация векторов слов: круговая диаграмма

plt.subplot (1, 3, 3)

plt. pie (word_y, labels=word_labels, autopct='%1.1f%%», startangle=140, colors= [’gold’, ’yellowgreen’, ’lightcoral’, ’lightskyblue’, ’lightpink’])

plt. title («Pie Chart (Dimension 2)»)

# Отобразите графики

plt. tight_layout ()

plt.show ()

```

Теперь у нас есть три разных вида графиков: точечный график, столбчатая диаграмма и круговая диаграмма, которые помогают наглядно представить векторы слов в двумерном пространстве.

На результатах графиков мы видим визуализацию векторов слов в двумерном пространстве. Давайте разберемся, что каждый график представляет:

– Точечный график (Scatter Plot): Этот график показывает точки в двумерной плоскости, где каждая точка представляет одно из слов. Каждое слово обозначено своим цветом, и мы видим их распределение на плоскости. Точки, близкие друг к другу, представляют слова с более схожими векторами, что означает, что эти слова имеют более схожий семантический смысл. Например, слова «Солнце» и «светит» ближе друг к другу, так как они имеют схожий смысл.

– Столбчатая диаграмма (Bar Chart): Этот график представляет значения первой компоненты вектора (Dimension 1) для каждого слова. Мы видим, какие слова имеют большие и меньшие значения на этой компоненте. Это позволяет нам сравнивать важность каждой компоненты для каждого слова.

– Круговая диаграмма (Pie Chart): Этот график представляет значения второй компоненты вектора (Dimension 2) для каждого слова в виде круговой диаграммы. Каждая секция круговой диаграммы соответствует одному из слов, и ее размер показывает, насколько большое значение имеет вторая компонента для этого слова. Это позволяет наглядно увидеть, какие слова имеют больший или меньший вклад в эту компоненту.

Общий вывод: Графики представляют слова как векторы в двумерном пространстве, где каждый график подчеркивает разные аспекты векторных представлений. Точечный график показывает их относительное распределение, столбчатая диаграмма и круговая диаграмма представляют компоненты векторов для каждого слова. Все это помогает нам визуализировать, как компьютеры представляют смысл слов в числовой форме и какие слова имеют схожий семантический контекст.

Таким образом, эмбеддинги слов позволяют машинам понимать и работать с текстовыми данными, предоставляя числовые представления слов, которые могут быть использованы в широком спектре задач NLP. Они стали важным инструментом для обработки естественного языка и достигли больших успехов в различных приложениях.

2. Семантическая близость:

Семантическая близость в контексте векторного представления слов – это мера, которая позволяет определить, насколько два слова схожи по смыслу, основываясь на их векторных представлениях в числовой форме. Если два слова имеют близкие векторные представления, то они часто используются в схожих контекстах и имеют схожие значения.