Основы обработки текстов

Спецкурс для студентов и аспирантов ВМК МГУ и ФКН ВШЭ

Внимание! Следующая лекция для ВШЭ состоится в пятницу 9 декабря, а затем 23 декабря.

В решениях практического задания можно использовать векторное представление слов, полученное с помощью word2vec.

Модель обученную на русскоязычной Википедии можно скачать бинарном представлении.

Для работы с бинарным представлением используйте библиотеку gensim. На проверяющей машине будет gensim, а модель в бинарном виде будет доступна корне.

from gensim.models import Word2Vec
word2vec = Word2Vec.load_word2vec_format("vectors.bin", binary=True)

На основе вопросов по разметке был составлен документ с примерами и ответами на частые вопросы.

Также был обновлен шаблон решения: исправлен баг, когда при определении значений у термина не оказывалось ни одного подходящего значения из русскоязычной Википедии и решение падало. Также в конструктор добавлен код, автоматически ждущий минуту, при превышении лимита запросов к API Текстерры.

Кроме того были увеличены лимиты API до 300 запросов в минуту и 10000 в день. Тем не менее, рекомендую кэшировать ответы Текстерры.

Просьба приостановить разметку данных для практического задания до среды (12 октября) в связи с техническими работами.

Лекция 28.09.2016 на ВМК отменена. Следующая лекция состоится в среду 5 октября.

  • Первая лекция для студентов ВМК МГУ состоится в среду 7 сентября  в 10:30 в 523 аудитории.
  • Для студентов ФКН ВШЭ лекции начнутся в пятницу 9 сентября в 12:00 в 110 аудитории ИСП РАН.