Лекция про LLM

Сегодня на лекции Михаил Михайлович Тихомиров рассказал про историю возникновения, текущее состояние и направления развития больших языковых моделей (LLM, Large language models), включая ChatGPT, LLaMA, Mistral и др.

Слайды выложены тут: https://tpc.ispras.ru/wp-content/uploads/2023/12/lecture14-2023.pdf

Видеозапись доступна на youtube:

Материалы 2021-2022 года

План на и материалы к лекциям (2021-2022 год)

Лекция Слайды Лектор
Лекция 1: Задачи обработки текстов lecture1-2021 Турдаков
Лекция 2: Методы машинного обучения для обработки текстов. lecture2-2021 Турдаков
Лекция 3: Статистические методы в обработки текстов. Поиск словосочетаний. lecture3-2021 Турдаков
Лекция 4: Искусственные нейронные сети для обработки текстов lecture4-2021 Перминов
Лекция 5: Векторные представления слов lecture5-2021 Майоров
Лекция 6: Базовые задачи обработки текстов lecture6-2021 Майоров
Лекция 7: Синтаксический анализ lecture7-2021 Майоров
Лекция 8: Лексическая семантика lecture8-2021 Турдаков
Лекция 9: Машинный перевод lecture9_2021 Турдаков
Лекция 10: Языковые модели на основе нейронных сетей lecture10-2021 Майоров
Лекция 11: Информационный поиск lecture11-2021 Турдаков
Лекция 12:Прикладные задачи обработки текстов lecture12_2021 Турдаков
Лекция 13: Кластеризация текстов. Тематическое моделирование lecture13-2021 Турдаков

Материалы 2020 года

Лекция Слайды Запись лекции Лектор
Лекция 1: Задачи обработки текстов lecture1-2020 Турдаков
Лекция 2: Методы машинного обучения для обработки текстов. lecture2-2020 Турдаков
Лекция 3: Искусственные нейронные сети для обработки текстов lecture3-2020 Трифонов
Лекция 4: Статистические методы в обработки текстов. Поиск словосочетаний. lecture4-2020 Турдаков
Лекция 5: Векторные представления слов lecture5-2020 Майоров
Лекция 6: Базовые задачи обработки текстов lecture6-2020 Майоров
Лекция 7: Синтаксический анализ 1 lecture7-2020 Майоров
Лекция 8: Синтаксический анализ 2 lecture8-2020 Майоров
Лекция 9: Лексическая семантика lecture9-2020 Турдаков
Лекция 10: Языковые модели на основе нейронных сетей lecture10_2020 Майоров
Лекция 11: Информационный поиск lecture11-2020  Недумов
Лекция 12:Прикладные задачи обработки текстов lecture12_2020 Турдаков
Лекция 13: Машинный перевод lecture13_2020 Турдаков
Лекция 14: Кластеризация текстов. Тематическое моделирование lecture14-2020 Турдаков

 

Материалы 2019 года

Лекция Слайды Лектор
Лекция 1: Задачи обработки текстов lecture1-2019 Турдаков
Лекция 2: Методы машинного обучения для обработки текстов. lecture2-2019 Турдаков
Лекция 3: Искусственные нейронные сети для обработки текстов lecture3-2019 Трифонов
Лекция 4: Статистические методы в обработки текстов. Поиск словосочетаний. lecture4-2019 Турдаков
Лекция 5: Векторные представления слов lecture5-2019 Майоров
Лекция 6: Базовые задачи обработки текстов lecture6-2019 Майоров
Лекция 7: Синтаксический анализ 1 lecture7-2019 Майоров
Лекция 8: Синтаксический анализ 2 lecture8-2019 Майоров
Лекция 9: Лексическая семантика lecture9-2019 Турдаков
Лекция 10: Информационный поиск lecture10-2019  Недумов
Лекция 11:Прикладные задачи обработки текстов lecture11_2019 Турдаков
Лекция 12: Машинный перевод lecture12_2019 Турдаков
Лекция 13: Кластеризация текстов. Тематическое моделирование lecture13-2019 Турдаков

Вопросы к экзамену: tpc-2019-questions

Материалы курса 2018 года

Лекция Слайды Лектор
Лекция 1: Распознавание именованных сущностей, машинное обучение с учителем lecture-1.pdf Андрианов
Лекция 2: Разметка последовательности, нейронные сети lecture-2.pdf Андрианов
Лекция 3: Синонимия: дистрибутивные векторные представления слов lecture-3.pdf Майоров
Лекция 4: Символьные представления слов lecture-4.pdf Андрианов
Лекция 5: Базовые задачи обработки текстов lecture-5.pdf Майоров
Лекция 6: Синтаксический анализ lecture-6.pdf Майоров
Лекция 7: Машинный перевод lecture-7.pdf Сысоев
Лекция 8: Разрешение кореферентности lecture-8.pdf Сысоев
Лекция 9: Другие задачи обработки текстов lecture-9.pdf Майоров
Лекция 10: Извлечение отношений lecture-10.pdf Андрианов
Лекция 11: Привязка к базам знаний lecture-11.pdf Сысоев
Лекция 12: Перенос знаний, совместное обучение lecture-12.pdf Андрианов

Внимание! В 2018 году курс существенно отличался.

Комиссия по практикуму

До 28 декабря проходит комиссия по практикуму. Чтобы получить зачет по практикуму на комиссии, необходимо сдать оба практических задания. Напоминаем, что под сдачей подразумевается, что решение проверено преподавателем, и за него проставлена оценка в таблицу результатов. Как только оценки за оба задания проставлены, необходимо явиться в ИСП РАН с зачеткой для проставления зачета.

Долги по практикуму

Напоминаем, что 24/12 зачет смогут получить лишь те студенты, которые сдали оба практических задания. Под сдачей подразумевается, что решение проверено преподавателем, и за него проставлена оценка. В связи с этим те, кто пока не сдал оба задания, должны прислать свои решения в течение ближайших 2 суток (до утра четверга), чтобы преподаватели могли проверить их решения к зачету. В противном случае студенты автоматически отправляются на комиссию.

Спецкурс для студентов и аспирантов ВМК МГУ и ФКН ВШЭ