Когда мы смотрим что-то в интернет-магазине, внизу страницы нам обычно показывают другие товары. Например, мы смотрим смартфон и видим похожие модели. А рядом нам показывают чехлы и плёнки на экран как раз для этой модели. За это отвечают рекомендательные системы, и вот как они работают.
Что такое рекомендательная система
Рекомендательная система — это программа, которая подбирает товары, услуги или контент и рекомендует их пользователю. Для этого рекомендательная система опирается на биг-дату — миллионы записей, которые магазин хранит в своей базе данных.
На самом деле, рекомендация товара, услуги или контента — это прогноз того, что с высокой вероятностью может быть интересно пользователю. Такой прогноз — это результат работы алгоритмов машинного обучения, которые анализируют большие данные и находят в них закономерности.
Проще говоря, рекомендательная система — это когда алгоритм пытается угадать, что ещё нам может быть интересно.
Как это устроено технически
Данные рекомендательной системы могут состоять из самой разной информации. Например, в интернет-магазине это может быть такое:
Как устроена музыка. Часть первая — Мелодия.
- характеристики;
- цены;
- описания;
- сколько раз купили этот товар;
- отзывы;
- оценки;
- что купили вместе с этим товаром;
- поисковые запросы пользователей;
- прошлые покупки;
- время, которое пользователь провёл на странице товара;
- и ещё сотни параметров, которые может собирать магазин во время своей работы.
Все эти данные будут в отдельных таблицах, которые можно сгруппировать, например, так:
Часть этих данных загружают в систему, когда добавляют товары, например бренды, модели, цвета, технические характеристики и цены. По мере работы интернет-магазина собираются остальные данные: оценки товаров, отзывы на товары, статистика продаж и поведение пользователей.
Алгоритмы машинного обучения анализируют всё это и применяют к данным разные формулы. То, как алгоритмы это делают, зависит от типа рекомендательной системы. С увеличением количества данных прогнозы становятся точнее, а рекомендации — лучше.
Рекомендательные системы различаются по тому, что служит фильтром для прогноза. Это значит, что рекомендация ограничивается данными, которые соответствуют заданному условию. Существует четыре типа такой фильтрации, и по ним определяются типы рекомендательных систем:
- контентная фильтрация,
- коллаборативная фильтрация,
- фильтрация на основе о знаниях,
- гибридная фильтрация.
Теперь разберём каждую подробно.
Какие бывают рекомендательные системы
Рекомендательные системы с контентной фильтрацией — самые простые. При подборе рекомендации они учитывают сходство товаров, услуг или контента. Если рекомендательная система интернет-магазина использует фильтрацию на основе контента, то при просмотре какой-то модели смартфона мы увидим просто похожие модели. Например, это может быть та же модель смартфона, но других цветов или с другими объёмами памяти.
Обзор YouTube Music – Хлеб без масла! / Убийца Apple Музыки?
Рекомендательные системы с коллаборативной фильтрацией учитывают поведение пользователей со сходными интересами. В нашем случае система будет анализировать данные не о товаре, а о пользователе, который просматривает товар. Если другой пользователь с похожими интересами тоже смотрел другие модели с похожими характеристиками, то система тоже их покажет.
Фильтрация на основе знаний. Если система использует фильтрацию на основе знаний, то она будет подбирать рекомендации по данным, которые объединены какой-то общей темой или интересами. Например, если эту модель смартфона уже покупали вместе с чехлом, плёнкой на экран, наушниками и адаптером питания, нам тоже предложат такое.
Разработать рекомендательную систему с фильтрацией на основе знаний сложнее, чем контентную или коллаборативную, поэтому такие рекомендательные системы встречаются реже.
Гибридная рекомендательная система ещё сложнее, чем предыдущая. Дело в том, что она сочетает сразу два типа фильтрации, при этом они вместе могут работать по-разному:
- по отдельности с последующим объединением результата;
- с опорой на одну и какими-то правилами другой фильтрации;
- сочетание двух типов фильтраций.
На деле это работает так. Допустим, похожий на нас пользователь купил интересующую нас модель смартфона в синем корпусе вместе с чехлом и наушниками такого же цвета. Тогда в рекомендуемых товарах мы увидим эту же модель смартфона в синем цвете, несколько синих чехлов и синие наушники.
Крупные интернет-магазины чаще используют гибридные системы, потому что они выдают действительно нормальные рекомендации, которые нравятся покупателям.
Где ещё применяются рекомендательные системы
Рекомендательные системы используются не только в интернет-магазинах. Они подбирают рекомендации для пользователей на самых разных сайтах и в приложениях:
- платформы видеохостинга — YouTube, TikTok, Vimeo, Rutube;
- стриминговые сервисы фильмов и сериалов — Netflix, «Кинопоиск», «Амедиатека»;
- музыкальные стриминговые сервисы — «Яндекс Музыка», Apple Music, Spotify;
- сервисы бронирования авиабилетов, отелей и автомобилей — Aviasales, Ostrovok, «Яндекс Путешествия»;
- социальные сети;
- персональные ленты новостей.
Что может пойти не так
Иногда рекомендательные системы дают неточные и не очень полезные рекомендации. Например, в дополнение к интересующей нас модели смартфона мы можем видеть чехол неподходящего размера. Но это не единственная проблема.
Проблема холодного старта. Когда интернет-магазин только начинает работу, в его базе данных ещё нет информации о пользователях. В этом случае рекомендательной системе не на что опираться при подборе товаров. Такие ситуации называют проблемой холодного старта. Чтобы решить её, сбор и анализ данных необходимо начать как можно раньше.
Но первое время рекомендаций будет мало и они могут быть не очень точными.
Чтобы улучшить рекомендации, можно поделиться своими личными данными с системой, например заполнить профиль. Но не все готовы на это, потому что боятся утечек информации. Когда данных не хватает, рекомендательной системе не остаётся ничего, кроме как запоминать каждое действие пользователя. В итоге даже если не заполнить профиль, но часто пользоваться сайтом или приложением, оно всё чаще будет рекомендовать что-то подходящее.
Задержка. Когда в базу добавляют новый товар, у него ещё нет оценок и отзывов пользователей. Из-за этого алгоритмы плохо понимают, кому рекомендовать товар. Это называется задержкой, и в такой ситуации рекомендательная система ориентируется только на атрибуты товара, пока не накопятся оценки и отзывы.
Разреженность данных. Если пользователям лень оценивать товары и писать о них отзывы, возникает другая проблема. На языке data science её называют «разреженность данных». Алгоритмам трудно понять, у каких групп пользователей сходные вкусы и кому какие товары предлагать. В таких ситуациях сайты и приложения предлагают поощрения за оценки и отзывы, чтобы стимулировать пользователей.
Источник: thecode.media
Как устроена музыка (многосерийный 2006)
Почему с самого рождения, мелодия оказывает на нас такое сильное воздействие? Мелодии пронизывают нас до глубины души, и могут вызывать чувства любви, печали, веры и надежды. Но как устроена мелодия? В этом фильме композитор Говард Гудал рассмотрит все основные компоненты мелодии. Почему некоторые виды мелодий характерны для всех музыкальных культур на земле?
Можно ли написать красивую мелодию наугад? А если нет, то на что опираются композиторы когда сочиняют свои мелодии?
Список серий
Обычно в музыке различают мелодию, ритм и гармонию. А как же быть с самыми низкими нотами, ведь они ещё как влияют на этих троих? В этом фильме Говард Гудал покажет, как бас постепенно обаял музыкантов и композиторов.
Полтысячи лет мастера музыкальных инструментов перепробывали все формы и размеры, пытаясь создать нечто способное воспроизвести сочные, низкие ноты. Но только с изобретением синтезатора, всемогущему органу наконец нашёлся достойный конкурент. С эпохой диско, танцевальной музыки, драм-н-бэйса, бас обрёл своё почётное место в музыке.
К тому же у баса есть и ещё одна немаловажная роль, которая сильно отличается от простого подыгрывания где-то на фоне. Басовая партия способна полностью преобразить произведение помогая разворачиваться прогрессии аккордов. Говард внимательно изучит эту тёмную лошадку из мира музыки и то, как она пришлась кстати в произведениях таких мастеров как Иоган и Рихард Штраус, Джон Филип Соуса, Стиви Уандер, Элтон Джон, Томас Альбинони, Бах и резидент лэйба Моутаун маэстро баса Джеймс Джемерсон.
В эпоху позднего средневековья западная гармония отправилась своим путём, совсем не похожим на развитие музыкальных направлений других частей света. Она изобрела аккорды и, на протяжении семисот лет, изучала их свойства. В этом фильме Говард Гудал рассмотрит как устроена западная гармония. Как она смешивается с другими компонентами музыки и образует новые музыкальные стили.
Аккорды складываются в прогрессии, и Говард покажет как знакомые всем последовательности аккордов создают чувство движения во всех музыкальных стилях — от классики до попсы. Почему, начиная от средневековой италии и заканчивая вчерашним хитпарадом, одна и та же последовательность аккордов появляется в музыке снова и снова?
Музыканты всегда были не прочь поизгаляться над основными аккордами и поэкспериментировать с диссонансами. Мы увидим как эти музыкальные махинации выглядят изнутри и как они воздействуют на слушателей. От народной музыки средних веков до Баха, Бетховена и Вагнера, от Чака Берри до Дэвида Боуи, Хендрикса и ColdPlay одни и те же гармонии всё снова и снова.
С момента, когда наши сердца начинают биться, ритм становиться частью нас самих. Мы все запрограммированы реагировать на ритм, будь то ходьба или танец, щёлканье пальцами или топанье ногами. В этом фильме Говард Гудал рассмотрит все основные ритмические рисунки, когда либо созданные музыкантами по всему миру. От багамских аборигенов до рэпперов, от основателей Кубинского сона, до Филипа Гласа, от Стиви Уандера до Фэтса Уоллера.
Почему под некоторые ритмы нам хочется танцевать, а под другие нет? Как устроен ритм, в котором явного слышимого ритма, то и нет, как в классической музыке? Что объединяет африканских барабанщиков и И. С. Баха? Почему у современных попсовых песен ритм сдвинут? И как маленький остров в Карибском море повлиял на весь музыкальный мир?
Почему с самого рождения, мелодия оказывает на нас такое сильное воздействие? Мелодии пронизывают нас до глубины души, и могут вызывать чувства любви, печали, веры и надежды. Но как устроена мелодия?
В этом фильме композитор Говард Гудал рассмотрит все основные компоненты мелодии. Почему некоторые виды мелодий характерны для всех музыкальных культур на земле? Можно ли написать красивую мелодию наугад? А если нет, то на что опираются композиторы когда сочиняют свои мелодии?
Отзывы
Ну, почему так мало! Мне, лично, не хватило. Всего четыре серии прекрасного рассказа об основах и развитии музыки от античности до наших времен. Эти передачи вряд ли можно назвать обучающими, они, скорее, образовательные. Хороший научпоп, показывающий, во-первых, что античность – культурная колыбель человечества, давшая миру не только великие образцы искусства и архитектуры, но и сформулировавшая первые ладовые ряды – дорийский, фригийский и эолийский.
А, во-вторых, современная, даже поп-музыка, пользуется теми же музыкальными приемами, что и композиторы 16-17-18 веков. Например, вступление к «Without you» Мэрайи Кэри позаимствовано у Баха, а Стиви Уандер пользовался в своих композициях теми же приемами, что и Генри Пёрселл – яркий представитель музыкального барокко 17 века.
В четырех 50-минутных фильмах Говард Гудал доходчиво объясняет, что такое мелодия, разбирая все ее основные компоненты. Ритм, сделав экскурс по многим музыкальным культурам. Гармония, и какую роль в ней сыграли прогрессии аккордов. Бас, показав его эволюцию от чисто вспомогательных до ведущих партий. Особая благодарность переводчику.
Как я выяснил, сей труд был выполнен одним энтузиастом в свободное от работы время. И пусть в звучащем тексте иногда встречаются ошибки – Дворжак назван Двораком, а туба – трубой, это нисколько не умаляет ценности проделанной работы. Особо рекомендуется этот фильм показать подросткам, обучающимся в музыкальных школах.
Из него, они сразу поймут, что их скорбный труд по освоению классики не пропадет даром – на ней построена вся современная музыка, путь это и не всегда сразу заметно. Закончу тем, с чего начал. Я бы с удовольствием еще послушал лекции Гудала, который, к слову, сам является композитором и прекрасным музыкантом, например, по жанрам музыки, формам музыкальных произведений, оркестровке и т.п. Вердикт. Настоятельно рекомендуется к просмотру.
Рецензия написана в рамках флэшмоба «Спаси фильм — напиши рецензию!». Тур 31.
Источник: www.movielib.ru
Смотреть онлайн фильм Как устроена музыка (мини-сериал) бесплатно в хорошем качестве
Пожалуй, нет человека, который бы с равнодушием относился к музыке. Это вечно, как и бесконечная тема для дискуссий. Но невзирая на все музыкальные разногласия, различные взгляды, разницу в познаниях — все мы в той или иной мере слушаем и любим музыку. Но что мы знаем о музыке?
Документальный фильм Как устроена музыка / How Music Works 2006 и ее ведущий Ховард Гудолл дает профессиональную оценку процессу создания мелодии. От момента ее «зачатия» до конечного результата. Мы и вообразить себе не можем, сколько усилий нужно приложить для того, чтобы создать композицию. Она составлена из 4 компонентов: мелодия, ритм, гармония, бас.
Ховард Гудолл останавливается детально на каждом аспекте в рамках 4-х серийного фильма. О чем думает автор во время создания композиции, которую в будущем потенциально могут петь во всем мире? Как устроена сама структура музыкального произведения? Сколько нужно времени от момента зарождения до стадии «производства»? Ведущий дает обширный и развернутый ответ на каждый из ваших вопросов.