Информационная энтропия (видео 14) | Теория информации | Программирование
HTML-код
- Опубликовано: 30 сен 2024
- #ПрограммированиеJavaScript
Мы подошли к количественной мере неопределённости - к энтропии.
Следующее видео: • Компрессия (видео 15) ...
Предыдущее видео: • Математическая теория ...
Обязательно посмотрите остальные видео из раздела "Теория информации | Программирование": • Теория информации | П...
Академия Хана - некоммерческая организация, которая ставит своей целью сделать качественное образование мирового уровня доступным везде, всегда и для каждого.
Присоединяйтесь к нашей группе во Вконтакте и в Facebook: khanaca...
/ khanacademyrussianoffi...
Это видео - русская версия видео «Information entropy» Академии Хана ( • Information entropy | ... ). This video is a Russian dubbed version of the Khan Academy video "Information entropy" ( • Information entropy | ... ).
Перевод был выполнен при поддержке Oxford Russia Fund.
Вместе мы сделаем образование лучше!
Спасибо, что подписываетесь на наш канал!
За этот год мы смогли перевести 500 видео и запустить на сайте 8 тем (по 1-2 по каждому из предметов). Наши бесплатные видео и образовательная платформа ежегодно помогают получать знания сотням тысяч людей в России. И сейчас нам просто необходима ваша помощь, чтобы продолжать эту важную миссию. Пожалуйста, поддержите наш проект через пожертвование на сайте planeta.ru/campaigns/khanacademyrussian
Для нас важно каждое пожертвование. Спасибо вам!
Мой мозг не может это воспринять и понять(
Не понимаю, как можно с помощью такого метода узнать сколько вопросов требуется для определения событий (выпавших букв) с вероятностями, не кратными 1/2? Если, к примеру, у нас есть два событие, две буквы, которые выпадают с вероятностями 0.000001 и 0.999999, то в таком случае, у буквы с вероятностию выпадения 0.999999 количество бит будет -log_2(1/ 0.000001), что примерно равно 20. 20 вопросов? Что за 20 вопросов? Откуда они взялись? Непонятно
У меня тоже возник этот вопрос. Насколько понимаю, понятие энтропии больше применимо к системе, которая состоит из большого количества элементов с определенной вероятностью появления. В вашем примере в выборке из миллиона событий произойдет первое примерно один раз. Поэтому для уменьшения количества вопросов в такой большой выборке следует почти всегда спрашивать о событии Б (тогда все обойдется одним вопросом). Конечно, не получится построить дерево с вероятностями, не кратными 1/2, но мы можем аппроскимировать эту вероятность: 0.000001 это приблизительно 2^(-20), то есть как раз эти самые 20 вопросов. Аналогия с вопросами помогает лучше понять суть вероятностей, но ее сложно применить к более непростым системам.
ты на вероятность самого события не умножил, там будет где-то 2*10^(-5) бит, что говорит о том,что мы почти всегда знаем, что выпадет.
+ это уже если я все правильно понял, смысла здесь немного, т.к если надо будет сделать аппарат, который пытается угадать, что выпало, то все равно 1 вопрос ему придется задать, а это уже один бит информации.
А зачем вы в скобках вероятность указываете в знаменателе, это и есть вероятность, и ответ
будет 1.99е-5
Спасибо
Отличное аналоговое объяснение👍
Это очень крутой ролик. Понять, что такое энтропия очень трудно из учебников по физике. Оказывается, все так просто! Гениальное объяснение!
Я это объяснение понял, как не космологическое, а как математическое.
потому что тут термин энтропия в контексте информатики т.е. говорят об энтропии данных, а учебниках по физике - другая энтропия
Ну суть то та же. Энтропия - уровень "упорядоченности".
@@MaryMary-ep4hd как же упорядоченности если наоборот беспорядка
Любопытно, спасибо.
Отличный ролик!
афигеть
Спасибо! Очень доходчиво!
Почему нельзя спросить гласная буква или нет?
Зачем?
ruclips.net/video/e8GzCI8LMYA/видео.html что значит количество исходов на данном уровне? Количество отскоков для получения буквы D например равно 3, это значит что количество исходов на данном уровне должно быть равно 8. Это как? 2*2*2?
Кажется ошибка,второй автомат генерирует меньше информации =» больше неопределенности, так ведь
Ні, більше інформації, отже більше невизначеності тому, що невизначеність береться із чогось (із інформації).
Наприклад, ти із другом кидаєш монетку для вирішення суперечки і є два варіанти розвитку подій (2 умовні інформаційні одиниці) - реверс та аверс чи орел та решка (ймовірний варіант чи невизначеність), тобто переможе той, чия сторона буде зверху чи знизу (навіть так, для випадків, коли після ловлі монети вона перекидається в іншу долоню). А є ще варіант "нічиєї", коли монетка (рідко, але можливо) встає руба, на накатку - не аверс і не реверс, тобто третя сторона монети, найкоротша, та що між ними. Це буде +1 умовна інформаційна одиниця, вже 3 умови, з котрих витікає 3 варіанти розвитку подій (3 невизначеності).
Підсумую:
2 умови (2 "шматка" інформації) = 2 невизначеності.
3 умови = 3 невизначеності.
Інформація - це причина, невизначеність - це наслідок.
Чим більше причин, тим більше наслідків із них може витікати.
спасибо, просто и понятно.
2018(
.Творец из лучшего эфира, соткал живые струны мира и кванты музыки с квант струн, мы мыслями через очи пропуская, умом своим, фильтруя на уста и как через зеркальце, но отражаем, мир изобретателя слепца. -Царство хаоса из юных квант бутонов, где с лепестками квант мембран, свет энергией делясь, как «PIN кодом» от бутонов, информацию меняя в лепестках, Вселенную ускоряя - Расцветом плоских квант мембран «из квантов музыки собирая, фракталы танца квант частиц и в каждом движении танца - Квант частица, неопределённо вовлекает и отталкивает хаоса цветы из M-теории эфира». ,.,. Ну как то так, представьте энергию виртуальных частиц в танце фрактал и хаоса - как самое лучшее и худшие предсказания в современной физике, да и квантовую гравитацию, как смещение центров у квант бутонов в танце фрактал.