Теорія інформації та кодування

Курс є фундаментальним і дає студентам уявлення про теорію інформації, показники вимірювання інформації та невизначеності, види ефективного та завадостійкого кодування, види джерел повідомлень та каналів передачі інформації.

Coming soon
Language: Українська

Course information

Мета та завдання навчальної дисципліни

  1. Мета вивчення: (ОК3) надання студентам знань з оволодіння основними положеннями теорії інформації і кодування, такими, як поняття про ентропію і кількісні заходи вимірювання інформації, основними теоремами теорії інформації для дискретних каналів зв'язку, відомостями про принципи оптимального і завадостійкого кодування.

  2. Завдання: (ОК3) придбання студентами базових понять теорії інформації, принципів моделювання інформаційних систем, методів її обчислення, вимірювання ентропії, основних показників інформаційних систем, а також теорії кодування.

  3. Програмні компетентності. Дисципліна має допомогти сформувати у студентів такі компетентності:

– Здатність до абстрактного мислення, аналізу і синтезу.

– Здатність вчитися і оволодівати сучасними знаннями.

– Здатність застосовувати знання у практичних ситуаціях.

– Здатність спілкуватися державною мовою як усно, так і письмово.

– Вміння виявляти, ставити та вирішувати проблеми.

– Здатність працювати в команді.

– Здатність ідентифікувати, класифікувати та описувати роботу програмно-технічних засобів, комп’ютерних та кіберфізичних систем, мереж та їхніх компонентів шляхом використання аналітичних методів і методів моделювання.

– Здатність вирішувати проблеми у галузі комп’ютерних та інформаційних технологій, визначати обмеження цих технологій.

– Здатність аргументувати вибір методів розв’язування спеціалізованих задач, критично оцінювати отримані результати, обґрунтовувати та захищати прийняті рішення.

  1. Програмні результати навчання. В результаті вивчення дисципліни студенти мають досягти такі програмні результати навчання:

– Мати навички проведення експериментів, збирання даних та моделювання в комп’ютерних системах.

– Вміти виконувати експериментальні дослідження за професійною тематикою.

  1. Міждисциплінарні зв’язки. Дисципліна базується на знаннях, отриманих під час вивчення дисциплін у циклі загальної і професійної підготовки, передбачених навчальним планом спеціальності.

Матеріал дисципліни базується на знаннях, отриманих під час вивчення дисциплін із циклу загальної підготовки, зокрема "Дискретна математика", "Комп'ютерні системи", "Алгоритми та методи обчислювань ".

Матеріал, засвоєний під час вивчення цієї дисципліни, є базою для дисциплін із циклу професійної підготовки, а саме "Захист інформації в комп'ютерних системах", "Надійність та відмовостійкість комп'ютерних систем", "Комп'ютерні мережі".

  1. Програма навчальної дисципліни

Змістовний модуль 1 Основи теорії інформації. Кодування інформації при передачі по дискретному каналу без завад і з завадами. Основні алгоритми ефективного кодування.

Тема 1. Вступ до теорії інформації

Предмет вивчення і задачі дисципліни «Теорія інформації та кодування». Предмет теорії інформації. Теоретична і прикладна спрямованість дисципліни. Зв'язок даного курсу з іншими дисциплінами.

Тема 2. Кількісна оцінка інформації.

Ентропія як міра невизначеності вибору. Повідомлення як сукупність відомостей про стан фізичної системи. Ступінь невизначеності фізичної системи як функція числа станів і їх імовірності.

Вимоги до міри невизначеності вибору. Правила визначення ентропії по Шеннону і по Хартлі. Основні властивості ентропії. Інформаційна ентропія джерела і термодинамічна ентропія. Приклади визначення ентропії простих ансамблів.

Тема 3. Оцінка ентропії.

Апріорна і апостеріорна імовірність і їх роль при оцінці невизначеності системи. Часткова кількість інформації і її властивості. Середня кількість інформації, що переноситься одним символом по каналу і його властивості. Приклади визначення кількості інформації для простих ансамблів.

Тема 4. Інформаційні характеристики джерела повідомлення і каналу зв'язку.

Інформаційні характеристики джерела дискретних повідомлень. Основні моделі джерела дискретних повідомлень: джерело з пам'яттю і без пам'яті, ергодичне джерело повідомлення. Властивості ергодичних послідовностей символів. Надмірність. Продуктивність джерела дискретних повідомлень. Приклади визначення характеристик джерел дискретних повідомлень. Інформаційні характеристики дискретних каналів зв'язку.

Тема 5. Моделі каналів зв’язку.

Моделі дискретних каналів: канали з пам'яттю і без пам'яті, стаціонарні і нестаціонарні. Двійковий симетричний канал. Швидкості передачі по каналу. Пропускна спроможність каналів з завадами і без завад. Приклади визначення інформаційних характеристик простих каналів.

Тема 6. Основні алгоритми ефективного кодування.

Основна теорема Шеннона про кодування в каналі без завад. Основна теорема Шеннона про кодування для каналу з завадами. Роль теореми Шеннона в становленні правильних переконань на принципові можливості техніки зв'язку. Методи кодування некорельованої послідовності символів: Шеннона-Фано, Хаффмена.

Модульний контроль.

Змістовний модуль 2. Кодування інформації при передачі по дискретному каналу з завадами.

Тема 7. Блокове кодування.

Блокове кодування і його переваги. Стискання інформації. Арифметичні коді. Недоліки системи ефективного кодування. Приклади ефективного кодування простих повідомлень.

Тема 8. Завадостійке кодування.

Основні поняття. Загальні принципи введення надмірності. Дозволені і заборонені кодові комбінації. Кратність помилки. Поняття про кодову відстань. Зв'язок здатності коду, що коректує, з кодовою відстанню. Мінімальна кодова відстань для виявлення помилки і для виправлення помилки. Кінцеві поля в кодуванні. Надмірність коду.

Тема 9. Основні завадостійкі коди.

Коди Хеммінга. Коди БЧХ. Безперервні коди. Лінійні коди; циклічні коди; згорткові коди; коди Ріда-Соломона.

Тема 10. Основні поняття прикладної теорії інформації та кодування. Марківське джерело інформації. Ентропія Марківського джерела інформації. Байєсовські мережі довіри та їх застосування в теорії інформації та кодування. Моделі безперервних каналів зв’язку. Дискретизація аналогових сигналів.

Модульний контроль.

Course contents

  • Лекція 1. Вступ до теорії інформації

  • Лекція 2. Ентропія дискретного джерела повідомлення:

    В лекції 2 розберемо основні поняття алфавіту та ансамблю повідомлень, кількості інформації, ентропії джерела дискретних повідомлень. Ви знайдете пояснення і математичний опис міри Хартлі та міри Шеннона, порівняння між ними, їх переваги і недоліки. Також розберемо одиниці кількості інформації та ентропії джерела дискретних повідомлень. Розглянемо властивості кількості інформації та ентропії.
  • Практична робота 1

  • Лекція 3. Взаємна інформація:

    На лекції буде розглянуто і пояснено поняття якості інформації, та його порівняння з кількість інформації. Імовірність безперервної випадкової величини та функція її розподілу. Види ентропії. Геометричне відображення ентропії у вигляді кіл Ейлера. Ентропія безперервних повідомлень, її властивості. Ентропія об'єднання. Умовна ентропія та її властивості. Поняття взаємної інформації. Властивості взаємної інформації.
  • Лекція 4. Інформаційні характеристики систем передачі інформації:

    В лекції 4 буде розглянуто структурну схему каналу передачі інформації, та основні характеристики системи передачі інформації. Пояснено значення поняття надмірності та основні види надмірності. Надмірність повідомлень. Математичний опис надмірності повідомлень. Поняття кодограми та коду. Надмірність коду, надмірність від округлення коду. Штучна надмірність. Основні властивості надмірності. Поняття недовантаженості коду. Розглянуто поняття швидкості передачі інформації. Пропускна здатність каналу передачі інформації.
  • Практична робота 2

  • Лекція 5. Методи кодування:

    В лекції 5 буде розглянуто поняття код, кодування, декодування. Особливості коду Морзе. Види кодування. Поняття шифру. Шифр Цезаря. Структурні характеристики коду. Основні види сигналів. Об'єм сигналу. Ємність каналу зв'язку. Смуга пропускання каналу та ширина його спектру. Динамічний діапазон каналу зв'язку.
  • Лекція 6. Методи ефективного кодування. Метод Шеннона-Фано:

    В лекції 6 здійснюється розгляд першої теореми Шеннона. Вводиться поняття оптимального /ефективного кодування і коду. Ефективність кодування. Алгоритм коду Шеннона-Фано. Поняття агрегації символів.
  • Практична робота 3

  • Лекція 7. Моделі каналів зв’язку. Модель дискретного симетричного каналу:

    В лекції 7 буде дано поняття визначенню "канал зв'язку". Класифікація видів каналів зв'язку. Дискретні канали. Пам'ять дискретного каналу зв'язку. Ергодичне джерело повідомлень. Умови стаціонарності та ергодичності. Математичний опис двійкового симетричного каналу зв'язку.
  • Лекція 8. Канали зв'язку:

    Прослухавши лекцію, Ви дізнаєтесь, які канали зв'язку використовуються для передачі інформації
  • Практична робота 4

  • Лекція 9. Кодування сигналів. Методи оптимального кодування. Коди Хаффмана:

    В лекції 9 будуть розглянуті префіксні коди. Умови оберненості кодування. Поняття визначень: кодове дерево, гілок, листя. Двійкове кодове дерево Хаффмана. Алгоритм кодування Хаффмана.
  • Лекція 10. Стиснення інформації:

    В даній лекції Ви ознайомитесь з методами стиснення інформації, алгоритмом арифметичного кодування та основними показниками компресії повідомлень.
  • Екзаменаційні питання

Enroll me for this course

The course is free. Just register for an account on openHPI and take the course!
Enroll me now

This course is offered by

Maryna Kolisnyk

National Aerospace University KhAI, Department of Computer Systems, Networks and Cybersecurity