Теорія інформації та кодування

Мета та завдання навчальної дисципліни

1. Мета вивчення: (ОК3) надання студентам знань з оволодіння основними положеннями теорії інформації і кодування, такими, як поняття про ентропію і кількісні заходи вимірювання інформації, основними теоремами теорії інформації для дискретних каналів зв'язку, відомостями про принципи оптимального і завадостійкого кодування.

2. Завдання: (ОК3) придбання студентами базових понять теорії інформації, принципів моделювання інформаційних систем, методів її обчислення, вимірювання ентропії, основних показників інформаційних систем, а також теорії кодування.

3. Програмні компетентності. Дисципліна має допомогти сформувати у студентів такі компетентності:

– Здатність до абстрактного мислення, аналізу і синтезу.

– Здатність вчитися і оволодівати сучасними знаннями.

– Здатність застосовувати знання у практичних ситуаціях.

– Здатність спілкуватися державною мовою як усно, так і письмово.

– Вміння виявляти, ставити та вирішувати проблеми.

– Здатність працювати в команді.

– Здатність ідентифікувати, класифікувати та описувати роботу програмно-технічних засобів, комп’ютерних та кіберфізичних систем, мереж та їхніх компонентів шляхом використання аналітичних методів і методів моделювання.

– Здатність вирішувати проблеми у галузі комп’ютерних та інформаційних технологій, визначати обмеження цих технологій.

– Здатність аргументувати вибір методів розв’язування спеціалізованих задач, критично оцінювати отримані результати, обґрунтовувати та захищати прийняті рішення.

1. Програмні результати навчання. В результаті вивчення дисципліни студенти мають досягти такі програмні результати навчання:

– Мати навички проведення експериментів, збирання даних та моделювання в комп’ютерних системах.

– Вміти виконувати експериментальні дослідження за професійною тематикою.

1. Міждисциплінарні зв’язки. Дисципліна базується на знаннях, отриманих під час вивчення дисциплін у циклі загальної і професійної підготовки, передбачених навчальним планом спеціальності.

Матеріал дисципліни базується на знаннях, отриманих під час вивчення дисциплін із циклу загальної підготовки, зокрема "Дискретна математика", "Комп'ютерні системи", "Алгоритми та методи обчислювань ".

Матеріал, засвоєний під час вивчення цієї дисципліни, є базою для дисциплін із циклу професійної підготовки, а саме "Захист інформації в комп'ютерних системах", "Надійність та відмовостійкість комп'ютерних систем", "Комп'ютерні мережі".

1. Програма навчальної дисципліни

Змістовний модуль 1 Основи теорії інформації. Кодування інформації при передачі по дискретному каналу без завад і з завадами. Основні алгоритми ефективного кодування.

Тема 1. Вступ до теорії інформації

Предмет вивчення і задачі дисципліни «Теорія інформації та кодування». Предмет теорії інформації. Теоретична і прикладна спрямованість дисципліни. Зв'язок даного курсу з іншими дисциплінами.

Тема 2. Кількісна оцінка інформації.

Ентропія як міра невизначеності вибору. Повідомлення як сукупність відомостей про стан фізичної системи. Ступінь невизначеності фізичної системи як функція числа станів і їх імовірності.

Вимоги до міри невизначеності вибору. Правила визначення ентропії по Шеннону і по Хартлі. Основні властивості ентропії. Інформаційна ентропія джерела і термодинамічна ентропія. Приклади визначення ентропії простих ансамблів.

Тема 3. Оцінка ентропії.

Апріорна і апостеріорна імовірність і їх роль при оцінці невизначеності системи. Часткова кількість інформації і її властивості. Середня кількість інформації, що переноситься одним символом по каналу і його властивості. Приклади визначення кількості інформації для простих ансамблів.

Тема 4. Інформаційні характеристики джерела повідомлення і каналу зв'язку.

Інформаційні характеристики джерела дискретних повідомлень. Основні моделі джерела дискретних повідомлень: джерело з пам'яттю і без пам'яті, ергодичне джерело повідомлення. Властивості ергодичних послідовностей символів. Надмірність. Продуктивність джерела дискретних повідомлень. Приклади визначення характеристик джерел дискретних повідомлень. Інформаційні характеристики дискретних каналів зв'язку.

Тема 5. Моделі каналів зв’язку.

Моделі дискретних каналів: канали з пам'яттю і без пам'яті, стаціонарні і нестаціонарні. Двійковий симетричний канал. Швидкості передачі по каналу. Пропускна спроможність каналів з завадами і без завад. Приклади визначення інформаційних характеристик простих каналів.

Тема 6. Основні алгоритми ефективного кодування.

Основна теорема Шеннона про кодування в каналі без завад. Основна теорема Шеннона про кодування для каналу з завадами. Роль теореми Шеннона в становленні правильних переконань на принципові можливості техніки зв'язку. Методи кодування некорельованої послідовності символів: Шеннона-Фано, Хаффмена.

Модульний контроль.

Змістовний модуль 2. Кодування інформації при передачі по дискретному каналу з завадами.

Тема 7. Блокове кодування.

Блокове кодування і його переваги. Стискання інформації. Арифметичні коді. Недоліки системи ефективного кодування. Приклади ефективного кодування простих повідомлень.

Тема 8. Завадостійке кодування.

Основні поняття. Загальні принципи введення надмірності. Дозволені і заборонені кодові комбінації. Кратність помилки. Поняття про кодову відстань. Зв'язок здатності коду, що коректує, з кодовою відстанню. Мінімальна кодова відстань для виявлення помилки і для виправлення помилки. Кінцеві поля в кодуванні. Надмірність коду.

Тема 9. Основні завадостійкі коди.

Коди Хеммінга. Коди БЧХ. Безперервні коди. Лінійні коди; циклічні коди; згорткові коди; коди Ріда-Соломона.

Тема 10. Основні поняття прикладної теорії інформації та кодування. Марківське джерело інформації. Ентропія Марківського джерела інформації. Байєсовські мережі довіри та їх застосування в теорії інформації та кодування. Моделі безперервних каналів зв’язку. Дискретизація аналогових сигналів.

Модульний контроль.