Дослідження аспектів стратегій семплінгу

Abstract

Розроблено модуль для генерації вибірок даних з використанням різних стратегій семплінгу. В задачах машинного навчання якість моделей сильно залежить від вихідних даних, але дані дуже рідко бувають ідеальними. Отже, перед початком побудови моделей, необхідно провести певні міри, щодо перетворення даних у більш інформативні та зручні для роботи. Такі міри називають попередньою обробкою даних. Найважливіші етапи попередньої обробки даних включають: агрегацію (об'єднання двох або більше ознак в одну), зменшення розмірності, нормалізацію ознак (перетворення значень ознак у абсолютно інший набір значень за допомогою простих функцій), семплінг даних та інші. Семплінг даних – це метод дослідження множини даних, що використовується для вибору, маніпулювання та аналізу репрезентативної підмножини для виявлення закономірностей та тенденцій. Репрезентативність семплу (вибірки) – це здатність вибіркової сукупності відтворювати основні характеристики генеральної сукупності. Репрезентативність досягається за рахунок правильного формування семплу, який, за принциповими для дослідження параметрами, має відтворювати генеральну сукупність об'єктів. Таким чином, семплінг дає можливість працювати з невеликою, керованою кількістю даних, щоб швидше будувати та запускати аналітичні моделі, при цьому отримуючи точні результати.