fbpx
  • Polars: быстрая альтернатива Pandas для обработки датасетов

    Polars — это открытая библиотека для обработки массивов данных на Python. По скорости работы библиотека обходит самый популярный инструмент для работы с данными, — Pandas. Кроме того, библиотека более эффективно работает с памятью при обработке массивов. Polars написана на Rust.

    Подробнее про библиотеку

    Цель Polars — стать быстрой библиотекой для работы с табличными данными, которая использует доступные ядра на локальной машине. Библиотека наиболее полезна в случае если данных слишком много для использования pandas и при этом слишком мало для использования spark. Как и spark, Polars состоит из планировщика запросов, которые оптимизирует запрос, чтобы совершать меньше действий и сократить использование памяти. Однако если данные не влезают в память локальной машины, Polars с этим не справится.

    Текущий функционал библиотеки

     

    Сравнение работы Polars, Pydatatable и Pandas по скорости и расходу памяти
    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии