記事一覧
pandasを用いた大規模データの前処理をfireducksに置き換えてみる
本記事はFireDucksユーザー記事シリーズの第10弾です．本記事はYoshiyuki Kofuji様に執筆して頂きました
はじめにpandasを用いた大規模データの前処理を、高速化性能が高いAPI互換ソフトウェアであるFireDucksに置き換えて高速化性能を検証します。
検証は、時系列データセットの数値データの移動平均を算出する処理について、複数の実装を行い、各々の実装について高速化性能を
生成AIとデータフレーム高速化技術を組み合わせたら、データ分析が爆楽になった話
本記事はFireDucksユーザー記事シリーズの第9弾です．本記事は黒柳茂様に執筆して頂きました
はじめに生成AIによってあらゆるタスクを人間の代わりにやってくれるようになりました。特にコーディングのような領域は生成AIの得意分野の一つでして、少なくとも私よりかは遥かに優秀です（もう追いつけません）。
データ分析もコーディングが重要です。データを読み込んだり、EDA（探索的分析）、データクレン
Pandasを高速化方法比較
本記事はFireDucksユーザー記事シリーズの第8弾です．本記事はアリス様に執筆して頂きました．
Pandasは非常に強力なデータ処理のツールであり、いくつかの便利なデータ操作機能を提供します。 ただし、Pandasはパフォーマンスのため特化のものではありません。中小規模のデータセットにはokですが、大規模なデータセットを扱う場合にはパフォーマンスの問題が発生する可能性があります。したがって、
どれくらいスピードアップしたのか
本記事はFireDucksユーザー記事シリーズの第7弾です．本記事はBell様に執筆して頂きました
はじめに本記事では、Import を書き換えるだけで高速化できる、Pandas 互換のライブラリ FireDucks について、過去の検証を参考にして、速度とメモリ使用量についてどれくらい改善しているのかを検証してみたいと思います。なお、上記記事にあるモデルの訓練の検証については実施しておりません
FireDucks と Polarsを比較してみた
本記事はFireDucksユーザー記事シリーズの第6弾です．本記事はBell様に執筆して頂きました
はじめにとある企業でデータサイエンティストをやっています。今回はデータサイエンスでよく使うpandasを高速化するという、FireDucksを触ってみました。通常のpandasと、polarsとの比較をいくつかの処理でやってみました。
FireDucks とはFireDucksとは、pandas
FireDucks性能評価
本記事はFireDucksユーザー記事シリーズの第5弾です．本記事はYoshiyuki Kofuji様に執筆して頂きました
はじめにPythonでデータ収集・加工処理に欠かせないpandasのAPI互換ソフトウェアであるFireDucksについて、
動作環境やデータ量を変化させたときの高速化性能を確認します。
検証は、データセット内の数値データをカテゴリ化する処理に対し、複数の実装について高速化
pandasの代替案: Fireducks,Vaex, Polars, Modinを徹底比較！どれが最適？
本記事はFireDucksユーザー記事シリーズの第4弾です．本記事は黒柳茂様に執筆して頂きました
1. はじめにpandasの一般的な使用と課題
Pandasはデータ分析の世界でよく使われるPythonライブラリで、データの読み込み、加工、分析を簡単に行えます。特にその使いやすさと柔軟性は、多くのデータサイエンティストやアナリストに愛用されています（私も10年以上愛用しています！）しかし、Pa
FireDucksユーザー記事シリーズ
我々はpandasとAPI互換で高速なデータフレームライブラリFireDucksを開発しています．
FireDucksをもっと多くの方に知っていただきたと思い，FireDucks開発チーム以外の方に利用してもらい，記事を書いてもらう企画を行っています．開発者とはまた違った視点でFireDucksを見て頂き，より良い紹介記事になると考えています．
記事は順次公開していきますが，本ページでは公開さ
AWS GlueでFireDucksを使ってPandasを高速化する
本記事はFireDucksユーザー記事シリーズの第3弾です．本記事はアリス様に執筆して頂きました．
AWS Glueはデータ統合サービスで、データの抽出、変換、ロード（ETL）を簡単に実現します。世界中の企業で人気があります。
一方、Glueのサービスは比較的高価であるため、日々大量のデータを処理する必要がある場合、コストを削減するためにツールのパフォーマンスをチューニングに苦労します。
N
pandas高速化の新星、FireDucksに迫る
本記事はFireDucksユーザー記事シリーズの第1弾です．本記事はBell様に執筆して頂きました．
データ処理と分析をする際に、多くの方がPythonを使ていると思います。中でも、PandasライブラリはPythonを用いたデータ処理においてなくてはならないものになっています。Pandasには便利な関数が多数あり、複雑なデータセットを効率的に処理・分析することができます。
しかし、Panda
FireDucks入門: 学習コストゼロでpandasを超えるパフォーマンスを手に入れる!
本記事はFireDucksユーザー記事シリーズの第2弾です．本記事は黒柳茂様に執筆して頂きました
データサイエンティストであれば必ず利用していると言って良いpandas。
とても愛着を持っているライブラリだけど、もっと手軽に高速化できないものかと検索していたところFireDucksを発見し興味を持ちました！
1. はじめにFireDucksとは何か？
FireDucksは、NECが開発した「