آموزش استفاده از مجموعه داده های بزرگ با پانداها

معرفی Introduction

• آنچه شما باید بدانید What you should know

• راه اندازی Setting up

• مجموعه داده های بزرگ با پانداها Larget datasets with pandas

1. داده های بزرگ 1. Big Data

• کلان داده مرده است Big data is dead

• مشکل کلان داده The problem with big data

• سیستم های داده های بزرگ Big data systems

2. استفاده از حافظه کمتر 2. Using Less Memory

• فلش Arrow

• داده های طبقه بندی شده Categorical data

• چالش: مسافران روزانه Challenge: Daily passengers

• انواع Types

• راه حل: مسافران روزانه Solution: Daily passengers

• فقط آنچه را که نیاز دارید بارگیری کنید Load only what you need

3. محاسبات کارآمد حافظه 3. Memory Efficient Computation

• محاسبات تکراری Iterative computation

• چالش: حداکثر مسافر Challenge: Maximum passengers

• راه حل: حداکثر مسافر Solution: Maximum passengers

• SQL SQL

• محاسبات سریعتر Faster calculations

4. گزینه های دیگر 4. Other Options

• راه حل: میانه مسافت سواری Solution: Median ride distance

• میز dask

• قطبی ها polars

• چالش: میانه مسافت سواری Challenge: Median ride distance

• بیفی VM Beefy VM

نتیجه Conclusion

• مراحل بعدی Next steps