Data Scientist od ponad trzech lat związany z ING, gdzie zajmuje się R&D dla różnych jednostek banku.
Dobry, zły i brzydki - parę słów o Pandas UDF w Apache Spark
02.11.2020 | Krzysztof Domogała
Spark to bardzo użyteczne narzędzie do pracy z Big Data. Niestety, czasem brakuje mu pewnych funkcjonalności. Na szczęście twórcy wyszli na przeciw oczekiwaniom użytkowników, dodając Pandas UDF, dzięki czemu zachowując elastyczność Pythona nie tracimy na wydajności. Zobaczmy więc, czym są i jak używać Pandas UDF.