Posit, (edited ) to Flooring
@Posit@fosstodon.org avatar

The world of big data, databases, and R is rapidly evolving with an explosion of tools and packages. We're delighted to announce two workshops at posit::conf(2024) tailored for working with large datasets:

• Big Data in R with Arrow, led by Nic Crane and Steph Hazlitt
• Databases with R led by @kirill

More info on the workshops here: https://reg.conf.posit.co/flow/posit/positconf24/publiccatalog/page/publiccatalog?search=&tab.day=20240812&search.sessiontype=1675316728702001wr6r

#DuckDB #RStats #Arrow #Parquet #Database

doublebyte, to Flooring
@doublebyte@noc.social avatar

On the 8th of May, I am going to be talking about at
GeoParquet is a cloud native format for enabling geospatial interoperability between cloud data warehouses. It is basically a spatial extension of (:

doublebyte,
@doublebyte@noc.social avatar

If you want to see how it looks like, in the #emotionalcities project, we published 96 datasets as #geoparquet. They are advertised in the catalog public endpoint: https://emotional.byteroad.net/collections/ec_catalog #OAR #OGC #records #OGCAPI

paul_denton, to Flooring French
@paul_denton@mastodon.social avatar

Après Politis, Paris Match et BFM, l'ancien médecin du Sénat le docteur El Hassan Lmahdi s'exprime sur l'affaire du chantage à la sextape chez Hanouna ce soir. Il lâche une bombe: Larcher n'aurait pas saisi le procureur pour faire la lumière sur l'opacité du fonctionnement du Sénat mais contre... lui, le lanceur d'alerte. Inimaginable! Pour leurs parties fines, les sénateurs se rendent dans un hôtel à proximité de l'institution...

#Politique #Senat #Parquet #Justice #Larcher #Sextape #Scandale

jgrg, to PostgreSQL
@jgrg@mstdn.science avatar

Wow! I did not know that #DuckDB can connect to #SQLite, #PostgreSQL and #MySQL databases, and freely query and move data between them, all within transactions! (This in addition to its ability to query, import and export #CSV, #Parquet, #JSON etc… file format data, which I did know.) This from today's blog post:
https://duckdb.org/2024/01/26/multi-database-support-in-duckdb.html

geotribu, to Flooring French
@geotribu@mapstodon.space avatar

🦆 DuckDB ça vous parle ? C'est l'un des sujets data du moment 📊

🗺️ Mais au fait, pour les données géographiques ?

@florent001 publie un article sur sur la façon dont DuckDB fait bouger les lignes (ou devrais-je dire les colonnes 😉 ) pour le traitement des données spatiales.

Après quelques éléments de compréhension (format #Parquet, projections...), il donne des exemples pratiques avec les données de l'@overturemaps

👉 https://geotribu.fr/articles/2023/2023-12-19_duckdb-donnees-spatiales/

#Geotribu #DuckDB #Geospatial #GIS #DataScience

vpicavet,
@vpicavet@mastodon.social avatar

@RegisHaubourg @geotribu Vous avez 3Po de données à analyser ? Vous pensiez que la distribution c'était la spécialité du Père Noël uniquement ? Vous avez perdu pied à "orienté colonne" ? Vous pensiez que "sharding" c'etait pour boucher le port de Marcheille ?

RegisHaubourg,
@RegisHaubourg@mastodon.social avatar

@vpicavet @geotribu on va être encore meilleurs que le teasing de Dune 2 !

linogaliana, to Flooring French

L'Insee diffuse pour la première fois les données détaillées du recensement au format #parquet !
Pour accompagner les utilisateurs, voici un billet de blog illustrant comment travailler avec @duckdb 🦆 en #rstats, #Python et @observablehq via @quarto_pub
👇
https://ssphub.netlify.app/post/parquetrp/

@InseeFr releases census data in #parquet format for the first time!
To help users, here's a blog post illustrating how to work with @duckdb 🦆 in #rstats, #Python and observable from quarto

rfsaldanha, to Flooring
hrbrmstr,
@hrbrmstr@mastodon.social avatar

@rfsaldanha @tim_salabim nice!

@cboettig has a spiffy {duckdbfs} 📦 that helps w/this + blends remote and local nicely: https://github.com/cboettig/duckdbfs

rfsaldanha,

@hrbrmstr @tim_salabim @cboettig

Just updated the post with an example using the {ducdkdbfs} package. Thank you!

qgis, to Flooring
@qgis@fosstodon.org avatar

#Geospatial data in #Parquet:

#GeoParquet specification v1.0.0 just dropped:

https://cloudnativegeo.org/blog/2023/09/geoparquet-1.0.0-released/

Congratulations to the team! 👏

Also: give GeoParquet in #QGIS, #GeoPandas, et al. a spin

#GISChat #SpatialDataScience #BigData

EvenRouault,
@EvenRouault@mastodon.social avatar

@qgis GDAL 3.8 (or will it be called 4.0?) will write the official "1.0.0" verson number: https://github.com/OSGeo/gdal/pull/8418

NicolasDumoulin,
@NicolasDumoulin@framapiaf.org avatar

@qgis the benchmark is amazing. Congratulations to all the ecosystem.

thomas_sandmann, to til

Today I learned how to store gene expression data in (multiple) parquet files, and query them as a single dataset from R with the {arrow}, {duckdb} or {sparklyr} packages. I am amazed by {duckdb}'s speed 🚀 - even on my laptop! Here's a blog post with what I learned: https://tomsing1.github.io/blog/posts/parquet/

sqncs,
@sqncs@mstdn.social avatar
jonny,
@jonny@neuromatch.social avatar

@sqncs
@thomas_sandmann
Ty both for the tip :)

doublebyte, to Flooring
@doublebyte@noc.social avatar

The Geoparquet Standards Working Group was launched 📣 . Hopefully, we'll have a standard for exchanging data between cloud warehouses, sometime in the near future 🚀 https://mailchi.mp/ogc.org/ogc-forms-new-geoparquet-swg?e=036b43d207

  • All
  • Subscribed
  • Moderated
  • Favorites
  • megavids
  • thenastyranch
  • rosin
  • GTA5RPClips
  • osvaldo12
  • love
  • Youngstown
  • slotface
  • khanakhh
  • everett
  • kavyap
  • mdbf
  • DreamBathrooms
  • ngwrru68w68
  • provamag3
  • magazineikmin
  • InstantRegret
  • normalnudes
  • tacticalgear
  • cubers
  • ethstaker
  • modclub
  • cisconetworking
  • Durango
  • anitta
  • Leos
  • tester
  • JUstTest
  • All magazines