spark-python-data-source
databricks/databricks-agent-skills / experimental/spark-python-data-source
guide la création de connecteurs Spark en Python , ce qui améliore : relie Spark à tout système externe
Fiche
- note du juge
- 8/10
- place
- hors pack
- éditeur
- databricks
- statut
- nouveau
- commit épinglé
- c570f88 sur GitHub (nouvel onglet)
- dernier commit du skill
- 2 juin 2026
- étoiles du dépôt
- 357
- type principal
- Data
Jugement
Déclenchement très précis et savoir-faire réel (sérialisation des readers, imports côté executors, partitionnement). Extraits de code incomplets (symboles non définis) et annexes tronquées : précision et qualité limitées.
réserves
- Annexes tronquées dans la transmission (production-patterns visible sur 931 caractères sur 11635, authentication et error-handling partiels) : jugement fait sur la partie visible seulement.
- Plusieurs extraits ne s'exécutent pas tels quels : SimpleCommitMessage, YourPartition, _infer_or_return_schema ne sont ni définis ni importés.
- La métadonnée compatibility (databricks CLI >= 1.0.0) n'a aucun rapport avec le contenu PySpark et prête à confusion.
- Certains exemples utilisent datetime.utcnow(), déprécié depuis Python 3.12.
- Déclenchement
- 2/2
- Valeur ajoutée
- 2/2
- Précision
- 1/2
- Périmètre
- 2/2
- Qualité
- 1/2
Alertes
1 alerte, par catégorie
Données
- risque moyen
Les exemples acceptent client_secret, password et api_key directement dans les options Spark, sans rappel d'utiliser un secret scope ou des variables d'environnement.
Description d’origine
Build custom Python data sources for Apache Spark using the PySpark DataSource API — batch and streaming readers/writers for external systems. Use this skill whenever someone wants to connect Spark to an external system (database, API, message queue, custom protocol), build a Spark connector or plug…
ajouté le 19 oct. 2026 · licence NOASSERTION