DATAtourisme

Avec quel back-end manipulez vous les données?

Bonjour,

Je souhaite savoir comment vous faite pour récupérer et travailler la data.
Vous utilisez une librairie pour Symfony ? Java ?

Si je souhaite utiliser Java c’est possible ? Comment faite vous ? Avec quelle librairie ? Il faut que je travaille avec GraphQL ? merci

Bonjour,

Les données issues de DATAtourisme sont au format RDF, un modèle de graphe destiné à décrire des ressources et leurs relations. L’utilisation GraphQL n’est pas obligatoire, elle offre une alternative simplifiée à la manipulation de données RDF.

Pour profiter de la richesse des données de DATAtourisme, vous pouvez les charger et manipuler grâce à une librairie RDF. Vous pourrez alors, selon l’usage que vous souhaitez en faire, constituer votre propre format de données.

Chez Conjecto, nous utilisons principalement Java pour la manipulation de données RDF. La librairie Apache Jena a notre préférence, mais il en existe d’autres, comme Eclipse RDF4J.

Voici un exemple de chargement et manipulation de données de DATAtourisme grâce à Apache Jena et son composant de stockage sur disque TDB.

  1. Créer une base de données TDB à partir d’un fichier RDF (xml, nt, ttl…) issu de DATAtourisme avec l’utilitaire inclut dans Apache Jena :
tdbloader --loc /home/user/datatourisme fichier.nt fichier2.nt
  1. Utilisation de l’API Jena dans Java :
// Création de l'instance TDB
String directory = "/home/user/datatourisme" ;
Dataset dataset = TDBFactory.createDataset(directory) ;

// début d'une transaction
dataset.begin(ReadWrite.READ) ;

// Récupération du modèle par défaut
Model model = dataset.getDefaultModel() ;

// Récupération des POI
Resource poiType = model.createResource("https://www.datatourisme.gouv.fr/ontology/core#PointOfInterest");
ResIterator iterator = model.listResourcesWithProperty(RDF.type, poiType)
iterator.forEachRemaining(resource -> {
    // Pour chaque POI, afficher son nom
    String label = resource.getProperty(RDFS.label, "fr").getString();
    System.out.println(label);
});
   
// fin de la transaction
dataset.end() ;

Il ne reste plus qu’à vous familiariser avec les concepts de manipulation de données graphe. La documentation de Jena vous aide à les appréhender pas à pas : https://jena.apache.org/tutorials/rdf_api.html

Ce n’est qu’une possibilité parmi tant d’autres. Vous pourriez notamment être intéressé par le language de requête SPARQL.

Cordialement.

je ne m’attendais pas à une réponse aussi… complète…
sincèrement, merci…
J’ai du mettre sur pause un projet pour découvrir la manipulation de data…
Mais vous venez de m’éclaircir énormément.

sincèrement, merci

Pour de la manipulation avec java, le mieux c’est quoi ? De rester en RDF ? De tout traduire en SQL ?
(niveau rapidité, fluidité, etc…? )

Je souhaite pouvoir manipuler les données de la façon la + simple et + fluide possible.

Je suis arrivé à le faire fonctionner. Parcontre je ne comprend pas trop cette ligne:
Resource poiType = model.createResource(« https://www.datatourisme.gouv.fr/ontology/core#PointOfInterest »);
Cela sert à donner la liste des catégories du data center à Java ?!

Ok pour le principe de la manipulation de date, mais si vous voulez avoir des renseignements précise sur certain élément comment faite vous ? Vous enregistreriez les données dans un mysql/postgrés par exemple ? connaitre la liste des POI dans Paris de la catégorie restaurant par exemple?
je peux considéré que TDB remplace un postgrés / mysql, je peux faire les mêmes manipulation ?!

Il n’est pas possible d’échanger ailleurs qu’ici @conjecto ?

j’ai utilisé un ancien flux pour faire un test vec TBDG et RDF-xml; tbdloader à fonctionné.

En revanche, avec un nouveau flux [line: 51382, col: 17] {W113} rdf:language is not a recognized RDF property or type.

flux-9698-202102170824.rdf

Bonsoir,

Pour de la manipulation avec java, le mieux c’est quoi ? De rester en RDF ? De tout traduire en SQL ? (niveau rapidité, fluidité, etc…? )

Les données RDF sont des données graphes qui ne peuvent être représentées dans un format relationnel classique, sur lequel s’appuie SQL. Vous ne pouvez donc pas utiliser SQL pour exploiter des données RDF.

Je souhaite pouvoir manipuler les données de la façon la + simple et + fluide possible.

S’il s’agit d’effectuer des traitements, le plus rapide et le plus simple reste selon nous l’utilisation des concepts de stream de Java8, parfaitement compatibles avec la librairie Jena. Mais il s’agit là de concepts qui peuvent paraître complexes à appréhender lorsque l’on débute Java.

Je suis arrivé à le faire fonctionner. Parcontre je ne comprend pas trop cette ligne:
Resource poiType = model.createResource(« https://www.datatourisme.gouv.fr/ontology/core#PointOfInterest »);
Cela sert à donner la liste des catégories du data center à Java ?!

Cette ligne permet d’obtenir un objet qui représente la classe RDF PointOfInterest. Cette objet peut ensuite être utilisé pour par exemple créer un itérateur (ligne d’aprés)

Ok pour le principe de la manipulation de date, mais si vous voulez avoir des renseignements précise sur certain élément comment faite vous ? Vous enregistreriez les données dans un mysql/postgrés par exemple ? connaitre la liste des POI dans Paris de la catégorie restaurant par exemple?
je peux considéré que TDB remplace un postgrés / mysql, je peux faire les mêmes manipulation ?!

TDB est une base graphe sémantique (Triplestore) alors que MySQL et PostgreSQL sont des bases relationnelles. Elles ne peuvent se substituer l’une à l’autre. Pour exploiter du RDF, il faut le charger dans un Triple store : https://fr.wikipedia.org/wiki/Triplestore

Pour pouvoir explorer les données RDF vous devez en connaître la structure : c’est le rôle de l’ontologie, dont vous trouverez la dernière version ici :

C’est grâce à l’ontologie que vous connaitrez les propriétés accessibles pour chaque type de POI et les éléments communs du thésaurus.

Il n’est pas possible d’échanger ailleurs qu’ici @conjecto ?

Cette espace est le meilleur endroit pour échanger : d’autres réutilisateurs peuvent se poser les mêmes questions que vous, il est important qu’ils puissent profiter de nos réponses.

avec un nouveau flux [line: 51382, col: 17] {W113} rdf:language is not a recognized RDF property or type.

Après avoir essayé de charger votre flux dans une base TDB, il apparait que le message que vous évoquez est un simple avertissement qui n’affecte en rien de chargement des données RDF.

Cordialement.

1 J'aime