Διάθεση Ανοικτών Δεδομένων μέσω data.gov.gr
Διάθεση Ανοικτών Δεδομένων μέσω της Εθνικής Πύλης data.gov.gr
1. Σκοπός του εγχειριδίου
Το παρόν εγχειρίδιο περιγράφει πρακτικά και αναλυτικά τη ροή υλοποίησης της διαδικασίας:
«Διάθεση Ανοικτών Δεδομένων μέσω της Εθνικής Πύλης data.gov.gr»
και απευθύνεται σε:
στελέχη φορέων του Δημοσίου που είναι υπεύθυνα για ανοικτά δεδομένα,
διαχειριστές περιεχομένου και μεταδεδομένων,
τεχνικά ή επιχειρησιακά στελέχη που υποστηρίζουν τη δημοσίευση.
2. Τι είναι η διαδικασία
Η διαδικασία αφορά:
✔ τη δημοσίευση ανοικτών δεδομένων
✔ τη δημιουργία και επικαιροποίηση μεταδεδομένων
✔ τη διάθεση δεδομένων μέσω του συστήματος data.gov.gr
3. Συνολική ροή διαδικασίας
Σε υψηλό επίπεδο, η διαδικασία ακολουθεί τον κύκλο:
Εντοπίζω δεδομένα
Ελέγχω αν επιτρέπεται να διατεθούν
Προετοιμάζω τα δεδομένα
Τεκμηριώνω (μεταδεδομένα)
Δημοσιεύω
Επικαιροποιώ
Αυτός ο κύκλος δεν τελειώνει με τη δημοσίευση – η επικαιροποίηση είναι οργανικό μέρος της διαδικασίας.
4. Αναλυτική περιγραφή βημάτων
Βήμα 1 – Εντοπισμός και επιλογή συνόλων δεδομένων
Τι γίνεται στην πράξη
Ο φορέας:
χαρτογραφεί τα δεδομένα που παράγει ή διαχειρίζεται,
εντοπίζει σύνολα που έχουν αξία για επαναχρησιμοποίηση,
δίνει προτεραιότητα σε:
δεδομένα με υψηλή ζήτηση,
δεδομένα που προβλέπονται από τη νομοθεσία,
Δεδομένα Υψηλής Αξίας (HVDs).
Βήμα 2 – Έλεγχος νομικού και κανονιστικού πλαισίου
Τι ελέγχεται
Περιέχονται προσωπικά δεδομένα;
Υπάρχουν δικαιώματα τρίτων;
Υπάρχουν ειδικές διατάξεις (π.χ. στατιστικό απόρρητο);
Καλή πρακτική
Ο έλεγχος γίνεται πριν οποιαδήποτε τεχνική εργασία. Αν απαιτείται ανωνυμοποίηση → μεταφέρεται στο επόμενο βήμα.
Βήμα 3 – Προετοιμασία δεδομένων προς δημοσίευση
Περιλαμβάνει
καθαρισμό δεδομένων,
μετατροπή σε ανοικτούς μορφότυπους (CSV, JSON κ.λπ.),
ανωνυμοποίηση ή συγκεντρωτική παρουσίαση,
τεκμηρίωση δομής (π.χ. περιγραφή πεδίων).
Εντός των οδηγών του data.gov.gr προτείνονται εργαλεία ανοιχτού κώδικα που μπορούν να βοηθήσουν σε αυτό το βήμα. Υπάρχουν διακριτές ενότητες κανονικοποιήσης και ανωνυμοποίησης των δεδομένων που στοχεύουν σε αυτό το στάδιο της διαδικασίας, την προετοιμασία των δεδομένων: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/proetoimasia-dedomenon
Για την κανονικοποίηση έχει επιλεχθεί το ανοιχτού λογισμικού OpenRefine πρόγραμμα που επιτρέπει τέτοιου είδους λειτουργίες: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/proetoimasia-dedomenon/ergaleia-kanonikopoiisis-dedomenon
Για την ανωνυμοποίηση έχουν περιγραφεί εργαλεία όπως το ARX και το Amnesia: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/proetoimasia-dedomenon/ergaleia-anonymopoiisis-dedomenon
Βήμα 4 – Δημιουργία συνόλου δεδομένων στην πύλη
Ο εξουσιοδοτημένος χρήστης:
συνδέεται στο data.gov.gr,
δημιουργεί νέο dataset κάτω από τον σωστό φορέα,
ορίζει βασικά στοιχεία (τίτλο, κατάσταση, ιδιοκτησία).
Χρήστες με δικαιώματα διαχείρισης συνόλων δεδομένων είναι εκείνοι που ανήκουν σε κάποιον φορέα με συγκεκριμένο ρόλο, κατ’ ελάχιστον με ρόλο εκδότη.
Για την ένταξη των χρηστών στους φορείς και την οργάνωση των φορέων εντός του συστήματος data.gov.gr υπάρχουν διακριτές ενότητες που περιγράφουν αναλυτικά τις δυνατότητες του συστήματος: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/eisodos-stin-efarmogi
Σε γενικές γραμμές η αρχική δημιουργία φορέων παραμένει στην ευθύνη του υπουργείου ψηφιακής διακυβέρνησης, ενώ στη συνέχεια μπορεί να ανατεθεί διαχειριστής σε επίπεδο φορέα και η διαχείριση του φορέα από τις πληροφορίες και το περιεχόμενο του ίδιου του φορέα, μέχρι τα μέλη και τις οντότητες (Σύνολα δεδομένων, APIs) που ανήκουν στον φορέα, μπορούν να διεκπεραιώνονται χωρίς την συμμετοχή μελών του υπουργείου ψηφιακής διακυβέρνησης: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/organismoi/diaxeirisi-organismoy
Βήμα 5 – Συμπλήρωση μεταδεδομένων (DCAT-AP)
Κρίσιμο βήμα ποιότητας.
Συμπληρώνονται:
τίτλος και περιγραφή (κατανοητά, όχι εσωτερική ορολογία),
λέξεις-κλειδιά,
θεματική κατηγορία,
χρονική / χωρική κάλυψη,
άδεια χρήσης.
💡 Τα μεταδεδομένα είναι εξίσου σημαντικά με τα ίδια τα δεδομένα, καθώς είναι αυτά που διευκολύνουν στην ανακάλυψη και στην τεκμηρίωση των ίδιων των δεδομένων σε έναν μεγάλο διαθέσιμο όγκο δεδομένων.
Το σύστημα data.gov.gr βασίζεται σε ευρωπαϊκά πρότυπα μεταδεδομένων προκειμένου να διευκολύνεται η διαλειτουργικότητα των συστημάτων.
Υπάρχουν διακριτές ενότητες που περιγράφουν τα δυνατά πεδία συμπλήρωσης σε επίπεδο μεταδεδομένων. Σε πολλά πεδία χρησιμοποιούνται προκαθορισμένες λίστες οι οποίες διευκολύνουν την συμπλήρωση των πεδίων και προέρχονται και αυτές από τα ίδια τα πρότυπα μεταδεδομένων: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/dimioyrgia-synoloy-dedomenon/open-data
Δύο πρότυπα ακολουθούνται στο data.gov.gr, το DCAT-AP και η επέκτασή του DCAT-AP-HVD για τις περιπτώσεις δεδομένων υψηλής αξίας, προσφέροντας κάποια περαιτέρω πεδία μεταδεδομένων: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/dimioyrgia-synoloy-dedomenon/high-value-datasets/symplirosi-pedion-metadedomenon
Αναφορές στα πρότυπα και τα λεξιλόγια που χρησιμοποιούνται φαίνονται και στις εισαγωγικές ενότητες των οδηγών του συστήματος.
Βήμα 6 – Ανάρτηση ή διασύνδεση δεδομένων
Έχοντας συμπληρώσει μεταδεδομένα ο εκδότης που αναρτά το σύνολο δεδομένων μπορεί να εστιάσει και στην διάθεση των ίδιων των δεδομένων.
Τρεις είναι οι βασικές επιλογές οι οποίες περιγράφονται αναλυτικά και σε άλλη ενότητα του εγχειριδίου: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/anartisi-dedomenon
Ο εκδότης μπορεί να αξιοποιήσει έναν από τους διαθέσιμους τρόπους:
ανάρτηση αρχείων,
σύνδεση σε εξωτερικό URL,
διαμόρφωση δεδομένων εντός του συστήματος.
Η διαμόρφωση δεδομένων είναι μία λειτουργικότητα που μπορεί να φανεί χρήσιμη και στις περιπτώσεις που δεδομένα που θέλουμε να αναρτηθούν δεν προέρχονται ήδη από κάποιο άλλο πληροφοριακό σύστημα.
Συνδυαστικά με την διάθεση των δεδομένων και την αποτύπωση των μεταδεδομένων καλό είναι να λαμβάνονται υπόψη και οι δυνατότητες του συστήματος να διατεθούν δεδομένα μέσω API.
Η διάθεση μέσω API δεν είναι υποχρεωτική για όλα τα σύνολα δεδομένων, αλλά αποτελεί βέλτιστη πρακτική και σύσταση για συγκεκριμένες κατηγορίες όπως τα Δεδομένα Υψηλής Αξίας.
Η διάθεση δεδομένων μέσω της δυνατότητας διαμόρφωσής τους εντός του συστήματος, εξ’ ορισμού προσφέρει τα δεδομένα και μέσω API για κατανάλωση, αλλά εφόσον αναρτηθούν και δομημένα αρχεία CSV το σύστημα προσπαθεί να μεταφορτώσει τα δεδομένα σε αποθηκευτικό χώρο προκειμένου να μπορούν να διατεθούν μέσω API: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/anartisi-dedomenon/diathesi-dedomenon-meso-api
Βέβαια το πρότυπο DCAT-AP ορίζει και την οντότητα των Data services/APIs όπου δύναται να αποτυπωθεί και να περιγραφεί ένα υπάρχον API σε σύστημα κάποιου φορέα, το οποίο παρέχει τελικά κάποιο dataset: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/apis
Τα datasets που παρέχονται μέσω αυτού του API μπορούν να συσχετιστούν μέσω της συμπλήρωσης κατάλληλων πεδίων στα μεταδεδομένα και φαίνεται ότι διατίθενται μέσω του σχετικού API: https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/apis/syndesi-data-service-me-dataset
Βήμα 7 – Έλεγχος ποιότητας μεταδεδομένων (MQA)
Αποθηκεύοντας μία εγγραφή συνόλου δεδομένων στο σύστημα data.gov.gr έχετε τη δυνατότητα στην καρτέλα της ποιότητας μεταδεδομένων να δείτε την αποτύπωση της μεθοδολογίας αξιολόγησης μεταδεδομένων που αξιοποιείται και σε ευρωπαϊκό επίπεδο (https://data-gov-gr.gitbook.io/guides/xrisi-dedomenon/synola-dedomenon/aksiologisi-poiotitas-metadedomenon).
Μέσα από τα αποτελέσματα αυτής της αξιολόγησης μπορείτε να εντοπίσετε ελλείψεις στα συμπληρωμένα μεταδεδομένα, προχωρώντας σε διορθωτικές κινήσεις, εμπλουτίζοντας τα σχετικά μεταδεδομένα.
Βήμα 8 – Δημοσίευση συνόλου δεδομένων
Ο χρήστης αφού ολοκληρώσει με την αρχική επεξεργασία του συνόλου δεδομένων μπορεί να ορίζει το dataset ως «δημόσιο» (https://data-gov-gr.gitbook.io/guides/diaxeirisi-dedomenon/synola-dedomenon/dimioyrgia-synoloy-dedomenon/open-data).
Έτσι το dataset καθίσταται ορατό και διαθέσιμο στον κατάλογο για τον κάθε επισκέπτη της πύλης.
Από αυτό το σημείο:
το σύνολο δεδομένων μπορεί να επαναχρησιμοποιηθεί,
καταγράφεται ως επίσημα διαθέσιμο ανοικτό δεδομένο.
Βήμα 9 – Επικαιροποίηση και συνεχής βελτίωση
Η διαδικασία δεν κλείνει οριστικά.
Ο φορέας:
επικαιροποιεί δεδομένα,
βελτιώνει μεταδεδομένα.
Η διαδικασία διάθεσης δεδομένων είναι μία συνεχής διαδικασία προκειμένου τα δεδομένα να παραμένουν στην πιο πρόσφατη δυνατή εκδοχή τους.
Last updated