CSW Harvester (Catalog Service for the Web)

Διαδικασία Συγκομιδής μέσω CSW

Πρόκειται για τη διαδικασία συλλογής δεδομένων με γεωχωρική πληροφορία, από πηγές τύπου ISO19139. Έτσι, επιτυγχάνεται η αυτόματη εισαγωγή και ενημέρωση μεταδεδομένων από αποθετήρια που υποστηρίζουν το πρότυπο OGC CSW (Catalogue Service for the Web).

Προσθήκη Νέας Πηγής CSW

Η διαδικασία δημιουργίας μιας νέας πηγής συγκομιδής CSW μπορεί να γίνει είτε μέσω της Διεπαφής Χρήστη του data.gov.gr, είτε μέσω του API.

Τα Διαθέσιμα πεδία είναι:

Πεδίο	Περιγραφή
URL	Το endpoint της υπηρεσίας CSW (π.χ. https://geo.example.org/csw)
Τίτλος	Όνομα της πηγής (π.χ. “Geoportal CSW Source”)
Περιγραφή	Περιγραφή της πηγής
Τύπος πηγής	csw
Συχνότητα ενημέρωσης	Η επιλογή γίνεται μέσα από ποικίλες προεπιλεγμένες χρονικές περιόδους, καθώς και χειροκίνητη
Διαμόρφωση	JSON αντικείμενο με προαιρετικές επιλογές
Οργανισμός	Ο Οργανισμός που έχει την "πατρότητα" των αντληθέντων δεδομένων

Εκ των ανωτέρω πεδίων, τα απαιτούμενα, είναι: URL, Τίτλος, Τύπος πηγής, και Διαμόρφωση.

Στάδια Συγκομιδής

Ο μηχανισμός συγκομιδής λειτουργεί σε τρία στάδια:

1. Gather Stage

   • Ανακτά όλα τα απομακρυσμένα αναγνωριστικά από τον CSW server.

   • Παράγει μια λίστα από αντικείμενα που αντιστοιχούν σε κάθε εγγραφή.

2. Fetch Stage

   • Κατεβάζει τα μεταδεδομένα ISO19139 για κάθε αντικείμενο που εντοπίστηκε στο προηγούμενο στάδιο.

   • Τα αποθηκεύει προσωρινά στη βάση δεδομένων της πλατφόρμας ανοιχτών δεδομένων.

3. Import Stage

   • Ελέγχει τα μεταδεδομένα.

   • Μετατρέπει τα μεταδεδομένα σε Σύνολα Δεδομένων, σύμφωνα με το πρότυπο DCAT-AP που τηρείται στο data.gov.gr.

   • Ενημερώνει ή δημιουργεί εγγραφές στη βάση δεδομένων του συστήματος.

Επικύρωση

Η επικύρωση γίνεται με χρήση προφίλ (validator profiles), όπως το iso19139eden ή άλλα κατάλληλα σχήματα.

Επιλογές Παραμετροποίησης (Configuration JSON)

Κατά τη δημιουργία μιας πηγής CSW, μπορεί να δοθεί JSON διαμόρφωση στο πεδίο Διαμόρφωση.

Παράδειγμα:

{
  "default_tags": ["csw", "metadata"],
  "default_extras": {
    "harvest_source": "geoportal",
    "harvest_spatial_harvester": "csw"
  },
  "override_extras": false,
  "clean_tags": true,
  "validator_profiles": ["iso19139eden"]
}

Παράμετρος	Τύπος	Περιγραφή
default_tags	Λίστα	Ετικέτες που θα προστεθούν σε όλα τα datasets
default_extras	Λεξικό	Ζεύγη key-value που θα προστεθούν στα extras
override_extras	Boolean	Αντικαθιστά υπάρχουσες τιμές extras
clean_tags	Boolean	Κανονικοποιεί τις ετικέτες (π.χ. χωρίς τόνους, πεζά, χωρίς κενά)
validator_profiles	Λίστα	Καθορίζει ποια προφίλ επικύρωσης θα χρησιμοποιηθούν

Παράδειγμα Χρήσης μέσω Διεπαφής χρήστη

Επιλέγουμε τις Ρυθμίσεις Διαχειριστή Συστήματος και από τις διαθέσιμες επιλογές, τη Συγκομιδή και βρισκόμαστε μπροστά στις πηγές Συγκομιδής που υπάρχουν ήδη καταχωρημένες.

Υπάρχει φυσικά η δυνατότητα προσθήκης νέας πηγής, μέσω της Προσθήκης Πηγής Συγκομιδής

Επιλέγοντας μία από τις διαθέσιμες πηγές, έστω του Δήμου Αθηναίων, μεταφερόμαστε στην οθόνη των Συνόλων Δεδομένων που έχουν ήδη αντληθεί μέσω της συγκεκριμένης Πηγής Συγκομιδής.

Στην καρτέλα Σχετικά, έχουμε κάποιες από τις βασικές πληροφορίες για τη συγκεκριμένη πηγή.

Επιλέγοντας το κουμπί Διαχειριστής

εμφανίζεται αρχικά η τελευταία εργασία συλλογής. Επιλέγοντας την Προβολή πλήρους αναφοράς εργασίας αναπτύσεται η Αναφορά Σφαλμάτων και τα έγγραφα στα οποία αυτά αναφέρονται.

Επιλέγοντας την καρτέλα Εργασίες

οδηγούμαστε στην προβολή του πλήθους των συγκομιδών που έχουν προηγηθεί και κάποια στοιχεία που περιλαμβάνονται στην καθεμιά διαδικασία.

Η τελευταία καρτέλα Επεξεργασία μας επιτρέπει να τροποποιήσουμε τις τιμές των πεδίων της συγκεκριμένης πηγής συγκομιδής.

Η διαδικασία της Συγκομιδής ξεκινά άμεσα με την επιλογή του κουμπιού Επανασυγκομιδή . Μετά την έναρξη της διαδικασίας, μπορούμε οποιαδήποτε στιγμή να την διακόψουμε πριν ολοκληρωθεί, επιλέγοντας το κουμπί STOP και θα αποθηκευτούν όσα Σύνολα Δεδομένων και Υπηρεσίες έχουν μέχρι τη στιγμή εκείνη αντληθεί.

Πλάι στην Επανασυγκομιδή, υπάρχει το κουμπί Εκκαθάριση με την επιλογή του οποίου, διαγράφονται όλες οι εργασίες Συγκομιδής και υπαρχόντων Συνόλων Δεδομένων και Υπηρεσιών από αυτή την πηγή.

Τέλος, με την επιλογή Προβολή πηγής συγκομιδής επανερχόμαστε στην σελίδα που αρχικά είχαμε βρεθεί και παρουσιάζει τα αντληθέντα Σύνολα Δεδομένων, μέσω της επιλεγμένης πηγής Συγκομιδής.

Παράδειγμα Χρήσης μέσω API

Δημιουργία πηγής συγκομιδής CSW:

curl -X POST http://***_domain_***/api/3/action/harvest_source_create \
  -H "Authorization: {API_KEY}" \
  -H "Content-Type: application/json" \
  -d '{
        "url": "https://geo.example.org/csw",
        "type": "csw",
        "title": "Geoportal CSW Source",
        "config": {
          "default_tags": ["csw", "geoportal"],
          "validator_profiles": ["iso19139eden"]
        }
      }'

Εφόσον λοιπόν έχει καταχωρηθεί η συγκεκριμένη πηγή, η διαδικασία της Συγκομιδής μπορεί να ολοκληρωθεί μέσω της Διεπαφής χρήστη, όπως παρουσιάστηκε προηγουμένως.

Αντιστοιχίσεις πεδίων από τα δεδομένα της πηγής, στα τελικά Σύνολα Δεδομένων και Υπηρεσίες στην πύλη

• Άμεσες Αντιστοιχίσεις (Χωρίς Σημαντική Επεξεργασία)

Πηγή	Προορισμός	Σχόλια
title	title	Τίτλος του dataset
abstract	notes	Περιγραφή του dataset
tags	tags	Λίστα ετικετών

• Πεδία που Απαιτούν Επεξεργασία

Λογική ταυτοποίησης τύπου οντότητας (Package Type)

spatial-data-service-type

Όπου συναντάται ετούτη η περίπτωση, είναι ξεκάθαρο ότι αναφερόμαστε σε Υπηρεσία Δεδομένων (data-service)

# Πηγή ISO
iso_values.get('spatial-data-service-type')

# Παραδείγματα τιμών:
- "view"
- "download" 
- "transformation"
- "invoke"
- "other"

service-type

hierarchy-level-name (Ελληνικά & Αγγλικά)

resource-type

hierarchy-level

Λογική ενίσχυσης χωρικής κάλυψης

# Πηγή: iso_values['bbox'] - Λίστα με bounding boxes
iso_values['bbox'] = [
    {
        'west': '22.5',      # ή '22,5' (ελληνικό format)
        'east': '23.8',      # ή '23,8'
        'south': '37.9',     # ή '37,9'  
        'north': '38.5',     # ή '38,5'
    }
    # ... πιθανά περισσότερα bboxes
]

Η ροή της διαδικασίας που ακολουθήθηκε προκειμένου να ταυτοποιηθούν και να αντιστοιχηθούν σωστά οι τιμές, είναι η εξής:

1

Ανάγνωση Bounding Box Coordinates

2

Υπολογισμός Centroid από BBOX

Υπολογισμός κέντρου από τις γωνίες του ορθογωνίου

3

Δημιουργία GeoJSON Structures

Για BBOX (Πολύγωνο):

bbox = {
    "type": "Polygon",
    "coordinates": [[
        [west, south],    # Νοτιοδυτική γωνία
        [east, south],    # Νοτιοανατολική γωνία  
        [east, north],    # Βορειοανατολική γωνία
        [west, north],    # Βορειοδυτική γωνία
        [west, south]     # Κλείσιμο πολυγώνου
    ]]
}

# Παράδειγμα με πραγματικές τιμές:
{
    "type": "Polygon",
    "coordinates": [[
        [22.5, 37.9],
        [23.8, 37.9], 
        [23.8, 38.5],
        [22.5, 38.5],
        [22.5, 37.9]
    ]]
}

Για Centroid (Σημείο):

centroid = {
    "type": "Point", 
    "coordinates": [centroid_lon, centroid_lat]
}

# Παράδειγμα:
{
    "type": "Point",
    "coordinates": [23.15, 38.2]
}

4

Δημιουργία Ανθρωπόληπτης Περιγραφής

Υπολογίζεται αφενός το εμβαδό του δοθέντος παραλληλογράμου και αφετέρου η γεωγραφική τοποθέτησή του στον χάρτη και βάσει συγκρίσεων, τελικά στην ετικέτα καταχωρείται η αντίστοιχη περιγραφή όπως για παράδειγμα:

"Αττική, Ελλάδα"
"Βόρειο Αιγαίο, Ελλάδα"
"Ιόνιο Πέλαγος, Ελλάδα"

ή σε επίπεδο έκτασης:

"Τοπική Περιοχή"
"Δημοτική/Κοινότητα"
"Περιφερειακή Ενότητα"
"Ευρύτερη Γεωγραφική Περιοχή"

Λογική εξαγωγής σημείων επικοινωνίας:

Ας υποθέσουμε ότι στον κατάλογο της πηγής, συναντούμε την πληροφορία του ακόλουθου παραδείγματος:

# Πηγή: iso_values['responsible-organisation'] - Λίστα με οργανισμούς
iso_values['responsible-organisation'] = [
    {  
        'organisation-name': 'Υπουργείο Περιβάλλοντος',
        'email': '[e-mail]',
        'organisation-website': 'https://www.ypen.gr',
        'organisation-uri': 'https://www.ypen.gr/organization',
        'role': 'owner'
    },
    {
        'organisation-name': 'Γενική Γραμματεία Πληροφοριακών Συστημάτων',
        'organisation-website': 'https://www.gsis.gr', 
        'role': 'processor'
    }
]

# Πηγή: iso_values['contact-email'] - Email επικοινωνίας
iso_values['contact-email'] = '[e-mail]'

Αντιστοιχίες Πεδίων

1. Ονόματα Οργανισμών

# Πηγή ISO
organisation['organisation-name']

# Προορισμός Πύλης 
contact['name']

# Παραδείγμα:
- 'Υπουργείο Περιβάλλοντος' → 'name': 'Υπουργείο Περιβάλλοντος'

2. Διευθύνσεις Email

# Πηγές ISO (πολλαπλές)
organisation['email']                          # Email οργανισμού
iso_values['contact-email']                   # Email επικοινωνίας dataset

# Προορισμός Πύλης
contact['email']

# Παραδείγματα:
- organisation['email'] = '[e-mail]' → 'email': '[e-mail]'
- iso_values['contact-email'] = '[e-mail]' → 'email': '[e-mail]'

3. Ιστοσελίδες

# Πηγές ISO (πολλαπλές)
organisation['organisation-website']
organisation['website']  # Εναλλακτικό πεδίο

# Προορισμός Πύλης  
contact['url']

# Παραδείγματα:
- 'https://www.ypen.gr' → 'url': 'https://www.ypen.gr'
- 'https://www.gsis.gr' → 'url': 'https://www.gsis.gr'

4. URIs

# Πηγές ISO (πολλαπλές)  
organisation['organisation-uri']
organisation['uri']  # Εναλλακτικό πεδίο

# Προορισμός Πύλης
contact['uri']

# Παραδείγματα:
- 'https://www.ypen.gr/organization' → 'uri': 'https://www.ypen.gr/organization'

Λογική για το landing page URL:

Δύναται να συναντήσουμε την εν λόγω πληροφορία, με αρκετά διαφορετικά patterns. Ως εκ τούτου, τα ενδεχόμενα μπορεί να είναι τα εξής:

# Πηγή: iso_values['resource-locator'] - Λίστα με resource locators
iso_values['resource-locator'] = [
    {
        'url': 'http://geoportal.ypen.gr/geonetwork/srv/gre/catalog.search#/metadata/12345',
        'protocol': 'WWW:LINK-1.0-http--link',
        'name': 'Landing Page',
        'description': 'Σελίδα περιγραφής μεταδεδομένων'
    },
    {
        'url': 'http://example.com/wms',
        'protocol': 'OGC:WMS',
        'name': 'WMS Service'
    }
]

# Πηγή: iso_values['resource-locator-identification'] - Εναλλακτική πηγή
iso_values['resource-locator-identification'] = [
    {
        'url': 'http://geonode.org/layers/123',
        'protocol': 'WWW:LINK-1.0-http--related',
        'description': 'GeoNode layer page'
    }
]

# Πηγή: iso_values['guid']
iso_values['guid'] = '12345'

Αντιστοιχίες Πεδίων

1. Από Identifier

# Πηγή ISO
iso_values['guid']

# Προορισμός Πύλης
package['landing_page']

# Παράδειγμα:
- iso_values['guid'] = '12345' → 'landing_page': 'http://geoportal.ypen.gr/geonetwork/srv/gre/catalog.search#/metadata/12345'

2. Επιβεβαιωμένα Landing Page Patterns

Α. Πρωτόκολλα:

# Πηγές ISO
resource_locator['protocol'] = 'WWW:LINK-1.0-http--link'
resource_locator['protocol'] = 'WWW:LINK-1.0-http--related'

# Προορισμός Πύλης  
package['landing_page']

Β. GeoNetwork Catalog URLs:

# Πηγές ISO
resource_locator['url'] containing '/geonetwork/srv/' AND '/catalog.search'

# Προορισμός Πύλης
package['landing_page']

# Παράδειγμα:
- 'http://example.com/geonetwork/srv/eng/catalog.search#/metadata/123'

Γ. GeoNode Layers URLs:

# Πηγές ISO  
resource_locator['url'] containing '/layers/' AND ('geonode:' OR 'geonode_data:')

# Προορισμός Πύλης
package['landing_page']

# Παράδειγμα:
- 'http://example.com/geonode/layers/123'

Δ. YPEKA GeoNetwork URLs:

# Πηγές ISO
resource_locator['url'] containing 'geoportal.ypen.gr/geonetwork'

# Προορισμός Πύλης
package['landing_page']

# Παραδείγματα:
- 'http://geoportal.ypen.gr/geonetwork/srv/gre/catalog.search'
- 'https://geoportal.ypen.gr/geonetwork/srv/eng/catalog.search#/metadata/123'

Λογική για τη μορφή πόρων:

Αντιστοιχίες Πεδίων

1. Από Πρωτόκολλα OGC

# Πηγή ISO
resource_locator['protocol']

# Προορισμός Πύλης
resource['format']

# Αντιστοιχίες Πρωτοκόλλων:
- 'OGC:WMS', 'OGC:WMS-1.1.1-http-get-map' → 'wms'
- 'OGC:WFS', 'OGC:WFS-1.0.0-http-get-capabilities' → 'wfs'
- 'OGC:WCS', 'OGC:WCS-1.1.0-http-get-capabilities' → 'wcs'
- 'OGC:CSW' → 'csw'
- 'OGC:SOS', 'OGC:SOS-1.0.0-http-get-observation' → 'sos'
- 'OGC:WMTS', 'OGC:WMTS-1.0.0-http-get-capabilities' → 'wmts'
- 'OGC:KML' → 'kml'
- 'OGC:GML' → 'gml'
- 'ESRI:ARCGIS' → 'arcgis_rest'

2. Από URL Patterns

# Πηγή ISO
resource_locator['url']

# Προορισμός Πύλης
resource['format']

# URL Patterns:
- '/wms', 'service=wms', 'geoserver/wms', 'mapserver/wmsserver' → 'wms'
- '/wfs', 'service=wfs', 'geoserver/wfs', 'mapserver/wfsserver' → 'wfs'
- '/wcs', 'service=wcs', 'geoserver/wcs', 'imageserver/wcsserver' → 'wcs'
- '/sos', 'service=sos' → 'sos'
- '/csw', 'service=csw' → 'csw'
- 'arcgis/rest/services' → 'arcgis_rest'
- 'mapserver/generatekml' → 'kml'
- 'com.esri.esrimap.esrimap' → 'arcims'

3. Από File Extensions

# Πηγή ISO
resource_locator['url']  # που τελειώνει σε extension

# Προορισμός Πύλης
resource['format']

# Extensions:
- '.kml' → 'kml'
- '.kmz' → 'kmz'
- '.gml' → 'gml'
- '.tif', '.tiff' → 'tif'
- '.shp' → 'shp'
- '.zip' → 'zip'

4. Από MIME Types

# Πηγή ISO
resource_locator['url']

# Προορισμός Πύλης
resource['format']

# Μέσω mimetypes.guess_type():
- 'application/vnd.google-earth.kml+xml' → 'kml'
- 'application/zip' → 'zip'
- 'image/tiff' → 'tif'
- 'text/xml' → 'xml'
# κλπ.

Λογική Endpoint URLs για Data Services:

# Πηγή ISO (για data-services)
iso_values['resource-locator'] = [
    {
        'url': 'http://example.com/geoserver/wms',
        'protocol': 'OGC:WMS',
        'name': 'Main WMS Service'
    },
    {
        'url': 'http://example.com/geoserver/wfs', 
        'protocol': 'OGC:WFS',
        'name': 'WFS Service'
    }
]

# Προορισμός Πύλης - ΔΙΑΦΟΡΕΤΙΚΗ ΔΟΜΗ
package = {
    'type': 'data-service',
    'endpoint_url': [                    # ← Λίστα URLs αντί για resources
        'http://example.com/geoserver/wms',
        'http://example.com/geoserver/wfs'
    ],
    # ΔΕΝ υπάρχουν resources[] για data-services!
}

Αντιστοιχίες Πεδίων

Για Data-Services:

# Πηγές ISO:
resource_locator['url']  # από όλους τους resource locators

# Προορισμός Πύλης:
package['endpoint_url'] = list_of_urls

# Συνθήκες:
- Μόνο όταν package_dict['type'] == 'data-service'
- Όλα τα URLs από resource-locator προστίθενται στη λίστα
- Δεν δημιουργούνται resources

Για Datasets (Κανονική Συμπεριφορά):

# Πηγές ISO:  
resource_locator['url']

# Προορισμός Πύλης:
package['resources'] = [
    {
        'url': 'http://example.com/service',
        'format': 'wms',
        'name': 'Service Name'
    }
]

Λογική αυτόματου access_rights setting:

Σημασιολογία της Τρέχουσας Τιμής

# EU Vocabularies URI για PUBLIC access
'http://publications.europa.eu/resource/authority/access-right/PUBLIC'

# Αυτό σημαίνει:
- Τα δεδομένα είναι ΔΗΜΟΣΙΑ (PUBLIC)
- Χωρίς περιορισμούς πρόσβασης  
- Αγνοούνται πληροφορίες access constraints από ISO

# Επομένως στον προορισμό Πύλης καταχωρείται από προεπιλογή:
package['access_rights'] = 'http://publications.europa.eu/resource/authority/access-right/PUBLIC'