Offene Infrastruktur für bibliothekarische Daten

Linked Open Data, JSON & OpenRefine in der Praxis

Adrian Pohl & Fabian Steeg

Offene Infrastruktur, Hochschulbibliothekszentrum NRW (hbz)

WWW, 2020-10-08
Zentrum für Bibliotheks- und Informationswissenschaftliche Weiterbildung, TH Köln (ZBIW)

Diese Präsentation:
http://slides.lobid.org/2020-zbiw/ (PDF)

Seminar-Etikette

Fragen sind stets willkommen

Hilf anderen, wo du kannst

Sei offen für unterschiedliche Fachkenntnisse & Erfahrungen

Sei freundlich

Agenda

Grober Zeitplan

Teil 1:
Offene Infrastruktur

Hochschulbibliothekszentrum des Landes Nordrhein-Westfalen, seit 1973

Dienstleistungs- und Entwicklungseinrichtung für digitale Services in Hochschulbibliotheken

Einige Arbeitsbereiche: Verbundkatalog, Suchportal DigiBib, Fernleihe, Konsortiale Erwerbung

hbz-Gruppe Offene Infrastruktur

Neue Gruppe seit September 2019

Entstanden aus der 3-köpfigen Stabstelle Linked Open Data

Arbeitsschwerpunkt & Hauptprodukt ist lobid

lobid steht für Linking Open Bibliographic Data

Seit fast zehn Jahren die zentrale Komponente der offenen Infrastruktur im hbz

Stellt intuitive, web-basierte Rechercheoberflächen und Schnittstellen bereit

lobid-Dienste

lobid-resources: Daten des hbz-Verbundkatalogs

lobid-organisations: Daten des deutschsprachigen Sigelverzeichnisses und DBS-Stammdaten

lobid-gnd: Gemeinsame Normdatei

lobid-resources

Dokumentation der lobid-resources-API:
https://lobid.org/resources/api

lobid-organisations

Dokumentation der lobid-organisations-API:
https://lobid.org/organisations/api

lobid-gnd

Dokumentation der lobid-gnd-API:
https://lobid.org/gnd/api

lobid – ein zentraler Knoten bibliothekarischer Dateninfrastruktur

lobid: Nutzungsbeispiele

Verbundbibliotheken auf hbz-Website

Basiert auf lobid-Organisationsdaten

VZG-Standortverzeichnis

Basiert auf lobid-Organisationsdaten

Edoweb und Fachrepositorium Lebenswisschenschaften (FRL)

Enge Integration der lobid-Verbunddaten und des lobid-Datenmodells

In Publisso auch GND-ID-Lookup via lobid

GND-Lookup im Fachrepositorium Lebenswissenschaften

NWBib

Webanwendung, die nahezu vollständig auf lobid-Daten basiert

Nutzt das NWBib-Subset in den lobid-Verbunddaten

Informationen zu besitzenden Bibliotheken aus lobid-Organisationsdaten

Themenvorschläge auf Basis von lobid-gnd

NWBib-Suchergebnisliste

Anfrage gegen das NWBib-Subset in lobid-Verbunddaten

Informationen zu besitzenden Bibliotheken (Name, URL, Standort) werden aus lobid geladen

Bibliothekskatalog des Juristischen Seminars der ULB Bonn

Basiert auf täglich aktualisierten lobid-Daten

Discovery-Index der UB Dortmund

Titeldaten zu den Beständen der UB & einiger umliegender Bibliotheken
werden täglich von lobid geholt, transformiert und in den Index geladen

Virtuelle Deutsche Landesbibliographie

Seit April 2018 ist nwbib.de in die VDL integriert

Kalliope

Anzeige von externen Links (z.B. Wikipedia) aus lobid-gnd auf Personenseiten

Abgleich und Anreicherung lokaler Archivdaten mit der GND

Infoboxen zu Personen aus der GND

Beispiel: lobid-gnd

Rechercheoberfläche & LOD-API für die GND

Die Gemeinsame Normdatei (GND)

Normdatei für Bibliotheken im deutschsprachigen Raum

Datensätze für Personen, Körperschaften, Konferenzen & Veranstaltungen, Geografika, Schlagwörter, Werke

Für die formale Erfassung einer Ressource und für die inhaltliche Erschließung

In den letzten Jahren wird die GND vermehrt auch von Archiven, Museen und Wissenschaftler*innen genutzt

Die GND-Kooperative

Verantwortlich für die GND ist die GND-Kooperative

Die GND-Kooperative besteht hauptsächlich aus den deutschsprachigen Bibliotheksverbünden, den angeschlossenen Bibliotheken sowie der Deutschen Nationalbibliothek (DNB) als technischer Hoster

GND als LOD von der DNB

Die DNB publiziert die GND unter anderem als Linked Open Data (LOD) unter https://data.dnb.de/opendata/

Zusätzliche Anreicherungen, z.B. Links in EntityFacts

Diese Daten bilden die Grundlage für lobid-gnd

Die Oberfläche

Auto Suggest

Ergebnisliste

Einzeltreffer

Beziehungsgraph

Übung

Probiert die auf den vorigen Folien beschriebene Oberfläche von lobid-gnd aus (die Screenshots verlinken auf die entsprechenden Seiten)

Teil 2:
Linked Data & JSON-LD

Übung

Verschicke einen Link zum Buch "With Reference to Reference" von Catherine Elgin

1: OPAC -> http://okeanos-www.hbz-nrw.de/F

2: lobid-resources -> https://lobid.org/resources

Ziele

Überführung traditioneller bibl. Praktiken in das Web

Sichtbarkeit und Auffindbarkeit im Web erreichen

Nachnutzbarkeit ermöglichen

Synergieeffekte durch Verlinkung mit anderen Daten

Verbesserung der Recherchemöglichkeiten

Linked Data: Best Practices

1. Nutze URIs als Namen für Dinge
2. Nutze HTTP-URIs, so dass Menschen sie aufrufen können
3. Wenn jemand einen URI aufruft, biete nützliche Informationen an unter Nutzung der Standards (RDF, SPARQL)
4. Nimm Links zu anderen URIs auf, so dass weitere Dinge entdeckt werden können.

Tim Berners-Lee (2006ff): Linked Data – Design Issues

RDF & The Semantic Web
– cutting edge seit 1999

Linked Data

Ultimately, RDF and the Semantic Web are of no interest to Web developers. They also have a really negative public perception problem. We should stop talking about them. Let’s shift the focus to be on Linked Data, explaining the problems that Web developers face today, and concrete, demonstrable solutions to those problems.

Linked Open Data

Wissen ist offen, wenn jedeR darauf frei zugreifen, es nutzen, verändern und teilen kann – eingeschränkt höchstens durch Maßnahmen, die Ursprung und Offenheit des Wissens bewahren.

Linked Open Usable Data

Quelle: Rob Sanderson auf Twitter
Siehe auch Rob Sanderson's Europeanatech 2018 Keynote (Slides, Aufzeichnung)

"Using data"?

APIs

Zum Bsp. lobid-Formate und -Anwendungen

APIs entkoppeln Anwendungen von Datenquellen, Formaten und Systemen. Sie ermöglichen so modulare, zukunftsfähige Applikationen

Und wie APIs bereitstellen?

The Rise and Rise of JSON

Quellen: Google Trends, Web Data Commons, W3Techs

JSON

Ein einfaches Key-Value-Format für strukturierte Daten

Key ist immer ein String

Value ist String, Number, Boolean, Array oder Object

{ "foo": "bar" }

Beispiel: GET
https://lobid.org/organisations/DE-1a

{
  "linkedTo" : {
    "id" : "http://lobid.org/organisations/DE-601#!",
    "label" : "Verbundzentrale des GBV (VZG)"
  },
  "rs" : "110000000000",
  "address" : {
    "addressLocality" : "Berlin",
    "type" : "PostalAddress",
    "addressCountry" : "DE",
    "postalCode" : "10772"
  }
  ...
				

cURL

Kommandozeilen-Tool zum Datentransfer mit URLs

https://curl.haxx.se/download.html

https://www.mycompiler.io/new/bash

$ curl --help

Übung: cURL

$ curl "https://lobid.org/organisations/DE-1a"
									

# Kopieren und im Terminal einfügen (s. Hinweise unten)
$ curl "https://lobid.org/organisations/DE-1a"
									

$ ↑ # Auf die Kommandozeilen-History zugreifen
$ curl "https://lobid.org/organisations/DE-1a"
									

(Für Copy/Paste in GUI: CTRL+c bzw. CTRL+v.
Im Terminal: SHIFT+CTRL+c bzw. SHIFT+CTRL+v. )

Antwort

$ curl https://lobid.org/organisations/DE-1a
{
  "linkedTo" : {
    "id" : "http://lobid.org/organisations/DE-601#!",
    "label" : "Verbundzentrale des GBV (VZG)"
  },
  "rs" : "110000000000",
  "address" : {
    "addressLocality" : "Berlin",
    "type" : "PostalAddress",
    "addressCountry" : "DE",
    "postalCode" : "10772"
  },
...
				

Ausgabe ist lang, oft wollen wir nur bestimmte Werte

JavaScript Object Notation (JSON)

var options = {
  url: 'https://lobid.org/organisations/DE-1a'
};

request(options, function (error, response, body) {
  var doc = JSON.parse(body);
  console.log('postal code:', doc.address.postalCode) // <--
});
				

> postal code: 10772
				

jq

Ein flexibles Kommandozeilen-Tool zur JSON-Verarbeitung

https://stedolan.github.io/jq/

https://jqplay.org/

$ jq --help

Übung: JSON mit jq (1)

$ curl "https://lobid.org/organisations/DE-1a" \
| jq .name # filter: .name
				

Übung: JSON mit jq (2)

$ curl "https://lobid.org/organisations/DE-1a" | jq <???> # dt. Bezeichner für den Kostenträger
								

$ curl "https://lobid.org/organisations/DE-1a" | jq <???> # Datum der letzten Modifikation
								

Übung: JSON mit jq (3)

$ curl "https://lobid.org/organisations/DE-1a" | jq .fundertype.label.de
								

$ curl "https://lobid.org/organisations/DE-1a" | jq .mainEntityOfPage.dateModified
								

JSON + Linked Data = JSON-LD

JSON-LD

JSON

$ curl -H "Accept: application/json" https://api.github.com/users/acka47

{
  "login": "acka47",
  "avatar_url": "https://avatars2.githubusercontent.com/u/160292?v=4",
  "url": "https://api.github.com/users/acka47",
  "type": "User",
  "name": "Adrian",
  "company": "hbz",
  "location": "Cologne, Germany",
  "bio": "Metadata, RDF, vocabularies. Working at @hbz. "
}
				

JSON + @context + @id = JSON-LD

{
  "@context": "http://schema.org/",
  "@id": "https://github.com/users/acka47",
  "login": "acka47",
  "avatar_url": "https://avatars2.githubusercontent.com/u/160292?v=4",
  "url": "https://api.github.com/users/acka47",
  "type": "User",
  "name": "Adrian",
  "company": "hbz",
  "location": "Cologne, Germany",
  "bio": "Metadata, RDF, vocabularies. Working at @hbz. "
}
				

Entwicklung der lobid-Technologie

2010-2013: Alpha-Betrieb mit RDF & SPARQL

2013-2017: lobid v1.x mit JSON-LD aber noch nicht sehr intuitiv nutzbar (JSON-LD als RDF-Serialisierung)

seit 2017: richtig LOUDe lobid v2 plus OpenRefine-Schnittstellen

Von LOD zu LOUD – Erfahrungen aus zehn Jahren Linked-Open-Data-Entwicklung am hbz

Beispiel: lobid-gnd

a. Die Daten

JSON-LD-Link

JSON(-LD)

b. Web-API

Abfragemöglichkeiten

JSON-LD-Daten in Elasticsearch-Index

Elasticsearch bzw. Lucene Suchsyntax

Für Einzeltreffer: RDF per Content Negotiation

API für Auto Suggest

API für Bulk Downloads

OpenRefine Reconciliation | API

Übung: Suchsyntax

Übung: Suchsyntax

??? # <field>:<term>
								

??? # AND, OR
								

??? # Trunkieren mit *
								

??? # <feld>:[* TO <???>]
								

??? # _exists_:<field>
								

Elasticsearch 'query string' Dokumentation

Suchsyntax: Lösungen

abbreviatedNameForTheCorporateBody:zbiw
								

Kunst AND (Kultur OR Wissenschaft)
								

professionOrOccupation.label:Politiker*
								

dateOfBirth:[* TO 1500]
								

_exists_:dateOfBirth
								

Elasticsearch 'query string' Dokumentation

Alles kombinierbar

Personen, die während der NS-Zeit in Köln geboren wurden

Übung

Suche nach allen Personen in der GND, die in Köln geboren wurden und in Düsseldorf gestorben sind

lobid-gnd: Formulierung komplexer Suchanfragen

Übung: Lösung

Suche nach allen Personen in der GND, die in Köln geboren wurden und in Düsseldorf gestorben sind

Pause

Beispiel: lobid-resources

a. Die Oberfläche

b. Die Daten

Datenherkunft & -generierung

Tägl. Bezug der XML-Daten über den Aleph-Publishing-Mechanismus

Konversion nach N-Triples mit Metafacture (Morph)

Dabei finden verschiedene Normalisierungsarbeiten statt

Labels für verlinkte Ressourcen ergänzen

Et voilà: Linked Open Usable Data (LOUD)

Verbesserung der Daten: Beispiele

MARC-Relator-Codes werden aus RAK-Nebeneintragungen generiert (Morph für Personennebeneintragungen)

Normalisierung von Jahresangaben

Mapping von Informationen aus 050, 057, 058, 334, 652a, 9--, 400/403 etc. auf eine Liste von Publikations- und Medientypen (Morph)

c. Web-API

Abfragemöglichkeiten

JSON-LD-Daten in Elasticsearch-Index

Elasticsearch bzw. Lucene Suchsyntax

Abfrage nach gelöschten Titeln (ab 2018-04-04)

API für Auto Suggest

API für Bulk Downloads

Beispielabfragen

Ermitteln eines hbz-Titels anhand der OCLC-Nummer

RDA-Titel seit 2010

title:rda AND
publication.startDate:[2010 TO *]
				

Online-Medien mit Bestand

medium.id:
"http://rdaregistry.info/termList/ RDACarrierType/1018"
AND _exists_:hasItem
				

ZDB-Titel, die mit einer NWBib-Systematik erschlossen sind, aber nicht der NWBib zugerechnet werden und von der ULB Bonn erstellt wurden

subject.source.id:
  ("https://nwbib.de/subjects" OR
   "https://nwbib.de/spatial")
AND inCollection.id:
  "http://lobid.org/resources/HT014846970#!"
AND NOT inCollection.id:
  "http://lobid.org/resources/HT014176012#!"
AND describedBy.sourceOrganization.id:
  "http://lobid.org/organisations/DE-5#!"
				

Deletions Endpoint: Vom 14. bis 23.2.2019 gelöschte Titel

describedBy.deleted:[20190214 TO 2019023]
				

Kibana-Visualisierungen

Balkendiagramm: Häufigkeit von Berufsangaben in der GND

Balkendiagramm: Häufigkeit von sameAs-Links in lobid-GND

Kuchendiagramm: Bestand nach Einrichtung in lobid-resources

Balkendiagramm: Publikationsdatum in lobid-resources>

Tagcloud: Top 150 GND-Schlagwörter in lobid-resources

Teil 3:
OpenRefine Reconciliation

OpenRefine

"A powerful tool for working with messy data"

"cleaning it; transforming it from one format into another; and extending it with web services and external data"

Oberfläche wie Tabellenkalkulation

Läuft im Browser, lokal oder gehostet

OpenRefine

https://openrefine.org/download.html

https://openrefine.labs.lobid.org

Reconciliation mit OpenRefine

Matchen eigener Daten (z.B. Liste von Namen aus Texten) auf GND-Ressourcen in OpenRefine

Übernahme von Daten aus spezifischen Feldern der gematchten GND-Einträge mittels Data Extension API

Grundlegendes Vorgehen

Übung

name;beruf;ort
J. Weizenbaum;Informatiker;Berlin
Twain, Mark;Schriftsteller;
Kumar, Lalit;;
Jemand;;
				

https://lobid.org/gnd/reconcile
				

(Daten und URL per CTRL+C in die Zwischenablage kopieren)

Daten erweitern

Übung

id,name
1,Haddaway
2,Johannes Geßner
3,Judith Kuckart
4,Rosa Luxemburg
5,Albert Einstein
6,Hazel Brugger
7,Anne Cuneo
8,Vitus Huonder
				

Reconcile, Berufe und Wirkungsorte ergänzen

Ergebnisse verbessern

Übung

Properties zur Verbessung der Matches

Auf Basis von konreten Anfragen durch Nutzer

1. Beispiel: Lebensdaten

2. Beispiel: Beruf & Parteizugehörigkeit

http://blog.lobid.org/2019/09/30/openrefine-examples.html

https://lobid.org/gnd/reconcile

Weiterführende Informationen –
Rund um lobid und Linked Data

• lobid-Blog, Präsentationsfolien, lobid auf Twitter und Mastodon
• Kreutzer, Till (2011): Open Data – Freigabe von Daten aus Bibliothekskatalogen. Hg. v. Hochschulbibliothekszentrum des Landes Nordrhein-Westfalen (PDF)
• Pohl, Adrian / Steeg, Fabian / Christoph, Pascal (2018): lobid – Dateninfrastruktur für Bibliotheken. In: Informationspraxis 4(1). https://doi.org/10.11588/ip.2018.1.52445
• Sporny, Manu (2012): The Problem with RDF and Nuclear Power. URL: http://manu.sporny.org/2012/nuclear-rdf/
• Steeg, Fabian / Pohl, Adrian / Christoph, Pascal (2019): lobid-gnd – Eine Schnittstelle zur Gemeinsamen Normdatei für Mensch und Maschine. In: Informationspraxis 5(1). https://doi.org/10.11588/ip.2019.1.52673
• Target, Sinclair (2017): The Rise and Rise of JSON. URL: https://twobithistory.org/2017/09/21/the-rise-and-rise-of-json.html

Weiterführende Informationen – Nutzung von lobid-gnd

• Stefan Dumont: correspSearch: Neue Tools, neue Daten – und eine Auszeichnung https://dhd-blog.org/?p=10632
• Harald Lordick: Die Öffnung der GND und die historische Forschung: https://djgd.hypotheses.org/1511
• Harald Lordick & Beata Mache: Annotationen anhand der Gemeinsamen Normdatei aus einer anwendungsorientierten Perspektive historischer Forschung https://zenodo.org/record/1188230
• Christian Thomas: Humboldts ›Bekenntnisse‹ von 1801 nach der Original-Handschrift aus den Amerikanischen Reisetagebüchern im Deutschen Textarchiv der BBAW http://www.avhumboldt.de/?p=14447
• Christian Erlinger-Schiedlbauer et al.: Semantische Suchabfragen mit der Linked Open Data Cloud generieren https://www.societybyte.swiss/2018/10/24/semantische-suchabfragen-mit-der-linked-open-data-cloud-generieren/