Seminar "Knowledge Representation"

Mitwirkende und Termine

Dozent: Prof. Dr. Wolf-Tilo Balke

Betreuender Mitarbeiter: Enrique Pinto Dominguez

Studiengänge: Master (Informatik, Wirtschaftsinformatik, IST, Data Science)

Credits: 5

Prüfungsleistung: Anwesenheit in allen Veranstaltungen, Vortrag & Diskussion

Wöchentliche Treffen: Dienstags, 9:45-11:15 Uhr in Raum IZ251

Kick-Off: 02.04.2024, 9:45 Uhr in IZ251

Das Seminar

Der Fokus liegt in unseren Seminaren immer auf der Vortragstechnik: Statt einer Ausarbeitung verlangen wir von euch die Ausarbeitung eines mitreißenden und authentischen Vortrags. Um euch darauf vorzubereiten werden wir uns in den ersten Wochen ausführlich damit beschäftigen, wie man einen guten und interessanten Vortrag hält. Durch die Analyse von verschiedenen Vorträgen werden wir gemeinsam herausfinden, was gute Vorträge ausmacht um später in praktischen Übungen an euren Vortragstechniken zu arbeiten. Jeder Seminarvortrag wird außerdem vor der gesamten Gruppe gehalten und hinterher intensiv diskutiert. Wir bieten euch eine der letzten Gelegenheiten bevor es für euch in die Arbeitswelt geht, ehrliches Feedback zu eurem Vortragsstil und eurem Auftreten zu bekommen! Nutzt sie! Wer daran Interesse hat zu lernen einen überzeugenden Vortrag zu halten, keine Scheu vor ehrlichem Feedback hat, der ist bei unserem Seminar genau richtig.

Das Thema

Im aktuellen Hype um künstliche Intelligenz, insbesondere im Bereich der Large Language Models wie BERT oder ChatGPT, überschlagen sich derzeit die Vorstellungen bzgl. der kognitiven Fähigkeiten solcher KI-Systemen. Immer mehr Denk- und Entscheidungsprozesse von Menschen, wie die Klassifizierung oder das Erschließen von neuem Wissen, sollen mit diesen Systemen genauso gut oder sogar besser reproduzierbar sein. Dies wird durch ein breites Training der Systeme auf riesigen Datenmengen ermöglicht, wodurch dem System ein großer Teil des Weltwissens zur Verfügung steht. Doch wie stellen diese Systeme ihr Wissen dar, um es nicht nur zu verstehen, sondern auch mit ihm zu arbeiten?

Die Frage nach der Repräsentation von Wissen und die Möglichkeiten mit denen in den Repräsentationen neues Wissen gewonnen werden kann wurde schon in den 1950er Jahren, vor allem theoretisch, erforscht. In den letzten Jahren ist die Frage nach neuen Ansätzen zur Repräsentation von Wissen vor allem durch die oben genannten Large Language Models aufgekommen. Besonders viel wird sich vor allem von der Kombination dieser neuen Ansätze mit schon lange bekannten Ansätzen versprochen, da sie ihre jeweiligen Schwächen ausgleichen könnten.

In diesem Seminar wollen wir klassische und neue Methoden der Wissensrepräsentation anschauen und Parallelen und Unterschiede zwischen ihnen identifizieren. Wir werden explizite und latente Repräsentationen von Wissen kennenlernen, wie zum Beispiel:

Scripte: Eine Folge von Handlungen, die einen typischen Vorgang darstellen (z.B. einen Einkauf).
Prädikatenlogik: Formale Darstellung von Wissen als Prädikate. Ermöglicht logische Schlussfolgerungen.
Frames: Darstellung von Wissen als Frames, welche als Objekte ohne Methoden verstanden werden können.
Netze: Wissen wird in Form von (un-)gerichteten Graphen dargestellt.
Latent Semantic Analysis: Untersuchung von Daten nach verborgenen Ähnlichkeiten (z.B. Themen).
Word Embeddings: Darstellung der Bedeutung von Worten mit Vektoren, sodass ähnliche Wörter ähnliche Vektoren haben.

Themen

Frame-based Representation
1. Minsky, Marvin. "A framework for representing knowledge." (1974). [https://courses.media.mit.edu/2004spring/mas966/Minsky%201974%20Framework%20for%20knowledge.pdf]
2. Woods, William A., and James G. Schmolze. "The kl-one family." Computers & Mathematics with Applications 23.2-5 (1992): 133-177. [https://doi.org/10.1016/0898-1221(92)90139-9]
3. Baker, Collin F., Charles J. Fillmore, and John B. Lowe. "The berkeley framenet project." COLING 1998 Volume 1: The 17th International Conference on Computational Linguistics. 1998. [10.3115/980845.980860]
Knowledge Representation in the Semantic Web
1. Ernst, Patrick, Amy Siu, and Gerhard Weikum. "Highlife: Higher-arity fact harvesting." Proceedings of the 2018 World Wide Web Conference. 2018. [https://doi.org/10.1145/3178876.3186000]
2. Miller, Eric J. "An introduction to the resource description framework." Journal of library administration 34.3-4 (2001): 245-255. [https://doi.org/10.1300/J111v34n03_04]
3. Horrocks, Ian, Peter F. Patel-Schneider, and Frank Van Harmelen. "From SHIQ and RDF to OWL: The making of a web ontology language." Journal of web semantics 1.1 (2003): 7-26. [https://doi.org/10.1016/j.websem.2003.07.001]
Semantic Knowledge Embeddings (Niclas)
1. Reimers, Nils, and Iryna Gurevych. "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks." Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019. [10.18653/v1/D19-1410]
2. Mikolov, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781 (2013). [https://doi.org/10.48550/arXiv.1301.3781]
Causal Knowledge Representation
1. Jaimini, Utkarshani, and Amit Sheth. "CausalKG: Causal Knowledge Graph Explainability using interventional and counterfactual reasoning." IEEE Internet Computing 26.1 (2022): 43-50. [10.1109/MIC.2021.3133551]
2. Heindorf, Stefan, et al. "Causenet: Towards a causality graph extracted from the web." Proceedings of the 29th ACM international conference on information & knowledge management. 2020. [https://doi.org/10.1145/3340531.3412763]
Large Language Models as Knowledge Bases (Dennis)
1. Kalo, Jan-Christoph, et al. "Knowlybert-hybrid query answering over language models and knowledge graphs." The Semantic Web–ISWC 2020: 19th International Semantic Web Conference, Athens, Greece, November 2–6, 2020, Proceedings, Part I 19. Springer International Publishing, 2020. [https://doi.org/10.1007/978-3-030-62419-4_17]
2. Pan, Jeff Z., et al. "Large Language Models and Knowledge Graphs: Opportunities and Challenges." 2023. [https://doi.org/10.48550/arXiv.2308.06374]
3. Luo, Haoran, et al. "Chatkbqa: A generate-then-retrieve framework for knowledge base question answering with fine-tuned large language models." arXiv preprint arXiv:2310.08975 (2023). [https://doi.org/10.48550/arXiv.2310.08975]
Consistent Knowledge Bases
1. Hitzler, Pascal, and Frank Van Harmelen. "A reasonable semantic web." Semantic Web 1.1-2 (2010): 39-44. [10.3233/SW-2010-0010]
2. Ma, Yue, et al. "Measuring inconsistency for description logics based on paraconsistent semantics." European Conference on Symbolic and Quantitative Approaches to Reasoning and Uncertainty. Berlin, Heidelberg: Springer Berlin Heidelberg, 2007. [https://doi.org/10.1007/978-3-540-75256-1_6]
Knowledge Graph Completion (Katharina)
1. Wang, Quan, Bin Wang, and Li Guo. "Knowledge base completion using embeddings and rules." Twenty-fourth international joint conference on artificial intelligence. 2015. [https://www.ijcai.org/Proceedings/15/Papers/264.pdf]
2. Bajaj, Goonmeet, et al. "Knowledge Gaps: A Challenge for Agent‐Based Automatic Task Completion." Topics in Cognitive Science 14.4 (2022): 780-799. [ https://doi.org/10.1111/tops.12584 ]
3. Xie, Qizhe, et al. "An Interpretable Knowledge Transfer Model for Knowledge Base Completion." Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2017. [10.18653/v1/P17-1088]