Große Sprachmodelle: GPT-4, LLaMA & Co 🎙️
,Disclaimer: Sowohl Titel wie auch Beschreibung wurden von GPT-4 generiert. Kontext war die Liste der Links aus den Shownotes.
Manuel, Johannes, Dominik & Jochen tauschen sich über große Sprachmodelle (LLMs) wie GPT-4 und LLaMA aus 🌐. Sie besprechen faszinierende Anwendungen in Projekten wie GitHub Copilot und BlenderGPT 🛠️, sowie die Rolle von Word Embeddings und Reinforcement Learning from Human Feedback (RLHF) in der Modellentwicklung 📊. ChatGPT wird dabei als Beispiel hervorgehoben, das die Nützlichkeit von LLMs einer breiteren Öffentlichkeit verdeutlicht hat. Die Diskussion umfasst auch ethische Bedenken im Zusammenhang mit LLMs 🚨 und schließt mit Empfehlungen für vertiefende Ressourcen 📚🎧.
Shownotes
Unsere E-Mail für Fragen, Anregungen & Kommentare: hallo@python-podcast.de
News Allgemeines Geplauder
- Pause Giant AI Experiments: An Open Letter
- Thoughts on a Crazy Week in AI News
- GitHub Copilot
- JetBrains Fleet
- GPT-3 (generative pre-trained transformer) / Few-shot learning / Chain-of-thought
- GPT-4
- Eight Things to Know about Large Language Models | Sehr interessante Zusammenfassung von Dingen, die man bisher weiß
- BlenderGPT - This addon allows you to use Blender with natural language commands using OpenAI's GPT-3.5/GPT-4
- Introducing LLaMA: A foundational, 65-billion-parameter large language model / Alpaca.cpp / Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality
- GPUs in der Cloud: beam.cloud / pipeline.ai / crebrium.ai / banana.dev
- Hugging Face / Natural Language Processing with Transformers (Book)
- Inference of LLaMA model in pure C/C++
Large Language Models
- Let's build GPT: from scratch, in code, spelled out
- Attention Is All You Need | Das ursprüngliche Transformer-Paper
- The Waluigi Effect (mega-post)
- LangChain | Building applications with LLMs through composability
- ChatGPT plugins
- Zero-shot learning
- On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?
- Understanding models understanding language | Was Modelle aus Text über Farben lernen
- Global workspace theory
- Bouba/kiki effect
- ControlNet
- Word embeddings
- llm command line tool
- Geppetto - go LLM and GPT3 specific prompting framework | enthält das cli tool pinocchio
- kitty - the fast, feature-rich, cross-platform, GPU based terminal
- pyupgrade A tool (and pre-commit hook) to automatically upgrade syntax for newer versions of the language
- Semi supervised learning
- Illustrating Reinforcement Learning from Human Feedback (RLHF)
- What Is ChatGPT Doing … and Why Does It Work?
- The Illustrated Transformer
- Eight Things to Know about Large Language Models
Medien zum Vertiefen
- Yoshua Bengio: large language models, higher cognition, causality, working memory, responsible AI (The Robot Brains Podcast) | Sehr gut!
- Episode 88: ChatGPT (Hotel Bar Sessions) | Meh, aber interessant wie daneben die liberal arts Leute liegen
- A.I. Is About to Get Much Weirder. Here’s What to Watch For. (The Ezra Klein Show) | Quite solid for a journalistic publication
- ChatGPT, GPT4 hype, and Building LLM-native products — with Logan Kilpatrick of OpenAI (Latent Space Podcast)
- Prompt Engineering and AI Constitutions with Stephen Wolfram
Picks
- streamlit.io - A faster way to build and share data apps
- ruff - An extremely fast Python linter, written in Rust
- Scrapeghost is an experimental library for scraping websites using OpenAI's GPT
- BlenderGPT - This addon allows you to use Blender with natural language commands using OpenAI's GPT-3.5/GPT-4
- Descript is the simple, powerful, and fun way to edit
Ben on 7. April 2023 22:46
Was für ein toller, erhellender Podcast! Die spannendste Chat-GPT Erläuterung, die ich je gehört habe... und dazu hoffnungsvoll. Ein Hoch auf die Lamas, die Giraffen und die zutraulichen 4-Bitter ;-)
Jochen Wersdörfer on 8. April 2023 11:32
Danke :). Mal sehen ob auch irgendwann noch ein Schabrackentapir im Modellzoo auftaucht.