OpenAI's WHISPER für Speech-To-Text auf dem iPhone nutzen! | Tutorial
HTML-код
- Опубликовано: 29 июн 2024
- Früher war die Fehlerquote bei Transkriptionen so hoch, dass die Korrekturen oft frustrierend waren. Doch mit Whisper von OpenAI hat sich das komplett geändert. Die Fehlerquote ist jetzt so gering, dass wir ein eigenes internes Tool gebastelt haben, bei dem man einfach auf die Rückseite des iPhones tippt und sofort lossprechen kann - so wie ich es im Video zeige. Da sie bei euch in den Shortcuts/Kurzbefehlen - also Apples eigener App für Workflows läuft - könnt ihr sie nennen wie ihr wollt und euch auch auf den Homebildschirm verlinken.
Es ist die Magic Sauce, um im Alltag enorm viel Zeit zu sparen. Mein Tag vollgepackt mit Terminen, Kinderbetreuung, Projekten und vor allem vielen Aufgaben, die ich am Telefon erledige. Ich weiß, dass viele von euch ähnliche Herausforderungen haben, deshalb teilen wir hier unseren Lösungsweg, den wir mit Hilfe der Anwendungen von Giacomo Menzi gefunden haben - Shoutout an der Stelle. Geht mal auf seine Seite, er baut auch noch deutlich komplexere Workflows.
Es funktioniert in beide sowohl für das Tippen und Sprechen als auch für die Übersetzung von WhatsApp-Sprachnachrichten in Text.
Im Video erkläre ich euch Schritt für Schritt, wie ihr eure eigene Magic Speech App einrichtet und nie wieder genervt von WhatsApp Voice Messages sein müsst und nie wieder Fehler beim Diktieren habt.
Wichtig ist, dass ihr in den Einstellungen unter „Bedienungshilfen“ die Option „Tippen“ aktiviert und dann „Zweimal tippen auf die Rückseite“ auswählt, um die „Tap-Funktion“ zu aktivieren. Wir haben Giacomos Workflow so angepasst, dass ihr sofort lossprechen könnt und den Text immer direkt in der Zwischenablage habt.
Viel Spaß beim Ausprobieren! Ich bin gespannt, wie viel Zeit ihr damit sparen könnt. Denkt daran: Work Faster, dann kommen wir alle schneller nach Hause.
Hier geht’s zu den Links
Für die Rückseite zweimal Tap-Funktion also "Speech-To-Text" hier:
www.icloud.com/shortcuts/b934...
Und hier die Sprachnachricht zu Text also "Audio Transcribe" hier:
www.icloud.com/shortcuts/6b7d...
Giacomo Melzi:
giacomomelzi.com/
__________________________
Exklusive Insights & Behind the Scenes:
/ christophmagnussen
/ christophmagnussen
/ christophmagnussen
🎙️ Podcast: otwtnw.de
__________________________
"Creator at heart, Blackboat CEO by profession." So lässt sich sehr gut in einem Satz sagen, was mich umtreibt. Seit über 15 Jahren spreche ich mit Menschen darüber, wie sich die Arbeitswelt für sie geändert hat und was sich weiter ändern muss. Dabei interessiert mich immer die Schnittstelle zwischen Mensch und Technologie. Mit Hilfe neuer Technologien, wie AI und digitalen Tools sind wir in der Lage, Arbeit anders zu organisieren und völlig neu zu denken. Und das ist überfällig. Nennt es New Work, New Workforce, Future of Work oder einfach nur "Arbeit". Für mich ist es der beste Job der Welt und hier findet ihr die aktuellen RUclips Videos ✊
Mein Unternehmen Blackboat - Work Faster Together: www.blackboat.com/
🎤✨ Als Speaker anfragen:
www.christophmagnussen.de/
Als Speaker anfragen: www.christophmagnussen.de/hir...
__________________________
MB01U1AYMW0WZLW 
Наука
Mega Christoph, danke dir. Hat super funktioniert und ist extrem motivierend deine Videos zu sehen. Weiter so und Danke.
Ich danke dir fürs dranbleiben und zuschauen. Es hilft mir und dem Kanal am meisten, wenn du die Videos an Leute schickst die das Thema auch interessiert! 😊🚀
Holy Cow, genau was ich benötige! Danke für die Arbeit und fürs Teilen! Weiter so
Danke fürs zuschauen! 🚀⚡️
Speech-To-Text klappt schon mal super! Richtig cooler Workflow! Danke!!!
Always!!! Keep working faster ⚡️⚡️⚡️
Hallo Christoph, ich hinterlasse dir jetzt mal mit Speech-to-Text hier einen Kommentar und zwar muss ich dir sagen, ich habe immer das Problem gehabt, ich wusste nicht, ob ich ein digitales Journal, ob ich es handschriftlich, ob ich es Tipp-Videotagebuch und so weiter und so fort und habe dann irgendwie verschiedenste Dinge ausprobiert und nichts hat mich wirklich überzeugt und hat mir auch geholfen, dran zu bleiben, vor allem mit dem Video, was du jetzt hier gepostet hast, nutze ich es jetzt wirklich seit zwei Wochen jeden Tag abends, mein Journal Speech-to-Text und kann das dann digital in eine App hauen und habe es einfach und kann eben genauso, wie ich spreche und wie meine Gedanken sind, das dann digitalisieren, weil mit zwei Daumen tippst und sprichst du einfach anders, wie wenn du es, wie wenn du sprichst, genau, also das ist was anderes, wenn ich tippe, wie wenn ich spreche. Also nochmal vielen, vielen, vielen Dank für dieses herausragende Video, mir hilft es ungemein!
Sooo hilfreiche Hacks! Ich nutze die täglich bei der Arbeit! 🚀 Vielen Dank für's teilen und das (wie immer) mega professionelle Video 🤓
Danke fürs dranbleiben! 🚀
Meeeega! Danke
Work faster! 😍🚀
Vielen Dank Christoph, das funktioniert richtig stark. Nur bei meinem ersten Testlauf gab es einen kleinen Hiccup, da nur ein Teil des Textes übergeben wurde. Doch nun läuft es flüssig.
Hallo, danke für den coolen Content. Ist eine zahlungspflichtige Version von ChatGPT notwendig? Wenn nein, mit was für Kosten muss man bei der Nutzung der API rechnen? Es soll lediglich mal hier und da privat verwendet werden.
Hi! Ich hab’s ja im Video erwähnt wir nutzen dass bei uns mit allen Leuten im Unternehmen. Bei 30 Leuten kommen wir da auf rund 25€ im Monat. Privat kommst du da sicher mit 1-2€ hin. Man kann das aber gut im Blick behalten und im Playground auch ein Limit setzen.
Du brauchst dafür nicht ChatGPT Plus, nur eine Zahlungsmethode für den Playground. 🙏🏼🚀
🎉 Mega gut!
Hab immer wieder das Problem, dass ich etwas längere Texte einspreche und das mein Bildschirmsperre angeht und dann alles weg ist. Habe die Zeit schon auf 5 Minuten eingestellt.
Gibt es da einen Tipp für?
Läuft. Danke Christoph.
Meine Stolpersteine und Tipps:
- Trotz Paid-ChatGPT muss man eine Zahlungsmethode hinterlegen. Danach erst (!) die APIs erstellen.
- Kurzbefehle ggf. umbenennen, z.B. in Tap Talk ;)
- beim Audio Transcribe scheint "Kopieren in Zwischenablage" zu fehlen, das habe ich noch hinzugefügt
Yes! Das mit der Zahlungsmethode hatte ich auch im Video gezeigt! 😊
Den Schritt Kopieren in Zwischenablage haben wir bewusst weggelassen, da man den Inhalt meistens nur überfliegt. Und wenn man es doch kopieren möchte, kann man das immer noch durch doppeltippen auf den Text machen 😊🚀
Oh, ja! Den Text kann man ja quasi "öffnen", hatte ich nicht gecheckt. Habe mir die Stelle im Video mit der Übergabe an ChatGPT dreimal angeschaut, kam aber nicht dahinter. Wieder was gelernt.
Das Thema mit der Zahlungsmethode habe ich galant ignoriert, weil ich dachte, ich habe ja schon einen Paid-Account - wie manch anderer hier in der Kommentarspalte wohl auch.
Danke für den After-Sales-Service 🙏🏼😎
@geraldschoembs always! 🚀
riesen Mehrwert - definitiv the way to go auch für Apple
So sieht’s aus. Siri - we trust in you 😂🙏🏼
Supergut! Und wesentlich besser als alle anderen Shortcuts die ich bisher probiert hatte um Nachrichten zu verfassen. Hat jemand vielleicht noch eine Idee wie ich einen Prompt mit einbinden kann? Also um z.b. Absätze zu geneireren oder mit Emojis zu arbeiten? Das müsste ja theoretisch über die API funktionieren...
Ohne geht nicht mehr!
Yes! Feel you! 🚀
Sehr cooles feature. Vielen Dank. Frage: Gibt es Tricks für Interpunktion bzw neue Absätze oä? das ist bei Siri ja auch schon recht hackelig.
Hi! Also Interpunktion funktioniert komplett automatisch, es ist so Crazy. 😂🚀
Danke Christoph! Hast du auch einen entsprechenden workaround für android nutzer?
Bisher nicht. Müsste man mal schauen ob da schon wer was entwickelt hat…
Danke für das Video! Eine Frage: Gibt es einen direkt link zu den benötigten Apps im App-Store oder den genauen App-Namen? Danke
Hi Matthias, du brauchst keine extra App. Nur den Kurzbefehl und einen API Key aus dem OpenAI Playground (mit hinterlegter Zahlungsmethode) wie im Video gezeigt.
Den API key fügst du dann in dem Kurzbefehl ein und los geht’s 🚀🚀🚀
Leider nein, es handelt sich ja um einen Apple Shortcut, also nicht eine App, die für den App Store ist, sondern etwas, das wir als Kurzbefehl selbst gebaut haben. Der Link unten in der Beschreibung führt aber genau zu diesem Kurzbefehl. Den kannst du dir dann selbst installieren und ihn auch auf deinen Home-Bildschirm vom iPhone verlinken oder, wie ich es oben gezeigt habe, mit dem Tippen auf die Rückseite, weswegen wir das ganze Tab genannt haben. Du kannst es aber benennen, wie du möchtest. Es ist eben keine offizielle App, sondern ein hilfreicher Workflow, den wir in der Crew bei Blackboat täglich nutzen 🙏
@@christophmagnussen Danke hat funktioniert und vielen Dank für deine genialen Videoinhalte
Super Video und echt hilfreich.
Habt ihr auch einen shortcut oder eine Möglichkeit gefunden, die Chat GPT Stimme zu nutzen, um einen beliebigen Text zu sprechen?
In der App selbst geht es ja.
Nur kann man da nicht wirklich spulen oder auswählen. Nur 15sec. vor oder zurückspulen.
Und man muss ihn quasi reinkopieren ohne dass er was machen soll und dann die vorlese Funktion starten.
Aktuell sind die IPhone Apple stimmen noch weit weg von der angenehmen Ki stimme bei Chat GPT.
Vielleicht kann man dort ebenfalls die api nutzen?
Ich danke dir. ☺️
Man kann sicher irgendwie die API von OpenAI oder ElevenLabs Turbo dazu nutzen, da bin ich aber überfragt. Mein erster Gedanke wäre sonst einen GPT zu bauen dem du als Prompt reingibst einfach nichts außer einen Punkt (.) zu antworten (oder so ähnlich). Damit du nicht immer wieder sagen musst, dass nichts zurückkommen soll.
Das wäre zumindest etwas was sich innerhalb 5 min. umsetzen ließe. 😊🙏🏼
Vielen Dank für das großartige Video lieber Christoph.
Leider funktioniert es bei mir nicht richtig. Die Tap-Aufnahme startet einwandfrei - allerdings wird nichts in der Zwischenablage gespeichert. Am KurzBefehl habe ich nichts geändert und Ihnen sogar auch noch ein zweites Mal installiert.
Hast du eine Idee, woran das liegen kann?
Liebe Grüße, Arne
Hallo wie im Video gezeigt musst du deinen eigenen API Key hinterlegen. Mit hinterlegter Zahlungsmethode im Playground 🙏🏼🙌🏻
Hallo und vielen Dank für das Video. Großartig, dein Content. Allerdings habe ich zum Transkribieren der WhatsApp-Nachrichten eine Alternative, die nichts kostet. Du gehst auf die Sprachnachricht, tippst auf Weiterleiten, dann auf das Teilen-Symbol und dann kannst du Transkribieren auswählen und unten Text kopieren. Dann hast du den Text auch in einer sehr guten Qualität ausgelesen.
Und wie heißt die "App"?
Interessant, auf dem iPhone geht das aber nicht, oder? Ich finde die Option bei mir zumindest nicht. Und welches Modell wird verwendet? Bei Whisper ist das besondere ja, dass Text fast fehlerfrei transkribiert wird.
Auf jeden Fall danke fürs zuschauen! 🙏🏼🚀
In der Theorie super aber bin scheinbar zu blöd. Habe den „Tap Talk“ Kurzbefehl hinzugefügt und die Chat Gtp API an zwei stellen eingefügt. Kurzbefehl löst auch aus aber ich kann nichts „recorden“. Es erscheint kurz der Haken aber reagiert nicht auf das gesagte. Hat hier jemand Tipps oder eine Erklärung? Danke 🙏
Bei mir hat es anfangs auch nicht funktioniert. Wichtig ist man muss eine eigene Zahlungsart bei um die um die Abis von Open AI nutzen zu können hinterlegen zwei Abfragen haben mich jetzt ein Cent gekostet.
Yes! Das mit der Zahlungsmethode zeige ich eigentlich auch im Video 😅🙏🏼
Irgendwie funktionieren beide bei mir nicht, der text bleibt immer leer... 😞 man muss doch nur im ersten Textfeld den secret key eingeben, richtig? 🤔
Hi Alexander, du musst im Playground eine Zahlungsmethode hinterlegt haben. Dann einen neuen API/secret key erstellen und in beiden Shortcuts in dem Textfeld unter dem "Kommentar" Feld einsetzen. Dann sollte es eigentlich klappen 🚀
@@christophmagnussen 🚀der 👹steckte tatsächlich im detail 🔎Zahlungsmethode hinterlegen, auch wenn ein Business-Account vorhanden ist 😉 Danke🙏
@@christophmagnussen 🚀Das hat geholfen - der 👹steckte im Detail: man muss auch eine Zahlungsmethode hinterlegen, wenn man ein Business-Account/Abo hat.. Danke 🙏
Okay, also ich habe jetzt den Shortcut seit anderthalb Tagen im Einsatz und bin restlos begeistert. Ich sitze immer wieder mal da und kann jetzt leise in mein Telefon reinreden und dabei mal einen Kommentar wie diesen hier rein diktieren. Und der wird perfekt transkribiert. Absolut spitze. Was ich jetzt noch bräuchte, wäre die Aktivierung des Shortcuts so, dass es auch im Auto gut funktioniert. Ich habe das Telefon wie so viele an der Lüftung hängen und kann dann nicht von hinten auf das Telefon tappen. Ich habe auch nur ein iPhone SE, dritte Generation. Das heißt, ich habe jetzt keinen coolen Knopf an der Seite, wo ich drauf drücken kann. Jetzt muss ich noch überlegen, wie ich die Funktion beim Autofahren einfach aktivieren kann. Aber dazu fällt mir sicherlich auch noch was ein. Oder vielleicht hat auch jemand hier eine gute Idee, wie man den Shortcut so gestalten kann, dass man ihn im Auto gut verwenden kann. Nichtsdestotrotz, vielen, vielen Dank für diese richtig coole Idee.
Mega! Danke für das Feedback. Würde mich total freuen wenn du das Video und den Hack deinen Kolleg*innen weiterempfiehlst! 🙏🏼
Du kannst den Shortcut über Siri „(hey) Siri, Speech to Text“ starten! Alternativ kannst du in der Shortcut App auch ein Symbol zum Homebildschirm hinzufügen. 🚀🚀🚀
@@christophmagnussen
Die Idee mit dem Shortcut auf dem Homescreen, das ist genau das, was ich jetzt verwende. Ich sitze gerade im Auto und fahre hier auf der Autobahn entlang und habe jetzt einfach den Shortcut so gestartet, das klappt schon ganz gut. Hey Siri, habe ich eben auch probiert, das lässt er aber nicht zu, weil ich eben im Auto sitze und dann hat er den Shortcut nicht gestartet, muss ich nochmal rausfinden, was das war. Ich habe es versucht, als ich in der Kommentarfunktion drin war, von RUclips, und dann habe ich einfach den Befehl gesagt und dann hat mir das Telefon geantwortet, kann ich nicht machen, während ich im Auto sitze. Insofern müsste ich mir das nochmal anschauen. Aber natürlich, klar, der Shortcut auf dem Homescreen, der funktioniert schon ganz gut.
@thomasbaro7377 Super! Das freut mich! 🚀
Sehr cooler Hack! Und - GANZ WICHTIG: Ihr müsst eine Zahlungsmethode für den API Key hinterlegen! Das schiere Vorhandensein eines PLUS- oder Business-Accounts hilft noch nicht bei der Abrechnung von Tokens über den API-Key. Daher: Kreditkarte bereithalten! :)
@Christoph: Hast Du das auch schon mal zum Transkribieren ganzer Meetings verwendet? Klappt das auch bei - sagen wir - 30 Minuten Audio?
Ich habe übrigens schon die Hoffnung, dass so etwas bei zukünftigen Geräten auch ohne Internet direkt on device stattfinden könnte... idealerweise mit Sprechererkennung :)
Ja, genau. Ich glaube, das hat mir nur sehr kurz eingeblendet mit der Zahlungsmethode. Da hast du natürlich völlig recht. Das ist der Billing-Account im OpenAI Playground. Zu der Frage mit den Meetings. Über den Weg geht es nur bis zu einem bestimmten Zeitlimit. Ich würde es nicht das ganze Meeting mitlaufen lassen. Für ein gesamtes Meeting würde ich dann eher auf Nummer sicher gehen und es über die Sprachnotizen aufzeichnen und dann ein Tool verwenden wie TurboScribe oder WhisperJax, wobei du dann wieder Probleme mit dem Datenschutz haben wirst. Dann müsste man wieder zum klassischen Microsoft Teams Copilot zurückgreifen. Allerdings haben wir eine Erfahrung bei BlackBoat gemacht über die letzten Monate bzw. 1,5 Jahre, dass die Meeting-Transkription nicht besonders hilfreich wird, wenn es über eine gewisse Zeit hinausgeht. Und das kann schnell eine halbe Stunde sein. Besser ist es, die letzten 5 Minuten oder auch 10 Minuten zu nutzen, um von allen Teilnehmenden ihre Punkte einzusammeln. Die Next Steps festzuhalten und wie eine Art Prompt diese Zusammenfassung dann aufzunehmen. Und das wiederum lässt sich sehr gut mit dem hier gezeigten Weg abbilden. Es ist dann eben auch der deutlich höflichere Weg, als das ganze Meeting aufzuzeichnen, was in einigen Kulturen als unhöflich gesehen wird. Soweit meine Gedanke hier.
🙇🙏
Yes! Die Nummer mit der Zahlungsmethode hatte ich eigentlich auch im Video gezeigt 😅
In der Theorie sollten auch lange Transkripte funktionieren. Ich habe gerade mal einen unserer Podcasts durchgejagt, da kam allerdings nichts zurück. Möglicherweise ist da irgendwo ein Limit. In der Theorie müsste es aber eigentlich funktionieren. Liegt vielleicht an Apple Shotcuts… 🤔💭
der link auf die taptalk app fehlt oder?
Das ist ja der Speech-To-Text Shortcut und der ist unten in der Beschreibung verlinkt 😊🚀
Ich find's einfach nicht ... das WHISPER von openAI in der ios App Suche. Die beiden Kurzbefehle damit verbinden und die Einstellungen schaffe ich dann bestimmt auch. Wie "genau" heisst die App?
Und DANKE Dir Cristoph für deine super Videos !!
Hi Dieter, du brauchst keine extra App. Nur den Kurzbefehl und einen API Key aus dem OpenAI Playground (mit hinterlegter Zahlungsmethode) wie im Video gezeigt.
Den API key fügst du dann in dem Kurzbefehl ein und los geht’s 🚀🚀🚀
DANKE ... jetzt wird's klarer. Ich habe zwar die Plus Version, brauche aber wohl den TEAM Account, oder? Ansonsten kriege ich den API key nicht ...
@dieterkerkhoff4274 Das hat mit ChatGPT nichts zu tun. Da besuchst du theoretisch gar kein Abo. API keys lassen sich immer erstellen.
Hier: platform.openai.com/api-keys
@@christophmagnussen nochmals ein großes Dankeschön. Alles hat perfekt funktioniert mit deiner Unterstützung. Freu mich schon auf die nächsten Videos und Hilfestellung 😂👏👍
Immer doch! Danke fürs zuschauen 🚀⚡️
Was vielleicht noch wichtig zu erwähnen ist: Bei mir hat es auch erst nicht funktioniert, API Key und Zahlungsmethode allein reichen nicht, ihr müsst auch das Konto „aufladen“. Minimum ist 5 Dollar.
Tolle Idee, toller Workflow! Das müsste wirklich der Standard im Betriebssystem sein. ein FRAGE: Bei mir wird kein Text über die Zwischenablage ausgegeben, obwohl ich einige Sätze spreche. Woran könnte das liegen? (Meine eigene API habe ich in den Shortcup kopiert.) Hat jemand eine Idee?
Du musst eine Zahlungsmethode im OpenAI playground hinterlegt haben. Sonst klappt es nicht! ✌🏼🚀
@@christophmagnussen Ich bezahle für ChatGPT. Das reicht nicht?
Nein, du brauchst kein ChatGPT Abo. ChatGPT und die API für Whisper sind zwei verschiedene Paar Schuhe 😊✌🏼🚀
Danke! Jetzt ist es mir klar!
Geht das auch mit Android?
nein.
Wie im Video gesagt, basiert der ganz Workflow hier ja auf Apple Shortcuts. Daher klappt der Hack so nicht auf Android. Da könnte man aber sicher auch was bauen…
Hey sorry if you’ve answered this before. I’m really interested in the decision to stop making videos in English. I know the company is German and I think it happened around the release of the book. But just wondering was it deliberate decision, was it driven by engagement data or was it just natural switch.
Tja, wenn man des Shortcut im Video als App bezeichnet, sorgt das eben für Verwirrung 😅
Ich glaube die meisten haben es verstanden 😌
Bin leider ein NOOB im Shortcut bauen... aber vielleicht gibt es hier jemanden, der in der Lage ist, WhisperText so zu erweitern, dass das Transkript des Textes mit einer Standard-Instruktion wieder an openAI zu senden damit am Ende folgendes Ergebnis dem User angezeigt wird:
**Zusammenfassung**
- Stichpunkt 1
- Stichpunkt 2
**Aufgaben**
- Aufgabe 1
- Aufgabe 2
**Transkript der Message**
Du meinst, um direkt eine Zusammenfassung für ein Meeting zu haben, also dass man quasi die App startet und immer die gleichen Standardinstruktionen beziehungsweise der gleiche Standardprompt drin ist, der dann die Zusammenfassung rausgibt. Habe ich dich richtig verstanden?
@@christophmagnussen ja genau. Ich stelle mir einen dezidierten Shortcut vor, den ich konfigurieren kann:
1. API Key eingeben
2. Custom instruction für die Audio Datei mitgeben
Damit kann ich mir dann verschiedene Shortcuts bauen. Beispielsweise einen Meeting Summarizer. Dann Lehr ich das Telefon einfach auf den Tisch und lasse den shortcut oder Viecher noch besser die Sprachmemo App aufzeichnen. Nach der Aufzeichnung teile ich die Datei mit meinem Shortcut und bekomme dann die Zusammenfassung, die ich im Shortcut definiert habe. Quasi ein Custom GPT direkt im Handy.
@@thomasbaro7377 Genau sowas hab' ich mir gebaut.
1. Ein ShortCut mit dem man auf die WhisperAPI zugreifen kann, und die Antwort zurückgibt, nicht anzeigt.
2. Wenn man alles haben möchte wie bisher, dann noch die beiden bekannten Shortcuts erstellen, die das aus 1. nutzen: a) Sprache->Whisper->Zwischenablage, und b) SprachDatei->Whisper->Anzeige
3. Shortcut bauen, dass einen eigenen Prompt mit dem Whisper-Transkript verbindet und ChatGPT aufruft und dann anzeigt.
@@youssef.rebahi_gilbert Klingt absolut spannend. Ich glaube, ich muss mir mal ein paar Tutorials zum Thema Shortcuts bauen in iOS gönnen.
@@thomasbaro7377 Ich konnte in diesem Kanal keine Links posten. Aber via LinkedIn haben sie eine Nachricht erhalten :)