Praktisch mit Image Playground, Visual Intelligence und ChatGPT in iOS 18.2

iOS 18.2 bringt aufregende neue Apple Intelligence-Funktionen wie Image Playground, Genmoji, Visual Intelligence und ChatGPT-Integration. Mit diesen auffälligen neuen Tools können Benutzer Bilder und benutzerdefinierte Emojis erstellen, mithilfe der iPhone-Kamera nach Informationen suchen und auf einen der angesagtesten KI-Chatbots zugreifen, die es gibt.

Wie gut funktionieren sie? Lesen Sie weiter oder schauen Sie sich unser praktisches Video an, um die neuen Apple Intelligence-Funktionen von iOS 18.2 in Aktion zu sehen.

Praktische Einblicke in weitere Apple Intelligence-Funktionen in iOS 18.2

Apple Intelligence ist der Gesamtname für eine Suite von KI-Tools, mit deren Einführung Cupertino im Oktober begann. Diese erste Runde der Apple Intelligence-Funktionen brachte einige Grundlagen mit sich, darunter Schreibwerkzeuge, systemweite Zusammenfassungen, eine neue Siri-Benutzeroberfläche und das Bereinigungstool zum Entfernen unerwünschter Elemente aus Fotos.

Die zweite Funktionswelle, die nächsten Monat in iOS 18.2 (derzeit in der Entwickler-Betaphase) verfügbar sein soll, erhöht den Einsatz von Apple Intelligence. Sie liefern die Art von generativen Werkzeugen, die in den letzten Jahren in der Technologiewelt für Aufsehen gesorgt haben – und das mit großer Kontroverse. Das brandneue, intelligentere Siri wird wahrscheinlich erst mit iOS 18.4 im April 2025 verfügbar sein, aber dieses Update bietet ein paar kleine Funktionen für Entwickler.

Inhaltsverzeichnis: Hands-on mit mehr Apple Intelligence in iOS 18.2

1. Bildspielplatz
2. Bildstab
3. Genmoji
4. Visuelle Intelligenz
5. ChatGPT in Siri
6. Verbesserte Schreibwerkzeuge
7. Neue Siri-APIs

Bildspielplatz

Mit der neuen Image Playground-App können Sie KI-Bilder von Grund auf erstellen. Es bietet verschiedene Möglichkeiten zum Erstellen von Bildern. Öffnen Sie zunächst Bildspielplatz und tippen Sie auf am unteren Bildschirmrand. (Sie finden Image Playground auch in der Nachrichten-App von Apple im App-Menü.)

Image Playground bietet Ihnen vier Möglichkeiten, ein KI-Bild zu erstellen:

1. Geben Sie eine Textaufforderung ein, indem Sie auf tippen Beschreiben Sie ein Bild und Image Playground erstellt ein Bild basierend auf Ihrer Beschreibung.
2. Tippen Sie auf Wählen Sie Person Klicken Sie unten rechts auf die Schaltfläche, um ein Foto einer Person auszuwählen, die Sie kennen. (Es wird aus dem Abschnitt „Menschen und Haustiere“ Ihrer Fotobibliothek abgerufen. Stellen Sie daher sicher, dass Sie zuerst alle markieren.) Sie können auch auf tippen Aussehen Klicken Sie auf die Schaltfläche und tippen Sie darauf Bearbeiten eine Person von Grund auf erschaffen.
3. Tippen Sie auf Wählen Sie Stil oder Foto Taste (mit a Symbol) und tippen Sie dann auf Wählen Sie Foto um ein beliebiges Foto in Ihrer Bibliothek als Ausgangspunkt auszuwählen. Hier können Sie zwischen wechseln Animation Und Illustration Stile.
4. Schließlich können Sie auf eine der Vorschlagsblasen am unteren Bildschirmrand tippen.

Nachdem Sie ein Startbild ausgewählt haben, beginnt Image Playground mit der Generierung einiger Optionen. Es sind vier auf einmal. Sie können darüber wischen, um mehr zu generieren.

Nicht zufrieden? Sie können immer mehr Tags hinzufügen, um das Bild zu optimieren. Tippen Sie auf eine Schaltfläche, um einen der voreingestellten Tags von Apple mit Themen, Kostümen, Accessoires und Orten hinzuzufügen. Alternativ können Sie zusätzliche Beschreibungen in das Textfeld eingeben. Tippen Sie auf eine der schwebenden Blasen, um eine der Eingabeaufforderungen zu entfernen.

Wenn Sie fertig sind, tippen Sie auf Erledigt oben rechts, um das von Ihnen erstellte Bild zu speichern. Sie können es jederzeit teilen, löschen oder zurückgehen und bearbeiten. Sie können auch einen Daumen nach oben oder einen Daumen nach unten geben, um Feedback an Apple zu senden.

Wie gut sehen die Image Playground-Bilder aus?

Ich persönlich bin von dieser vielgepriesenen Apple Intelligence-Funktion nicht beeindruckt. Die von Image Playground erstellten Bilder sehen schrecklich aus. Im Vergleich zur hochmodernen KI-Bildgenerierung von Unternehmen wie Midjourney sind die Kreationen von Image Playground zwei Jahre zurückgeblieben. Es können nicht viele gerade Linien gezeichnet werden und Teile der Bilder verschmelzen. Es ist ein netter Partytrick, dass alles auf dem Gerät passiert und somit Ihren Möglichkeiten keine Grenzen gesetzt sind, aber kostenloser, unbegrenzter Müll ist kein verlockendes Angebot.

Auch Apple muss Fügen Sie Image Playground Schutzmaßnahmen hinzu. Allzu einfach und ohne komplizierte Sofortinjektion erzeugte ich damit ein Bild von Adolf Hitler, der auf dem Rasen vor dem Weißen Haus stand. Wenn ich ein gemeiner Mittelschüler wäre, könnte ich damit peinliche Bilder meiner Klassenkameraden wegen Mobbing und Belästigung erzeugen.

Ich denke nicht, dass Apple die Image Playground-Funktion ausliefern sollte, denn es wird ein nie endender Kampf sein, Brände zu bekämpfen, wenn die Leute herausfinden, wie sie sie auf unpassende Weise und mit geringem Nutzen nutzen können. Die besten Bilder sehen nicht einmal so gut aus.

Bildstab

Image Wand ist eine verwandte, aber unterschiedliche Funktion, die in Notes, Pages, Keynote und andere Schreib-Apps integriert ist. Es kann eine vorhandene Zeichnung in ein KI-generiertes Bild umwandeln. Oder es kann ein Bild von Grund auf basierend auf dem Text auf der Seite erstellt werden.

Um Image Wand in der Notizen-App zu verwenden, tippen Sie auf Anhänge (Büroklammersymbol) und tippen Sie dann auf Bild erstellen. Der Kontext Ihrer Notizen wird verwendet, um ein Artikelbild zu erstellen. Genau wie zuvor bei Image Playground können Sie Eingabeaufforderungen hinzufügen, indem Sie etwas in das Textfeld eingeben. Entfernen Sie Eingabeaufforderungen, indem Sie auf die schwebenden Blasen tippen Erledigt um das Bild zu speichern oder Stornieren um es zu entfernen.

Wenn Ihre Notiz bereits eine grobe Zeichnung oder Skizze enthält, können Sie diese in ein KI-Bild umwandeln. Tippen Sie einfach auf Markup Klicken Sie auf die Schaltfläche (Stiftsymbol) und tippen Sie dann auf die Schaltfläche „Neu“. Bildstab Werkzeug. Kreisen Sie einen Teil einer Zeichnung ein, um ihn als Eingabe zu verwenden, geben Sie dann Ihre eigene Beschreibung des Bildes ein und Image Wand generiert etwas Neues. Image Wand verwendet standardmäßig einen neuen Stil, Skizzieren. Wenn Sie jedoch Animation oder Illustration verwenden möchten, tippen Sie auf Taste zum Umschalten.

Es scheint weitgehend von Ihrer Skizze inspiriert zu sein, weicht aber oft davon ab und verleiht Ihrer Beschreibung viel mehr Gewicht. Sie können eine völlig unabhängige Beschreibung zu Ihrer Zeichnung schreiben und diese wird stattdessen einfach gezeichnet. Was meiner Meinung nach den Zweck verfehlt.

ich kann sehen manche Verwenden Sie dieses Tool auf dem iPhone, wo Sie bestenfalls nur grobe Skizzen mit dem Finger anfertigen können – solange Sie mit der hässlichen generativen Kunst, die Image Wand macht, einverstanden sind. Aber wenn ich ein iPad und einen Apple Pencil hätte, glaube ich nicht, dass ich den Sinn erkennen würde. Image Wand wertet Ihre Zeichnung nicht so sehr auf, sondern übermalt sie. Egal wie viele Details Sie hinzufügen, die KI wird sie trotzdem ignorieren.

Genmoji

Wenn Sie sich jemals geärgert haben, weil es für einen bestimmten Anlass kein perfektes Emoji gibt, brauchen Sie sich keine Sorgen mehr zu machen. Mit der neuen Apple Intelligence-Funktion namens Genmoji in iOS 18.2 können Sie Ihre eigenen erstellen.

Um es zu verwenden, wechseln Sie zur Emoji-Tastatur Ihres iPhones und tippen Sie auf Neues Genmoji Taste nach rechts. Das Tool ist auch geschickt in das Emoji-Suchfeld der Tastatur integriert – wenn Ihre Suche keine Ergebnisse liefert, können Sie darauf tippen Neues Emoji erstellen direkt hineinspringen.

Anschließend können Sie eine einfache Eingabeaufforderung mit einem oder zwei Wörtern eingeben, die beschreibt, was Sie möchten, z. B. „Strauß“, „Tablette“ oder „Taschentuchbox“. Sie müssen es nicht mit einer langen, komplizierten Eingabeaufforderung vollpacken – es ist bereits auf den visuellen Stil von Apple-Emojis trainiert.

Genmoji eignet sich wirklich hervorragend zum Generieren von Emojis für bestimmte Hunderassen. Wenn Ihr Hund keinem der Standard-Emojis ähnelt – 🐶🐕🐩🦮🐕‍🦺 – werden Sie froh sein, dass Sie ein Berner Sennenhund-Emoji, ein Pitbull-Emoji, ein Windhund-Emoji und vieles mehr erstellen können. Das Gleiche gilt für Katzen: Sie können eine Kalikokatze, eine Maine Coon, eine Smokingkatze usw. herstellen. Genmoji kann bei Tieren helfen, die in Emojis unterrepräsentiert sind, wie Vögel, Eidechsen, Schlangen und mehr.

Entweder liefert das Tool etwas, das absolut perfekt aussieht, oder es gelingt ihm überhaupt nicht, es richtig zu zeichnen. Das Schaufel-Emoji und das Taschentuchbox-Emoji passen perfekt zum Grafikdesign von Cupertino. Ich habe versucht, ein Posaunen-Emoji zu kreieren, und es hat abscheuliche Verbrechen gegen Blechblasinstrumente hervorgerufen – darunter irgendwie auch eine Geige.

Es funktioniert auch mit Menschen. Geben Sie den Namen einer Person aus Ihrer Fotobibliothek ein und Sie können eine emojizierte Version dieser bestimmten Person erstellen. Sie können sie lachend, lächelnd, stirnrunzelnd und mehr darstellen. Die sehen in Ordnung aus – ich denke, das ist ein viel Nutzen Sie die Technologie besser als Image Playground.

Visuelle Intelligenz

Die neue Funktion „Visual Intelligence“ von Apple Intelligence bietet eine schnelle und einfache Möglichkeit, Informationen zu einem Objekt in der realen Welt zu finden. Apple hat Visual Intelligence exklusiv für iPhone 16-Besitzer entwickelt. Sie können auf diesen Geräten auf die neue Kamerasteuerung klicken und sie gedrückt halten, um das visuelle Suchtool zu öffnen. Klicken Sie erneut auf die Kamerasteuerung oder tippen Sie auf eine der Schaltflächen auf dem Bildschirm, um etwas nachzuschlagen.

Die folgenden zwei Optionen stehen immer zur Verfügung:

• Fragen sendet das Bild an ChatGPT. Der Chatbot von OpenAI kann möglicherweise erklären, was Sie sehen, und Sie können ihm weitere Fragen stellen, um weitere Informationen zu erhalten. Als ich das mit einer Reihe seltsamer Objekte in meinem Büro ausprobierte, war ich ziemlich beeindruckt von dem, was ChatGPT richtig gemacht hat, aber natürlich sind mir ein paar Fehler aufgefallen. Sie können ChatGPT nicht völlig als Ihre einzige Informationsquelle vertrauen; Sie sollten immer die Fakten überprüfen, um festzustellen, ob etwas Wichtiges vorliegt.
• Suchen verwendet eine umgekehrte Bildsuche von Google, um das Objekt zu identifizieren. Dies erweist sich als nützlich, wenn Sie ein Produkt oder Objekt online finden möchten.

Die anderen intelligenten Funktionen von Visual Intelligence sind stärker kontextabhängig:

• Sie können die Kamera auf etwas mit Veranstaltungsinformationen richten, beispielsweise ein Poster oder ein Dokument, und das Ereignis schnell zu Ihrem Kalender hinzufügen. Wenn es sich um ein Musikfestival oder ein Konzert handelt, ordnet das Tool es möglicherweise einem Ereignis zu und füllt die Details aus. Meine bisherigen Tests hierzu ergaben lückenhafte Ergebnisse, aber ich konnte es nicht wirklich gründlich testen. Es könnte superpraktisch werden.
• Machen Sie ein Foto von einem Restaurant und Visual Intelligence verweist auf Ihren Standort mit Apple Maps-Informationen, um das Restaurant oder Unternehmen zu finden, das Sie gerade betrachten. Sie können eine Telefonnummer, eine Website, ein Menü und mehr sehen. Das scheint unglaublich praktisch zu sein. Wenn Sie die Straße entlang gehen und entscheiden, wo Sie essen möchten, können Sie möglicherweise schnell Informationen erhalten, ohne manuell danach suchen zu müssen r jeden Namen, den du siehst.

Technisch gesehen ist keine dieser Funktionen besonders intelligent. ChatGPT und Google Reverse Image Search sind beide Dienste von Drittanbietern. Das Abrufen von Informationen wie Ereignissen und Telefonnummern aus der iPhone-Kamera basiert auf Live Text, einer Funktion, die das iPhone seit Jahren bietet. Und Visual Intelligence nutzt KI bei der Identifizierung von Unternehmen kaum; Meistens nutzt es das GPS und den Kompass des iPhones mit Apple Maps – das kann jedes iPhone.

In der Praxis handelt es sich jedoch immer noch um nützliche und praktische Funktionen. Ich denke nur, dass Apple, wenn Apple Intelligence kein großer Marketing- und Branding-Anstoß wäre, deutlicher darauf eingehen würde, dass es sich um eine praktische Neuverpackung verschiedener Dienste von Drittanbietern handelt, anstatt es als neue KI-Technologie darzustellen.

ChatGPT-Integration mit Siri

In iOS 18.2 integriert Apple Intelligence ChatGPT nahtlos in Siri. Wenn Sie Siri eine allgemeine Weltwissensfrage stellen, werden Ihnen keine Google-Suchergebnisse angezeigt, sondern Sie werden gefragt, ob Sie ChatGPT stellen möchten. Klopfen Fragen wenn Sie Ihre Anfrage weiterleiten möchten.

Sie können ChatGPT auch fragen, was Sie gerade sehen. Sie können Siri fragen: „Was ist das?“ während Sie sich ein Foto ansehen, einen Artikel lesen, im Internet surfen oder ein Video ansehen. Es sendet ChatGPT einen Screenshot (mit Ihrer Erlaubnis), analysiert ihn und gibt eine Antwort.

Während ein großes Sprachmodell wie ChatGPT bestenfalls nur eine fundierte Vermutung liefern kann und Apple Sie daran erinnert, „wichtige Informationen auf Fehler zu überprüfen“, kann diese Funktion hilfreiche Informationen liefern.

Wenn Sie ChatGPT häufig verwenden möchten, schauen Sie sich das an Einstellungen > Apple Intelligence & Siri > ChatGPT Dort sehen Sie einige Optionen. Ausschalten Bestätigen Sie ChatGPT-Anfragen wenn Sie nicht jedes Mal um Erlaubnis gebeten werden möchten, Ihre Frage an ChatGPT zu senden.

Jeder kann ChatGPT kostenlos nutzen, ohne ein Konto zu erstellen, mit einer begrenzten täglichen Nutzung. Wenn Sie ein ChatGPT-Konto haben und einen besseren Zugriff wünschen oder einen Verlauf Ihrer Fragen behalten möchten, können Sie auf tippen Anmelden. Das können Sie auch Upgrade auf ChatGPT Plus direkt von dieser Seite für 19,99 $/Monat.

Verbesserte Apple Intelligence-Schreibtools in iOS 18.2

Nicht alle Apple Intelligence-Funktionen in iOS 18.2 sind neu. Writing Tools – das in iOS 18.1 neun Tools zum Korrekturlesen, Umschreiben und Formatieren bot – fügt in 18.2 neue Funktionen hinzu.

Jetzt sehen Sie ein Textfeld, in dem Sie dies tun können Beschreiben Sie Ihre Änderung wenn Sie etwas Einzigartiges wollen. Sie können Writing Tools bitten, auf seltsame und wunderbare Weise erhebliche Änderungen an einem Textblock vorzunehmen. Sie können Dinge wie „Lass es Shakespeare-mäßig klingen“ oder „Alles umgekehrt machen“ ausprobieren (was normalerweise zu lustigen Ergebnissen führt). Sie können sogar genaue Anweisungen geben, wie zum Beispiel „Alles im Titel in Groß-/Kleinschreibung schreiben“ oder „Jedes Verb kursiv schreiben“, was mich wirklich beeindruckt hat.

Es gibt auch eine Komponieren Knopf unten. Mit dieser von ChatGPT-4o unterstützten Ergänzung zu den Schreibtools in iOS 18.2 können Sie die KI auf der Grundlage einer Aufforderung bitten, etwas von Grund auf zu schreiben. Im Dropdown-Menü über der Tastatur können Sie basierend auf dem, was Sie bereits geschrieben haben, auswählen, wie viel Kontext Sie senden möchten. Sie können auch tippen um eine Datei oder ein Bild zu teilen.

Das Verfassen mit ChatGPT kann je nach Internetverbindung ein oder zwei Momente dauern, da es nicht auf dem Gerät ausgeführt wird. Aber es gilt weithin als das beste seiner Klasse zum Schreiben.

Neue Siri-APIs

Diese neueste Beta enthält die erste neue Siri-Funktion, die für Apps von Drittanbietern verfügbar ist. Siri kann sehen, was auf Ihrem Bildschirm angezeigt wird, sodass Sie ihm möglicherweise Fragen stellen können wie: „Wie soll ich diese Präsentation betiteln?“ „Auf welcher Website bin ich?“ „Was sollte ich dieser E-Mail noch hinzufügen?“ und mehr.

Dies ist ein kleiner Schritt in Richtung des neuen Siri, aber zum jetzigen Zeitpunkt handelt es sich um eine Änderung hinter den Kulissen. Dies hängt stark davon ab, ob Entwickler ihre Apps aktualisieren, um es zu verwenden. Während ich dies teste, sieht es noch nicht so aus, als würden Apples eigene Apps diese APIs verwenden. Wir werden sehen müssen

Mehr Apple Intelligence

Schauen Sie sich weitere Apple Intelligence-Funktionen an:

• So verwenden Sie die Schreibtools von Apple Intelligence
• Entfernen Sie mit Apple Intelligence ein Objekt aus einem Foto
• So erstellen Sie Fotoerinnerungen mit Apple Intelligence
• Praktische Erfahrungen mit den ersten 10 Apple Intelligence-Funktionen
• So erhalten Sie frühzeitig Apple Intelligence-Funktionen – und das in der EU