KI
Macro Recorder integriert den Zugriff auf cloudbasierte KI-Dienste und auf die selbst gehostete KI-Engine "Ollama" für Ihre Automatisierungsprojekte. Sie können beide KI Systeme konfigurieren und nach Bedarf zwischen diesen wechseln.
Beispielanwendungen:
- Elemente auf dem Bildschirm zählen und diese Daten in der Automatisierung weiterverarbeiten.
- In regelmäßigen Abständen Screenshots aufnehmen, die Inhalte per KI analysieren lassen und bei Erkennung eines bestimmten Objekts Ereignisse auslösen.
- Ein Screenshot vom Desktop, einer Webseite oder aus einer Datei erfassen und Variationen davon erzeugen.
- Inhalte von Webseiten automatisiert auslesen (Scraping) und passende Bitmap-Grafiken automatisch generieren.
- Website-Texte erfassen, um daraus automatisch Keyword-Textdateien zu erstellen.
"OpenAI" und "Anthropic(Claude) sind kostenpflichtige Onlinedienste dieser Drittanbieters. Ein API-Schlüssel ist jeweils erforderlich, um diese in Macro Recorder nutzen zu können. Ihre Anfragen werden an den jeweiligen Onlinedienst gesendet und die Antwort der KI Engine zur weiteren Verwendung zurückgesendet.
"Ollama" ist eine kostenlose Software eines Drittanbieters, die auf Ihrem Computer betrieben wird. Keine Daten verlassen hierbei Ihren Rechner.
Macro Recorder sie führt selbst keine KI-Verarbeitung durch, sondern integriert KI-Engines von Drittanbietern in die Benutzeroberfläche. Dies erfordert eine einmalige Einrichtung in Macro Recorder.
Aufgrund des frühen Stadiums der KI-Technologie kann die KI-Textausgabe unsinnig sein, und die Funktion wird als experimentell betrachtet. Sie wird "so wie sie ist" bereitgestellt und ist nicht Teil der offiziellen Macro Recorder Spezifikation.
KI Textbearbeitung
Mit dieser KI-Textbearbeitungsaktion können Sie den Text, der als Eingabe übergeben wird, mit einem "Prompt" an die KI Engine (OpenAI oder Ollama) senden, und die Antwort in einer Variablen zur weiteren Verwendung in Ihrem Makro speichern:
Anwendungsbeispiele:
- Extrahieren Sie mittels Texterkennung (OCR) Text von einer beliebigen Stelle einer Website und füttern Sie die KI Engine damit, um einen Blog-Artikel auf Basis des extrahierten Textes zu erstellen.
- Lesen Sie aus einer Textdatei zeilenweise OpenAI-Prompts und lassen Sie Macro Recorder das Ergebnis einfügen, wo immer benötigt.
- Geben Sie einen Text ein und fügen Sie die von OpenAI generierten Varianten nach Bedarf in Programme ein.
Sie können einen beliebigen statischen Text eingeben oder mit der rechten Maustaste in das Eingabefeld klicken, um eine oder mehrere Variablen hinzuzufügen, die zum Beispiel Text aus einer Parameterliste, der Zwischenablage, OCR-Text usw. enthalten.
KI Bildanalyse
Die KI-Bildanalyse-Aktion kann ein Bitmap zusammen mit einer Anweisung ("Prompt") an die KI-Engine senden und die Antwort in einer Variablen zur weiteren Verwendung in Ihrem Makroskript speichern.
Das Bild kann zur Laufzeit auf folgende Arten bereitgestellt werden:
- Eine Bildschirmaufnahme des Desktops/Programmfensters (Region)
- Eine durch den Dateipfad spezifizierte Datei (der Dateipfad kann Variablen, wie z. B. einen Zähler, enthalten)
- Eine Variable, die ein Bitmap enthält (zum Beispiel zuvor mittels Screenshot Aktion erstellt).
Sie können das Bitmap optional von der Aktion verkleinern lassen, um die KI-Analyse zu beschleunigen. Achten Sie darauf, dass das Bild groß genug ist, um wichtige Details zu erhalten.
Die KI-Antwort auf Ihre Eingabeaufforderung (die auch Variablen enthalten kann) wird in einer Variablen Ihrer Wahl gespeichert.
Anwendungsbeispiele:
- Nehmen Sie einen Screenshot auf und lassen Sie die KI die Anzahl von Elementen in der Bitmap zählen.
- Speichern Sie eine Bilddatei von Ihrer Festplatte in eine Variable und verwenden Sie diese Variable, um AI mit der Bitmap zu füttern.
- Beobachten Sie einen beliebigen Desktop-/Programmbereich und lassen Sie AI prüfen, ob ein bestimmtes Element in dieser Bitmap vorkommt.
KI Bildgenerierung
Macro Recorder kann KI Dienste nutzen, um eine Bitmap basierend auf Ihrer Beschreibung (auch bekannt als "Prompt") zu generieren und speichert das Bild in einer Variable zur weiteren Verwendung in Macro Recorder.
Die Variable, die das Bild enthält, kann dann zum Beispiel in der Zwischenablage oder als Datei gespeichert oder von der KI-Bildverarbeitungsaktion interpretiert werden.