Diese Dokumentation bezieht sich auf Macro Recorder v4 beta. Klicken Sie hier für die Dokumentation der Produktionsversion 3.
KI
Macro Recorder integriert den Zugriff auf den Online-Dienst OpenAI und die selbst gehostete KI-Engine "Ollama" für Ihre Automatisierungsprojekte.
"OpenAI" ist ein kostenpflichtiger Onlinedienst eines Drittanbieters. Ein API-Schlüssel ist erforderlich, um OpenAI in Macro Recorder nutzen zu können. Ihre Anfragen werden an OpenAI gesendet und die Antwort der KI Engine zur weiteren Verwendung zurückgesendet.
"Ollama" ist eine kostenlose Software eines Drittanbieters, die auf Ihrem Computer betrieben wird. Keine Daten verlassen hierbei Ihren Rechner.
Macro Recorder sie führt selbst keine KI-Verarbeitung durch, sondern integriert KI-Engines von Drittanbietern in die Benutzeroberfläche. Dies erfordert eine einmalige Einrichtung in Macro Recorder.
Aufgrund des frühen Stadiums der KI-Technologie kann die KI-Textausgabe unsinnig sein, und die Funktion wird als experimentell betrachtet. Sie wird "so wie sie ist" bereitgestellt und ist nicht Teil der offiziellen Macro Recorder spezifikation.
KI Textbearbeitung
Mit dieser KI-Textbearbeitungsaktion können Sie den Text, der als Eingabe übergeben wird, mit einem "Prompt" an die KI Engine (OpenAI oder Ollama) senden, und die Antwort in einer Variablen zur weiteren Verwendung in Ihrem Makro speichern:
Anwendungsbeispiele:
- Extrahieren Sie mittels Texterkennung (OCR) Text von einer beliebigen Stelle einer Website und füttern Sie die KI Engine damit, um einen Blog-Artikel auf Basis des extrahierten Textes zu erstellen.
- Lesen Sie aus einer Textdatei zeilenweise OpenAI-Prompts und lassen Sie Macro Recorder das Ergebnis einfügen, wo immer benötigt.
- Geben Sie einen Text ein und fügen Sie die von OpenAI generierten Varianten nach Bedarf in Programme ein.
Sie können einen beliebigen statischen Text eingeben oder mit der rechten Maustaste in das Eingabefeld klicken, um eine oder mehrere Variablen hinzuzufügen, die zum Beispiel Text aus einer Parameterliste, der Zwischenablage, OCR-Text usw. enthalten.
KI Bildanalyse
This AI image analysis action can send a a bitmap image together with an instruction ("prompt") to the AI angine and save the answer into a variable for further use in your macro script.
The image can be provided at runtime by either:
- A desktop/program window (region) screen capture
- A file specified by its file path (which may contain variables, such as a counter)
- A variable that contains a bitmap.
You can optionally scale-down the bitmap to speed up the AI analysis. Make sure that the image is big enough to preserve critical details.
The AI answer based on your prompt (that may also contain variables) will be stored in a variable of your choice.
Example applications:
- Capture a screenshot and let "OpenAI Vision" count the occurrence of items in the bitmap.
- Load a bitmap file from your harddisk into a variable and use that variable to feed OpenAI Vision with the bitmap.
- Observe any desktop/program area and let OpenAI Vision check for occurrence of a particular item in that bitmap
Visual AI is limited to OpenAI at this time.
KI Bildgenerierung
Macro Recorder can utilize the OpenAI AI service to generate a bitmap based on your description (aka "prompt") and saves the picture into a variable for further use in Macro Recorder.
For example, the variable containing the image can then be stored into the clipboard, as a file or interpreted by the AI image processing action.