OpenLLama mit Java nutzen

Hallo an alle Profis!

Ich stelle mich gerade total doof an oder ich denke zu einfach.

Ich will im einfachen Weg ein bissel „spielen“ und hab mir hierzu folgendes ausgedacht.

Leider bringt es nur einen Fehler:
1
2
3
4
Fehler:java.io.FileNotFoundException: http://localhost:11434/api/generate

Bis Punkt 4 läuft es noch gut. Ich glaube auch das er an sich nix macht…

Ich bin für Hilfe offen! Danke erstmal

Bitte nicht lachen, aber wie mache ich das? Also das Eingeben.
Wenn ich nur per http:… Aufrufe kommt: openllama running

Aber Wie es weiter geht…??

Hallo,
Die Dokumentation sagt, dass man neben dem Prompt auch noch das Modell in der Anfrage angeben muss.

Gruß,
Steve

[quote=„steve_m, post:4, topic:9527038“]

Vielen Dank erstmal

Wo genau mache ich das?
Ich hätte das so verstanden das „latest“ genommen wird wenn ich nix angebe.

Danke schon mal im Voraus

Im Moment stückelst du ja das JSON händisch zusammen, ungefähr so:

{"prompt":"Was ist der Sinn des Lebens?"}

Wenn du das Modell mit angeben willst, würde es ungefähr so aussehen:

{"model":"modellnamehier", "prompt":"Was ist der Sinn des Lebens?"}

Das mit „latest“ gilt nur dann, wenn du mehrere Versionen von einem Modell installiert hast.
Aber so wie ich die Doku verstehe, musst du schon sagen, welches Modell du fragen möchtest, denn du könntest ja mehrere installiert haben.

Gruß,
Steve

1 Like

Hab das mal modifiziert. Jetzt kommt der Fehler

Java.net.ConnecrExeption: Connection refused: connect

Also kann die Verbindung zum Server nicht richtig aufgebaut werden. Es kann natürlich sein das ich die Kiste ans Max schiebe. Aber… Ich hab aber auch keinen Plan

Connection refused bedeutet, dass auf dem Port nichts lauscht.

Hast du den Rechner vielleicht neu gestartet und vergessen, dass LLM wieder zu starten?