Partage discuter avec des LLM directement sur votre serveur Discord

Karkarof

Sorcier de VeryLeak's ⚡
Administrateur
Level 5

Torrents Stats

Messages
6 666
J'aime
110 234
Trophées
3 378
Inscrit
14 Octobre 2021
Le script vous permet, à vous et à vos amis, de discuter avec des LLM directement sur votre serveur Discord. Il fonctionne avec pratiquement n'importe quel LLM, distant ou hébergé localement.


Système de chat basé sur les réponses

@ le bot pour démarrer une conversation et répondre pour continuer. Créez des conversations avec des chaînes de réponse!


Vous pouvez faire des choses comme:


Continuez votre propre conversation ou celle de quelqu'un d'autre
"Rembobiner" une conversation simplement en répondant à un message plus ancien
@ le bot en répondant à n'importe quel message sur votre serveur pour poser une question à ce sujet

En plus:


Les messages consécutifs du même utilisateur sont automatiquement enchaînés. Répondez simplement au dernier et le bot les verra tous.
Vous pouvez facilement déplacer n'importe quelle conversation vers un fil. Créez simplement un fil de discussion à partir de n'importe quel message et @ le bot à l'intérieur pour continuer.

Choisissez n'importe quel LLM

Prend en charge les modèles distants de API OpenAI, API Mistral, API anthropique et bien d'autres grâce à LiteLLM.


Ou exécutez un modèle local avec ollama, oobaboooga, Jan, Studio LM ou tout autre serveur API compatible OpenAI.


Et plus:

Prend en charge les pièces jointes d'images lors de l'utilisation d'un modèle de vision (comme gpt-4o, claude-3, llava, etc..)
Prend en charge les pièces jointes de fichiers texte
Invite système personnalisable
DM pour accès privé (non @ requis)
Prise en compte de l'identité de l'utilisateur (API OpenAI uniquement)
Réponses diffusées (devient verte une fois terminée, se divise automatiquement en messages séparés lorsqu'elle est trop longue, limitée pour empêcher la limitation du débit de Discord)
Affiche des avertissements utiles pour l'utilisateur, le cas échéant (comme "Utiliser uniquement les 20 derniers messages" lorsque la limite de messages personnalisable est dépassée)
Met en cache les données des messages dans un dictionnaire global géré par taille (pas de fuite de mémoire) et protégé par mutex par message (pas de conditions de concurrence) pour maximiser l'efficacité et minimiser les appels d'API Discord
Entièrement asynchrone
1 Fichier Python, ~200 lignes de code


Installation + source
Contenu masqué
Vous devez répondre à ce post pour accéder à ce contenu.
 
Haut Bas