Modérations
Classifie le texte/les images selon des politiques de sécurité à des fins de modération de contenu, en renvoyant des indicateurs par catégorie et des scores de confiance.
RequestREQUEST
POST
https://test.kailin.com.cn/v1/moderationsResponseRESPONSE
Fill in the request and hit Send — the response shows up here
Requête
curl https://test.kailin.com.cn/v1/moderations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-your-token" \
-d '{
"model": "omni-moderation-latest",
"input": "text to review"
}'
Corps de la requête
| Paramètre | Type | Obligatoire | Description |
|---|---|---|---|
model | string | Non | omni-moderation-latest par défaut, prend en charge la saisie multimodale |
input | string / array | Oui | Texte à examiner ; en multimodal, passez un tableau de contenu |
Saisie multimodale (texte + image) :
{
"model": "omni-moderation-latest",
"input": [
{ "type": "moderation_text", "text": "some text" },
{ "type": "moderation_image", "image_url": "https://example.com/img.jpg" }
]
}
Réponse
{
"id": "modr-abc123",
"model": "omni-moderation-latest",
"results": [
{
"flagged": false,
"categories": {
"harassment": false,
"hate": false,
"sexual": false,
"violence": false
},
"category_scores": {
"harassment": 0.0001,
"hate": 0.0001,
"sexual": 0.0002,
"violence": 0.0003
}
}
]
}
| Champ | Description |
|---|---|
results[].flagged | Indique si le contenu a enfreint une politique |
results[].categories | Résultats booléens par catégorie (d'autres catégories existent, ex. harassment_threatening, self-harm) |
results[].category_scores | Score de confiance de 0 à 1 par catégorie |
Utilisation typique
def check(text: str) -> bool:
resp = client.moderations.create(model="omni-moderation-latest", input=text)
return resp.results[0].flagged # True means the content should be blocked
Remarque
La modération est gratuite ou peu coûteuse (selon le canal). Appelez-la à la fois sur l'entrée utilisateur et sur la sortie du modèle pour une sécurité bidirectionnelle.