Aller au contenu principal

Modérations

POST /v1/moderations

Classifie le texte/les images selon des politiques de sécurité à des fins de modération de contenu, en renvoyant des indicateurs par catégorie et des scores de confiance.

RequestREQUEST
POSThttps://test.kailin.com.cn/v1/moderations
ResponseRESPONSE
Fill in the request and hit Send — the response shows up here

Requête​

curl https://test.kailin.com.cn/v1/moderations \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-your-token" \
-d '{
"model": "omni-moderation-latest",
"input": "text to review"
}'

Corps de la requête​

ParamètreTypeObligatoireDescription
modelstringNonomni-moderation-latest par défaut, prend en charge la saisie multimodale
inputstring / arrayOuiTexte à examiner ; en multimodal, passez un tableau de contenu

Saisie multimodale (texte + image) :

{
"model": "omni-moderation-latest",
"input": [
{ "type": "moderation_text", "text": "some text" },
{ "type": "moderation_image", "image_url": "https://example.com/img.jpg" }
]
}

Réponse​

{
"id": "modr-abc123",
"model": "omni-moderation-latest",
"results": [
{
"flagged": false,
"categories": {
"harassment": false,
"hate": false,
"sexual": false,
"violence": false
},
"category_scores": {
"harassment": 0.0001,
"hate": 0.0001,
"sexual": 0.0002,
"violence": 0.0003
}
}
]
}
ChampDescription
results[].flaggedIndique si le contenu a enfreint une politique
results[].categoriesRésultats booléens par catégorie (d'autres catégories existent, ex. harassment_threatening, self-harm)
results[].category_scoresScore de confiance de 0 à 1 par catégorie

Utilisation typique​

def check(text: str) -> bool:
resp = client.moderations.create(model="omni-moderation-latest", input=text)
return resp.results[0].flagged # True means the content should be blocked
Remarque

La modération est gratuite ou peu coûteuse (selon le canal). Appelez-la à la fois sur l'entrée utilisateur et sur la sortie du modèle pour une sécurité bidirectionnelle.