Rotulagem de dados
Processo de qualidade em rotulagem
Consistência num dataset não vem de esforço individual, vem de processo. Esta página descreve o nosso, etapa a etapa, incluindo o que fazemos quando anotadores discordam.
Envie um lote pequeno. Devolvemos as guidelines propostas e uma estimativa de esforço.
As etapas do processo
O mesmo caminho em todos os projetos, do primeiro lote à entrega versionada.
-
Construção das guidelines
Escrevemos a definição de cada classe, com exemplos positivos, exemplos negativos e o que fazer em caso de dúvida. Guideline sem caso de fronteira não é guideline.
-
Amostra inicial
Um lote pequeno é anotado primeiro, deliberadamente. Serve para descobrir o que a guideline não previu enquanto corrigir ainda é barato.
-
Validação dos critérios
Revê a amostra e confirma ou corrige os critérios. Só depois desse aceite começa o volume.
-
Anotação
Produção com a guideline aprovada, por anotadores formados nos critérios específicos do projeto.
-
Revisão
Segunda passagem sobre o material, verificando aderência à guideline e não apenas ausência de erro grosseiro.
-
Auditoria por amostragem
Uma fatia de cada lote é reavaliada de forma independente, para medir consistência em vez de a supor.
-
Tratamento de divergências
A discordância entre anotadores é registada e resolvida na guideline, não caso a caso. Divergência recorrente indica critério ambíguo, não anotador fraco.
-
Exportação
Conversão para o formato do seu pipeline, com verificação de integridade dos ficheiros gerados.
-
Versionamento
Cada entrega é identificada com a versão da guideline usada. Sem isso, não há como explicar porque é que dois lotes divergem.
Como medimos consistência
Qualidade que não é medida é opinião.
-
Concordância entre anotadores
O mesmo material é anotado por mais do que uma pessoa numa amostra, e a divergência é medida em vez de estimada.
-
Aderência à guideline
A revisão verifica se a anotação segue o critério escrito, inclusive quando o resultado “parece certo”.
-
Divergência por classe
Quando uma classe concentra discordância, o problema é a definição dela. É aí que a guideline é reescrita.
-
Estabilidade entre lotes
Comparação ao longo do tempo, para detetar deriva de critério antes que chegue ao modelo.
Erros comuns que o processo evita
Cada etapa acima existe porque um destes problemas é caro de corrigir depois.
-
Classe definida por exemplo único
Uma classe explicada com uma única imagem produz interpretações diferentes assim que o material varia.
-
Zona cinzenta sem regra
Se a guideline não diz o que fazer no caso duvidoso, cada anotador decide sozinho — e o modelo aprende a inconsistência.
-
Escalar antes de validar
Volume com critério errado multiplica retrabalho. É por isso que a amostra inicial não é opcional.
-
Entrega sem versão
Sem versionamento, um problema descoberto depois não pode ser rastreado até ao lote e à guideline que o geraram.
Perguntas frequentes sobre qualidade em rotulagem
O que se pergunta antes de confiar um dataset a um fornecedor.
Como tratam a divergência entre anotadores?
Registamos, resolvemos na guideline e reanotamos o material afetado. Divergência que se repete é sinal de critério ambíguo, e é o critério que corrigimos.
Dá para auditar um dataset já existente?
Sim. Avaliamos uma amostra, medimos consistência e apontamos onde os critérios divergem, antes de propor correção ou reanotação.
Quem escreve as guidelines?
Escrevemos em conjunto. Trazemos a estrutura e os casos de fronteira que costumam aparecer; traz a definição de negócio do que é certo e errado.
E se o critério mudar a meio do projeto?
Nova versão da guideline, material afetado identificado e reanotado. O importante é que a mudança fique registada, e não implícita.
Fale com a nossa equipa
Vamos compreender o seu desafio
Prefere agendar a conversa de diagnóstico? Use o link de agendamento. Ou preencha o formulário — a nossa equipa técnica responde.