Tecnologia / Técnicas para evitar imagens ofensivas em um site

Estou planejando construir um site que uma de suas principais características seja o uso de fotos. Fiquei imaginando quais técnicas existentes são usadas para impedir que imagens ofensivas (ou seja, pornografia) sejam carregadas pelos usuários. ie O que o Facebook ou Pinterest usa?

Também gostaria de saber quais seriam suas recomendações para controlar fotos ofensivas para serem carregadas no site (talvez ferramentas OpenSource ..) Considerando que esse é um projeto pessoal e será desenvolvido com um orçamento muito pequeno.

Obrigado

Não há solução tecnológica que diga que uma imagem é "ofensiva".

Você precisa considerar que "ofensivo" depende da cultura (e também de uma coisa individual) - isto é, o que você pode achar ofensivo e o que eu talvez seja provavelmente muito diferente.

Esse é um problema social e só pode ser resolvido com soluções sociais - isso pode significar moderação (ou moderação da comunidade).

Portanto - peça aos moderadores que aprovem / rejeitem cada imagem ou implantem um sistema que permita que seus usuários sinalizem imagens como ofensivas e que removam essas imagens quando um determinado limite for atingido. Você pode acompanhar os usuários que enviam essas imagens para moderá-las / bani-las também.

Existem Filtros de Conteúdo de Imagem por aí que podem impedir esse tipo de coisa. Eles aumentam o contraste da imagem, traçam as bordas e se comparam com as imagens adultas "conhecidas". Há muita pesquisa sobre o assunto ... e eu sei que há pelo menos um serviço por aí, ele me escapa agora .. mas eles estão lá fora

Algumas tentativas para isso existem como um conceito contra tipos específicos de ofensivas com base na detecção de arestas. Já vi trabalhos de pesquisa sobre o assunto, mas, na prática, tudo o que você "detectaria" seria facilmente jogável por tinturas ou qualquer coisa que rompa os contornos óbvios dos objetos.

Mesmo se você pudesse obter uma implementação funcional disso, a Internet enviaria apenas uma mancha com a pintura da marinha do estilo da Segunda Guerra Mundial para os artistas ou artistas em trajes ghillie, apenas para ser difícil.

Se você não quer dizer ofensivo como obscenidade, mas violento ou obscuro, nem acho que você poderia criar uma maneira automatizada de classificá-la, mesmo se você tivesse um processo perfeito de detecção de imagem apenas devido ao problema de ninguém concordar. quando cruza a linha.

Tudo volta ao reconhecimento de padrões. A razão pela qual temos um software de reconhecimento facial é que os rostos, na maioria das vezes, têm características semelhantes e a maioria das fotos que tiramos das pessoas as coloca de frente para a câmera. Mas isso ainda era muito difícil de desenvolver. Vamos considerar por um momento uma imagem de uma bomba atingindo um alvo povoado. Como você criaria um padrão para isso? A imagem teria uma explosão, bastante simples para um ser humano descobrir, mas bastante difícil de programar. Uma explosão pode ser de vários tamanhos, formas e cores. Digamos que você crie algum tipo de sistema baseado em regras. E se a imagem for uma explosão para o controle de avalanches nas montanhas? Isso não é violento ou ofensivo, mas conteria muitas das mesmas características.

Como muitas outras pessoas apontaram, é muito difícil definir obsceno. A Suprema Corte dos EUA tentou no caso Miller vs. Califórnia e, como resultado, temos o chamado Teste Miller, que consiste em três partes:

• Se "a pessoa comum, aplicando os padrões da comunidade contemporânea", descobriria que o trabalho, considerado como um todo, agrada ao interesse público,
• Se o trabalho descreve / descreve, de uma maneira claramente ofensiva, a conduta sexual definida especificamente pela lei estadual aplicável,
• Se a obra, tomada como um todo, não possui um valor literário, artístico, político ou científico sério

Agradável e ambíguo, torna as coisas um pouco difíceis de programar. A maioria dos sites que permitem o upload de imagens possui algum tipo de moderação humana. Por exemplo, todas as fotos postadas em sites de namoro online precisam seguir um conjunto de regras e precisam ser aprovadas manualmente.

Como outros já apontaram, existem algumas soluções tecnológicas, mas elas só o levam até o momento. Este artigo do NY Times discute como sites grandes (como o Facebook) filtram o conteúdo.

Para responder à sua pergunta: "O que o Facebook ou Pinterest usa?"

Pessoas.

Não se esqueça de que, depois de transmitir, filtrar imagens "ofensivas", você se abrirá para ações judiciais se perder uma. Você pode adicionar um botão de sinalização a cada página e estar preparado para excluir a foto ofensiva após revisá-la.