Remova ✅, 🔥, ✈, ♛ e outros emojis / imagens / sinais de strings Java

Eu tenho algumas cordas com todos os tipos de emojis / imagens / sinais diferentes.

Nem todas as strings estão em inglês - algumas delas estão em outros idiomas não latinos, por exemplo:

▓ railway??
→ Cats and dogs
I'm on 🔥
Apples ⚛ 
✅ Vi sign
♛ I'm the king ♛ 
Corée ♦ du Nord ☁  (French)
 gjør at både ◄╗ (Norwegian)
Star me ★
Star ⭐ once more
早上好 ♛ (Chinese)
Καλημέρα ✂ (Greek)
another ✓ sign ✓
добрай раніцы ✪ (Belarus)
◄ शुभ प्रभात ◄ (Hindi)
✪ ✰ ❈ ❧ Let's get together ★. We shall meet at 12/10/2018 10:00 AM at Tony's.❉

... e muito mais.

Gostaria de me livrar de todos esses sinais / imagens e manter apenas as letras (e pontuação) nos diferentes idiomas.

Tentei limpar os sinais usando a biblioteca EmojiParser :

String withoutEmojis = EmojiParser.removeAllEmojis(input);

O problema é que o EmojiParser não consegue remover a maioria dos sinais. O sinal ♦ é o único que encontrei até agora que foi removido. Outros sinais como ✪ ❉ ★ ✰ ❈ ❧ ❋ ⓡ ✿ ♛ 🔥 não são removidos.

Existe uma maneira de remover todos esses sinais das seqüências de caracteres de entrada e mantendo apenas as letras e a pontuação nos diferentes idiomas ?

Em vez de colocar alguns elementos na lista negra, que tal criar uma lista branca dos personagens que você deseja manter? Dessa forma, você não precisa se preocupar com a adição de novos emojis.

String characterFilter = "[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]";
String emotionless = aString.replaceAll(characterFilter,"");

Assim:

• [\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]é um intervalo que representa todos os caracteres numéricos ( \\p{N}), letra ( \\p{L}), marca ( \\p{M}), pontuação ( \\p{P}), espaço em branco / separador ( \\p{Z}), outra formatação ( \\p{Cf}) e outros caracteres acima U+FFFFnos caracteres Unicode ( \\p{Cs}) e nova linha ( \\s). inclui \\p{L}especificamente os caracteres de outros alfabetos, como cirílico, latino, kanji etc.
• O ^conjunto de caracteres regex nega a correspondência.

Exemplo:

String str = "hello world _# 皆さん、こんにちは！　私はジョンと申します。🔥";
System.out.print(str.replaceAll("[^\\p{L}\\p{M}\\p{N}\\p{P}\\p{Z}\\p{Cf}\\p{Cs}\\s]",""));
// Output:
//   "hello world _# 皆さん、こんにちは！　私はジョンと申します。"

Se precisar de mais informações, consulte a documentação do Java para regexes.

Eu não sou muito apaixonado por Java, então não tentarei escrever um exemplo de código embutido, mas a maneira como faria isso é verificar o que o Unicode chama de "a categoria geral" de cada caractere. Existem algumas categorias de letras e pontuação.

Você pode usar Character.getType para encontrar a categoria geral de um determinado caractere. Você provavelmente deve reter os caracteres que se enquadram nestas categorias gerais:

COMBINING_SPACING_MARK
CONNECTOR_PUNCTUATION
CURRENCY_SYMBOL
DASH_PUNCTUATION
DECIMAL_DIGIT_NUMBER
ENCLOSING_MARK
END_PUNCTUATION
FINAL_QUOTE_PUNCTUATION
FORMAT
INITIAL_QUOTE_PUNCTUATION
LETTER_NUMBER
LINE_SEPARATOR
LOWERCASE_LETTER
MATH_SYMBOL
MODIFIER_LETTER
MODIFIER_SYMBOL
NON_SPACING_MARK
OTHER_LETTER
OTHER_NUMBER
OTHER_PUNCTUATION
PARAGRAPH_SEPARATOR
SPACE_SEPARATOR
START_PUNCTUATION
TITLECASE_LETTER
UPPERCASE_LETTER

(Todos os caracteres que você listou como especificamente querendo remover têm categoria geral OTHER_SYMBOL, que eu não incluí na lista de permissões da categoria acima.)

Com base na Lista completa de Emojis, v11.0, você tem 1644 pontos de código Unicode diferentes para remover. Por exemplo, ✅está nesta lista como U+2705.

Tendo a lista completa de emojis, você precisa filtrá-los usando pontos de código . A iteração sobre um único charou bytenão funcionará, pois um ponto de código único pode abranger vários bytes. Como o Java usa emojis UTF-16, normalmente leva dois chars.

String input = "ab✅cd";
for (int i = 0; i < input.length();) {
  int cp = input.codePointAt(i);
  // filter out if matches
  i += Character.charCount(cp); 
}

O mapeamento do ponto de código Unicode U+2705para Java inté direto:

int viSign = 0x2705;

ou como o Java suporta Unicode Strings:

int viSign = "✅".codePointAt(0);

ICU4J é seu amigo.

UCharacter.hasBinaryProperty(UProperty.EMOJI);

Lembre-se de manter sua versão do icu4j atualizada e observe que isso filtrará apenas emojis Unicode oficiais, não caracteres simbólicos. Combine com a filtragem de outros tipos de caracteres, conforme desejado.

Mais informações: http://icu-project.org/apiref/icu4j/com/ibm/icu/lang/UProperty.html#EMOJI

Dei alguns exemplos abaixo e pensei que o latim é suficiente, mas ...

Existe uma maneira de remover todos esses sinais da string de entrada e manter apenas as letras e a pontuação nos diferentes idiomas?

Após a edição, desenvolveu uma nova solução, usando o Character.getTypemétodo, e essa parece ser a melhor opção.

package zmarcos.emoji;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class TestEmoji {

    public static void main(String[] args) {
        String[] arr = {"Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string",
            "→ Cats and dogs",
            "I'm on 🔥",
            "Apples ⚛ ",
            "✅ Vi sign",
            "♛ I'm the king ♛ ",
            "Star me ★",
            "Star ⭐ once more",
            "早上好 ♛",
            "Καλημέρα ✂"};
        System.out.println("---only letters and spaces alike---\n");
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Character.isLetter(cp) || Character.isWhitespace(cp)).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks white---\n");
        Set<Character.UnicodeBlock> whiteList = new HashSet<>();
        whiteList.add(Character.UnicodeBlock.BASIC_LATIN);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> whiteList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }

        System.out.println("\n---unicode blocks black---\n");
        Set<Character.UnicodeBlock> blackList = new HashSet<>();        
        blackList.add(Character.UnicodeBlock.EMOTICONS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_TECHNICAL);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_ARROWS);
        blackList.add(Character.UnicodeBlock.MISCELLANEOUS_SYMBOLS_AND_PICTOGRAPHS);
        blackList.add(Character.UnicodeBlock.ALCHEMICAL_SYMBOLS);
        blackList.add(Character.UnicodeBlock.TRANSPORT_AND_MAP_SYMBOLS);
        blackList.add(Character.UnicodeBlock.GEOMETRIC_SHAPES);
        blackList.add(Character.UnicodeBlock.DINGBATS);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> !blackList.contains(Character.UnicodeBlock.of(cp))).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
        System.out.println("\n---category---\n");
        int[] category = {Character.COMBINING_SPACING_MARK, Character.COMBINING_SPACING_MARK, Character.CONNECTOR_PUNCTUATION, /*Character.CONTROL,*/ Character.CURRENCY_SYMBOL,
            Character.DASH_PUNCTUATION, Character.DECIMAL_DIGIT_NUMBER, Character.ENCLOSING_MARK, Character.END_PUNCTUATION, Character.FINAL_QUOTE_PUNCTUATION,
            /*Character.FORMAT,*/ Character.INITIAL_QUOTE_PUNCTUATION, Character.LETTER_NUMBER, Character.LINE_SEPARATOR, Character.LOWERCASE_LETTER,
            /*Character.MATH_SYMBOL,*/ Character.MODIFIER_LETTER, /*Character.MODIFIER_SYMBOL,*/ Character.NON_SPACING_MARK, Character.OTHER_LETTER, Character.OTHER_NUMBER,
            Character.OTHER_PUNCTUATION, /*Character.OTHER_SYMBOL,*/ Character.PARAGRAPH_SEPARATOR, /*Character.PRIVATE_USE,*/
            Character.SPACE_SEPARATOR, Character.START_PUNCTUATION, /*Character.SURROGATE,*/ Character.TITLECASE_LETTER, /*Character.UNASSIGNED,*/ Character.UPPERCASE_LETTER};
        Arrays.sort(category);
        for (String input : arr) {
            int[] filtered = input.codePoints().filter((cp) -> Arrays.binarySearch(category, Character.getType(cp)) >= 0).toArray();
            String result = new String(filtered, 0, filtered.length);
            System.out.println(input);
            System.out.println(result);
        }
    }

}

Resultado:

---only letters and spaces alike---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove      and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
Im on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 Im the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---unicode blocks white---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛

Καλημέρα ✂


---unicode blocks black---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
→ Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

---category---

Remove ✅, 🔥, ✈ , ♛ and other such signs from Java string
Remove , ,  ,  and other such signs from Java string
→ Cats and dogs
 Cats and dogs
I'm on 🔥
I'm on 
Apples ⚛ 
Apples  
✅ Vi sign
 Vi sign
♛ I'm the king ♛ 
 I'm the king  
Star me ★
Star me 
Star ⭐ once more
Star  once more
早上好 ♛
早上好 
Καλημέρα ✂
Καλημέρα 

O código funciona transmitindo a String para pontos de código. Em seguida, use lambdas para filtrar caracteres em umint matriz, convertemos a matriz em String.

As letras e os espaços estão usando o método Character para filtrar, não é bom com pontuação. Falha na tentativa .

O unicode bloqueia o filtro branco usando os blocos unicode que o programador especifica conforme permitido. Falha na tentativa .

O unicode bloqueia o filtro preto usando os blocos unicode que o programador especifica como não permitido. Falha na tentativa .

O filtro de categoria usando o método estático Character.getType. O programador pode definir na categorymatriz que tipos são permitidos. TRABALHOS 😨😱😰😲😀.

Experimente este projeto simple-emoji-4j

Compatível com Emoji 12.0 (2018.10.15)

Simples com:

EmojiUtils.removeEmoji(str)

Use um plugin jQuery chamado RM-Emoji. Veja como funciona:

$('#text').remove('emoji').fast()

Esse é o modo rápido que pode perder alguns emojis, pois usa algoritmos heurísticos para encontrar emojis no texto. Use o .full()método para verificar a seqüência inteira e remover todos os emojis garantidos.