O que é "entropia e ganho de informação"?

Estou lendo este livro ( NLTK ) e é confuso. Entropia é definida como : Entropia é a soma da probabilidade de cada rótulo vezes a probabilidade de log desse mesmo rótulo Como posso aplicar entropia e entropia máxima em termos de mineração de texto? Alguém pode me dar um exemplo fácil e simples...