Estou fazendo um curso de pós-graduação em teoria da informação e fico constantemente impressionado com a quantidade de otimização convexa existente nesse assunto. No entanto, as provas parecem evitar o uso de toda a maquinaria da teoria do relaxamento, da dualidade etc. Isso é compreensível, pois você não deseja exigir um semestre inteiro de otimização convexa para ensinar essas coisas. Mas como alguém bastante versado em otimização, sinto que estou perdendo muita elegância e intuição quando esses links não são mais explorados. Costumo notar provas que seriam bem mais curtas se você também tivesse utilizado a análise convexa.
Existem livros que cobrem mais a teoria da informação sob essa perspectiva? Estamos usando principalmente anotações de Stefan Moser, Y. Polyanskiy e Y. Wu, bem como a Teoria da informação de rede de El Gamal.
Respostas:
Os livros abaixo podem ser mais do seu agrado, mas, em geral, os textos / notas de aula são escritos para o uso (principalmente) de estudantes de pós-graduação em engenharia e não podem presumir um profundo conhecimento da análise convexa.
Os artigos de pesquisa sobre a teoria de Shannon e campos relacionados, digamos, em transações do IEEE sobre a teoria da informação, podem se encaixar melhor, embora nem sempre.
Um texto antigo que também pode ser interessante é
Wolfowitz, J., Teoremas de codificação da teoria da informação, Springer, 1960's.
fonte