Consistência do processo de aprendizagem

Eu tenho duas perguntas relacionadas ao conceito de "consistência da aprendizagem" para aqueles que estão familiarizados com a teoria estatística da aprendizagem à la Vapnik.

Questão 1.
O processo de aprendizado é chamado de consistente (para a classe de funções$\mathcal{F}$ e distribuição de probabilidade $P$) E se

Essas duas condições são independentes. Na p. 83 da "Teoria Estatística da Aprendizagem" de Vapnik, há um exemplo de um conjunto de classificadores$\mathcal{F}$de modo que a segunda convergência ocorra, mas a primeira não. Eu estava pensando em um exemplo de um conjunto de classificadores, de modo que a primeira convergência ocorre, mas a segunda não, e não consegui encontrar nada. Alguém pode me ajudar aqui?

Questão 2.
O processo de aprendizado é chamado de consistência não trivial (ou consistentemente consistente) (para a classe de funções$\mathcal{F}$ e distribuição de probabilidade $P$) se para qualquer número real $c \in R$ tal que definir $\Lambda(c) = \{ f | R(f) \geq c \}$ não está vazio, temos:

O P. 81 da "Teoria Estatística da Aprendizagem" de Vapnik fornece uma ilustração de por que queremos considerar consistência estrita em vez da consistência definida na Questão 1, ou seja, por que queremos introduzir $\Lambda(c)$ e considere $\inf_{f \in \Lambda(c)}$ para qualquer $c$. Todos os outros textos que consideram consistência estrita essencialmente duplicam a ilustração de Vapnik quando querem explicar a lógica por trás do conceito de consistência estrita. No entanto, não estou muito satisfeito com a ilustração de Vapnik por dois motivos: primeiro, é feito em termos de funções de perda$Q(z, \alpha)$e não os classificadores; e, segundo, Fig. 3.2. do livro realmente não faz sentido quando consideramos a função de perda comum para problemas de classificação, ou seja, a função que é igual a 0 quando o rótulo de classe previsto é igual ao rótulo de classe real e a 1 caso contrário.

Então, é possível dar outra ilustração, mais sensata, da lógica por trás do conceito de consistência estrita? Essencialmente, precisamos de um exemplo de um conjunto de classificadores para que esses classificadores não sejam consistentes (em termos da definição da Questão 1) e de um novo classificador que tenha um desempenho melhor do que qualquer um dos classificadores do conjunto, para que, quando adicionarmos esses classificadores para o conjunto, acabamos com o caso de "consistência trivial". Alguma ideia?

Para sua pergunta 1, eu tenho um exemplo, mas requer que a função de perda aceite o valor $\infty$. Tenho certeza de que podemos dar um exemplo que requer apenas uma função de perda ilimitada, mas seria um pouco mais trabalhoso para construir. Uma questão em aberto é se existe um exemplo com uma função de perda limitada.

Considere a configuração de classificação, onde a distribuição de probabilidade $P$ está em um espaço $\mathcal{Z}=\mathcal{X}\times\{0,1\}$. Vamos denotar um exemplo por$z=(x,y)$com $x\in\mathcal{X}$ e $y\in\{0,1\}$. Deixei$\mathcal{F}=\mathcal{X}^{\{0,1\}}$ ser o espaço de todas as funções de classificação em $\mathcal{X}$. Definir a função de perda

Agora, suponha $\mathcal{X}=\left\{ x_{1},x_{2},\ldots\right\}$ é um conjunto infinitamente contável, e vamos $P$ qualquer distribuição de probabilidade para a qual $P(\{x_{i}\})>0$ para todos $i=1,2,\ldots$. Além disso, vamos assumir que existe uma função de classificação determinística, ou seja, existe $c\in\mathcal{F}$ para qual $y_{i}=c(x_{i})$ para $i=1,2,...$. Isso implica que$\inf_{f\in\mathcal{F}}R(f)=0$.

Então para cada $l$, $R_{emp}(f_{l}^{*})=0$, mas $R(f_{l}^{*})=\infty$ (a menos que haja uma escolha extremamente sortuda de $f_{l}^{*}$ entre todos aqueles $f\in\mathcal{F}$ que têm $0$erro empírico). portanto$R_{emp}(f_{l}^{*})\to\inf_{f\in\mathcal{F}}R(f)$, mas $R(f_{l}^{*})$ não converge para esse valor.

Para a questão 2, concordo que o exemplo dele não parece se aplicar ao caso de classificação e não vejo uma maneira óbvia de fazer esse exemplo.