Capítulo 11

Leis dos grandes números

Com os modos de convergência já distinguidos, podemos formular com precisão as leis dos grandes números. Para somas

\[ S_n=\xi _1+\cdots +\xi _n, \]

estudaremos condições sob as quais \(S_n/n\) se aproxima da média comum. As versões fraca e forte diferem justamente pelo modo de convergência envolvido.

11.1 Lei fraca dos grandes números

A lei fraca afirma a convergência de \(S_n/n\) em probabilidade. Com variâncias uniformemente limitadas, obtemos primeiro a convergência em \(\L ^2\); a desigualdade de Chebyshev fornece então a convergência em probabilidade.

Teorema 11.1 (Lei Fraca dos Grandes Números)
Sejam \(\xi _1, \xi _2,\ldots \) variáveis aleatórias independentes com \(\mathbf{E}[ \xi _k] = \mu \) e \(\operatorname {Var}(\xi _k) \leq c \lt \infty \), para todo \(k\geq 1 .\) Nestas condições, se \(S_n = \xi _1 + \xi _2 + \cdots + \xi _n\), então
\[ \dfrac {S_n}{n} \xrightarrow {\L ^2} \mu \qquad \mbox{e}\qquad \dfrac {S_n}{n} \xrightarrow {\P } \mu . \]

Demonstração ▼

Basta mostrar que

\[ \mathbf{E}\left[\left(\frac{S_n}{n}-\mu \right)^2\right]\longrightarrow 0. \]

A convergência em probabilidade seguirá da convergência em \(\L ^2\), pela desigualdade de Chebyshev.

Pela linearidade da esperança, \(\mathbf{E}\left[\dfrac {S_n}{n}\right] = \mu .\) A independência permite somar as variâncias:

\begin{align*} \mathbf{E}\left[\left(\dfrac {S_n}{n} - \mu \right)^2\right] & = \operatorname {Var}\left(\dfrac {S_n}{n}\right) = \dfrac 1{n^2}\operatorname {Var}(S_n) \\ & = \dfrac 1{n^2}(\operatorname {Var}(\xi _1) + \cdots + \operatorname {Var}(\xi _n)) \\ & \leq \dfrac {cn}{n^2}\\ & = \dfrac {c}{n} \rightarrow 0. \end{align*}

A demonstração fornece uma taxa \(O(n^{-1})\) para o erro quadrático médio e, por Chebyshev, para a probabilidade de um desvio fixo. A estimativa ainda não é somável em \(n\): para concluir convergência quase certa por Borel–Cantelli, precisaremos de outro argumento.

Observação 11.2
A demonstração permanece válida para variáveis aleatórias \(\xi _k\) não necessariamente independentes, desde que sejam duas a duas não correlacionadas. De fato, a independência foi usada apenas para escrever a variância da soma como a soma das variâncias.

A mesma ideia se estende a vetores aleatórios de dimensão finita.

Teorema 11.3 (Lei fraca dos grandes números para vetores)
Sejam \(\boldsymbol {\xi }^{(1)},\boldsymbol {\xi }^{(2)},\ldots \) vetores aleatórios i.i.d. com valores em \(\mathbb {R}^d\) e \(\mathbf{E}\| \boldsymbol {\xi }^{(1)}\| ^2\lt \infty \). Então
\[ \frac1n\sum _{i=1}^n\boldsymbol {\xi }^{(i)} \xrightarrow {\P }\mathbf{E}[\boldsymbol {\xi }^{(1)}]. \]

Demonstração ▼

Escreva \(\boldsymbol {\xi }^{(i)}=(\xi ^{(i)}_1,\ldots ,\xi ^{(i)}_d)\). Cada sequência de coordenadas \(\xi ^{(1)}_j,\xi ^{(2)}_j,\ldots \) satisfaz as hipóteses do Teorema 11.1; logo, para todo \(j\),

\[ \frac1n\sum _{i=1}^n\xi ^{(i)}_j\xrightarrow {\P }\mathbf{E}[\xi ^{(1)}_j]. \]

Para a norma do máximo e qualquer \(\varepsilon \gt 0\), a probabilidade de que o vetor se afaste de sua média por mais de \(\varepsilon \) é limitada pela soma das \(d\) probabilidades correspondentes às coordenadas. Como \(d\) é finito, essa soma tende a zero.

O caso dos ensaios de Bernoulli antecede historicamente as versões gerais. Nele, a média amostral é a frequência relativa de sucessos, e a lei dos grandes números dá uma forma precisa à interpretação frequentista da probabilidade.

Teorema 11.4 (Lei dos Grandes Números de Bernoulli)
Seja \(S_n\) o número de sucessos em \(n\) ensaios independentes, cada um com probabilidade de sucesso \(p\). Então \(S_n\) tem distribuição binomial com parâmetros \((n,p)\) e
\[ \dfrac {S_n}{n} \rightarrow p \]
em probabilidade, quando \(n \rightarrow \infty .\)

Demonstração ▼

Se \(\xi _k\) é a indicadora de sucesso no \(k\)-ésimo ensaio, então as variáveis \(\xi _k\) são independentes, \(S_n=\sum _{k=1}^n\xi _k\), \(\mathbf{E}[\xi _k]=p\) e \(\operatorname {Var}(\xi _k)=p(1-p)\leq 1/4\). Basta aplicar o Teorema 11.1.

Exemplo 11.5
Para uma moeda equilibrada, a proporção de caras converge em probabilidade para \(1/2\). A lei controla a frequência acumulada; ela não faz uma previsão sobre o resultado do próximo lançamento.

Podemos dispensar a hipótese de variância finita se, em contrapartida, supusermos que as variáveis aleatórias \( \xi _k \) são identicamente distribuídas. A ferramenta será o método de truncamento de Markov: primeiro controlamos variáveis limitadas e depois estimamos a contribuição das caudas.

Mais adiante, um exercício apresenta uma extensão para somas independentes não necessariamente identicamente distribuídas.

Teorema 11.6 (Método de Truncamento de Markov)
Seja \(\xi \) integrável e, para \(M\gt 0\), defina
\[ \xi ^{(M)} = \xi \mathbb {1}_{\{ |\xi |\leq M\} }. \]
Então:
  • \(|\xi ^{(M)}|\leq M\) e \(|\xi ^{(M)}|\leq |\xi |\);

  • \(\xi ^{(M)}\to \xi \) pontualmente quando \(M\to \infty \);

  • \(\xi ^{(M)}\) possui momentos de todas as ordens;

  • \begin{equation} \label{nov21} \mathbf{E}[\xi ^{(M)}]\longrightarrow \mathbf{E}[\xi ], \qquad \mathbf{E}|\xi ^{(M)}-\xi |\longrightarrow 0 \qquad (M\to \infty ). \tag{11.1} \end{equation}

Demonstração ▼

As duas primeiras afirmações seguem diretamente da definição. Além disso, para todo \(r\gt 0\), \(|\xi ^{(M)}|^r\leq M^r\), de modo que todos os momentos são finitos.

\[ \mathbf{E}\big[|\xi ^{(M)}|^r\big]\leq M^r\lt \infty . \]

Por fim, \(|\xi ^{(M)}|\leq |\xi |\) e \(\xi ^{(M)}\to \xi \); como \(\xi \) é integrável, o Teorema da Convergência Dominada dá a convergência das esperanças. Aplicando-o também a \(|\xi ^{(M)}-\xi |=|\xi |\mathbb {1}_{\{ |\xi |\gt M\} }\), obtemos (11.1).

Corolário 11.7
Se \(\xi \) é integrável,
\[ \mathbf{E}\left[ |\xi | \cdot \mathbf{1}_{\{ |\xi | \gt M\} }\right] \rightarrow 0 \text{ quando } M \rightarrow \infty . \]

Demonstração ▼

Pela definição do truncamento,

\[ |\xi -\xi ^{(M)}|=|\xi |\mathbb {1}_{\{ |\xi |\gt M\} }. \]

A conclusão é exatamente (11.1).

Teorema 11.8 (Lei Fraca dos Grandes Números)
Se \(\xi _1,\xi _2,\ldots \) são i.i.d. e integráveis, com \(\mu =\mathbf{E}[\xi _1]\), então, para \(S_n=\xi _1+\cdots +\xi _n\),
\[ \frac{S_n}{n}\xrightarrow {\P }\mu . \]

Demonstração ▼

Para \(M\gt 1\), defina

\[ \xi _k^{(M)}:=\xi _k\mathbf{1}_{\{ |\xi _k|\leq M\} }, \qquad S_n^{(M)}:=\sum _{k=1}^n\xi _k^{(M)}. \]

As variáveis \(\xi _k^{(M)}\) continuam i.i.d. e

\[ \operatorname {Var}(\xi _k^{(M)})\leq \mathbf{E}[(\xi _k^{(M)})^2]\leq M^2. \]

Pelo Teorema 11.1,

\[ \frac{S_n^{(M)}}n\xrightarrow {\L ^2}\mathbf{E}[\xi _1^{(M)}]. \]

Em particular, por Cauchy–Schwarz,

\[ \mathbf{E}\left|\frac{S_n^{(M)}}n-\mathbf{E}[\xi _1^{(M)}]\right|\longrightarrow 0. \]

Pela desigualdade triangular e pela distribuição comum,

\[ \mathbf{E}\left| \dfrac {S_n}{n} - \mathbf{E}[ \xi _1]\right| \leq \mathbf{E}\left|\dfrac {S_n^{(M)}}{n} - \mathbf{E}[ \xi _1^{(M)}]\right| +2\mathbf{E}|\xi _1-\xi _1^{(M)}|. \]

Portanto, para todo \(M\) fixo,

\[ \limsup _{n\to \infty }\mathbf{E}\left|\frac{S_n}{n}-\mu \right| \leq 2\mathbf{E}|\xi _1-\xi _1^{(M)}|. \]

Fazendo \(M\to \infty \) e usando (11.1), concluímos na verdade que \(S_n/n\to \mu \) em \(\L ^1\) e, portanto, em probabilidade.

11.2 Desigualdade maximal de Kolmogorov

A lei fraca controla a soma num instante fixo. Uma ferramenta clássica para passar desse controle pontual ao comportamento das somas parciais é estimar o maior desvio ocorrido até um dado instante. A desigualdade maximal de Kolmogorov fornece esse controle.

Teorema 11.9 (Desigualdade maximal de Kolmogorov)

Seja \( (\xi _n) _{n \ge 1} \) uma sequência de variáveis aleatórias independentes, definidas no mesmo espaço de probabilidade, com esperança \(0\) e variância finita. Seja \(S_n = \sum _{k = 1} ^n \xi _k \). Então para \( \lambda \gt 0 \),

\[ \displaystyle \P \left(\max _{1 \le k \le n} \big| S_k \big| \ge \lambda \right) \le \frac{\operatorname {Var}(S_n)}{\lambda ^2} \]

Demonstração ▼

O evento \( \{ \max _{1 \le k \le n} | S_k | \ge \lambda \} \) é a união disjunta dos eventos

\[ A_k = \{ | S_k | \ge \lambda , | S_j | \lt \lambda \text{ para } j \lt k \} ,\ k = 1, \ldots , n. \]

Para cada \(k=1,\ldots ,n\), \(S_n-S_k=\xi _{k+1}+\cdots +\xi _n\), que é independente da \(\sigma \)-álgebra gerada por \(\xi _1,\ldots ,\xi _k\). Em particular, é independente de \(S_k\mathbb {1}_{A_k}\).

Como \(\mathbf{E}[S_n-S_k]=0\), a independência fornece

\[ \mathbf{E}[S_k(S_n-S_k)\mathbb {1}_{A_k}] =\mathbf{E}[S_k\mathbb {1}_{A_k}]\, \mathbf{E}[S_n-S_k]=0. \]

No evento \(A_k\), vale \(\lambda ^{-2}S_k^2\geq 1\), de modo que \(\mathbb {1}_{A_k}\leq \lambda ^{-2}S_k^2\mathbb {1}_{A_k} \), e

\begin{align*} \P (A_k) & \leq \lambda ^{-2}\mathbf{E}[S_k^2\mathbb {1}_{A_k}] \\ & \leq \lambda ^{-2} \mathbf{E}[(S_k^2+(S_n-S_k)^2)\mathbb {1}_{A_k}] \\ & = \lambda ^{-2} \mathbf{E}[(S_k+S_n-S_k)^2\mathbb {1}_{A_k}], \end{align*}

onde a última igualdade decorre do termo misto nulo calculado acima.

Portanto,

\[ \P (A_k)\leq \lambda ^{-2}\mathbf{E}[S_n^2\mathbb {1}_{A_k}]. \]

Somando sobre os eventos disjuntos \(A_k\), encontramos

\[ \P \left(\max _{1\leq k\leq n}|S_k|\geq \lambda \right) \leq \lambda ^{-2} \mathbf{E}\left[S_n^2\mathbb {1}_{\{ \max _{1\leq k\leq n}|S_k|\geq \lambda \} }\right] \leq \lambda ^{-2}\mathbf{E}[S_n^2]. \]

Como \(\mathbf{E}[S_n]=0\), temos \(\mathbf{E}[S_n^2]=\operatorname {Var}(S_n)\), e a conclusão segue.

11.3 Lei forte dos grandes números

Na lei fraca, o conjunto em que a média se afasta de \(\mu \) pode mudar com \(n\); exigimos apenas que sua probabilidade tenda a zero. A lei forte afirma algo sobre a sequência inteira: para variáveis i.i.d. integráveis,

\[ \dfrac {S_n} {n} \rightarrow \mu \text{ q.c.} \]

Começaremos pelo caso de quarto momento finito. A estimativa resultante será somável, o que permitirá aplicar Borel–Cantelli; depois removeremos essa hipótese adicional.

Teorema 11.10 (Lei Forte dos Grandes Números - I)
Sejam \( \xi _1, \xi _2, \ldots \) variáveis aleatórias i.i.d. com esperança \(\mu \) e assuma \( \mathbf{E}\left[ \xi _k ^4\right] \lt \infty .\) Então, \( S_n = \xi _1 + \xi _2 + \cdots + \xi _n \) satisfaz
\[ \dfrac {S_n} {n} \rightarrow \mu \text{ quase certamente}. \]

Demonstração ▼

Comecemos pelo caso \(\mu =0\). O caso geral segue ao aplicar esse caso às variáveis centradas \(\xi _k-\mu \), que ainda são i.i.d. e têm quarto momento finito.

Na expansão

\[ \mathbf{E}[S_n^4]=\sum _{1\leq i,j,k,\ell \leq n}\mathbf{E}[\xi _i\xi _j\xi _k\xi _\ell ], \]

todo termo em que algum índice aparece uma única vez é nulo, por independência e pelo fato de \(\mathbf{E}[\xi _i]=0\). Restam os \(n\) termos com os quatro índices iguais e, para cada par de índices distintos, as seis ordenações que os fazem aparecer duas vezes cada. Portanto,

\[ \mathbf{E}[S_n^4] =n\mathbf{E}[\xi _1^4]+6\binom n2\mathbf{E}[\xi _1^2\xi _2^2]. \]

Como a independência dá \(\mathbf{E}[\xi _1^2\xi _2^2]=(\mathbf{E}[\xi _1^2])^2\leq \mathbf{E}[\xi _1^4]\), existe \(C\lt \infty \) tal que

\[ \mathbf{E}[S_n^4]\leq 3Cn^2. \]

Consequentemente, pela desigualdade de Markov aplicada a \(S_n^4\),

\[ \P \left(\left|\frac{S_n}{n}\right|\gt \varepsilon \right) \leq \frac{3C}{\varepsilon ^4n^2}. \]

A série do lado direito é convergente. Pelo primeiro lema de Borel–Cantelli, para cada \(m\geq 1\),

\[ \P \left(\left|\frac{S_n}{n}\right|\gt \frac1m\ \text{infinitas vezes}\right)=0. \]

Fora da união enumerável desses eventos nulos, para cada \(m\) existe um índice a partir do qual \(|S_n/n|\leq 1/m\). Portanto \(S_n/n\to 0\) quase certamente.

O resultado se estende a vetores de dimensão finita pela aplicação do caso escalar a cada coordenada.

Teorema 11.11 (Lei Forte dos Grandes Números)
Sejam \(\boldsymbol {\xi }^{(1)},\boldsymbol {\xi }^{(2)},\ldots \) vetores aleatórios i.i.d. com valores em \(\mathbb {R}^d\) e \(\mathbf{E}\| \boldsymbol {\xi }^{(1)}\| ^4\lt \infty \). Então
\[ \frac1n\sum _{i=1}^n\boldsymbol {\xi }^{(i)} \xrightarrow {\mathrm{q.c.}}\mathbf{E}[\boldsymbol {\xi }^{(1)}]. \]

Demonstração ▼

Cada coordenada satisfaz a versão escalar precedente. Como há apenas \(d\) coordenadas, a interseção dos \(d\) eventos de probabilidade um em que as convergências coordenada a coordenada ocorrem ainda tem probabilidade um. Em dimensão finita, convergência coordenada a coordenada equivale à convergência em qualquer norma.

Proposição 11.12 (Esperança Finita é Necessária)
Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias independentes e identicamente distribuídas, com \(\mathbf{E}|\xi _1|=\infty \). Então \( S_n = \xi _1 + \xi _2 + \cdots + \xi _n \) satisfaz
\[ \P \left(\frac{S_n}{n}\ \text{convergir em }\mathbb {R}\right)=0. \]

Demonstração ▼

A fórmula das caudas, Proposição 7.24, aplicada a \(|\xi _1|\) implica

\[ \sum _{n=1}^{\infty }\P (|\xi _1|\gt n)=\infty . \]

Como as variáveis são identicamente distribuídas, a mesma série é \(\sum _n\P (|\xi _n|\gt n)\). Os eventos \(\{ |\xi _n|\gt n\} \) são independentes; portanto, o segundo lema de Borel–Cantelli dá

\[ \P (|\xi _n|\gt n\ \text{infinitas vezes})=1. \]

Por outro lado, se \(S_n/n\) convergisse em um ponto \(\omega \), então

\[ \frac{\xi _n}{n} =\frac{S_n}{n}-\frac{n-1}{n}\frac{S_{n-1}}{n-1}\longrightarrow 0. \]

Isso é incompatível com \(|\xi _n|/n\gt 1\) infinitas vezes. Logo o evento de convergência está contido no complementar de um evento de probabilidade um e, portanto, tem probabilidade zero.

Teorema 11.13 (Lei Forte dos Grandes Números de Kolmogorov)
Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias independentes e identicamente distribuídas, com \(\mathbf{E}|\xi _1|\lt \infty \) e \(\mu =\mathbf{E}[\xi _1]\). Então, para \(S_n=\xi _1+\cdots +\xi _n\),
\[ \dfrac {S_n} {n} \rightarrow \mu \quad \text{ quase certamente}. \]

Demonstração ▼

Combinaremos o truncamento com o controle das médias ao longo de uma subsequência geométrica.

Passo 1: redução ao caso não negativo. Suponha primeiro que \(\xi _k\geq 0\). Ao final, o caso geral seguirá de \(\xi _k=\xi _k^+-\xi _k^-\), pois as partes positiva e negativa são integráveis e cada uma forma uma sequência i.i.d.

Passo 2: truncamento. Defina

\[ Y_k=\xi _k\mathbf1_{\{ \xi _k\leq k\} }, \qquad T_n=\sum _{k=1}^nY_k. \]

Pela representação por camadas do Corolário 8.12,

\[ \sum _{k=1}^{\infty }\P (Y_k\neq \xi _k) =\sum _{k=1}^{\infty }\P (\xi _1\gt k) \leq \int _0^\infty \P (\xi _1\gt t)\, dt =\mathbf{E}[\xi _1]\lt \infty . \]

O primeiro lema de Borel–Cantelli mostra que \(Y_k=\xi _k\) para todo \(k\) suficientemente grande, quase certamente. Assim, \((S_n-T_n)/n\to 0\) quase certamente.

Os truncamentos \(Y_k\) são independentes, mas seus níveis de corte variam com \(k\), de modo que já não são identicamente distribuídos. Suas médias e variâncias devem, por isso, conservar esse índice. Como \(0\leq Y_k\leq k\), a mesma representação por camadas, agora com \(r=2\), dá

\begin{align*} \operatorname {Var}(Y_k) & \leq \mathbf{E}[Y_k^2] =\int _0^\infty 2t\, \P (Y_k\gt t)\, dt\\ & \leq \int _0^\infty 2t\, \P (\xi _1\gt t)\mathbf1_{\{ t\lt k\} }\, dt. \end{align*}

Por Tonelli,

\[ \sum _{k=1}^{\infty }\frac{\operatorname {Var}(Y_k)}{k^2} \leq \int _0^\infty 2t\, \P (\xi _1\gt t) \sum _{k\gt t}\frac1{k^2}\, dt\lt \infty . \]

De fato, a soma interna é limitada por uma constante para \(0\leq t\lt 1\) e por \(2/t\) para \(t\geq 1\); a última integral é, portanto, dominada por uma constante mais \(4\mathbf{E}[\xi _1]\).

Passo 3: uma subsequência geométrica. Para \(\alpha \gt 1\), ponha \(m_j=\lfloor \alpha ^j\rfloor \). Descartar um número finito de termos permite supor que \((m_j)\) é estritamente crescente e que \(m_j\geq \alpha ^j/2\). Se \(R_n=T_n-\mathbf{E}[T_n]\), então Chebyshev, a independência e Tonelli dão

\begin{align*} \sum _j\P (|R_{m_j}|\gt \varepsilon m_j) & \leq \frac1{\varepsilon ^2} \sum _j\frac1{m_j^2}\sum _{k\leq m_j}\operatorname {Var}(Y_k)\\ & =\frac1{\varepsilon ^2}\sum _{k=1}^{\infty }\operatorname {Var}(Y_k) \sum _{j:m_j\geq k}\frac1{m_j^2}\\ & \leq C_{\alpha ,\varepsilon } \sum _{k=1}^{\infty }\frac{\operatorname {Var}(Y_k)}{k^2}\lt \infty , \end{align*}

pois a soma geométrica interna é no máximo \(C_\alpha /k^2\). Aplicando Borel–Cantelli a \(\varepsilon =1/r\), \(r\in \mathbb {N}\), obtemos

\[ \frac{R_{m_j}}{m_j}\longrightarrow 0 \quad \text{quase certamente}. \]

Além disso, \(\| Y_k-\xi _k\| _1=\mathbf{E}[\xi _1\mathbf1_{\{ \xi _1\gt k\} }]\to 0\). Como \(\mathbf{E}[\xi _k]=\mu \), segue que \(\mathbf{E}[Y_k]\to \mu \) e, pelo lema de Cesàro,

\[ \frac{\mathbf{E}[T_{m_j}]}{m_j}\longrightarrow \mu . \]

Concluímos que \(T_{m_j}/m_j\to \mu \) quase certamente.

Passo 4: preenchimento das lacunas. Como \(T_n\) é crescente, se \(m_j\leq n\leq m_{j+1}\), então

\[ \frac{m_j}{m_{j+1}}\frac{T_{m_j}}{m_j} \leq \frac{T_n}{n} \leq \frac{m_{j+1}}{m_j}\frac{T_{m_{j+1}}}{m_{j+1}}. \]

Como \(m_{j+1}/m_j\to \alpha \), segue que, quase certamente,

\[ \frac\mu \alpha \leq \liminf _n\frac{T_n}{n} \leq \limsup _n\frac{T_n}{n}\leq \alpha \mu . \]

Repetindo o argumento para a sequência enumerável \(\alpha _r=1+1/r\) e fazendo \(r\to \infty \), obtemos \(T_n/n\to \mu \) quase certamente. Pelo Passo 2, o mesmo vale para \(S_n/n\).

Finalmente, para variáveis de sinal arbitrário, aplicamos o caso não negativo separadamente a \(\xi _k^+\) e \(\xi _k^-\) e subtraímos os limites.

11.4 Integração de Monte Carlo

Se \(f:[0,1]\to \mathbb {R}\) é integrável, queremos aproximar

\[ \int _0^1 f(x)\, dx. \]

Uma aproximação determinística usa uma malha prescrita. O método de Monte Carlo substitui essa malha por pontos aleatórios: sejam \(U_1,U_2,\ldots \) variáveis i.i.d. uniformes em \([0,1]\) e defina

\[ I_n=\frac1n\sum _{k=1}^n f(U_k). \]

O acaso entra apenas na escolha dos pontos. A Lei Forte dos Grandes Números mostra que essa média amostral recupera a integral.

Teorema 11.14 (Integração de Monte Carlo)
Se \(f:[0,1]\to \mathbb {R}\) é Borel-mensurável e integrável, então
\[ I_n\xrightarrow {\mathrm{q.c.}}\int _0^1f(x)\, dx. \]
Em particular, a convergência também ocorre em probabilidade.

Demonstração ▼

As variáveis \(f(U_k)\) são i.i.d. e integráveis. Como \(U_k\) tem distribuição uniforme,

\[ \mathbf{E}[f(U_k)]=\int _0^1f(x)\, dx. \]

A conclusão segue da Lei Forte dos Grandes Números de Kolmogorov.

A integrabilidade basta para garantir a convergência desse método de computação científica. Quantificar o erro é outra questão: hipóteses adicionais, como variância finita, permitem obter estimativas para amostras de tamanho finito.

11.5 Polinômios de Bernstein e o teorema de Weierstrass

As leis dos grandes números também permitem demonstrar um resultado inteiramente determinístico. A interpretação dos polinômios de Bernstein como esperanças de funções de variáveis binomiais conduz a uma prova do Teorema de Weierstrass. Esta seção é adaptada de [23].

Polinômios de Bernstein

Os polinômios de Bernstein são definidos por

\[ b_{n,j}(x)=\binom njx^j(1-x)^{n-j}, \]

para \(j=0,1,\ldots ,n\).

  • Os polinômios \(b_{n,j}\) formam uma família de \(n+1\) polinômios de grau no máximo \(n\).

  • Para \(0\lt j\lt n\), o máximo de \(b_{n,j}\) em \([0,1]\) é atingido unicamente em \(j/n\).

  • A família \(b_{n,0},\ldots ,b_{n,n}\) é uma base do espaço dos polinômios de grau no máximo \(n\).

  • Eles satisfazem a simetria \(b_{n,j}(x)=b_{n,n-j}(1-x)\), a positividade \(b_{n,j}(x)\geq 0\) em \([0,1]\) e a normalização \(\sum _{j=0}^nb_{n,j}(x)=1\).

    Figura 11.1 Polinômios de Bernstein b_(8,j), j=0,ldots ,8. A curva tracejada destaca b_(8,3). Para cada x, a soma das nove curvas é 1.

    Figura 11.1 Polinômios de Bernstein \(b_{8,j}\), \(j=0,\ldots ,8\). A curva tracejada destaca \(b_{8,3}\). Para cada \(x\), a soma das nove curvas é \(1\).

Teorema de Aproximação de Weierstrass

Associemos agora esses polinômios a uma função contínua \(f:[0,1]^d\to \mathbb {C}\), definindo

\[ B_n [f] ( \mathbf{x}) = \sum _{0 \le i_1, \dots , i_d \le n} f \left( \frac{i_1}{n}, \ldots , \frac{i_d}{n} \right) \prod _{k = 1} ^{d} \binom {n} {i_k} x_k ^{i_k} (1-x_k) ^{n-i_{k}}\, . \]

O teorema afirma que esses polinômios aproximam \(f\) uniformemente.

Figura 11.2 Aproximações de Bernstein com n=10 (à esquerda) e n=50 (à direita), produzidas pelo código de simulação que acompanha as notas.Figura 11.2 Aproximações de Bernstein com n=10 (à esquerda) e n=50 (à direita), produzidas pelo código de simulação que acompanha as notas.

Figura 11.2 Aproximações de Bernstein com \(n=10\) (à esquerda) e \(n=50\) (à direita), produzidas pelo código de simulação que acompanha as notas.

A estrutura dos polinômios torna-se mais clara com a interpretação probabilística

\[ B_n[f](\mathbf{x})=\mathbf{E}\left[f\left(\frac{\mathbf{S}_n}{n}\right)\right], \]

onde as coordenadas de \(\mathbf{S}_n\) são independentes e

\[ S_{k,n}\sim \operatorname {Bin}(n,x_k),\qquad 1\leq k\leq d. \]

A lei dos grandes números sugere a concentração de \(\mathbf{S}_n/n\) perto de \(\mathbf{x}\). Para passar dessa observação à convergência uniforme, precisamos de uma estimativa que não dependa de \(\mathbf{x}\). A desigualdade de Chebyshev fornecerá justamente esse controle.

Teorema 11.15 (Teorema de Aproximação de Weierstrass)
Sejam \(d\geq 1\) e \(f:[0,1]^d\to \mathbb C\) contínua. Defina
\[ B_n [f] ( \mathbf{x}) = \sum _{0 \le i_1, \dots , i_d \le n} f \left( \frac{i_1}{n}, \ldots , \frac{i_d}{n} \right) \prod _{k = 1} ^{d} \binom {n} {i_k} x_k ^{i_k} (1-x_k) ^{n-i_{k}} \]
para \(n\geq 1\) e \(\mathbf{x}=(x_1,\ldots ,x_d)\in [0,1]^d\). Então \(B_n[f]\to f\) uniformemente em \([0,1]^d\).

Demonstração ▼

Fixe \(\mathbf{x}=(x_1,\ldots ,x_d)\in [0,1]^d\). Para \(1\leq k\leq d\) e \(1\leq j\leq n\), sejam \(\xi _{k,j}\) variáveis independentes de Bernoulli com parâmetro \(x_k\). Ponha

\[ S_{k,n}=\sum _{j=1}^n\xi _{k,j}, \qquad \mathbf{S}_n=(S_{1,n},\ldots ,S_{d,n}). \]

A independência e a fórmula da distribuição binomial mostram, pela definição da esperança, que

\[ B_n[f](\mathbf{x}) =\mathbf{E}\left[f\left(\frac{\mathbf{S}_n}{n}\right)\right]. \]

Use a norma do máximo em \(\mathbb {R}^d\). Como

\[ \mathbf{E}\left[\frac{S_{k,n}}n\right]=x_k, \qquad \operatorname {Var}\left(\frac{S_{k,n}}n\right) =\frac{x_k(1-x_k)}n\leq \frac1{4n}, \]

a desigualdade da união e a desigualdade de Chebyshev dão, para todo \(\delta \gt 0\),

\[ \P \left(\left\| \frac{\mathbf{S}_n}{n}-\mathbf{x}\right\| _\infty \geq \delta \right) \leq \sum _{k=1}^d\P \left(\left|\frac{S_{k,n}}n-x_k\right|\geq \delta \right) \leq \frac{d}{4n\delta ^2}. \]

Essa cota não depende de \(\mathbf{x}\).

Seja \(M=\max _{\mathbf{y}\in [0,1]^d}|f(\mathbf{y})|\). Dado \(\varepsilon \gt 0\), a continuidade uniforme de \(f\) fornece \(\delta \gt 0\) tal que \(|f(\mathbf{y})-f(\mathbf{x})|\lt \varepsilon /2\) sempre que \(\| \mathbf{y}-\mathbf{x}\| _\infty \lt \delta \). Separando a esperança conforme esse evento e seu complementar, obtemos

\begin{align*} |B_n[f](\mathbf{x})-f(\mathbf{x})| & \leq \mathbf{E}\left|f\left(\frac{\mathbf{S}_n}{n}\right)-f(\mathbf{x})\right|\\ & \leq \frac\varepsilon 2 +2M\P \left(\left\| \frac{\mathbf{S}_n}{n}-\mathbf{x}\right\| _\infty \geq \delta \right)\\ & \leq \frac\varepsilon 2+\frac{Md}{2n\delta ^2}. \end{align*}

Para \(n\) suficientemente grande, o último termo é menor que \(\varepsilon /2\), uniformemente em \(\mathbf{x}\). Logo \(\| B_n[f]-f\| _\infty \to 0\).

A interpretação probabilística fornece, assim, uma prova do teorema de Weierstrass.

Uma extensão da Lei Forte: Kolmogorov e Kronecker

A Lei Forte apresentada no texto trata sobretudo de sequências i.i.d. Há uma extensão simples e útil para somas de variáveis independentes que não precisam ter a mesma distribuição. Ela repousa em três ferramentas que também voltarão a aparecer, em linguagem de martingalas, no Capítulo 15.

A ferramenta de partida é a Desigualdade Maximal de Kolmogorov, Teorema 11.9, já demonstrada no corpo do capítulo. Aqui ela será usada para obter um critério de convergência de séries e, depois, uma versão não i.i.d. da Lei Forte.

Teorema 11.16 (Critério de convergência de Kolmogorov)
Se \(X_1,X_2,\ldots \) são independentes, centradas, têm segundo momento finito e
\[ \sum _{k=1}^{\infty }\operatorname {Var}(X_k)\lt \infty , \]
então a série \(\sum _{k\geq 1}X_k\) converge quase certamente.

Demonstração ▼

Escreva \(S_n=\sum _{k\leq n}X_k\). Para \(m\lt n\), a desigualdade maximal aplicada à cauda fornece

\[ \P \left(\max _{m\lt j\leq n}|S_j-S_m|\geq r\right) \leq \frac{1}{r^2}\sum _{k=m+1}^{n}\operatorname {Var}(X_k). \]

Fazendo \(n\to \infty \) e usando continuidade da probabilidade,

\[ \P \left(\sup _{j\gt m}|S_j-S_m|\geq r\right) \leq \frac{1}{r^2}\sum _{k\gt m}\operatorname {Var}(X_k)\longrightarrow 0. \]

Se \(C_m(r)=\{ \sup _{j,\ell \geq m}|S_j-S_\ell |\gt r\} \), então \(C_m(r)\subseteq \{ \sup _{j\geq m}|S_j-S_m|\gt r/2\} \); portanto \(\P (C_m(r))\to 0\). Como \(C_m(r)\) decresce em \(m\), segue que, para cada \(r\gt 0\), quase toda trajetória é eventualmente \(r\)-Cauchy. Intersectando sobre \(r\in \mathbb {Q}_{\gt 0}\), \((S_n)\) é Cauchy quase certamente e, portanto, converge.

Lema 11.17 (Lema de Kronecker, na forma usada aqui)
Se a série \(\sum _{k\geq 1}x_k/k\) converge, então
\[ \frac1n\sum _{k=1}^n x_k\longrightarrow 0. \]

Demonstração ▼

Ponha \(T_n=\sum _{k=1}^n x_k/k\) e \(T_0=0\). Como \(x_k=k(T_k-T_{k-1})\), uma soma por partes dá

\[ \frac1n\sum _{k=1}^n x_k =T_n-\frac1n\sum _{k=1}^{n-1}T_k. \]

Se \(T_n\to T\), a média de Cesàro à direita também converge a \(T\); a diferença, portanto, tende a zero.

Exercício 11.1

Truncamento. Seja \(\xi \) uma variável aleatória integrável. Para \(M\gt 0\), defina

\[ \xi ^{(M)} =\xi \mathbb {1}_{\{ |\xi |\leq M\} }. \]

Prove que:

  • \(|\xi ^{(M)}|\leq M\) e \(|\xi ^{(M)}|\leq |\xi |\) pontualmente;

  • \(\xi ^{(M)}\to \xi \) quase certamente quando \(M\to \infty \);

  • para cada \(M\) fixo, \(\xi ^{(M)}\) possui momentos de todas as ordens;

  • \(\mathbf{E}[\xi ^{(M)}]\to \mathbf{E}[\xi ]\) quando \(M\to \infty \).

Indique explicitamente qual função domina a sequência no último item.

Ver solução
As duas cotas são imediatas da definição. Para cada valor finito de \(\xi \), \(\xi ^{(M)}=\xi \) quando \(M\gt |\xi |\), logo há convergência quase certa. Como \(|\xi ^{(M)}|\leq M\), todos os seus momentos são finitos. Finalmente, \(|\xi ^{(M)}|\leq |\xi |\in L^1\) e a Convergência Dominada dá \(\mathbf{E}[\xi ^{(M)}]\to \mathbf{E}[\xi ]\); a função dominante é \(|\xi |\).
Exercício 11.2

Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias i.i.d. com distribuição \(N(0,1)\). Prove que

\[ \frac{\xi _1^2+\cdots +\xi _n^2}{(\xi _1-1)^2+\cdots +(\xi _n-1)^2} \]

converge quase certamente e determine o limite.

Ver solução
Pela Lei Forte, \(n^{-1}\sum _{k\leq n}\xi _k^2\to \mathbf{E}\xi _1^2=1\) e \(n^{-1}\sum _{k\leq n}(\xi _k-1)^2\to \mathbf{E}(\xi _1-1)^2=2\) quase certamente. O denominador é então positivo para \(n\) grande, e o quociente converge a \(1/2\).
Exercício 11.3

Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias i.i.d. com distribuição uniforme em \((0,1)\). Prove que a média geométrica

\[ \left(\prod _{k=1}^{n}\xi _k\right)^{1/n} \]

converge quase certamente e determine o limite.

Dica. Aplique a Lei Forte dos Grandes Números a \(\log \xi _1,\log \xi _2,\ldots \) e verifique antes a integrabilidade.

Ver solução
\(\mathbf{E}|\log \xi _1|=\int _0^1-\log x\, \d x=1\) e \(\mathbf{E}\log \xi _1=-1\). Pela Lei Forte,
\[ \frac1n\log \prod _{k=1}^n\xi _k =\frac1n\sum _{k=1}^n\log \xi _k\longrightarrow -1 \]
quase certamente. Pela continuidade da exponencial, a média geométrica converge a \(e^{-1}\).
Exercício 11.4

Lei Fraca por funções geradoras de momentos. Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias i.i.d., com \(\mathbf{E}|\xi _1|\lt \infty \), e suponha que

\[ M_\xi (s)=\mathbf{E}[e^{s\xi _1}] \]

seja finita para \(s\in [-c,c]\), onde \(c\gt 0\). Defina \(\overline\xi _n=n^{-1}\sum _{k=1}^{n}\xi _k\) e \(\mu =\mathbf{E}[\xi _1]\).

  1. Prove que, para todo \(s\in [-c,c]\),

    \[ M_{\overline\xi _n}(s) =\left[M_\xi \left(\frac{s}{n}\right)\right]^n \longrightarrow e^{s\mu }. \]
  2. Reconheça o limite como a função geradora de momentos da constante \(\mu \) e conclua que \(\overline\xi _n\xrightarrow {\P }\mu \).

    Dica. Mostre que \(M_\xi (u)=1+u\mathbf{E}[\xi _1]+o(u)\) quando \(u\to 0\).

Ver solução
Independência dá \(M_{\bar\xi _n}(s)=[M_\xi (s/n)]^n\). A diferenciabilidade em zero fornece \(M_\xi (u)=1+\mu u+o(u)\); portanto
\[ n\log M_\xi (s/n)\longrightarrow s\mu \quad \text{e}\quad M_{\bar\xi _n}(s)\longrightarrow e^{s\mu }. \]
Essa é a função geradora de momentos da constante \(\mu \). Para concluir, use a cota exponencial de Markov diretamente: para \(t\in (0,c]\), a independência dá
\[ \P \bigl(\overline\xi _n\geq \mu +\varepsilon \bigr) \leq e^{-tn(\mu +\varepsilon )}M_\xi (t)^n =\bigl[e^{-t(\mu +\varepsilon )}M_\xi (t)\bigr]^{n}, \]
e de \(M_\xi (t)=1+\mu t+o(t)\) segue \(e^{-t(\mu +\varepsilon )}M_\xi (t)=1-t\varepsilon +o(t)\), que é \(\lt 1\) para \(t\gt 0\) pequeno. Logo a probabilidade decai geometricamente em \(n\). Aplicando o mesmo a \(-\xi _k\) controla-se a cauda inferior, e portanto \(\overline\xi _n\xrightarrow {\P }\mu \).
Exercício 11.5

Sejam \(\xi _1,\xi _2,\ldots \) variáveis aleatórias independentes com

\[ \mathbf{E}[\xi _k]=0, \qquad \sigma _k^2=\operatorname {Var}(\xi _k)\lt \infty . \]

Para \(S_n=\sum _{k=1}^{n}\xi _k\), prove que

\[ \sum _{k=1}^{\infty }\frac{\sigma _k^2}{k^2}\lt \infty \quad \Longrightarrow \quad \frac{S_n}{n}\xrightarrow {q.c.}0. \]

Dica. Aplique o Teorema 11.16 à série \(\sum _k\xi _k/k\) e depois o Lema 11.17.

Ver solução
As variáveis \(\xi _k/k\) são independentes, centradas, e a soma de suas variâncias é \(\sum _k\sigma _k^2/k^2\lt \infty \). Pelo Teorema 11.16, a série \(\sum _k\xi _k/k\) converge quase certamente. O Lema 11.17 implica então \(n^{-1}\sum _{k=1}^n\xi _k=S_n/n\to 0\) quase certamente.
Exercício 11.6

Seja \(\xi _1,\xi _2,\ldots \) uma sequência i.i.d. com

\[ \P (\xi _k=0)=\P (\xi _k=2)=\frac12, \]

e defina

\[ Z=\sum _{k=1}^{\infty }\frac{\xi _k}{3^k}. \]
  1. Prove que a série converge e que \(Z\) pertence ao conjunto de Cantor quase certamente.

  2. Prove que \(Z\) possui a distribuição de Cantor.

  3. Calcule \(\mathbf{E}[Z]\) e \(\operatorname {Var}(Z)\) justificando a troca entre soma e esperança.

Ver solução
A série é dominada por \(\sum 2/3^k=1\) e sua expansão ternária usa somente \(0\) e \(2\), logo \(Z\in C\). Os dígitos são independentes e equiprováveis, o que produz precisamente a distribuição de Cantor. Por Tonelli,
\[ \mathbf{E}Z=\sum _{k\geq 1}\frac{\mathbf{E}\xi _k}{3^k} =\sum _{k\geq 1}3^{-k}=\frac12. \]
Como \(\operatorname {Var}(\xi _k)=1\) e os termos são independentes, \(\operatorname {Var}Z=\sum _{k\geq 1}3^{-2k}=1/8\); a série converge em \(L^2\), justificando essa passagem.
Exercício 11.7

Integração de Monte Carlo. Seja \(f:[0,1]\to [0,1]\) contínua. Considere \(\xi _1,c_1,\xi _2,c_2,\ldots \) independentes e uniformes em \([0,1]\) e defina

\[ \eta _i =\mathbb {1}_{\{ c_i\lt f(\xi _i)\} }. \]
  1. Mostre que \(\eta _1,\eta _2,\ldots \) são i.i.d. de Bernoulli e calcule \(\mathbf{E}[\eta _i]\).

  2. Use a Lei Forte dos Grandes Números para concluir que

    \[ \frac1n\sum _{i=1}^{n}\eta _i \longrightarrow \int _0^1f(x)\, \d x \qquad \text{quase certamente}. \]
Ver solução
Cada \(\eta _i\) é função apenas do par independente \((\xi _i,c_i)\), logo as variáveis são i.i.d. Além disso, condicionando em \(\xi _i\),
\[ \P (\eta _i=1)=\mathbf{E}[\P (c_i\lt f(\xi _i)\mid \xi _i)] =\mathbf{E}[f(\xi _i)]=\int _0^1f(x)\, \d x. \]
Assim são Bernoulli com esse parâmetro, e a Lei Forte aplicada às \(\eta _i\) fornece a convergência exibida.