Esta página transforma os exercícios objetivos das aulas 6 a 9 do curso Fundamentos de Álgebra Linear e Otimização para Aprendizado de Máquina , do professor Marcos M. Raimundo, da Unicamp, em simulados interativos.
São quatro provas separadas por aula , totalizando 31 questões e 124 itens de verdadeiro ou falso . As questões discursivas não foram incluídas.
Cada questão contém quatro itens. Marque Verdadeiro ou Falso em todos eles e clique em Corrigir questão . Se você errar um único item, perde a questão inteira. Depois da correção, o sistema mostra a resposta certa e a explicação de cada afirmação.
Aula 68 questões Aula 79 questões Aula 86 questões Aula 98 questões
Aula 6 — Derivadas Parciais, Gradiente e Jacobiano 8 questões · 4 itens por questão · um erro anula a questão inteira
Progresso
0 de 8 questões corrigidas
Nota: 0/16
Questão 1 · 2 pontos
Teste 1 — Derivada parcial: definição e interpretação 1. Se \(f(x_1,x_2)\) não dependesse de \(x_2\) (só de \(x_1\)), então \(\partial f/\partial x_2=0\) em todo ponto do domínio.
Verdadeiro Falso
2. Na definição de derivada parcial (ver Convenções), o limite que define \(\partial f/\partial x_1\) é tomado só com valores positivos de \(h\) (\(h\to 0^+\)), nunca com valores negativos.
Verdadeiro Falso
3. Numa função de perda de regressão logística com \(2\) parâmetros (peso e viés), calcular \(\partial L/\partial(\text{viés})\) (mantendo o peso fixo) segue exatamente a mesma definição usada para a perda quadrática desta aula.
Verdadeiro Falso
4. Se todas as derivadas parciais de \(f\) existirem e forem iguais a zero num ponto \(\mathbf{x}\), isso garante que \(\mathbf{x}\) é um ponto de mínimo local de \(f\).
Verdadeiro Falso
Corrigir questão Questão 2 · 2 pontos
Teste 2 — O gradiente como vetor: convenção linha/coluna 1. Se o gradiente de \(f:\mathbb{R}^n\to\mathbb{R}\) fosse definido como vetor-linha em vez de vetor-coluna, o valor numérico de cada derivada parcial dentro dele mudaria.
Verdadeiro Falso
2. Para uma função \(f:\mathbb{R}^1\to\mathbb{R}\) (uma única variável), o gradiente de \(f\), segundo a definição de gradiente (ver Convenções), coincide exatamente com a derivada usual do Cálculo 1.
Verdadeiro Falso
3. Numa camada linear de rede neural com perda escalar em relação aos pesos \(W\) (uma matriz, não um vetor), a mesma ideia de “coletar derivadas parciais” se generaliza, mas o resultado organizado é uma matriz de mesma forma que \(W\), não um vetor-coluna.
Verdadeiro Falso
4. Como o gradiente de \(f:\mathbb{R}^n\to\mathbb{R}\) é um vetor-coluna \(n\times 1\), isso implica que o gradiente é, ele mesmo, uma função escalar, não vetorial.
Verdadeiro Falso
Corrigir questão Questão 3 · 2 pontos
Teste 3 — Regras de derivação e o gradiente da perda quadrática 1. Se a perda fosse \(L(\boldsymbol{\beta})=\Vert{}X\boldsymbol{\beta}-\mathbf{y}\Vert{}^2+5\) (somando uma constante), o gradiente \(\nabla_{\boldsymbol{\beta}}L\) seria idêntico ao calculado para o problema-fio (ver Convenções), sem nenhuma mudança.
Verdadeiro Falso
2. Se \(X\) fosse a matriz nula (todas as entradas zero), o gradiente \(\nabla_{\boldsymbol{\beta}}L=2X^T(X\boldsymbol{\beta}-\mathbf{y})\) seria o vetor-coluna nulo, para qualquer \(\boldsymbol{\beta}\).
Verdadeiro Falso
3. Numa perda com dois termos de erro para dois conjuntos de dados distintos, \(L(\boldsymbol{\beta})=\Vert{}X_1\boldsymbol{\beta}-\mathbf{y}_1\Vert{}^2+\Vert{}X_2\boldsymbol{\beta}-\mathbf{y}_2\Vert{}^2\) (ex.: dados coletados em dois períodos diferentes), o gradiente total é a soma dos dois gradientes, cada um pela fórmula do problema-fio.
Verdadeiro Falso
4. Como a regra do produto foi enunciada para \(f(x)g(x)\) (ver Convenções), isso implica que ela não pode ser usada, de forma alguma, para derivar \(L=\mathbf{r}^T\mathbf{r}\) (um produto de vetores, não de duas funções escalares de \(x\)).
Verdadeiro Falso
Corrigir questão Questão 4 · 2 pontos
Teste 4 — Derivada direcional 1. Se \(\mathbf{v}=-\mathbf{e}_j\) (o negativo do \(j\)-ésimo vetor da base canônica), então \(D_{\mathbf{v}}f(\mathbf{x})=-\partial f/\partial x_j\).
Verdadeiro Falso
2. Se, em vez de exigir \(\Vert{}\mathbf{v}\Vert{}=1\), a definição permitisse qualquer \(\mathbf{v}\ne\mathbf{0}\), no limite em que \(\Vert{}\mathbf{v}\Vert{}\to 0\) o valor de \(\langle\nabla f(\mathbf{x}),\mathbf{v}\rangle\) (com a mesma fórmula, sem normalizar) tenderia a zero.
Verdadeiro Falso
3. Numa superfície de perda de uma rede neural com \(2\) parâmetros, mover-se na direção perpendicular ao gradiente produz, em primeira ordem, taxa de variação da perda igual a zero.
Verdadeiro Falso
4. Como a derivada direcional generaliza a derivada parcial (tomando \(\mathbf{v}=\mathbf{e}_j\)), isso implica que toda propriedade das derivadas parciais (poder ser calculada “mantendo as demais variáveis fixas”) se aplica igualmente à derivada direcional numa direção genérica \(\mathbf{v}\).
Verdadeiro Falso
Corrigir questão Questão 5 · 2 pontos
Teste 5 — A direção de subida mais íngreme 1. Se, em vez do máximo de \(D_{\mathbf{v}}f(\mathbf{x})\), quiséssemos o mínimo (a direção de descida mais íngreme), a prova da proposição de subida mais íngreme (ver Convenções) mudaria só no sinal da condição de igualdade, dando \(\mathbf{v}^\star=-\nabla f(\mathbf{x})/\Vert{}\nabla f(\mathbf{x})\Vert{}\).
Verdadeiro Falso
2. Se \(\nabla f(\mathbf{x})\) já fosse, ele mesmo, um vetor unitário (\(\Vert{}\nabla f(\mathbf{x})\Vert{}=1\)), o valor máximo de \(D_{\mathbf{v}}f(\mathbf{x})\) sobre todas as direções unitárias seria exatamente \(1\).
Verdadeiro Falso
3. Num algoritmo que gera exemplos adversariais em visão computacional (perturbar uma imagem para enganar um classificador), buscar a perturbação de norma fixa que mais aumenta a perda do modelo é, essencialmente, aplicar a proposição de subida mais íngreme.
Verdadeiro Falso
4. Como a igualdade na desigualdade de Cauchy-Schwarz exige vetores paralelos, isso implica que a direção de subida mais íngreme é única a menos de reflexão — existem exatamente duas direções, uma oposta à outra, que atingem o valor máximo de \(D_{\mathbf{v}}f(\mathbf{x})\).
Verdadeiro Falso
Corrigir questão Questão 6 · 2 pontos
Teste 6 — O Jacobiano: definição e generalização 1. Se \(f:\mathbb{R}^n\to\mathbb{R}^m\) tivesse \(m=1\), o Jacobiano (ver Convenções) deixaria de ser uma matriz e passaria a ser um vetor-coluna \(n\times 1\).
Verdadeiro Falso
2. Se \(f:\mathbb{R}^n\to\mathbb{R}^m\) for uma função constante (não depende de \(\mathbf{x}\)), seu Jacobiano é a matriz nula \(n\times m\), para todo \(\mathbf{x}\).
Verdadeiro Falso
3. Numa camada convolucional de rede neural (mapeia um vetor de entrada para um vetor de ativações via convolução, não multiplicação matricial direta), o Jacobiano dessa camada em relação à entrada ainda é bem definido pela mesma definição de Jacobiano.
Verdadeiro Falso
4. Como o Jacobiano do resíduo do problema-fio é constante (igual a \(X^T\), não depende de \(\boldsymbol{\beta}\)), isso implica que o Jacobiano de qualquer função vetorial é sempre constante, independente do ponto onde é avaliado.
Verdadeiro Falso
Corrigir questão Questão 7 · 2 pontos
Teste 7 — A regra da cadeia com Jacobiano 1. Se \(g(\mathbf{r})\) não fosse \(\mathbf{r}^T\mathbf{r}\), mas sim \(g(\mathbf{r})=\sum_i\vert{}r_i\vert{}\) (norma \(L_1\)), a mesma estrutura \(\nabla_{\boldsymbol{\beta}}L=J_{\mathbf{r}}(\boldsymbol{\beta})\cdot\nabla_{\mathbf{r}}g\) ainda se aplicaria em princípio, mas \(\nabla_{\mathbf{r}}g\) deixaria de existir em pontos onde algum \(r_i=0\).
Verdadeiro Falso
2. Se \(X^T\) (o Jacobiano do resíduo) fosse a matriz identidade (hipoteticamente, mesmo número de observações e atributos), o gradiente do problema-fio se reduziria a \(\nabla_{\boldsymbol{\beta}}L=2(\boldsymbol{\beta}-\mathbf{y})\).
Verdadeiro Falso
3. Numa rede neural com duas camadas, \(\mathbf{y}=f_2(f_1(\mathbf{x}))\), calcular o gradiente da perda em relação aos parâmetros da primeira camada exigiria compor o Jacobiano de \(f_2\) com o Jacobiano de \(f_1\), pela mesma lógica de regra da cadeia com Jacobiano vista nesta aula.
Verdadeiro Falso
4. Como a regra da cadeia com Jacobiano envolve multiplicação de matrizes, e multiplicação de matrizes não é comutativa em geral, isso implica que a ordem \(J_{\mathbf{r}}(\boldsymbol{\beta})\cdot\nabla_{\mathbf{r}}g\) poderia ser trocada para \(\nabla_{\mathbf{r}}g\cdot J_{\mathbf{r}}(\boldsymbol{\beta})\) sem alterar o resultado, desde que as dimensões permitissem a multiplicação.
Verdadeiro Falso
Corrigir questão Questão 8 · 2 pontos
Teste 8 — Verificação numérica 1. Se a perda fosse cúbica em \(\boldsymbol{\beta}\) (não quadrática), o erro de truncamento da diferença finita central para essa perda seria, em geral, diferente de zero, ao contrário do que ocorre para a perda quadrática do problema-fio (ver Convenções).
Verdadeiro Falso
2. No limite em que \(h\) é escolhido igual a zero exatamente (não um valor pequeno, mas literalmente \(h=0\)), a fórmula de diferença finita central \([f(x+h)-f(x-h)]/(2h)\) deixa de estar definida.
Verdadeiro Falso
3. Ao implementar do zero uma camada de rede neural (sem diferenciação automática disponível ainda), verificar o gradiente analítico por diferença finita central, na escala \(h\sim10^{-5}\)–\(10^{-6}\), é prática recomendada antes de confiar na implementação para treinar o modelo.
Verdadeiro Falso
4. Como o erro de arredondamento da diferença finita cresce conforme \(h\) diminui, isso implica que aumentar \(h\) o máximo possível (por exemplo, \(h=1\)) é sempre a escolha mais segura para verificar um gradiente.
Verdadeiro Falso
Corrigir questão Aula 7 — Convexidade e a Matriz Hessiana 9 questões · 4 itens por questão · um erro anula a questão inteira
Progresso
0 de 9 questões corrigidas
Nota: 0/18
Questão 1 · 2 pontos
Teste 1 — Conjuntos convexos 1. O conjunto \(\{\mathbf{x}\in\mathbb{R}^n\mid\|\mathbf{x}\|=1\}\) (a esfera unitária) é convexo.
Verdadeiro Falso
2. O conjunto das matrizes simétricas \(n\times n\) semidefinidas positivas é convexo.
Verdadeiro Falso
3. Para um conjunto de treino \(\{(\mathbf{x}_i,y_i)\}_{i=1}^N\) com \(y_i\in\{-1,+1\}\), o conjunto dos pesos \(\{\mathbf{w}\in\mathbb{R}^d\mid y_i\mathbf{w}^T\mathbf{x}_i\ge1\ \text{para todo } i\}\) é convexo.
Verdadeiro Falso
4. Se \(C_1\) e \(C_2\) são não convexos, então \(C_1\cap C_2\) é não convexo.
Verdadeiro Falso
Corrigir questão Questão 2 · 2 pontos
Teste 2 — Funções convexas pela definição 1. \(f(x)=\sqrt{|x|}\) é convexa em \(\mathbb{R}\).
Verdadeiro Falso
2. Se \(f:\mathbb{R}\to\mathbb{R}\) é convexa, então \(g(x)=f(2x+1)\) também é.
Verdadeiro Falso
3. \(f(x)=x^3\), com \(\mathrm{dom}\,f=[0,\infty)\), é convexa.
Verdadeiro Falso
4. O produto de duas funções convexas em \(\mathbb{R}\) é sempre convexo.
Verdadeiro Falso
Corrigir questão Questão 3 · 2 pontos
Teste 3 — Epígrafe, gráfico e subníveis 1. Se \(f\) é convexa, então o seu gráfico \(\{(\mathbf{x},f(\mathbf{x}))\}\) é um conjunto convexo.
Verdadeiro Falso
2. Se \(f\) é convexa, então o subnível \(\{\mathbf{x}\in\mathrm{dom}\,f\mid f(\mathbf{x})\le c\}\) é convexo para todo \(c\in\mathbb{R}\).
Verdadeiro Falso
3. Se todos os subníveis de \(f\) são convexos, então \(f\) é convexa.
Verdadeiro Falso
4. A perda hinge média de um SVM linear, \(\frac1N\sum_{i=1}^N\max\{0,\,1-y_i\mathbf{w}^T\mathbf{x}_i\}\), é convexa em \(\mathbf{w}\), embora não seja diferenciável em todo ponto.
Verdadeiro Falso
Corrigir questão Questão 4 · 2 pontos
Teste 4 — A condição de primeira ordem 1. Se \(f\) é convexa e diferenciável, o hiperplano tangente ao gráfico em qualquer ponto nunca fica acima do gráfico, em nenhum ponto do domínio.
Verdadeiro Falso
2. Se \(f\) é convexa e diferenciável, com \(\mathrm{dom}\,f=\mathbb{R}^n\), e \(\nabla f(\mathbf{x}_0)\ne\mathbf{0}\), então \(\mathbf{x}_0\) não é minimizador global de \(f\).
Verdadeiro Falso
3. Na regressão logística, cuja perda (entropia cruzada média) é convexa e diferenciável nos pesos, um ponto em que o gradiente é exatamente nulo é um minimizador global.
Verdadeiro Falso
4. Se \(f\) é diferenciável e não convexa, então nenhum ponto de gradiente nulo é minimizador global de \(f\).
Verdadeiro Falso
Corrigir questão Questão 5 · 2 pontos
Teste 5 — A Hessiana e a curvatura ao longo de uma reta 1. Se \(g(t)=f(\mathbf{x}+t\mathbf{v})\), então \(g''(0)=\mathbf{v}^T\nabla^2f(\mathbf{x})\mathbf{v}\).
Verdadeiro Falso
2. Para \(f(x_1,x_2)=x_1x_2\), a Hessiana é constante e \(f\) é convexa.
Verdadeiro Falso
3. Se \(\nabla^2f(\mathbf{x})\) tem um autovalor negativo, existe uma direção \(\mathbf{v}\) tal que \(t\mapsto f(\mathbf{x}+t\mathbf{v})\) tem segunda derivada negativa em \(t=0\).
Verdadeiro Falso
4. A Hessiana de uma função \(f:\mathbb{R}^n\to\mathbb{R}\) duas vezes continuamente diferenciável pode ser qualquer matriz \(n\times n\), inclusive não simétrica.
Verdadeiro Falso
Corrigir questão Questão 6 · 2 pontos
Teste 6 — A condição de segunda ordem 1. \(f(x)=1/x^2\), com \(\mathrm{dom}\,f=\mathbb{R}\setminus\{0\}\), tem \(f''(x)>0\) em todo o domínio e, mesmo assim, não é convexa.
Verdadeiro Falso
2. Se \(\nabla^2f(\mathbf{x})\succ0\) para todo \(\mathbf{x}\) num domínio aberto e convexo, então \(f\) é estritamente convexa.
Verdadeiro Falso
3. Se \(f\) é estritamente convexa e duas vezes diferenciável, então \(\nabla^2f(\mathbf{x})\succ0\) em todo \(\mathbf{x}\).
Verdadeiro Falso
4. A função softplus, \(f(x)=\log(1+e^x)\), usada como ativação em redes neurais, é convexa em \(\mathbb{R}\).
Verdadeiro Falso
Corrigir questão Questão 7 · 2 pontos
Teste 7 — Quadráticas e pontos críticos Nos itens abaixo, \(f(\mathbf{x})=\tfrac12\mathbf{x}^TP\mathbf{x}+\mathbf{q}^T\mathbf{x}+r\) em \(\mathbb{R}^2\), com \(P\) simétrica.
1. Se \(P\succeq0\) é singular, \(f\) pode não ter nenhum minimizador.
Verdadeiro Falso
2. Se \(P\) tem autovalores \(2\) e \(-3\), \(f\) tem exatamente um ponto crítico, e ele é uma sela.
Verdadeiro Falso
3. Se \(P\) tem autovalores \(2\) e \(0\), então \(f\) tem infinitos minimizadores.
Verdadeiro Falso
4. Se \(P\succ0\) e \(\mathbf{x}^\star\) é o minimizador, então \(f(\mathbf{x})-f(\mathbf{x}^\star)=\tfrac12(\mathbf{x}-\mathbf{x}^\star)^TP(\mathbf{x}-\mathbf{x}^\star)\) para todo \(\mathbf{x}\).
Verdadeiro Falso
Corrigir questão Questão 8 · 2 pontos
Teste 8 — A perda quadrática 1. \(\nabla^2L(\boldsymbol\beta)=2X^TX\) para todo \(\boldsymbol\beta\), qualquer que seja \(\mathbf{y}\).
Verdadeiro Falso
2. Se \(X\) tem posto coluna completo, \(L\) tem exatamente um minimizador.
Verdadeiro Falso
3. Se \(X\) tem posto incompleto, \(L\) não tem minimizador.
Verdadeiro Falso
4. Numa regressão polinomial de grau \(10\) (com intercepto) ajustada a apenas \(5\) pontos, \(X^TX\) é definida positiva.
Verdadeiro Falso
Corrigir questão Questão 9 · 2 pontos
Teste 9 — A regularização Ridge 1. Para todo \(\lambda>0\), o menor autovalor de \(\nabla^2L_\lambda=2(X^TX+\lambda I)\) é pelo menos \(2\lambda\).
Verdadeiro Falso
2. Se \(X^TX\) tem autovalores \(\mu_{\max}>\mu_{\min}>0\), então \(\mathrm{cond}(X^TX+\lambda I)\) diminui quando \(\lambda\) cresce.
Verdadeiro Falso
3. Quando \(X\) tem posto incompleto e \(\lambda>0\), a solução Ridge \(\boldsymbol\beta_\lambda\) é um dos minimizadores \(\boldsymbol\beta^\star+\mathcal{N}(X)\) de \(L\), escolhido para desempatar.
Verdadeiro Falso
4. Na regressão logística com penalidade \(\lambda\|\mathbf{w}\|^2\) e \(\lambda>0\), o objetivo é estritamente convexo, mesmo quando os dados são linearmente separáveis.
Verdadeiro Falso
Corrigir questão Aula 8 — Otimização Irrestrita e Descida do Gradiente 6 questões · 4 itens por questão · um erro anula a questão inteira
Progresso
0 de 6 questões corrigidas
Nota: 0/12
Questão 1 · 2 pontos
Teste 1: Fundamentos da Descida do Gradiente e Direção de Descida 1. A direção \(-\nabla f(\mathbf{x})\) é matematicamente a direção de maior decréscimo local instantâneo, no sentido de minimizar a derivada direcional \(D_{\mathbf{v}}f(\mathbf{x})\) sobre todos os vetores unitários \(\|\mathbf{v}\|_2 = 1\).
Verdadeiro Falso
2. Se \(\nabla f(\mathbf{x}_k) \ne \mathbf{0}\), existe sempre algum \(\alpha > 0\) suficientemente pequeno tal que \(f(\mathbf{x}_k - \alpha \nabla f(\mathbf{x}_k)) < f(\mathbf{x}_k)\).
Verdadeiro Falso
3. O algoritmo de Descida do Gradiente sempre converge em tempo finito para um ponto onde o gradiente é rigorosamente nulo.
Verdadeiro Falso
4. Em um ponto crítico \(\mathbf{x}^\star\) onde \(\nabla f(\mathbf{x}^\star) = \mathbf{0}\), a iteração da Descida do Gradiente com passo \(\alpha > 0\) permanece estacionária (\(\mathbf{x}_{k+1} = \mathbf{x}_k\)).
Verdadeiro Falso
Corrigir questão Questão 2 · 2 pontos
Teste 2: Suavidade de Lipschitz e Escolha de Hiperparâmetros 1. Para uma função convexa com gradiente \(L\)-Lipschitziano, escolher um tamanho de passo constante \(\alpha = \frac{1}{L}\) garante que a sequência de valores \(f(\mathbf{x}_k)\) é monotonicamente não crescente.
Verdadeiro Falso
2. Se uma função de perda possui \(\nabla^2 f(\mathbf{x}) \preceq 50 I\) em todo o domínio, a Descida do Gradiente com passo \(\alpha = 0{,}05\) tem divergência numérica garantida.
Verdadeiro Falso
3. O valor da constante de Lipschitz \(L\) para a função \(f(x) = x^4\) em \(\mathbb{R}\) é constante e igual a 12.
Verdadeiro Falso
4. Uma função fortemente convexa que é também \(L\)-suave satisfaz \(m I \preceq \nabla^2 f(\mathbf{x}) \preceq L I\) para constantes \(0 < m \le L < \infty\).
Verdadeiro Falso
Corrigir questão Questão 3 · 2 pontos
Teste 3: Análise Espectral e Dinâmica de Convergência em Quadráticas 1. Em uma função quadrática \(f(\mathbf{x}) = \frac{1}{2}\mathbf{x}^T A \mathbf{x} - \mathbf{b}^T \mathbf{x}\) com \(A \succ 0\), o passo máximo para evitar que o erro exploda assintoticamente é \(\alpha_{\text{crit}} = \frac{2}{\lambda_{\max}(A)}\).
Verdadeiro Falso
2. Quando o tamanho de passo satisfaz \(\frac{1}{\lambda_i} < \alpha < \frac{2}{\lambda_i}\), o erro ao longo da direção do autovetor \(\mathbf{v}_i\) oscila alternando de sinal a cada iteração.
Verdadeiro Falso
3. Se todos os autovalores da matriz Hessiana forem rigorosamente iguais (\(\lambda_1 = \lambda_2 = \dots = \lambda_d\)), a Descida do Gradiente com passo \(\alpha = 1/\lambda_1\) requer \(d\) iterações para convergir.
Verdadeiro Falso
4. O raio espectral da matriz de transição de erro \((I - \alpha A)\) pode ser estritamente negativo para determinados valores de \(\alpha\).
Verdadeiro Falso
Corrigir questão Questão 4 · 2 pontos
Teste 4: O Número de Condição e a Patologia do Ziguezague 1. Em uma tigela quadrática alongada onde o número de condição \(\kappa = \text{cond}(A)\) é muito grande (\(\kappa \gg 1\)), o vetor \(-\nabla f(\mathbf{x})\) aponta quase diretamente para o minimizador global \(\mathbf{x}^\star\).
Verdadeiro Falso
2. A taxa assintótica de contração ótima do erro \(\rho^\star = \frac{\kappa - 1}{\kappa + 1}\) aproxima-se de 1 quando o número de condição \(\kappa \to \infty\).
Verdadeiro Falso
3. Se \(\kappa = 10.000\), a cada iteração do Gradient Descent com passo ótimo, o erro diminui em menos de \(0{,}05\%\).
Verdadeiro Falso
4. A presença de ziguezague intenso na Descida do Gradiente indica obrigatoriamente que a função objetivo não é convexa.
Verdadeiro Falso
Corrigir questão Questão 5 · 2 pontos
Teste 5: Impacto Algébrico da Padronização de Atributos 1. A padronização \(Z\)-score transforma cada coluna da matriz de projeto para média amostral zero e variância unitária, preservando a linearidade do espaço.
Verdadeiro Falso
2. Se duas colunas de \(X\) forem fortemente correlacionadas linearmente (\(r \approx 0{,}999\)), a padronização \(Z\)-score reduz o número de condição de \(X^T X\) para \(\kappa \approx 1\).
Verdadeiro Falso
3. O algoritmo de Descida do Gradiente com passo constante é sensível à escala dos atributos, enquanto o método clássico de Newton-Raphson é invariante a transformações afins invertíveis.
Verdadeiro Falso
4. Padronizar atributos melhora o condicionamento da Hessiana ao aproximar os elementos da diagonal principal da matriz de covariância.
Verdadeiro Falso
Corrigir questão Questão 6 · 2 pontos
Teste 6: Regressão Logística e Perdas Transcendetais 1. A perda de Entropia Cruzada Binária na regressão logística admite uma solução em forma fechada para o vetor ótimo \(\mathbf{w}^\star\) calculável via decomposição SVD.
Verdadeiro Falso
2. A matriz de pesos diagonais \(S = \text{diag}(\hat{y}_n(1 - \hat{y}_n))\) na Hessiana da regressão logística atinge seus valores máximos para observações onde o modelo tem extrema certeza da classe (\(\hat{y}_n \approx 0\) ou \(\hat{y}_n \approx 1\)).
Verdadeiro Falso
3. Como \(0 < \hat{y}_n < 1\) para todo \(\mathbf{w}\) finito, a matriz \(S\) é diagonal estritamente positiva, garantindo que \(\nabla^2 \mathcal{L}(\mathbf{w}) \succeq 0\) e que a perda é sempre convexa.
Verdadeiro Falso
4. Na regressão logística, o gradiente \(\nabla \mathcal{L}(\mathbf{w}) = \frac{1}{N}X^T(\hat{\mathbf{y}} - \mathbf{y})\) é nulo se e somente se as predições do modelo coincidirem com os alvos para todas as observações onde isso for numericamente possível.
Verdadeiro Falso
Corrigir questão Aula 9 — Funções Compostas, Redes Neurais e Diferenciação Automática 8 questões · 4 itens por questão · um erro anula a questão inteira
Progresso
0 de 8 questões corrigidas
Nota: 0/16
Questão 1 · 2 pontos
Teste 1 — Regra da Cadeia Multivariada e Layouts Matriciais 1. No denominator layout, a matriz Jacobiana de uma transformação \(\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m\) possui dimensão \(n \times m\), onde cada coluna \(j\) armazena o vetor-coluna do gradiente \(\nabla_{\mathbf{x}} f_j\).
Verdadeiro Falso
2. Para uma função afim \(\mathbf{f}(\mathbf{x}) = A\mathbf{x} + \mathbf{b}\) com \(A \in \mathbb{R}^{m \times n}\), a matriz Jacobiana sob a convenção denominator layout é dada por \(J_{\mathbf{f}}(\mathbf{x}) = A\).
Verdadeiro Falso
3. A regra da cadeia multivariada sob denominator layout estabelece que \(\nabla_{\mathbf{x}} (g \circ \mathbf{f}) = J_{\mathbf{f}}(\mathbf{x})\, \nabla_{\mathbf{u}} g\), garantindo compatibilidade dimensional entre a matriz \(n \times m\) e o gradiente-coluna \(m \times 1\).
Verdadeiro Falso
4. Se adotássemos a convenção de gradiente como vetor-linha (numerator layout), a regra da cadeia exigiria que os gradientes fossem transpostos para viabilizar o produto matricial à esquerda.
Verdadeiro Falso
Corrigir questão Questão 2 · 2 pontos
Teste 2 — Retropropagação de Sensibilidade e Saturação 1. O vetor de sensibilidade pré-sináptica é definido formalmente como \(\boldsymbol{\delta}^{(l)} = \nabla_{\mathbf{z}^{(l)}} \mathcal{L}\), representando a taxa de variação da perda em relação à combinação linear antes da aplicação da ativação não-linear.
Verdadeiro Falso
2. A equação de retropropagação \(\boldsymbol{\delta}^{(l)} = \big((W^{(l+1)})^T \boldsymbol{\delta}^{(l+1)}\big) \odot \sigma'(\mathbf{z}^{(l)})\) utiliza a matriz transposta \((W^{(l+1)})^T\) porque ela atua como o operador adjunto que transporta o sinal de erro de \(\mathbb{R}^{d_{l+1}}\) de volta para \(\mathbb{R}^{d_l}\).
Verdadeiro Falso
3. Caso todos os neurônios da camada oculta operem na região linear da função logística (\(z \approx 0\)), temos \(\sigma'(0) = 0{,}25\), o que amplifica exponencialmente o gradiente em direção às camadas iniciais.
Verdadeiro Falso
4. A função de ativação ReLU (\(\text{ReLU}(z) = \max(0, z)\)) possui derivada constante igual a 1 para qualquer \(z > 0\), eliminando a atenuação multiplicativa de sensibilidade nas unidades ativas durante a passagem reversa.
Verdadeiro Falso
Corrigir questão Questão 3 · 2 pontos
Teste 3 — Gradientes dos Pesos e Produtos Diádicos 1. O gradiente da perda em relação à matriz de pesos de uma camada densa para um único exemplo de treino é dado por \(\nabla_{W^{(l)}}\mathcal{L} = \boldsymbol{\delta}^{(l)}(\mathbf{a}^{(l-1)})^T\).
Verdadeiro Falso
2. Como \(\boldsymbol{\delta}^{(l)} \in \mathbb{R}^{d_l}\) e \(\mathbf{a}^{(l-1)} \in \mathbb{R}^{d_{l-1}}\) são vetores, a matriz de gradiente \(\nabla_{W^{(l)}}\mathcal{L}\) resultante de uma única amostra possui posto algébrico no máximo igual a 1.
Verdadeiro Falso
3. Para um lote de \(B\) amostras independentes, a matriz de gradiente acumulada \(\frac{1}{B} \sum_{i=1}^B \boldsymbol{\delta}^{(l)}_i (\mathbf{a}^{(l-1)}_i)^T\) pode atingir posto estritamente maior que 1, limitado por \(\min(d_l, d_{l-1}, B)\).
Verdadeiro Falso
4. O gradiente do vetor de viés \(\nabla_{\mathbf{b}^{(l)}}\mathcal{L}\) é proporcional ao produto da sensibilidade \(\boldsymbol{\delta}^{(l)}\) pela média dos pesos da camada anterior.
Verdadeiro Falso
Corrigir questão Questão 4 · 2 pontos
Teste 4 — Paradigmas de Diferenciação e Instabilidade Numérica 1. O método de diferenças finitas progressivas aproxima derivadas com erro assintótico de truncamento \(\mathcal{O}(h^2)\), enquanto a diferença central atinge \(\mathcal{O}(h^3)\).
Verdadeiro Falso
2. Ao reduzir o tamanho do passo \(h\) abaixo de \(\sqrt{\epsilon_{\text{mach}}} \approx 10^{-8}\) em aritmética de precisão dupla, o erro total das diferenças finitas aumenta devido ao fenômeno do cancelamento subtrativo catastrófico.
Verdadeiro Falso
3. A diferenciação simbólica aplicada a funções com profundos aninhamentos sofre do problema de expression swell, onde o tamanho da árvore sintática cresce exponencialmente devido à replicação de termos da regra do produto.
Verdadeiro Falso
4. Ao contrário de diferenças finitas, a Diferenciação Automática não introduz erros de truncamento numérico nem sofre de inchaço exponencial, calculando derivadas exatas em precisão de máquina.
Verdadeiro Falso
Corrigir questão Questão 5 · 2 pontos
Teste 5 — Grafos de Computação (DAGs) e Execução 1. Em um Grafo Acíclico Direcionado que modela a execução de um programa, os nós representam operações elementares ou variáveis e as arestas direcionadas representam dependências de fluxo de dados.
Verdadeiro Falso
2. A ordenação topológica dos nós em um DAG de computação é estritamente única, não existindo mais de uma sequência válida de avaliação para um mesmo grafo.
Verdadeiro Falso
3. No algoritmo de backpropagation em DAGs, a ordenação topológica inversa garante que um nó intermediário só acumule seu gradiente total após todos os seus nós consumidores (filhos) terem executado suas respectivas passagens reversas.
Verdadeiro Falso
4. Quando uma variável intermediária é consumida por duas operações distintas no grafo, seu gradiente total na passagem reversa deve ser obtido pela média aritmética dos gradientes provenientes de cada caminho.
Verdadeiro Falso
Corrigir questão Questão 6 · 2 pontos
Teste 6 — Modo Forward vs. Modo Reverse e Baur-Strassen 1. O modo forward de autodiff rastreia perturbações direcionais \(\dot{v}_i = \frac{\partial v_i}{\partial x_k}\) propagando-as simultaneamente à execução da passagem direta do programa.
Verdadeiro Falso
2. Para calcular a matriz Jacobiana de um mapeamento \(\mathbf{f}: \mathbb{R}^n \to \mathbb{R}^m\), o modo forward requer \(n\) avaliações do grafo, enquanto o modo reverso requer \(m\) avaliações do grafo.
Verdadeiro Falso
3. O Teorema de Baur-Strassen estabelece que o tempo necessário para calcular o gradiente completo de qualquer função escalar \(f: \mathbb{R}^n \to \mathbb{R}\) no modo reverso é no máximo cerca de 5 vezes o tempo de uma única avaliação direta de \(f\), qualquer que seja o valor de \(n\).
Verdadeiro Falso
4. O modo reverso de autodiff é assintoticamente mais eficiente que o modo forward em problemas onde o número de parâmetros de entrada é substancialmente menor que a dimensão das saídas (\(d_{\text{in}} \ll d_{\text{out}}\)).
Verdadeiro Falso
Corrigir questão Questão 7 · 2 pontos
Teste 7 — Catálogo de Regras Primitivas e Trade-off de Memória 1. O motor de autodiff utiliza um catálogo fechado de regras analíticas locais pré-programadas para cada operação atômica, evitando deduzir derivadas em tempo de execução.
Verdadeiro Falso
2. A regra da adição \(z = x + y\) atua no backward pass como um roteador neutro de fluxo, replicando integralmente o gradiente recebido para ambas as entradas (\(\bar{x} = \bar{z}\) e \(\bar{y} = \bar{z}\)).
Verdadeiro Falso
3. Na regra da multiplicação \(z = x \cdot y\), o gradiente que retorna para a entrada \(x\) independe do valor numérico assumido por \(y\) durante a passagem direta.
Verdadeiro Falso
4. Enquanto o modo forward mantém consumo de memória constante \(\mathcal{O}(1)\) em relação à profundidade ao descartar valores logo após o uso, o modo reverso exige \(\mathcal{O}(L)\) para reter ativações necessárias ao cálculo das derivadas locais.
Verdadeiro Falso
Corrigir questão Questão 8 · 2 pontos
Teste 8 — Transferência em ML: Grafos com Múltiplas Entradas e Saídas 1. Em uma rede siamesa para verificação facial, onde dois ramos idênticos processam duas imagens distintas e compartilham a mesma matriz de pesos \(W\), o gradiente final em relação a \(W\) é a soma dos gradientes gerados por cada ramo individual.
Verdadeiro Falso
2. Em um modelo multi-tarefa com uma perda combinada \(\mathcal{L}_{\text{total}} = \mathcal{L}_1 + \lambda \mathcal{L}_2\), uma única passagem reversa disparada a partir de \(\mathcal{L}_{\text{total}}\) é suficiente para calcular o gradiente de todos os parâmetros compartilhados.
Verdadeiro Falso
3. Se uma conexão residual for adicionada a uma camada densa na forma \(\mathbf{y} = \sigma(W\mathbf{x}) + \mathbf{x}\), o gradiente em relação à entrada \(\nabla_{\mathbf{x}}\mathcal{L}\) não depende da matriz \(W\), dependendo apenas do gradiente externo.
Verdadeiro Falso
4. Em arquiteturas com controle de fluxo condicional (como if x > 0: y = a * x else: y = b * x), a autodiff constrói o grafo dinamicamente em tempo de execução, diferenciando perfeitamente o ramo executado sem computar o ramo inativo.
Verdadeiro Falso
Corrigir questão Os simulados foram montados a partir do curso Optimization and Linear Algebra for Machine Learning , da Unicamp, e das listas das Aula 6 , Aula 7 , Aula 8 e Aula 9 . Consulte as páginas oficiais para acompanhar as notas de aula e eventuais atualizações do professor.
