Seleção de modelos fundacionais: De que forma você planeja chegar a Roma?

Agora, é hora de discutir um conjunto de critérios para guiar a seleção de modelos fundacionais para a implementação de cada caso de uso. Não há “One Size Fits All”  aqui e se te falaram isso, estão te enganando. Aqui seguem alguns critérios a serem analisados:

·      CUSTOS: Diferentes modelos fundacionais têm estruturas de custo distintas, o que significa que, dependendo das características de cada caso de uso (ROI) e dos volumes a serem processados, um modelo pode ser mais adequado que outro. A variação de custo entre modelos pode ser significativa, chegando a ultrapassar 100 vezes! Não $ube$time e$$e fator.

·      VOLUMES: Algun$ ca$o$ de u$o demandarão volume$ de con$ulta extremamente alto$. Você analisou opções, planejou adequadamente e está preparado para arcar com os custos?

·      LICENCIAMENTO: Revise as características de licenciamento do modelo para assegurar que ele pode ser utilizado para o seu objetivo

·      TRANSPARÊNCIA: Modelos diferentes têm formas distintas de divulgar os dados e técnicas utilizadas em seu treinamento - alguns são caixas-pretas completas, enquanto outros oferecem divulgações parciais ou detalhadas dessas características.

·      RISCOS: Cada caso de uso apresenta características que podem torná-lo mais ou menos sensível a riscos de propriedade intelectual e privacidade de dados do modelo. Você levou isso em consideração na seleção do modelo a ser utilizado?

·      PRIVACIDADE: Quando trabalhamos com dados sensíveis ou privados e confidenciais, há que se considerar os riscos associados ao envio de dados via API para processamento externo ou utilizar um modelo com opção de processamento local.

·      RESPONSABILIZAÇÃO: Existem modelos fundacionais que permitem a responsabilização contratual pelo provedor em relação a riscos de propriedade intelectual associados ao seu uso, como o caso do Granite da IBM.

·      VELOCIDADE: Alguns modelos oferecem tempos de resposta mais rápidos do que outros. Qual é o limite de timeout do seu caso de negócio?

·      FERRAMENTAL: Qual é o nível de prompt engineering, fine tuning e instruction tuning necessário para o seu caso de uso? Neste aspecto, que ferramentas estão disponíveis para uso com cada um dos modelos fundacionais considerados?

·      EXTENSÃO DE CONTEXTO: Esta relacionado a quantidade máxima de Tokens que podem ser considerados para  input e output nas chamadas.

·      PRECISÃO: Alguns casos de uso exigem alta precisão nas respostas. Quanto maior o LLM, mais suscetível ele será a "alucinações". Qual é a sua tolerância à imprecisão nas respostas? Isso pode influenciar o tamanho do modelo a ser utilizado.

-   Existem casos de uso que requerem precisão tão alta que se torna necessário recorrer a técnicas de IA tradicionais, onde a margem de erro é muito reduzida.

-   Há situações que demandam ou permitem uma abordagem híbrida, integrando LLMs, SLMs e até IA tradicional.

·      LINGUAGEM: Modelos fundacionais diferem em assertividade dependendo da linguagem utilizada. Em quantas línguas diferentes seu caso de uso será consumido?

-   Por enquanto, os modelos disponíveis tendem a ser mais proficientes em inglês devido ao viés nos treinamentos iniciais realizados fazendo com que linguagem básica ainda seja um diferencial entre os modelos para quem fala português e espanhol. No entanto, isso está mudando rapidamente e a tendencia é que este ponto se comoditize e em curto espaço de tempo nós possamos perceber mais fortemente outras especificidades de cada modelo no que toca a indústria, área de solução, regionalização, etc...

·      CONFIABILIDADE  - Os dados e a metodologia utilizados para treinar o modelo fundacional afetam diretamente o comportamento dos vieses identificados durante o seu uso. Você analisou e testou essa questão? Quais vieses são inaceitáveis para o seu caso de negócio? (regulação, responsabilidade social, exposição de marca / imagem, impacto no negocio). Como o modelo se comporta com comportamentos tóxicos?

·      ENRIQUECIMENTO: Você precisa enriquecer o modelo selecionado com dados específicos do seu negócio e sua propriedade intelectual? O modelo selecionado está pronto para ser treinado e depois assegurar a integridade/privacidade dos seus dados?

·      SOBERANIA: O modelo precisa estar disponível em um centro de dados dentro do seu país?

·      MULTICLOUD: Ele precisa estar disponível em mais de um provedor de nuvem para atender às características do seu negócio, onde seus dados estão armazenados ou serão consumidos?

·      HÍBRIDO: Você precisa de um modelo que também tenha a opção de ser implantado OnPremises ?

·      CYBERSECURITY: Qual a robustez cibernética que o local onde seu modelo está hospedado precisa ter?

·      ESPECIALIZAÇÃO: Seu caso de uso requer características específicas da indústria ou área de solução/negócios com a qual está relacionado? Existe no mercado um modelo fundacional projetado com essas características? (se hoje ainda não existe, será uma realidade em breve e você precisa estar preparado para se beneficiar disso)

·      FUNÇÕES SUPORTADAS: Que recursos você precisará utilizar? Classificação, Extração, Geração, Questões e respostas, RAG (Retrieved Augmented Generation), outros...

·      ARQUITETURA: A arquitetura do modelo influencia em como ele se comporta. Encoder Only, Decoder Only ou Encoder - Decoder . Leve em consideração.

Você já deve ter percebido que a definição depende mesmo das características do seu caso de uso e seus requerimentos. O modelo a ser selecionado é uma consequência e o meio escolhido para alcançar seus objetivos. Vários caminhos te permitem chegar a Roma e escolher a forma mais adequada pode tornar mais fácil ou difícil o seu percurso.

Portanto, é essencial estar preparado para fazer a escolha certa.

Alguns caminhos te permitem chegar mais rápido 🚀 , utilizando mais ou menos pedágios 💰 , com maior ou menor risco de assalto no caminho 👨✈️ , indo sozinho ou acompanhado 👩👩👦👦 , utilizando seu carro próprio ou de ônibus 🚌 , utilizando motoristas conhecidos ou não 😱 , gastando mais ou menos combustível ⛽ , em direção reta ou com desvios - você pode se perder 🌀 , com mais ou menos faróis no caminho 🚥 , utilizando carro blindado ou não 🔫  e há também aquele motorista que independente do que você diga ele fará sempre o mesmo caminho 😁.... cada situação requer uma forma diferente de alcançar o seu destino e você precisa estar preparado para selecionar.

Se posso deixar um conselho, é este: evite generalizações e superficialidades. Desenvolva uma matriz de decisão, aprofunde a discussão, e tenha método e disciplina. Não se deixe levar pelo hype.

Teste sem custo alguns dos  modelos fundacionais disponíveis em nossa plataforma.

Um simples login com credenciais do LinkedIn, Google ou IBMid vai lhe garantir acesso ao watsonx em até 30 segundos.

Clique aqui e experimente … https://t.ly/rLjhe

Depois clique neste link e conheça todos os foundation models suportados pelo watsonx.ai:  https://t.ly/NXcPF

Juntos, vamos seguir nessa jornada!