Categoria: Dados

Instalando o DeepSeek em casa

Publicado em por @anselme
Instalando o DeepSeek em casa

No artigo Instalando o DeepSeek em casa, mostramos como instalar e testar o DeepSeek em casa, utilizando o Ollama para facilitar a execução de modelos de IA. Assim, com uma abordagem simples, conseguimos rodar um modelo poderoso localmente e ainda adicionamos uma interface visual para melhorar a experiência. Então, se você tem interesse em exploração de modelos de IA, vale a pena testar diferentes tamanhos e configurações, considerando os limites do seu hardware. Agora é só brincar com as possibilidades e explorar o potencial do DeepSeek.

Bounded Contexts de dependência mútua

Publicado em por @anselme
os Bounded Contexts de dependência mútua representam um desafio significativo na arquitetura de sistemas baseados em DDD. A necessidade de compartilhar lógica, dados e estruturas entre contextos distintos exige um cuidado especial na definição e na implementação desses padrões de relacionamento. É essencial que os arquitetos e desenvolvedores compreendam bem os princípios do DDD e busquem sempre a clareza e a coesão em seus designs para evitar armadilhas comuns que levem a inconsistência de dados, conceitos ou intenções.

Os Bounded Contexts de dependência mútua representam um desafio significativo na arquitetura de sistemas baseados em DDD. A necessidade de compartilhar lógica, dados e estruturas entre contextos distintos exige um cuidado especial na definição e na implementação desses padrões de relacionamento. É essencial que os arquitetos e desenvolvedores compreendam bem os princípios do DDD e busquem sempre a clareza e a coesão em seus designs para evitar armadilhas comuns que levem a inconsistência de dados, conceitos ou intenções.

Porque você precisa saber HTTP

Publicado em por @anselme

Então, o HTTP é a base da World Wide Web. Assim, desde suas origens simples na HTTP 0.9 até a complexidade robusta da HTTP 3, essa evolução trouxe inovações substanciais que impactaram a forma como interagimos e nos conectamos online. Desse modo, à medida que avançamos, é fundamental acompanhar essa evolução para compreender as tendências atuais e futuras na navegação na web. O protocolo HTTP, em sua jornada de evolução, continua a moldar o futuro do ambiente digital, proporcionando uma experiência web mais rápida, segura e eficiente para todos os usuários.

Top 25 Ferramentas do Hadoop

Publicado em por @anselme
O Hadoop é o pai do bigdata. Ele possui um ecossistema próprio com diversas ferramentas com propósitos diferentes. Aqui em Top 25 Ferramentas do Hadoop vamos dar uma visão geral sobre diversas dessas, tais como Hive, Pig, Sqoop, Kafka, Zookeeper. Note que nem todas essas ferramentas são dependentes do Hadoop, mas são relevantes para o ecossistema e por isso aparecem na lista.

O Hadoop é o pai do bigdata. Ele possui um ecossistema próprio com diversas ferramentas com propósitos diferentes. Aqui em Top 25 Ferramentas do Hadoop vamos dar uma visão geral sobre diversas dessas, tais como Hive, Pig, Sqoop, Kafka, Zookeeper. Note que nem todas essas ferramentas são dependentes do Hadoop, mas são relevantes para o ecossistema e por isso aparecem na lista.

Principais Conceitos de Python

Publicado em por @anselme
Finalmente, no artigo Principais Conceitos de Python, apresentamos os principais conceitos de Python, abrangendo desde a criação de funções até a interação com APIs e bancos de dados. Então, com sua sintaxe clara e ecossistema robusto, Python se destaca como uma linguagem versátil e popular, sendo amplamente utilizada em diversas áreas da computação. Assim, ao dominar esses conceitos fundamentais, você estará preparado para explorar todo o potencial que Python oferece, permitindo que desenvolva soluções criativas e inovadoras para os desafios da programação. Continue praticando, aprendendo e aprimorando suas habilidades em Python, pois essa linguagem continuará a inspirar e impulsionar sua jornada no mundo da programação.

Finalmente, no artigo Principais Conceitos de Python, apresentamos os principais conceitos de Python, abrangendo desde a criação de funções até a interação com APIs e bancos de dados. Então, com sua sintaxe clara e ecossistema robusto, Python se destaca como uma linguagem versátil e popular, sendo amplamente utilizada em diversas áreas da computação. Assim, ao dominar esses conceitos fundamentais, você estará preparado para explorar todo o potencial que Python oferece, permitindo que desenvolva soluções criativas e inovadoras para os desafios da programação. Continue praticando, aprendendo e aprimorando suas habilidades em Python, pois essa linguagem continuará a inspirar e impulsionar sua jornada no mundo da programação.

Entendendo o Apache Spark

Publicado em por @anselme
O Apache Spark atualmente é a principal ferramenta na computação distribuída quando o assunto é bigdata. Diferentemente do passado hoje há um mercado muito vibrante com concorrentes, mas não tiram o brilho desse. Ele suporta linguagens de programação diferentes, algo fundamental para atrair programadores, engenheiros ou cientistas de dados. Suas estratégias internas são rebuscadas, como é o caso da LazyEvaluation e suas DAG's criadas sob medida. Além disso ele possui diversas bibliotecas públicas ao invés do tooling do Hadoop que tinha uma manutenção complicada. O artigo Entendendo o Apache Spark explora um pouco de tudo isso.

O Apache Spark atualmente é a principal ferramenta na computação distribuída quando o assunto é bigdata. Diferentemente do passado hoje há um mercado muito vibrante com concorrentes, mas não tiram o brilho desse. Ele suporta linguagens de programação diferentes, algo fundamental para atrair programadores, engenheiros ou cientistas de dados. Suas estratégias internas são rebuscadas, como é o caso da LazyEvaluation e suas DAG’s criadas sob medida. Além disso ele possui diversas bibliotecas públicas ao invés do tooling do Hadoop que tinha uma manutenção complicada. O artigo Entendendo o Apache Spark explora um pouco de tudo isso.

O básico de Apache Airflow

Publicado em por @anselme
O Apache Airflow é uma ferramenta notável por sua flexibilidade e por trabalhar diretamente com python, que facilita bastante. O orquestrador de workflows de dados trabalha com diversas dags para cumprir o seu propósito. O artigo oferece uma visão geral tanto do conceito quanto de uma criação real em python.

O Apache Airflow é uma ferramenta notável por sua flexibilidade e por trabalhar diretamente com python, que facilita bastante. O orquestrador de workflows de dados trabalha com diversas dags para cumprir o seu propósito. O artigo oferece uma visão geral tanto do conceito quanto de uma criação real em python.

Formatos de serialização para bigdata

Publicado em por @anselme
O conceito de bigdata pressupõe a variedade dos tipos de dados. Temos imagens, vídeos, músicas, mas também temos postagens em redes sociais, e temos sistemas tradicionais com dados tabulares. Lidar com essa variedade exige formas diferentes. Os formatos Parquet, Orc e Avro têm especial destaque por serem binários, suportando escritas e leituras rápidas, mesmo com o dado bruto (ou quase). O artigo Formatos de serialização para bigdata fala sobre esses formatos e alguns outros e como eles podem ser utilizados.

O conceito de bigdata pressupõe a variedade dos tipos de dados. Temos imagens, vídeos, músicas, mas também temos postagens em redes sociais, e temos sistemas tradicionais com dados tabulares. Lidar com essa variedade exige formas diferentes. Os formatos Parquet, Orc e Avro têm especial destaque por serem binários, suportando escritas e leituras rápidas, mesmo com o dado bruto (ou quase). O artigo Formatos de serialização para bigdata fala sobre esses formatos e alguns outros e como eles podem ser utilizados.

O Essencial do Hadoop

Publicado em por @anselme
O Hadoop materializou o conceito de bigdata e modificou toda a forma em que o mercado encara os dados. Ele tem uma arquitetura muito bem feita para suportar grandes volumes. Ele possui um sistema de arquivos distribuidos, o HDFS, que lida com esse problema. Além disso há o map-reduce que em alinhamento com o HDFS produz cálculos em massas inacreditáveis de dados: Ainda que utilizando vários computadores de desempenho mediano. Por fim o Yarn possibilizou uma maior extensibilidade do produto, dando abertura para novas ferramentas como o Zookeeper, Pig ou Spark. O Essencial do Hadoop dá uma visão panorâmica sobre o produto além de pequenos exemplos.

O Hadoop materializou o conceito de bigdata e modificou toda a forma em que o mercado encara os dados. Ele tem uma arquitetura muito bem feita para suportar grandes volumes. Ele possui um sistema de arquivos distribuidos, o HDFS, que lida com esse problema. Além disso há o map-reduce que em alinhamento com o HDFS produz cálculos em massas inacreditáveis de dados: Ainda que utilizando vários computadores de desempenho mediano. Por fim o Yarn possibilizou uma maior extensibilidade do produto, dando abertura para novas ferramentas como o Zookeeper, Pig ou Spark. O Essencial do Hadoop dá uma visão panorâmica sobre o produto além de pequenos exemplos.

Arquitetura Lambda e Arquitetura Kappa

Publicado em por @anselme
Ambas as arquiteturas são capazes de lidar com dados massivos, volumosos etc. com características particulares. O uso da Lambda é o mais popular, mas que exige mais tecnologias envolvidas, tem uma manutenção mais difícil; ao contrário da Kappa que simplifica tudo, porém pode não ter o histórico dos dados. Como de costume, trata-se de analisar um caso em específico para saber qual arquitetura se parece mais adequada.

Ambas as arquiteturas são capazes de lidar com dados massivos, volumosos etc. com características particulares. O uso da Lambda é o mais popular, mas que exige mais tecnologias envolvidas, tem uma manutenção mais difícil; ao contrário da Kappa que simplifica tudo, porém pode não ter o histórico dos dados. Como de costume, trata-se de analisar um caso em específico para saber qual arquitetura se parece mais adequada.