ParallelSort

O ParallelSort é um produto que complementa o SyncSort for z/OS e permite executar até oito Sorts quaisquer em paralelo, como um único job step. Quando os Sorts têm o mesmo arquivo de entrada (SORTIN), além de serem executados em paralelo, é feita uma única leitura do SORTIN para todos os Sorts.

Com o ParallelSort, podemos reduzir o Elapsed Time dos Sorts em mais de 70% se comparado com a soma dos tempos dos Sorts quando executados separadamente pelo SyncSort for z/OS.

Total independência entre os Sorts individuais: cartões de controle e parâmetros, bem como características de DCB, podem ser completamente distintos de um Sort para outro, até o limite de oito Sorts por step do ParallelSort.

O ParallelSort é de fácil implementação porque preserva a estrutura dos Sorts originais, bem como o controle de execução e reinício de cada Sort.

Muitas empresas têm escolhido os seguintes critérios de seleção para priorizar os processos a serem implementados com o ParallelSort:

  •  Tamanho dos Sorts (grandes);
  •  Importância dos Sorts para processos críticos de negócio;
  •  Influência dos Sorts no PCP ou no caminho crítico;
  •  Frequência de execução dos Sorts;
  •  Sorts executados na janela batch;


Hadoop (ETL com DMX-h)

O Que É.

A Aceleração para Hadoop otimiza o uso dos recursos computacionais e de armazenamento em cada nó do seu cluster Hadoop nativamente, agilizando processos, estendendo a conectividade, e trazendo simplicidade, reuso e transparência para o desenvolvimento das aplicações Hadoop.

Por Que É Importante.

Inicialmente utilizado como ambiente específico para o processamento de dados online de aplicações web, hoje o Hadoop está evoluindo rapidamente como framework altamente escalável para os múltiplos desafios de processamento e análise em Big Data.
Contudo o desenvolvimento de aplicações otimizadas para Hadoop pode ser extremamente complexo, impondo seus próprios desafios de agilidade à TI e ao Negócio. Além disto, apesar de sua excelente escalabilidade horizontal, o framework ainda é pouco eficiente no aproveitamento dos recursos individuais de processamento e armazenamento, limitando os benefícios globais de escala, performance, complexidade operacional e custo total de propriedade.

Fluxo de dados MapReduce típico.

A Aceleração para Hadoop atua nesses pontos-chave, introduzindo a tecnologia DMX-h em modo nativo com benefícios imediatos de performance e economia de recursos, e ambiente de desenvolvimento GUI poderoso, flexível e intuitivo que simplifica extremamente o desenvolvimento e evolução das suas aplicações.


Benefícios.

  • A Aceleração para Hadoop com DMX-h permite realizar todo o potencial do Big Data com agilidade, performance, e economia.
  • Simplifica desenvolvimento, manutenção, e reutilização no Hadoop, eliminando requisitos de programação e scripting complexos.
  • 3x mais performance, throughput, e escalabilidade para os principais use cases de ETL no framework MapReduce, nativamente.
  • Etapas de Sort no Hadoop até 80% mais rápidas para todas as aplicações, transparentemente. Benefícios imediatos, sem alteração nem tuning.
  • Extração e carga de/para HDFS 6x mais rápida que as capacidades nativas do Hadoop, com ampla conectividade.
  • Maior transparência e governabilidade, graças ao amplo suporte a metadados.

Características.

  • Engine de alta performance, executado nativamente dentro do MapReduce, sem geração de código nem compilação.
  • Ambiente gráfico para desenvolvimento de ETL MapReduce, sem escrever código.
  • Cinco transformações fundamentais, poderosas e flexíveis. Fácil combinação e reuso para produzir qualquer data flow.
  • Self-tuning engine: processos otimizados desde a criação, automaticamente.
  • Metadados para análise de impacto, linhagem de dados, e fluxo de execução.
  • Instalação leve, sem dependências de banco de dados, compilador, ou servidor de aplicações.

ETL (com DMX)

O Que É.

A Aceleração para ETL elimina pontos de latência e reduz custo e complexidade dos seus processos de integração de dados. Transformações onerosas são identificadas e transferidas para um engine de alta performance de forma automática e transparente.

Por Que É Importante.

As plataformas de integração de dados convencionais cresceram priorizando a expansão de funcionalidade, mas pouca atenção se deu à otimização do engine subjacente. Hoje os desafios de integração caminham rapidamente para Big Data, pressionando por performance e escalabilidade extremas, simplificação de processos e controle do custo total de propriedade, em níveis incompatíveis com as tecnologias de integração tradicionais.
A Aceleração para ETL inova este cenário, atuando justamente no engine. Ela acopla organicamente à sua plataforma o DMExpress, aportando eficiência e otimização exatamente nos pontos críticos dos seus fluxos de transformação. Oferecendo um caminho simples, econômico e ágil para que sua organização explore todas as oportunidades do Big Data.
4per

Benefícios.

Menor custo total de propriedade. Ao garantir performance e eficiência máximas de forma contínua e automática (auto-otimização), a Aceleração para ETL com DMExpress libera recursos da plataforma e otimiza o tempo da equipe.
5per

Maior agilidade e proatividade para o BI. Ao simplificar processos e dispensar tuning, a Aceleração para ETL com DMExpress encurta os ciclos de desenvolvimento, permitindo à equipe se concentrar na extensão e inovação do ambiente de BI.
6perf

Maior mantenabilidade e governabilidade. Ao compor uma arquitetura de integração que escala de forma suave e econômica, a Aceleração para ETL com DMExpress mitiga os desafios de manutenção e governança associados à rápida evolução de um BI de sucesso.

Características.

  • Vasta biblioteca de algoritmos patenteados para todas as transformações críticas.
  • Acesso por Direct I/O garante as mais rápidas taxas de transferência.
  • Compressão dinâmica de alta performance para minimizar o I/O.
  • Otimizador Dinâmico garante performance máxima com o mínimo de recursos, contínua e automaticamente. Dispensa tuning.
  • Engine híbrido (multi-threading + multi-process), in-memory e interpretado proporciona eficiência extrema e flexibilidade, ajustando-se tanto aos workloads batch mais volumosos e intensos, quanto a ambientes micro-batch ou near-real-time.
  • Integração orgânica com a plataforma existente: intercâmbio de metadados permite acelerar as transformações críticas de forma automática e transparente.
    7perf

Mainframe (MFX)

O Que É.

A Aceleração para Mainframe implementa o MFX, tecnologia de manipulação de dados líder mundial em performance, para reduzir custos de CPU e tempo de sala, ao mesmo tempo em que otimiza dinamicamente o uso de recursos e a eficiência global do sistema. Única solução de Sort/Merge/Join/Copy para System z que faz offload dos ciclos de CPU para processadores zIIP. Completa transparência em relação ao Sort da IBM.

Por Que É Importante.

O processamento no mainframe continua indispensável e os MIPS estão aumentando. Organizações continuam a crescer em MSUs e executam aplicações corporativas de missão crítica em System z. MIPS continuam a crescer anualmente, porque essas aplicações mainframe suportam o core business de muitas empresas.
A performance do Sort é um componente significativo da eficiência do sistema, incluindo o uso de CPU. Ao otimizar o Sort, obtêm-se importantes ganhos globais.

Benefícios.

  • Até 40% menos TCB
  • Até 40% menos ELAP
  • Offload de ciclos de CPU para processadores zIIP
  • Processamento paralelo no I/O com PAV
  • Processamento paralelo para múltiplos volumes em fita
  • Até 25% menos área de SORTWORK
  • Otimização dinâmica do uso de memória.

Características.

  • Substitui transparentemente o Sort da IBM.
  • Explora os últimos avanços na arquitetura do sistema através de algoritmos proprietários, métodos de acesso avançados, e técnicas de otimização dinâmica.
  • Monitora e responde automaticamente ao estado do sistema: uso de CPU, conteção de DASD, controller caching, disponibilidade de memória, taxas de paginação, e características específicas do equipamento onde o MFX está sendo executado.
  • Explora a tecnologia PAV para minimizar o ELAP.
  • Explora MIDAW para reduzir o tempo de CPU e o ELAP.
  • Explora zIIP para reduzir o TCB.
  • Alocação de Sortwork dinâmica e incremental proporciona economia de até 25%.