Big Data und Analytics

Auf dem Weg zum datengetriebenen Unternehmen

 

[sciba leftsrc=“https://www.skillbyte.de/wp-content/uploads/2018/03/lego_data-driven-company1-1.jpg“ leftlabel=“Daten ungeordnet“ rightsrc=“https://www.skillbyte.de/wp-content/uploads/2018/03/logi_data-driven-company2-1.jpg“ rightlabel=“Daten geordnet“ mode=“horizontal“ width=““]

 

[mpc_textblock content_width=“100″]

Bewegen Sie bitte den Slider in der Mitte mit der Maus nach links oder rechts. Dieser Slider macht mit Hilfe einer Visualisierung sehr deutlich was ein datengetriebenes Unternehmen ausmacht. Ihr Unternehmen generiert schon jetzt sehr viele Daten wie im linken Bild symbolisiert. Diese Daten kommen aus:

[/mpc_textblock][mpc_icon_list mpc_icon__preset=“default“ mpc_icon__icon=“fa fa-check-square-o“ mpc_icon__icon_color=“#8ac4f1″ mpc_icon__icon_size=“32″ mpc_icon__border_divider=“true“ mpc_icon__padding_css=“padding:10px;“ mpc_icon__margin_divider=“true“ mpc_icon__hover_border_divider=“true“ font_preset=“mpc_preset_53″ list=“%5B%7B%22title%22%3A%22jedem%20Touchpoint%20mit%20dem%20Kunden%2C%20offline%20wie%20online%5Cn%22%2C%22icon_type%22%3A%22icon%22%7D%2C%7B%22title%22%3A%22jeder%20Transaktion%2C%20seien%20es%20Maschinen%2C%20Produktionslinien%2C%20Sensoren%2C%20etc.%22%2C%22icon_type%22%3A%22icon%22%7D%2C%7B%22title%22%3A%22jedem%20Call%20im%20Call%20Center%22%2C%22icon_type%22%3A%22icon%22%7D%2C%7B%22title%22%3A%22jedem%20Bild%20was%20seinen%20Weg%20in%20die%20Unternehmensdatenbanken%20findet%22%2C%22icon_type%22%3A%22icon%22%7D%2C%7B%22title%22%3A%22jedem%20Klick%20irgendwo%20auf%20Ihrer%20Webseite%22%2C%22icon_type%22%3A%22icon%22%7D%2C%7B%22title%22%3A%22uvm.%22%2C%22icon_type%22%3A%22icon%22%7D%5D“][mpc_textblock content_width=“100″]

In diesen Daten liegen Muster verborgen, Zusammenhänge begraben, die es gilt sichtbar zu machen. Ein datengetriebenes Unternehmen trifft Entscheidungen nicht aus dem Bauch heraus, nicht nach Hören/Sagen oder dem „Glauben“ etwas zu wissen. Diese sichtbar gemachten Fakten helfen Entscheidungen basierend auf Wissen und der Realität zu treffen. In dem Bild rechts sehen Sie wie es aussehen könnte wenn die Puzzleteile aus den Daten extrahiert worden sind. Es ergibt sich ein schlüssiges und vollständiges Bild. Diese Analogie lässt sich 1:1 auf Ihre Daten im Unternehmen übertragen.

[/mpc_textblock]

Notwendige Schritte

[mpc_connected_icons preset=“mpc_preset_8″ content_preset=“_mpc_preset_3″ layout=“vertical“ gap=“25″ lines_number=“1″ lines_color=“#92ced5″ lines_weight=“7″][mpc_icon_column layout=“style_3″ alignment=“left“ background_color=“#f7f7f7″ padding_css=“padding:20px;“ title_font_preset=“mpc_preset_20″ title_font_color=“#444444″ title_font_size=“17″ title_font_line_height=“1.4″ title_font_transform=“uppercase“ title_font_align=“left“ title=“Daten sammlen“ content_font_preset=“mpc_preset_1″ content_font_color=“#888888″ content_font_size=“14″ content_font_line_height=“1.5″ mpc_icon__icon=“etl etl-layers“ mpc_icon__icon_color=“#83bfe1″ mpc_icon__icon_size=“30″ mpc_icon__background_color=“#ffffff“ mpc_icon__border_css=“border-width:1px;border-color:#83bfe1;border-style:solid;border-radius:40px;“ mpc_icon__padding_css=“padding:7px;“ mpc_icon__margin_divider=“true“ mpc_icon__margin_css=“margin-top:-6px;margin-right:15px;“ mpc_icon__hover_icon_color=“#83bfe1″ mpc_icon__hover_background_color=“#ffffff“ mpc_icon__hover_border_css=“border-color:#ffffff;border-radius:20px;“ mpc_divider__disable=“false“ mpc_divider__width=“10″ mpc_divider__align=“left“ mpc_divider__content_padding_divider=“true“ mpc_divider__content_padding_css=“padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;“ mpc_divider__lines_color=“#dddddd“ mpc_divider__padding_divider=“true“ mpc_divider__padding_css=“padding-top:3px;padding-bottom:3px;“]

Aus den unterschiedlichen Datenquellen werden Daten zusammengeführt. Dies können Sensoren sein in Echtzeit oder im Batch Verfahren. Aber auch Emails, vorhandene Datenbanken, DWH, Webserver Logfiles usw. Technologien: Logstash, Beats, Kafka. Dies ist die „Extract“ Phase aus der Big Data Pipeline ETL (Extract, Transform, Load)

 

[/mpc_icon_column][mpc_icon_column layout=“style_3″ alignment=“left“ background_color=“#f7f7f7″ padding_css=“padding:20px;“ title_font_preset=“mpc_preset_20″ title_font_color=“#444444″ title_font_size=“17″ title_font_line_height=“1.4″ title_font_transform=“uppercase“ title_font_align=“left“ title=“Daten bereinigen“ content_font_preset=“mpc_preset_1″ content_font_color=“#888888″ content_font_size=“14″ content_font_line_height=“1.5″ mpc_icon__icon=“etl etl-scissors“ mpc_icon__icon_color=“#82ccdc“ mpc_icon__icon_size=“30″ mpc_icon__background_color=“#ffffff“ mpc_icon__border_css=“border-width:1px;border-color:#82ccdc;border-style:solid;border-radius:40px;“ mpc_icon__padding_css=“padding:7px;“ mpc_icon__margin_divider=“true“ mpc_icon__margin_css=“margin-top:-6px;margin-right:15px;“ mpc_icon__hover_icon_color=“#82ccdc“ mpc_icon__hover_background_color=“#ffffff“ mpc_icon__hover_border_css=“border-color:#ffffff;border-radius:20px;“ mpc_divider__disable=“false“ mpc_divider__width=“10″ mpc_divider__align=“left“ mpc_divider__content_padding_divider=“true“ mpc_divider__content_padding_css=“padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;“ mpc_divider__lines_color=“#dddddd“ mpc_divider__padding_divider=“true“ mpc_divider__padding_css=“padding-top:3px;padding-bottom:3px;“]

Zusammengeführte Daten werden bereinigt, sortiert und für die Analyse Algorithmen vorbereitet. Technologien: Hadoop, Spark, Kafka

 

[/mpc_icon_column][mpc_icon_column layout=“style_3″ alignment=“left“ background_color=“#f7f7f7″ padding_css=“padding:20px;“ title_font_preset=“mpc_preset_20″ title_font_color=“#444444″ title_font_size=“17″ title_font_line_height=“1.4″ title_font_transform=“uppercase“ title_font_align=“left“ title=“Analyse“ content_font_preset=“mpc_preset_1″ content_font_color=“#888888″ content_font_size=“14″ content_font_line_height=“1.5″ mpc_icon__icon=“etl etl-gears“ mpc_icon__icon_color=“#81ddd6″ mpc_icon__icon_size=“30″ mpc_icon__background_color=“#ffffff“ mpc_icon__border_css=“border-width:1px;border-color:#81ddd6;border-style:solid;border-radius:40px;“ mpc_icon__padding_css=“padding:7px;“ mpc_icon__margin_divider=“true“ mpc_icon__margin_css=“margin-top:-6px;margin-right:15px;“ mpc_icon__hover_icon_color=“#81ddd6″ mpc_icon__hover_background_color=“#ffffff“ mpc_icon__hover_border_css=“border-color:#ffffff;border-radius:20px;“ mpc_divider__disable=“false“ mpc_divider__width=“10″ mpc_divider__align=“left“ mpc_divider__content_padding_divider=“true“ mpc_divider__content_padding_css=“padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;“ mpc_divider__lines_color=“#dddddd“ mpc_divider__padding_divider=“true“ mpc_divider__padding_css=“padding-top:3px;padding-bottom:3px;“]

Daten werden in Datenbanken wie Cassandra, MongoDB, Elasticsearch, Hive, etc. abgelegt und sind bereit für die Anaylse. Im Falle von Echtzeit Anaylsen werden die Daten durch z.B. Apache Spark in einem Cluster sofort verarbeitet und analysiert.

 

[/mpc_icon_column][mpc_icon_column layout=“style_3″ alignment=“left“ background_color=“#f7f7f7″ padding_css=“padding:20px;“ title_font_preset=“mpc_preset_20″ title_font_color=“#444444″ title_font_size=“17″ title_font_line_height=“1.4″ title_font_transform=“uppercase“ title_font_align=“left“ title=“Visualisierung“ content_font_preset=“mpc_preset_1″ content_font_color=“#888888″ content_font_size=“14″ content_font_line_height=“1.5″ mpc_icon__icon=“etl etl-linegraph“ mpc_icon__icon_color=“#81ddd6″ mpc_icon__icon_size=“30″ mpc_icon__background_color=“#ffffff“ mpc_icon__border_css=“border-width:1px;border-color:#81ddd6;border-style:solid;border-radius:40px;“ mpc_icon__padding_css=“padding:7px;“ mpc_icon__margin_divider=“true“ mpc_icon__margin_css=“margin-top:-6px;margin-right:15px;“ mpc_icon__hover_icon_color=“#81ddd6″ mpc_icon__hover_background_color=“#ffffff“ mpc_icon__hover_border_css=“border-color:#ffffff;border-radius:20px;“ mpc_divider__disable=“false“ mpc_divider__width=“10″ mpc_divider__align=“left“ mpc_divider__content_padding_divider=“true“ mpc_divider__content_padding_css=“padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;“ mpc_divider__lines_color=“#dddddd“ mpc_divider__padding_divider=“true“ mpc_divider__padding_css=“padding-top:3px;padding-bottom:3px;“]

Verarbeitete Daten ob im Batch oder in Echtzeit werden in Form von Tabellen und Charts ausgegeben. Technologien: Tableau, Microsoft Power BI, Kibana, Grafana, etc.

 

[/mpc_icon_column][/mpc_connected_icons]

Weltweit generierte Daten pro Tag

Über 90% aller Daten weltweit wurden in den letzten 2 Jahren generiert. Diese Frequenz wird immer kürzer. Unternehmen stehen vor der Herausforderung die Daten zu speichern und zu analysieren. Big Data Technologie hilft den Daten Herr zu werden

 

[mpc_counter preset=“default“ title_font_preset=“mpc_preset_137″ title_font_color=“#333333″ title_font_size=“20″ title_font_line_height=“1″ title_font_transform=“uppercase“ counter_font_preset=“mpc_preset_137″ counter_font_color=“#777777″ counter_font_size=“50″ counter_font_line_height=“1.55″ type=“random“ value=“2500000″ duration=“2000″ addon_font_preset=“mpc_preset_137″ addon_v_align=“middle“ suffix=“Terrabyte“ mpc_icon__icon=“etl etl-map“ mpc_icon__icon_color=“#8ac4f1″ mpc_icon__icon_size=“70″ mpc_icon__padding_divider=“true“]

Wie wir helfen können

[mpc_accordion preset=“default“ content_preset=“_mpc_preset_7″ auto_indent=““ opened=“1″ title_font_preset=“default“ title_font_color=“#555555″ title_font_size=“20″ title_font_transform=“uppercase“ title_font_align=“left“ title_background_color=“#f5f5f5″ title_padding_divider=“true“ title_padding_css=“padding-top:7px;padding-right:10px;padding-bottom:7px;padding-left:10px;“ title_margin_divider=“true“ title_margin_css=“margin-top:10px;margin-right:0px;margin-bottom:0px;margin-left:0px;“ hover_title_color=“#333333″ hover_title_background_color=“#e5e5e5″ content_font_preset=“default“ content_font_align=“left“ content_padding_divider=“true“ content_padding_css=“padding-top:0px;padding-right:0px;padding-bottom:0px;padding-left:0px;“ content_margin_divider=“true“ content_margin_css=“margin-top:20px;margin-right:30px;margin-bottom:30px;margin-left:20px;“ margin_divider=“true“ margin_css=“margin-top:0px;margin-right:0px;margin-bottom:0px;margin-left:0px;“ mpc_icon__transition=“fade“ mpc_icon__icon=“eti eti_arrow_carrot-right_alt“ mpc_icon__icon_color=“#555555″ mpc_icon__icon_size=“20″ mpc_icon__background_color=“#f5f5f5″ mpc_icon__padding_css=“padding:10px;“ mpc_icon__hover_icon=“eti eti_arrow_carrot-down_alt“ mpc_icon__hover_icon_color=“#333333″ mpc_icon__hover_background_color=“#e5e5e5″][mpc_accordion_tab title=“Konzeption“]

Analyse der Ist Situation und Konzeption einer Big Data Processing Pipeline. Welche Technologie ist geeignet, welche haben Sie ggf. In-House was integriert werden kann. Wie sind die Erwartungen und welche Fragen wollen Sie beantwortet haben wollen. Dabei ist uns der „holistische“ Ansatz wichtig. Wir wollen Ihnen nicht nur punktuell helfen, sondern eine All-Round Beratung bieten wie Sie z.B. unterschiedliche Unternehmensbereiche und Channels zusammen bringen können, um den bestmöglichen Effekte zu erzielen.

 

[/mpc_accordion_tab][mpc_accordion_tab title=“Implementierung“]

Big Data erfährt einen Boom, weil es inzwischen jedes Unternehmen einsetzen kann. Die grundsätzliche Technologie ist Open Source. Z.B. Apache Nifi, Apache Kafka, Apache Spark, Hadoop, usw. usw. Es gibt viele mächtige Machine Learning / Deep Learning Frameworks, die benutzt werden können. Zudem kommen die Cloud Anbieter wie Amazon, Microsoft und Google, die Machine Learning as a Service in der Cloud anbieten. Auf der anderen Seite hat man die Qual der Wahl für die richtigen Tools, deren Konfiguration und Integration. Als Spezialist empfehlen und implementieren wir die – für Sie – richtigen Komponenten.

[/mpc_accordion_tab][/mpc_accordion]

Nehmen Sie Kontakt auf


    Masiar IghaniBig Data und Analytics