10 items tagged "Data scientist,"

  • Big Data Experiment Tests Central Banking Assumptions

    centrale bank van nederland(Bloomberg) -- Central bankers may do well to pay less attention to the bond market and their own forecasts than they do to newspaper articles.That’s the somewhat heretical finding of a new algorithm-based index being tested at Norway’s central bank in Oslo. Researchers fed 26 years of news (or 459,745 news articles) from local business daily Dagens Naringsliv into a macroeconomic model to create a “newsy coincident index of business cycles” to help it gauge the state of the economy.

    Leif-Anders Thorsrud, a senior researcher at the bank who started the project while getting his Ph.D. at the Norwegian Business School, says the “hypothesis is quite simple: the more that is written on a subject at a time, the more important the subject could be.”

    He’s already working on a new paper (yet to be published) showing it’s possible to make trades on the information. According to Thorsrud, the work is part of a broader “big data revolution.”

    Big data and algorithms have become buzzwords for hedge funds and researchers looking for an analytical edge when reading economic and political trends. For central bankers, the research could provide precious input to help them steer policy through an unprecedented era of monetary stimulus, with history potentially a serving as a poor guide in predicting outcomes.

    At Norway’s central bank, researchers have found a close correlation between news and economic developments. Their index also gives a day-to-day picture of how the economy is performing, and do so earlier than lagging macroeconomic data.

    But even more importantly, big data can be used to predict where the economy is heading, beating the central bank’s own forecasts by about 10 percent, according to Thorsrud. The index also showed it was a better predictor of the recession in the early 2000s than market indicators such as stocks or bonds.

    The central bank has hired machines, which pore daily through articles from Dagens Naringsliv and divide current affairs into topics and into words with either positive or negative connotations. The data is then fed into a macroeconomic model employed by the central bank, which spits out a proxy of GDP.

    Thorsrud says the results of the index are definitely “policy relevant,” though it’s up to the operative policy makers whether they will start using the information. Other central bank such as the Bank of England are looking at similar tools, he said.

    While still in an experimental stage, the bank has set aside more resources to continue the research, Thorsrud said. “In time this could be a useful in the operative part of the bank.”

    Bron: Informatie Management
  • Data science en de groei naar volwassenheid

    Data strategyIn 2015 ben ik samen met de Radboud Management Academy en Business & Decision gestart met de leergang Business Data Scientist. In deze blog ga ik in op één van de belangrijke doelstellingen van de leergang: bedrijven helpen een passend groeipad in big data gebruik te ontwikkelen en doorlopen.

    Data Science is een beetje als de buurman die je zijn nieuwe auto met het allernieuwste snufje laat zien. Bijna onmiddellijk bekruipt je het gevoel dat je dat ook nodig hebt. Veel ondernemingen ervaren hetzelfde gevoel wanneer het om data science gaat.

    Data is door talrijke technische en sociale ontwikkelingen (Connected economy, mobility, internet of things, willingness to share data) in overvloed aanwezig. Bedrijven herkennen ook dat data meer is dan een bijproduct van operationele processen. Ze zoeken daarom, meer of minder gedreven door de successen van de buurman, naar mogelijkheden om hun eigen bedrijfsvoering te verbeteren. Daarbij gebruikmakend van data als een primaire bron of asset.

    Veel ondernemingen vragen zich echter af: (Waar) moet ik beginnen? Wat moet ik ambiëren? Wie heb ik nodig om dit te organiseren? Is het voldoende als ik een stel hard core data scientists in dienst neem? Vanzelfsprekend is er geen ‘one fits all’ antwoord op deze vragen. Deze vragen zijn uitsluitend te beantwoorden wanneer de onderneming een helder beeld heeft op een haar passende data science strategie en bijbehorend groeipad. Wanneer deze ontbreken dreigt mislukking. En frustratie! Niet in de laatste plaats bij de aangenomen data scientists die de oplossing voor bijna alles zouden zijn. Het is immers moeilijk te voldoen aan onbepaalde en oneindige verwachtingen.

    Bedrijven kunnen verschillende keuzes maken in hun data science strategie. Deze zijn afhankelijk van hun eigen positie en bedrijfsstrategie. De uitgangspunten voor het laten aansluiten van de data science strategie op de bedrijfsstrategie kunnen verschillen. In de ene groep data-science strategieën (‘executie-strategie’, ‘transformatie-strategie’ en ‘service-strategie’) staat de bedrijfsstrategie niet ter discussie en is het doel van data science de bedrijfsvoering te ondersteunen en optimaliseren. In de andere data-science strategie is het doel juist de ondernemingsstrategie te veranderen. Data is dan een enabler voor fundamentele verandering van de business.

    De ene data science strategie is niet beter dan de andere. Bovendien zijn er mengvormen mogelijk en kan de ene strategie de andere in een later stadium volgen. Belangrijker is dat organisaties een expliciete keuze maken en een passende roadmap naar volwassenheid opstellen. De ontwikkeling van de data science afdeling wordt daar vervolgens op afgestemd. De ene data science competentie is namelijk de andere niet. Voor een executie strategie heb je bijvoorbeeld andere mensen en technologieën nodig dan voor een enabler strategie.

    Zo kiezen organisaties bewust een eigen data science strategie en groeipad naar volwassenheid. Vanuit dat kader kunnen technologische competenties en tools worden beoordeeld op hun noodzaak en bruikbaarheid. En maakt het gevoel ‘het nieuwste snufje van de buurman ook te moeten hebben’ plaats voor een bewust afweging op basis van ‘behoefte , bruikbaarheid en ontwikkelstadium’.

    Op zoek naar meer informatie? Indien je geinteresseerd bent kun je hier een nieuwe brochure aanvragen.

    Egbert Philips, https://www.linkedin.com/in/egbert-philips-9548bb2?trk=nav_responsive_tab_profile

  • Data Science implementeren is geen ‘Prutsen en Pielen zonder pottenkijkers’

    Belastingdienst

    Van fouten bij de Belastingdienst kunnen we veel leren

    De belastingdienst verkeert opnieuw in zwaar weer. Na de negatieve berichtgeving in 2016 was in Zembla te zien hoe de belastingdienst invulling gaf aan Data Analytics. De broedkamer waarin dat gebeurde stond intern bekend als domein om te 'prutsen en pielen zonder pottenkijkers'.

    Wetgeving met voeten getreden

    Een overheidsdienst die privacy- en aanbestedingswetgeving met voeten treedt staat natuurlijk garant voor tumult en kijkcijfers. En terecht natuurlijk. Vanuit oorzaak en gevolg denken is het echter de vraag of die wetsovertredingen nou wel het meest interessant zijn. Want hoe kon het gebeuren dat een stel whizzkids in datatechnologie onder begeleiding van een extern bureau (Accenture) in een ‘kraamkamer’ werden gezet. En zo, apart van de gehele organisatie, een vrijbrief kregen voor…….Ja voor wat eigenlijk?

    Onder leiding van de directeur van de belastingdienst Hans Blokpoel is er een groot data en analytics team gestart. Missie: alle bij de belastingdienst bekende gegevens te combineren, om zo efficiënter te kunnen werken, fraude te kunnen detecteren en meer belastingopbrengsten te genereren. En zo dus waarde voor de Belastingdienst te genereren. Dit lijkt op een data science strategie. Maar wist de belastingdienst wel echt waar ze mee bezig was? Vacatureteksten die werden gebruikt om data scientists te werven spreken van ‘prutsen en pielen zonder pottenkijkers’.

    De klacht van Zembla is dat het team het niveau van ‘prutsen en pielen’ feitelijk niet ontsteeg. Fysieke beveiliging, authenticatie en autorisatie waren onvoldoende. Het was onmogelijk te zien wie bij de financiële gegevens van 11 miljoen burgers en 2 miljoen bedrijven geweest was, en of deze gedownload of gehackt waren. Er is letterlijk niet aan de wetgeving voldaan.

    Problemen met data science

    Wat bij de Belastingdienst misgaat gebeurt bij heel erg veel bedrijven en organisaties. Een directeur, manager of bestuurder zet data en analytics in om (letterlijk?) slimmer te zijn dan de rest. Geïsoleerd van de rest van de organisatie worden slimme jongens en meisjes zonder restricties aan de slag gezet met data. Uit alle experimenten en probeersels komen op den duur aardige resultaten. Resultaten die de belofte van de 'data driven organisatie' mogelijk moeten maken.

    De case van de belastingdienst maakt helaas eens te meer duidelijk dat er voor een 'data driven organisatie' veel meer nodig is dan de vaardigheid om data te verzamelen en te analyseren. Tot waarde brengen van data vergt visie (een data science strategie), een organisatiewijze die daarop aansluit (de ene data scientist is de andere niet) maar ook kennis van de restricties. Daarmee vraagt het om een cultuur waarin privacy en veiligheid gewaarborgd worden. Voor een adequate invulling van de genoemde elementen heb je een groot deel van de ‘oude’ organisatie nodig alsmede een adequate inbedding van de nieuwe eenheid of funct

    ie.

    Strategie en verwachtingen

    Data science schept verwachtingen. Meer belastinginkomsten met minder kosten, hogere omzet of minder fraude. Efficiency in operatie maar ook effectiviteit in klanttevredenheid. Inzicht in (toekomstige) marktontwikkelingen. Dit zijn hoge verwachtingen. Implementatie van data science vraagt echter ook om investeringen. Stevige investeringen in technologie en hoogopgeleide mensen. Schaarse mensen bovendien met kennis van IT, statistiek, onderzoeksmethodologie etc. Hoge verwachtingen die gepaard gaan met stevige investeringen leiden snel tot teleurstellingen. Teleurstellingen leiden tot druk. Druk leidt niet zelden tot het opzoeken van grenzen. En het opzoeken van grenzen leidt tot problemen. De functie van een strategie is deze dynamiek te voorkomen.

    Het managen van de verhouding tussen verwachtingen en investeringen begint bij een data science strategie. Een antwoord op de vraag: Wat willen we in welke volgorde volgens welke tijdspanne met de implementatie van data science bereiken? Gaan we de huidige processen optimaliseren (business executie strategie) of transformeren (business transformatie strategie)? Of moet het data science team nieuwe wijzen van werken faciliteren (enabling strategie)? Deze vragen zou een organisatie zichzelf moeten stellen alvorens met data science te beginnen. Een helder antwoord op de strategie vraag stuurt de governance (waar moeten we op letten? Wat kan er fout gaan?) maar ook de verwachtingen. Bovendien weten we dan wie er bij de nieuwe functie moet worden betrokken en wie zeker niet.

     

    Governance en excessen

    Want naast een data science strategie vraag adequate governance om een organisatie die in staat is om domeinkennis en expertise uit het veld te kunnen combineren met data. Dat vereist het in kunnen schatten van 'wat kan' en 'wat niet'. En daarvoor heb je een groot deel van de 'oude' organisatie nodig. Lukt dat, dan is de 'data driven organisatie' een feit. Lukt het niet dan kun je wachten op brokken. In dit geval dus een mogelijke blootstelling van alle financiele data van alle 11 miljoen belastingplichtige burgers en 2 miljoen bedrijven. Een branchevreemde data scientist is als een kernfysicus die in experimenten exotische (en daarmee ook potentieel gevaarlijke) toepassingen verzint. Wanneer een organisatie niet stuurt op de doelstellingen en dus data science strategie dan neemt de kans op excessen toe.

     

    Data science is veelmeer dan technologie

    Ervaringsdeskundigen weten al lang dat data science veelmeer is dat het toepassen van moderne technologie op grote hoeveelheden data. Er zijn een aantal belangrijke voorwaarden voor succes. In de eerste plaats gaat het om een visie op hoe data en data technologie tot waarde kunnen worden gebracht. Vervolgens gaat het om de vraag hoe je deze visie organisatorisch wilt realiseren. Pas dan ontstaat een kader waarin data en technologie gericht kunnen worden ingezet. Zo kunnen excessen worden voorkomen en wordt waarde gecreëerd voor de organisatie. Precies deze stappen lijken bij de Belastingdienst te zijn overgeslagen.

     

    Zembla

    De door Zembla belichtte overtreding van wetgeving is natuurlijk een stuk spannender. Vanuit het credo ‘voorkomen is beter dan genezen’ blijft het jammer dat het goed toepassen van data science in organisaties in de uitzending is onderbelicht.

     

    Bron: Business Data Science Leergang Radboud Management Academy http://www.ru.nl/rma/leergangen/bds/

    Auteurs: Alex Aalberts / Egbert Philips

  • De hipste nieuwe IT-banen

    Data-scientist-philippinesDe hipste nieuwe IT-banen

     
    In Silicon Valley wordt heftig geconcurreerd om het schaarse talent. De nieuwe beloningsnorm voor engineering toptalent in it is een miljoen dollar bij een vierjarig commitment. Dat soort bedragen halen we hier nooit, maar ook hier gaan salarissen omhoog door de schaarste aan it-professionals. Het aantal openstaande ict-vacatures in Nederland is eind 2014 gestegen tot bijna twintigduizend. Maar wie wil er nog een saaie baan?

    Jongere generaties op de arbeidsmarkt gaan niet meer sec voor een carrière naar de top. Ze willen uitdagend werk en het verschil maken. Wie wil er dan nog een tester zijn of database administrator? Steeds meer ceo’s roepen dat ze een digital company worden. Dan is it niet zozeer een afdeling meer, maar de (toekomstige) kern van het bedrijf. Er ontstaan dan ook nieuwe en echt hippe it-banen. In die wereld is er steeds meer waardering voor technisch talent dat niet zo nodig manager hoeft te worden. Hun werkmotto is simpel: ‘be the best at what you do’.

    Ik heb mijn lijstje met de nieuwe Affengeile it-jobs al opgesteld:

    1. User experience leader. In deze baan sta je in het midden van de ontwikkeling van fysieke producten en vooral digitale diensten zoals websites, apps en digital services. UX omvat veel meer dan UI ofwel het design van user interfaces. De gehele waardenpropositie en klantreis staan centraal.

    2. Business service manager. It is traditioneel horizontaal verdeeld in applicaties, middleware, datacenters en netwerken. Deze ‘lasagne’ is volstrekt irrelevant voor de business - die wil sec een dienst afnemen. Deze omzetting van horizontaal naar verticaal ofwel end-to-end is de verantwoordelijkheid van de business service manager.

    3. Data scientist. Met big data komen traditionele datastromen (erp, crm) samen met nieuwe massale datastromen die gegenereerd worden door social media, het internet of things (IoT) en mobiel. Dan heb je data scientists nodig; data-centric management consultants die in de business het verschil gaan maken om big data om te zetten naar bruikbare informatie, de basis voor nieuwe business kansen.

    4. Cloud integration specialist. In een hybride wereld van private en publieke clouds wordt je it-landschap fluïde. Organiseren, configureren, data-integratie en probleemoplossing is een nieuw werkgebied waar je specialisten voor nodig hebt die primair de taal van de business spreken.

    5. Digital ecosystem architect. In een digital business ecosystem heb je it-architecten nodig die de api-gedreven wereld als de nieuwe norm beschouwen en helpen bouwen aan digitale ketens met andere partijen. In bedrijfstakken waar het internet of things een grote rol gaat spelen, wordt deze functie megabelangrijk.

    6. DevOps coach. In het verlengde van Scrum ligt DevOps, gericht op het synchroniseren van softwareontwikkeling en beheer. Doel is zowel maximale versnelling in de change als maximale stabiliteit in de run. Als coach ben je bezig cultureel gescheiden werelden te overbruggen en eenheid te smeden.

    7. Vp multi-channel e-commerce. Mobiel, internet en fysieke kanalen worden omnichannel waarbij de klantervaring over alle kanalen naadloos is geïntegreerd en afgestemd. Mobiel gaat een leidende rol spelen, ook bij de klantbeleving op fysieke locaties. Dit is een nieuwe topfunctie in de categorie chief digital officer.

    8. Certified ethical hacker. Ethisch hacken is het (bij voorkeur op een georganiseerde en gecontroleerde manier) detecteren van potentiële bedreigingen om de security te verbeteren. Het werkgebied loopt van vulnerability assessments tot penetration testing. Chief information security officers (ciso’s) binnen multinationals en overheden hebben ethical hackers nodig in hun team.

    Klassieke it-functies zullen nog wel een tijdje bestaan. Maar wie kijkt naar de transformatie van bedrijven naar ‘digital companies’, zal zien dat de kansen op de leukste én best betaalde banen in de categorie über cool liggen


    Bron: Computable

    Auteur: Marco Gianotten

    15 April 2015

  • Do you know what a data driven company is?

    Most companies today claim to be fluent in data, but as with most trends, these claims tend to be exaggerated. Com

    Data driven company 1396308504-data-driven-means-never-having-say-sorry

    panies are high on data, but what does it mean to be a data-driven company? I went ahead and asked a number of business leaders.

    According to Amir Orad, CEO of Sisense, a business intelligence software provider, true data-driven companies understand that data should be omnipresent and accessible.

    "A data-driven company is an organization where every person who can use data to make better decisions, has access to the data they need when they need it. being data-driven is not about seeing a few canned reports at the beginning of every day or week; it's about giving the business decision makers the power to explore data independently, even if they're working with big or disparate data sources."

    Asaf Yigal, the co-Founder of Logz.io, ELK as a service cloud platform, agrees, but emphasized the importance of measurability.

    "Data-driven complains are companies that relentlessly measure and monitor the pulse of the business and are doing so in a continuous and often automated manner."

    Companies often proudly talk about data-driven marketing, but forget that the company itself should be driven by data, internally and externally. It's also important to remember that internal data might help produce information that can be used for marketing and sales purposes.

    "There's a lot of talk about data-driven marketing and sales, etc., but not a lot about a company as a whole becoming data-driven," said Manish Sood, the founder and CEO of Reltio.

    Bryan Harwood from Outsell sets says a company needs to meet the following three objectives to qualify.

     

    1. It should be able to not only draw data from a variety of internal and external sources, but also be able to blend that data in an analytics engine and distill it down to actionable insights.

    2. These insights should drive real-time decision making that infuses every level of the organization.

    3. The data should yield quantifiable results downstream that in turn, inform the organization about which data sources are yielding results.

    Considering the increasing complexity of data growing larger in size, changing rapidly and spread between many disparate sources, accessibility alone is not enough.

    "Being data-driven is not about seeing a few canned reports at the beginning of every day or week; it's about giving the business decision makers the power to explore data independently, even if they're working with big or disparate data sources. They need to be able to ask questions and receive answers that are based on data before the decision is actually made -- today in many places the executive makes a 'gut-instinct' decision and then looks for the data to justify it. But if data is readily available and easy to analyze and to present in visual form, it becomes an inherent part of the decision-making process -- and that's what makes an organization truly data-driven," said Orad.

    The surge of a data-driven culture has also had a significant impact on how companies are structured. The complexity of data forces companies to merge different department to harness their individual strengths to make the most of data. Being data-driven means making use of massive quantities of unstructured data – text, video, voice.  In the past this belonged to the IT department which had a tough time

    extracting insights from it.

     

    From darkness to light: how to become data-driven

    According to most experts, the road to data fluency is not easy or glamorous.

    "To become a data-driven company the belief in the importance of the integrity and quality of information needs to perme

    ate the culture of the company at all levels. It is not enough to start a formal data governance program, becoming data-driven requires a disciplined shift in the mindset of all employees towards maintaining the integrity and quality of their data," said Chris Jennings, vice president of technology services at Collaborative Consulting.

    Yigal from Logz.io asks companies to treat data as religion.

    "Companies need to be religious with demanding to see the data before and after changes are being made. Especially in fast moving start-up companies where changes are easily made it's prudent to track the impact of every change."

    To make sure data is not only in the hands of IT and other data enthusiasts, organizations need to embrace a switch in culture. 

    Most experts agree that business intelligence needs to be in the hands of every decision maker in the company to make sure the entire staff is aligned and fighting the same battles.

    "This way, there are no 'different versions of the truth' floating around in disparate spreadsheets, and every user has a consistent experience across platforms," said Ulrik Pederson, CTO of TARGIT.

     

    Once the organization is prepared for the switch, there are three key components of becoming a data-driven organization.

    • Build a data warehouse
    • Connect the most critical data sources
    • Share data through dashboards, analyses, mobile business intelligence, storyboards, and report

    As data volume, variety, and velocity increase, so does the organization's ability to make use of it, especially if the cultural and technical elements are in place. Analytics, resources, and skills should not be limited to a few departments, and everyone, from sales to marketing and IT to finance, should leverage the benefits of data.

    Source: InfoWorld. This article is published as part of the IDG Contributor Network.

  • SAS Academy for Data Science in september van start in Nederland

    downloadVoor toekomstige en praktiserende data scientists zijn er weinig mogelijkheden om officiële papieren te halen voor hun werkveld. SAS introduceert daarom de SAS Academy for Data Science. Voor Europese deelnemers gaat deze opleiding in september van start in Nederland. In het programma van de SAS Academy for Data Science wordt kennisontwikkeling voor technologieën als big data, advanced analytics en machine learning gecombineerd met essentiële communicatieve vaardigheden voor data scientists.

    “De sleutel om concurrentievoordeel te behalen uit de enorme hoeveelheden data zijn analytics en de mensen die ermee kunnen werken”, vertelt Pascal Lubbe, Manager Education bij SAS. “De Academy for Data Science biedt kansen aan professionals die starten op dit gebied of hun capaciteiten verder willen ontwikkelen. Ook kunnen bedrijven een speciaal in-house programma laten ontwikkelen voor hun medewerkers. De studenten werken voor de opleiding met SAS-software, maar zijn bij het afronden van de opleiding breed gekwalificeerd als data scientist.”

    De tracks van de SAS Academy for Data Science bestaan uit verschillende elementen; een klassikale instructie, een hands-on case of team project, certificeringsexamens en coaching. Iedere track neemt zes weken in beslag. Door de examens succesvol af te leggen kunnen studenten een of twee diploma’s behalen: SAS Certified Big Data Professional en/of SAS Certified Data Scientist.

    Krachtige mix

    De SAS Academy for Data Science onderscheidt zich door de krachtige mix van praktische ervaring met analytics, computing, statistics en zakelijke kennis en presentatievaardigheden. De lessen worden geleid door experts, begeleid door een coach en studenten krijgen de beschikking tot de SAS-omgeving.

    De opleiding kent twee levels: in het eerste level worden studenten opgeleid om de ‘SAS Certified Big Data Professional credential’ te behalen. Ze leren hoe ze big data kunnen beheren en opschonen en de data te visualiseren met SAS en Hadoop. Level 2 is de opleiding tot gecertificeerd SAS Data Scientist, met predictive modeling, machine learning, segmentatie en text analytics. Ook wordt ingegaan hoe SAS samenwerkt met open source programmeertalen. En minstens zo belangrijk: studenten leren hoe ze met onmisbare communicatieve capaciteiten betekenis geven aan data voor stakeholders.

    Analytics-talent

    “SAS is bijna 40 jaar actief in het data science-vakgebied waarbij we telkens hebben ingespeeld op de behoeften van klanten. Nu vragen onze klanten om analytics-talent”, zegt Jim Goodnight, CEO van SAS. “Werkgevers vertrouwen gecertificeerde SAS-professionals niet alleen voor het beheren en analyseren van de data, maar ook om de betekenis en gevolgen voor de business te begrijpen. Door de analyseresultaten duidelijk te communiceren kunnen betere beslissingen genomen worden.”

    Source: Emerce

  • Succes with big data starts with asking the right questions

    stellen van vragenMany organizations complain that they aren’t achieving the success with big data projects they hoped for. At the recent Strata & Hadoop World conference in New York, Information Management spoke with Tara Prakriya, chief product officer at Maana, about why that is, and what can be done about it.

    What are the most common themes that you heard among conference attendees?

    Tara Prakriya: There seemed to be a lot of disappointment over the results of big data projects, with value falling short of expectations. At Strata there appeared to be a lack of process, tools and platforms for subject-matter experts and data science collaboration. There is an inability to combine models and on top of that the right questions aren’t being asked to achieve very specific optimization for enterprises.

    What does your company view as the top data issues or challenges this year?

    Prakriya: We see two buckets:

    First, we start from a precise question and develop a model to answer. We then back into appropriate data within what exists in the enterprise and NO more. When getting the data, we are more surgical about the data we are looking at and only use data we need.

    Second, Maana is usually deployed into environments in which all users do not have equal access to all data under its management. We have more focus on knowledge management. We also have the affordance, with our platform, for sharing the knowledge without having to have to share the data itself.

    How do these themes and challenges relate to our company’s market strategy this year? 

    Prakriya: Our theme is about utilizing information in the form of knowledge to get to the ROI for business processes optimization. There is a clear link between the information for the Q&A and what that takes to move the needle. We see Fortune 500 companies going through digital transformation and existing technologies are falling short of getting business value

    Source: Information Management, David Weldon, October 19th, 2016

  • Tekort aan data scientists wordt belangrijke trend in BI

    2 April 2015

    Data Is geen informatie en informatie is nog geen kennis. Het op creatieve doch methodisch verantwoorde manier verwerken van data blijft mensenwerk. Onderzoeksbureau Passioned geeft bijvoorbeeld aan dat de exponentiële aanwas én beschikbaarheid van data en de almaar groeiende behoefte aan analytics ervoor zorgen dat het al bestaande tekort aan data scientists steeds groter zal worden (op basis van een artikel dat al in 2013 in NRC verscheen). De vraag is echter gerechtvaardigd wat een data scientist tot een goede data scientist maakt. Een goede data scientist heeft niet alleen verstand van statistiek, data blending en data visualisatie. Een goede data scientist kan meer. Hij of zij is in staat om data op bedrijfsrelevantie te beoordelen en door middel van analyse toegevoegde waarde voor de business te creëren. En niet in de laatste plaats is hij of zij in staat de gegenereerde inzichten actionable te maken. Dat vereist sociaal communicatieve vermogens. De data scientist kan wel de meest gewilde werknemer van de 21e eeuw zijn. Het is nog niet zo eenvoudig aan het profiel te voldoen.

    BI-kring redactie

  • The Tech Industry Is in the Middle of a Data Engineering Talent Shortage

    MOD-54199 growthindataengineersA New Report From Stitch and Galvanize, The State of Data Engineering, Reveals a Shortage of Data Engineering Talent

    PHILADELPHIA, PA--(Marketwired - Sep 12, 2016) -  A new study, The State of Data Engineering released today by Stitch, an ETL service; and Galvanize, a learning community for technology, reveals a shortage in data engineering talent. There are only 6,500 self-reported data engineers on LinkedIn, but the San Francisco Bay area alone has 6,600 job listings for that same title.

    "Companies are increasingly viewing data as a competitive advantage," said Jake Stein, CEO of Stitch. "The Ubers and Airbnbs of tech have mastered using data to build better and smarter technology products. Now other tech companies are looking to do the same, and this is causing a major talent shortage."

    The report delves deep into three core trends around data engineering:

    • Growth in the data engineering discipline
      While there's a shortage of this talent today, the numbers of data engineers are growing rapidly. From 2013-2015, the number of data engineers increased 122%. For context, the number of data scientists increased 47% in that same time period. Jonathan Coveney, data engineer at Stripe, says this rise in data engineering talent reflects a new sophistication in how companies think about data and the people who manage it, "There's a growing sense today that data isn't just a byproduct, but rather it's a core part of what a company does." 
    • Where data engineers are coming from
      42% of all data engineers were formerly working as a software engineer, making it above and beyond the most common background. Data engineers are coming from other disciplines as well, but in much smaller numbers. A few other backgrounds include analyst (7%), consultant (6%), business analyst (3%), and data architect (3%). 
    • The skill sets of data engineers
      The top five skills of data engineer are: SQL, Java, python, Hadoop, and Linux. But these skills are notably different depending on the size of the company. For data engineers working at large companies (1000+ employees), top skills are: data warehousing, business intelligence, Oracle, ETL, and Unix. For data engineers working at small companies (1-200 employees), top skills are: python, Java, javascript, MySQL, and machine learning.

    Working with massive data sets requires specialized data engineering talent, and the race is on to get it. "The need for data science skills has become dramatic because companies realize the value and growth potential in their data assets," said Jim Deters, co-founder and CEO of Galvanize. "That's why companies of all sizes are starting to send their software engineers to Galvanize to learn how to work with big data and even the companies that aren't re-training or re-investing in their talent are telling us they need more people who can do this work -- it's a great opportunity for those with aptitude and ambition to learn these skills and to take some of these jobs."

    Bron:marketwired.com, 12 september 2016

     

  • What are key trends in Big Data in 2017


    BDThe focus on big data in 2017 will be on the value of that data, according to John Schroeder, executive chairman and founder of MapR Technologies, Inc. Schroeder offers his predictions on the 6 trends in big data we can expect.

    1.Artificial Intelligence is Back in Vogue

    “In the 1960s, Ray Solomonoff laid the foundations of a mathematical theory of artificial intelligence, introducing universal Bayesian methods for inductive inference and prediction,” Schroeder explains. “In 1980 the First National Conference of the American Association for Artificial Intelligence (AAAI) was held at Stanford and marked the application of theories in software. AI is now back in mainstream discussions and the umbrella buzzword for machine intelligence, machine learning, neural networks, and cognitive computing. Why is AI a rejuvenated trend? The three V’s come to mind: Velocity, Variety and Volume. Platforms that can process the three V’s with modern and traditional processing models that scale horizontally providing 10-20X cost efficiency over traditional platforms. Google has documented how simple algorithms executed frequently against large datasets yield better results than other approaches using smaller sets. We'll see the highest value from applying AI to high volume repetitive tasks where consistency is more effective than gaining human intuitive oversight at the expense of human error and cost.”

    2.Big Data for Governance or Competitive Advantage

    “In 2017, the governance vs. data value tug-of-war will be front and center,” Schroeder predicts. “Enterprises have a wealth of information about their customers and partners. Leading organizations will manage their data between regulated and non-regulated use cases. Regulated use cases data require governance; data quality and lineage so a regulatory body can report and track data through all transformations to originating source. This is mandatory and necessary but limiting for non-regulatory use cases like customer 360 or offer serving where higher cardinality, real-time and a mix of structured and unstructured yields more effective results.”

    3.Companies Focus on Business- Driven Applications to Avoid Data Lakes From Becoming Swamps

    “In 2017 organizations will shift from the ‘build it and they will come’ data lake approach to a business-driven data approach,” says Schroeder. “Today’s world requires analytics and operational capabilities to address customers, process claims and interface to devices in real time at an individual level. For example any ecommerce site must provide individualized recommendations and price checks in real time. Healthcare organizations must process valid claims and block fraudulent claims by combining analytics with operational systems. Media companies are now personalizing content served though set top boxes. Auto manufacturers and ride sharing companies are interoperating at scale with cars and the drivers. Delivering these use cases requires an agile platform that can provide both analytical and operational processing to increase value from additional use cases that span from back office analytics to front office operations. In 2017, organizations will push aggressively beyond an “asking questions” approach and architect to drive initial and long term business value.”

    4.Data Agility Separates Winners and Losers

    “Software development has become agile where dev ops provides continuous delivery,” Schroeder says. “In 2017, processing and analytic models evolve to provide a similar level of agility as organizations realize data agility, the ability to understand data in context and take business action, is the source of competitive advantage not simply have a large data lake. The emergence of agile processing models will enable the same instance of data to support batch analytics, interactive analytics, global messaging, database and file-based models. More agile analytic models are also enabled when a single instance of data can support a broader set of tools. The end result is an agile development and application platform that supports the broadest range of processing and analytic models.”

    5.Blockchain Transforms Select Financial Service Applications

    “In 2017 there will be select, transformational use cases in financial services that emerge with broad implications for the way data is stored and transactions processed,” Schroeder explains. “Blockchain provides a global distributed ledger that changes the way data is stored and transactions are processed. The blockchain runs on computers distributed worldwide where the chains can be viewed by anyone. Transactions are stored in blocks where each block refers to the preceding block, blocks are timestamped storing the data in a form that cannot be altered. Hackers find it impossible to hack the blockchain since the world has view of the entire blockchain. Blockchain provides obvious efficiency for consumers. For example, customers won't have to wait for that SWIFT transaction or worry about the impact of a central datacenter leak. For enterprises, blockchain presents a cost savings and opportunity for competitive advantage.”

    6.Machine Learning Maximizes Microservices Impact

    “This year we will see activity increase for the integration of machine learning and microservices,” Schroeder says. “Previously, microservices deployments have been focused on lightweight services and those that do incorporate machine learning have typically been limited to ‘fast data’ integrations that were applied to narrow bands of streaming data. In 2017, we’ll see development shift to stateful applications that leverage big data, and the incorporation of machine learning approaches that use large of amounts of historical data to better understand the context of newly arriving streaming data.”

    Bron: Informatie Manegement, Januari 2017

EasyTagCloud v2.8