HeDe kans is groot dat de wereld binnenkort niet alleen wordt bevolkt door miljarden mensen, maar ook door miljarden robots. De IT-industrie wordt het terrein voor bedrijven die programma's ontwikkelen voor deze robots. Net zoals de nu voor menselijke gebruikers ontwikkelde apps zullen deze 'robo-apps' te downloaden en te installeren zijn.

De grenzen tussen robots en mensen vervagen. Bij transplantaties wordt gebruik gemaakt van elektronisch gestuurde kunstmatige organen en protheses. Nanorobots dringen diep in het lichaam door om medicijnen af te leveren bij zieke cellen of om microchirurgie uit te voeren. Speciaal geïnstalleerde houden toezicht op de gezondheid van mensen.

Mensen in slimme huizen wonen, waar het meeste comfort volledig is geautomatiseerd. De software waarop het huis draait regelt het verbruik en de aanvulling van energie, water, voedsel en andere voorzieningen.

Onze digitale alter ego's komen eindelijk volledig tot wasdom binnen een enkele, wereldwijde infrastructuur die in staat is tot zelfregulering en betrokken is bij het beheer van het leven op de planeet. Het systeem zal een beetje werken als het hedendaagse TOR; de meest actieve en effectieve gebruikers zullen moderatorrechten verdienen.

Niet alleen saaie klusjes behoren tot het verleden – ook de productie van bepaalde artikelen zal niet langer nodig zijn. In plaats daarvan stellen 3D-printers ons in staat alles te ontwerpen en te maken wat we nodig hebben.

De pc stond weliswaar aan de basis van de hele IT-revolutie, maar in 2045 zien we hem waarschijnlijk alleen nog in musea. De dingen om ons heen verwerken hun eigen informatie.

Niet iedereen zal even enthousiast zijn over die mooie, nieuwe robotwereld. Waarschijnlijk zullen technofoben in opstand komen om zich te verzetten tegen de ontwikkeling van intelligente huizen, geautomatiseerde levensstijlen en robots.

Bron: Automatiseringsgids, 22 Januari 2014

Data en apps hebben niets met elkaar te maken. En alles. Maar dan natuurlijk precies omgekeerd als veelal wordt gedacht.

Verwarde mannen. Nergens kom je die zo vaak tegen als in de ict. Althans, dat denk ik wanneer ik intelligente mensen opvattingen hoor verkondigen die met minder hypegevoeligheid en meer gezond verstand niet hadden bestaan. Zo’n ervaring had ik vier jaar terug. Ik mocht advies uitbrengen over een reorganisatie van een organisatie met veel ict. Met veel ict kwamen vele data-eilanden en datalogistiek en de bekende problemen van hoge kosten en matige datakwaliteit. Bij een aantal betrokkenen bleek het beeld te bestaan dat die problemen grotendeels zouden gaan verdwijnen door legacy-applicaties te ver-appen. Ook rekening houdend met het feit dat apps nog maar net aan hun opmars waren begonnen, was dat een merkwaardige opvatting.

Het is niet moeilijk om verwarde vakmensen te ont-hypen. Wat doen apps? Worden foute data goed? Worden corrupte data integer? Worden inconsistente data samenhangend? Worden verouderde data actueel? Nee, nee, nee en nee. Wat wel gebeurt is dat data ontsluiten voor de gebruiker gemakkelijker wordt dan met een browser en dat je programmatuur en lokale data op een mobiele client kunt installeren en bijhouden. Natuurlijk kun je in een app de halve datawereld ontsluiten, waar je ook bent, maar de credits daarvoor gaan naar open data(bases), Java, JDBC, 4G, Android/iOS, et cetera; niet naar het verschijnsel ‘app’ als zodanig.

Ondertussen heeft de combinatie van al deze zaken wel degelijk geleid tot een totaal andere relatie van mensen en data: zowel gestructureerde als ongestructureerde data, zowel klassieke text & number data als grafische, audio- en videodata. Maar de app is slechts de zichtbare toegangspoort tot al die rijkdom, de toegangspoort naar die wereld, even low-tech en high-concept als de hyperlink.

De opkomst van de app heeft ondertussen een wereld van data opengelegd. Niet zozeer om wat de app vermag maar vanwege het verbijsterende aanbod van apps, alle met hun eigen databronnen. In de praktijk leidt de app eerder tot versplintering van functionaliteit dan tot integratie van databronnen, al kan dat meer te maken hebben met het meer vluchtige gebruik van mobiele devices dan met de aard van apps. Maar hoe lang je er ook over doorpraat, apps als zodanig hebben geen effect op hoe een gegevenshuishouding van een organisatie moet worden opgezet of hoe bedrijfsdata moeten worden gemanaged.

Tot hier heb ik de app bekeken als een middel om data te ontsluiten, de conventionele kijk. Er is echter ook aan andere kijk, die vooral wordt aangetroffen onder privacyadepten en databasemarketeers. Voor deze lieden is de app een data collection device, een superkrachtig middel om toegang te krijgen tot een wereld aan gedragsdata. Locatie, contacten, foto’s, in potentie alles dat een mobiel apparaat aan data kan verzamelen; de app als de primaire provider van big data.

Zodra we de relatie tussen apps en data omkeren, zien we wel degelijk een impact op de gegevenshuishouding en een enorme uitdaging voor dataspecialisten. Wat te doen met al die ruwe sensordata die niet worden verzameld en gefilterd door data entry-mensen, ondersteund door elektronische formulieren met handige classificatiehulpmiddelen als drop-down listboxes, radio buttons en invoercontroles? Apps breiden de gegevenshuishouding van organisaties uit met bergen gedragsdata die van een totaal andere aard zijn dan de klassieke administratieve data.

Voor app-gebruikers, met name consumenten die gratis apps gebruiken, is de grootste uitdaging het behoud van een acceptabel minimum aan privacy. Voor organisaties bestaat de uitdaging in het integreren van de klassieke administratieve data met de nieuwe gedragsdata. Zo bezien hebben apps inderdaad een enorm effect op de gegevenshuishouding van organisaties, maar dan aanvullend. De data die apps toevoegen aan de gegevenshuishouding van organisaties vormen veelal nieuwe informatie-eilanden, aanvullend aan en relatief incompatibel met de archipel van data toebehorend aan (legacy-)systemen en datawarehouses. Het perspectief van integratie van administratieve data en door apps verzamelde gedragsdata in één samenhangende gegevenshuishouding is nog groter dan de integratie van eilanden van administratieve data, juist omdat de aard van deze data zo verschillend en aanvullend is. Helaas voorspelt de geschiedenis van data-integratie niet veel goeds. We staan vermoedelijk aan het begin van een groot aantal hele en halve mislukkingen en sowieso van grote ict-investeringen. We leven weer eens in interessante tijden.

Is dat een droevige conclusie? Ja en nee. Ja, want extra complexiteit en kosten zijn uiteindelijk in niemands belang. En nee, want ict en de manier waarop organisaties daarmee omgaan zal meer dan ooit een vitaal concurrentiemiddel worden. Jazeker, dat dachten we in de jaren ’80 ook en dat pakte anders uit, maar deze keer is het voor veel organisaties – natuurlijk lang niet alle – anders.

Vraag niet wat uw data kunnen doen voor uw apps, maar wat uw apps kunnen doen voor uw data. Dát is de vraag.

Source: Computable

Internet of Things technology is a hot topic. You can’t read a tech news site without coming across at least one mention of IoT. But if you’re looking to take advantage of sensors, you will likely have to update your data store to handle the workload. Once you’re set up data-wise, get ready to monitor everything from weather and the environment to overseas factory floors and even fleets of trucks.

Why NoSQL for IoT?

You might think your data needs for sensors are as tiny as these little devices, but there are several reasons you should consider a NoSQL database.

The first reason is that these sensors can send huge amounts of data since they run 24/7. All of that data adds up to the need for a larger storage capacity. While you might be tempted to use an RDBMS, relational databases were never really meant to deal with the kind of data that sensors generate. For one thing, sensor data doesn’t always make sense in tabular format.

SQL was originally designed for relatively static data structured as a table. Data from sensors can change a lot and provides a continuous stream. And you need to be able to add or remove entries on the fly, which can prove difficult with relational databases.

NoSQL databases are also more scalable, offering flexibility in data models. You can have a structure similar to SQL with wide tables, or you might choose to go with a document-oriented database, key-value database, or graph database. Time series databases are one of the more obvious choices for Internet of Things applications specifically.

Some businesses may join the big data revolution without knowing where they are actually going to store their data. You could have a cluster dedicated to your data and another to your analytics, but that’s expensive. Wouldn’t it be great if you could have your data and analytics in the same cluster? NoSQL eliminates budget waste for those with two different clusters that amount to the same thing.

Applications

So now that you’ve got your IoT-capable database, what can you do with Internet of Things technology?

In “The Only Living Boy in New York,” Paul Simon famously got all the news he needed on the weather report. While the weather might seem to most of us like no more than a cliche, “safe” topic for conversation, for many people, receiving the weather report is a matter of safety and survival.

The severe weather that has impacted much of the U.S. in recent years shows how timely weather forecasts can save lives by allowing forecasters to give accurate, quick, and up-to-the-moment warnings and alerts. Both the National Weather Service and private forecasters use sophisticated models to predict the weather, and those models get better all the time. One of the primary reasons they continue to improve is that the forecasters feed the programs with real data gathered from weather stations around the world. The Weather Channel acquired Weather Underground largely for its extensive network of weather stations operated by enthusiasts.

If you’re not interested in weather monitoring, IoT offers other options, such as monitoring pollution. Sensors can measure particles in the air, or chemicals and bacteria in the water. Agencies could use this information to plan congestion pricing for commuters or direct cleanup resources.

Nearly every State in the U.S. has called for more manufacturers to bring jobs back to the U.S. instead of offshoring, but manufacturers cite high costs as a reason to keep factory jobs overseas. One way to monitor operations abroad is to deploy IoT on factory floors. While automated process control is nothing new, what is new is the ability to connect directly to factory floors from around the world. Businesses can monitor production and instantly track problems before they become big ones.

One of the biggest successes for Internet of Things industry is in logistics, particularly fleet tracking. Trucking companies can see instantly where their vehicles are, and customers can know exactly where their stuff is. Managers can even track fuel usage and see when trucks are due for maintenance. All of these factors help logistics companies cut costs, save fuel, and keep customers.

Conclusion

NoSQL may be just the solution you need to venture into IoT technology. With the ability to handle the vast workloads from sensors running 24/7, you’ll be able to react to new situations quickly. NoSQL can help you save money, save time, and even save lives. 

Source: Smartdatacollective

De Nederlandse zorgmarkt staat vanuit verschillende invalshoeken steeds meer onder druk. Bijvoorbeeld door de vergrijzing, waardoor zorgkosten alleen maar meer zullen toenemen de komende jaren, of door de groeiende noodzaak in de markt om zorg efficiënter te organiseren. Volgens een nieuwe whitepaper van ICT dienstverlener Centric kan technologie een belangrijke rol spelen in het oplossen van deze en de soms nog grotere vraagstukken van vandaag en van de toekomst.

De afgelopen jaren heeft de zorgmarkt, zoals zoveel andere sectoren, te maken gekregen met enorme veranderingen, waardoor vanuit de overheid, patiënten en overige stakeholders de druk op de sector om zorgprocessen zo efficiënt mogelijk in te richten enorm is toegenomen. Om te beginnen worden mensen in ons land steeds ouder. Zo hebben pasgeboren Nederlandse meisjes anno 2016 een levensverwachting van 83,3 jaar tegenover 79,9 bij pasgeboren jongetjes. Ter vergelijking, zo’n tien jaar geleden, in 2003, lagen de verwachtingen respectievelijk nog maar op 80,9 en 76,3. Het gevolg van de steeds ouder wordende bevolking is dat het aantal te verzorgen mensen groeit, terwijl ook de levenstandaard van mensen alsmaar blijft stijgen. Als gevolg van deze ontwikkelingen nemen de verwachtingen die mensen hebben ten aanzien van zorg toe.

Méér met minder
Tegelijkertijd groeien de beschikbare zorgbudgetten niet mee met de toenemende kosten in de zorg, wat een relatieve afname van de beschikbare middelen betekent. Met andere woorden: er moet, met de participatiesamenleving als overkoepelend doel, méér met minder gedaan worden. En hoewel er een toenemende focus vanuit de sector ligt op het realiseren van meer vitaliteit en op een betere preventie van de zorgbehoefte zal dit voor de toekomst niet afdoende zijn om een duurzaam Nederlands zorgsysteem in stand te kunnen houden.

Technologie kan Nederlandse zorgsector naar hoger niveau tillen

Een van de oplossingsrichtingen om de zorgsector op grote schaal hierin te ondersteunen zal de komende jaren liggen op het gebied van technologie, blijkt uit onderzoek van IT dienstverlener Centric. “Zeker nu we op een kruispunt staan waar meerdere trends samenkomen en elkaar versterken. Apparaten en software kunnen meer en worden slimmer en goedkoper”, vertelt Robin Lammerts, Programma manager Cure bij Centric en betrokken bij het onderzoek. Lammerts geeft diverse voorbeelden hoe technologie een boost kan geven aan de zorgsector.

Zo kunnen bijvoorbeeld diverse eHealth oplossingen op afstand de zorg verbeteren en kunnen artsen door het verzamelen en combineren van patiëntengegevens de patiënt beter monitoren en beter beargumenteerde besluiten nemen over de behandeling van de patiënt. Verder kan technologie een hoop betekenen op het gebied van preventie. Door het gebruik van slimme apps kunnen consumenten en patiënten zelf de mate van hun eigen gezondheid in de gaten houden, en idealiter de kans dat ze ziek worden verkleinen. Ten slotte zijn er tal van technologische ontwikkelingen en innovaties die de kwaliteit van zorg kunnen verbeteren, zoals bijvoorbeeld door het gebruik van zorgrobots.

Steeds meer zorgstartups
De groeiende rol van technologie in de zorgmarkt is terug te zien in de opkomst van steeds meer startups binnen de sector. Volgens onderzoek van KPMG en venture capitalist Volta Ventures telt ons land tegenwoordig zo’n 60 startups met een focus op de zorgmarkt. De huidige startups in ons land houden zich met name bezig met telemedicine, waarbij telecommunicatie en informatietechnologie worden ingezet om op afstand klinische zorg te kunnen bieden. Daarnaast richt een groot aantal startups zich op tools voor zelfmanagement, waarbij patiënten op eigen initiatief en gelegenheid diagnose en behandeling in gang kunnen zetten. De belangrijkste broedplaatsen voor deze zogeheten ZorgTech-bedrijven zijn Amsterdam, Nijmegen en Delft.

Ondanks de positieve impact die nieuwe ZorgTech kan hebben vormt technologie niet per definitie dé oplossing voor de uitdagingen waarmee de sector kampt. Zorg blijft in de eerste plaats altijd een interactie tussen mensen; bijvoorbeeld tussen specialisten, huisartsen of verpleegkundigen met patiënten, cliënten of burgers. Technologie speelt hierbij in principe een ondersteunende rol, zegt Lammerts, die wel benadrukt dat indien aan bepaalde randvoorwaarden wordt voldaan er kansen liggen om technologie en zorg effectief te combineren, mits goed gemanaged, veilig én gevalideerd.

Een van die bepalende voorwaarden is volgens het onderzoek het concept van ketensamenwerking. “Te denken valt aan afspraken over het goed inrichten van zorgprocessen en het toepassen van standaarden in elektronische patiëntendossiers (EPD’s). Want standaarden zijn noodzakelijk om de zorg betaalbaar te houden. Die maken dat gegevensuitwisseling over patiënten op grote schaal mogelijk wordt. Over de traditionele muren heen. Zo versterken die standaarden op hun beurt de samenwerking tussen afdelingen, instanties én tussen sectoren. Daar heeft iedereen baat bij, en bovenal: de patiënt”, zo concluderen de onderzoekers.

Complexiteit zorgketen
Een van de uitdagingen die hierbij komt kijken is de toenemende complexiteit van de zorgketen. “De cure, de care, verzekeraars, gemeenten, woningbouwcorporaties: de zorgketen wordt langer en langer”, zegt Lammerts. Daarbovenop komt dat deze organisaties doorgaans gebruik maken van hun eigen systemen, platformen en databronnen. Een manier om dat op te lossen is door het ontsluiten van grote hoeveelheden data (big data) die binnen de gehele keten ligt opgesloten. “Big data is een ICT-trend die tijd, geld én energie kan besparen. Op de juiste manier ingezet hebben zorgorganisaties met big data of liever gezegd medical intelligence, een krachtig instrument in handen om vanuit verschillende bronnen data te signaleren, te detecteren en te analyseren”, aldus Lammerts.

Met de komst van nieuwe analysetechnieken kan iedere organisatie tegenwoordig kosteneffectief enorme hoeveelheden data analyseren. “De analyses, simulaties en voorspellende modellen worden steeds geavanceerder en de mogelijkheden groeien mee. Met als resultaat dat een zorgverlener veel sneller, veel gerichter kan informeren en tot de kern kan komen”, vertelt Lammerts. Voorbeelden van concrete voordelen zijn het tegengaan van verspilling, het (efficiënter) vergelijken van complexe cases, of bijvoorbeeld het herkennen van patronen (waarmee de kwaliteit van dienstverlening verhoogd kan worden). Een goede analyse maakt het voor zorgpartijen bovendien mogelijk om “niet alleen achteruit te kijken, maar ook juist om vooruit te blikken.”

Een ander voordeel dat technologie kan opleveren, is het gebruik van gedeelde standaarden. “Interoperabiliteit én contextueel informeren zijn volgens ons de toegang tot betere zorg, het gebruik van standaarden in EPD’s dé sleutel”, geeft Lammerts aan. “Met steeds meer gestandaardiseerde EPD’s ontstaat een volgende mogelijkheid: op een veilige manier informatie delen, zónder de privacy van de patiënt aan te tasten”, vervolgt Lammerts. En hier geldt: hoe beter gestandaardiseerde EPD’s aansluiten op de praktijk, hoe groter de kans dat ze brede aansluiting vinden in de sector.

Verder kan in dat kader de opkomst van blockchaintechnologie – een democratisch systeem voor het veilig delen van data – enorme kansen bieden. De inzet van blockchain kan het realiseren van de voordelen van technologie versnellen. Lammerts: “Signalering en escalatie is een goed voorbeeld van de mogelijkheden van blockchaintechnologie: zonder dat alle data in één bak hoeven, kunnen gegevens – voorzien van ‘privacy by default’ – met elkaar gedeeld worden. Ook tussen de verschillende zorgaanbieders en zelfs ook met zorgverzekeraars, mits vooraf afgekaderd en met toestemming van de patiënt.”

Internet of Things

Een andere technologie die een belangrijke rol speelt in de succesvolle toepassing van technologie is Internet of Things (IoT), leggen de auteurs van het Centric rapport uit. Zo worden losse sensoren bijvoorbeeld steeds kleiner, goedkoper en slimmer. Ze kunnen over langere afstanden communiceren en met minder batterijkracht data versturen. Dat maakt het mogelijk fijnmazige netwerken aan te leggen die inzicht geven in het gedrag en de gezondheid van mensen. Zeker als dit wordt gecombineerd met data uit de wearables van patiënten. “Voor zorgaanbieders biedt dit kansen”, stellen de onderzoekers, die een voorbeeld geven: “Patiënten hoeven zo, ondanks lage personele bezettingen, nooit meer onopgemerkt lang te dwalen, te vervuilen of het gevoel te hebben dat er niemand is die een oogje in het zeil houdt. Sensoren verzamelen data over toiletbezoek, slaaptijden, eetpatronen, loopsnelheid of hartslag. Door deze signalen te combineren, te analyseren én bij afwijkingen in het gedrag vroegtijdig te alarmeren, is een zorgprofessional op tijd gewaarschuwd. En kunnen onnodige escalaties voorkomen worden.”

De onderzoekers geven een ander voorbeeld: met een ‘lab on a chip’ – waarbij een chip bij de patiënt wordt ingebracht – is bloedwaarde meten slechts nog een kwestie van scannen. “De zorgprofessional doet vervolgens het echte werk: de gegevens beoordelen, de eigen kennis en intuïtie aanwenden en de juiste zorg verlenen.” Ten slotte noemen de onderzoekers nog enkele belangrijke kernvoorwaarden voor zorginstanties om te profiteren van het aanwezige techpotentieel, zoals bijvoorbeeld het gebruik van de kracht van de cloud, het bestrijden van cybercrime, en het implementeren van een heldere digitale strategie, waarbij de wensen van de klant centraal staan.

Om technologie volledig tot wasdom te laten komen, moeten alle vier de belangrijkste stakeholders (technologie, patiënten, zorginstanties en medewerkers) goed voorbereid zijn. Lammerts geeft aan dat consumenten in elk geval positief tegenover de technologische vooruitgang staan. Sterker nog, “…als (zorg)consument zal men steeds vaker van zorginstanties verwachten dat zij - data kant en klaar en inzichtelijk hebben en goed benaderbaar zijn via een veilig gebruiksvriendelijk online platform.” Verder kijken consumenten niet meer op van het delen van gegevens via platformen. Als voorbeeld noemt Lammerts de massale adoptie van sociale media: “De patiënt van de toekomst is gewend informatie via online platformen te delen en heeft vertrouwen in technologie.”

Zijn zorginstellingen er klaar voor?
Ook steeds meer zorgprofessionals omarmen technologie en zien de meerwaarde daarvan voor hun praktijk én patiënten of cliënten (uit: Nictiz, eHealth-monitor), stellen de onderzoekers: “Heel concreet is dat terug te zien aan het toegenomen aantal inschrijvingen aan opleidingen zoals Medische Informatica en Klinische informatica.” De technologie is er, stellen de onderzoekers, maar de uitdaging ligt uiteindelijk in wat zorginstellingen besluiten: “Patiënten en zorgverleners staan er open voor – maar in hoeverre zijn zorginstanties in staat om hun werkprocessen aan te passen op de groeiende inzet van nieuwe technologie?”

Want dat de transitie wel wat zal vragen van zorgaanbieders en hun leveranciers is evident. “Bijvoorbeeld om kritisch te kijken naar de manier waarop zorginstanties hun zorgprocessen nu hebben ingericht, naar de processen tussen zorgaanbieders onderling, maar ook naar zaken als cultuurverandering, nieuwe manieren van werken en een focus op meer innovatie.”

Slagen zorgaanbieders daarin, dan kunnen zij volgens Lammerts grote stappen zetten. Bijvoorbeeld naar ‘contextueel zorg verlenen’, waarbij de patiënt – of cliënt, of burger – bepaalt waar, wanneer en in welke vorm hij zijn zorg krijgt. De verschillende specialisten, zorgverleners en andere zorggerelateerde instanties zoals gemeenten, maar ook zorgverzekeraars komen letterlijk of figuurlijk (online) naar hem toe. “Zo komt het ideaal van ‘the patiënt will see you now’ (naar het boek van Eric Topol) wel heel dichtbij”, sluit Lammerts af.

Consultancy.nl, 3 oktober 2016

Organizations today don’t use previous generation architectures to store their big data. Why would they use previous-generation BI tools for big data analysis? When looking at BI tools for your organization, there are 10 “Commandments” you should live by.

First Commandment: Thou Shalt Not Move Big Data
Moving Big Data is expensive: it is big, after all, so physics is against you if you need to load it up and move it. Avoid extracting data out into data marts and cubes, because “extract” means moving, and creates big-data-sized problems in maintenance, network performance additional CPU — on two copies that are logically the same. Pushing BI down to the lower layers to run at the data is what motivated Big Data in the first place.

Second Commandment: Thou Shalt Not Steal!...Or Violate Corporate Security Policy
Security’s not optional. The sadly regular drumbeat of data breaches shows it’s not easy, either. Look for BI tools that can leverage the security model that’s already in place. Big Data can make this easier, with unified security systems like Ranger, Sentry and Knox; even Mongo has an amazing security architecture now. All these models allow you to plug right in, propagate user information all the way up to the application layer, and enforce a visualization’s authorization and the data lineage associated with it along the way. Security as a service: use it.

Third Commandment: Thou Shalt Not Pay for Each User, Nor Every Gigabyte
One of the fundamental beauties of Big Data is that when done right, it can be extremely cost effective. Putting five petabytes of data into Oracle could break the bank; but you can do just that in a big data system. That said, there are certain price traps you should watch out for before you buy. Some BI applications charge users by the gigabyte, or by gigabyte indexed. Caveat emptor! It’s totally common to have geometric, exponential, logarithmic growth in data and in adoption with big data. Our customers have seen deployments grow from tens of billions of entries to hundreds of billions in a matter of months, with a user base up by 50x. That’s another beauty of big data systems: Incremental scalability. Make sure you don’t get lowballed into a BI tool that penalizes your upside.

Fourth Commandment: Thou Shalt Covet Thy Neighbor’s VisualizationsSharing static charts and graphs? We’ve all done it: Publishing PDFs, exporting to PNGs, email attachments, etc. But with big data and BI, static won’t cut it: All you have is pretty pictures. You should be able let anyone you want interact with your data. Think of visualizations as interactive roadmaps for navigating data; why should only one person take the journey? Publishing interactive visualizations is only the first step. Look ahead to the Github model. Rather than “Here’s your final published product,” get “Here is a Viz, make a clone, fork it, and this is how I derived at those insights, and see what other problem domains it applies to.” It lets others learn from your insights.

Fifth Commandment: Thou Shalt Analyze Thy Data In Its Natural Form
Too often, I hear people referring to big data as “unstructured.” It’s far more. Finance and sensors generate tons of key value pairs. JSON — probably the trendiest data format of all — can be semi-structured, multi-structured, etc. MongoDB has made a huge bet on making sure data should stay in this format: Beyond its virtues for performance and scalability reasons, expressiveness gets lost when you convert it into the rows and tables. And lots of big data is still created in tables, often with thousands of columns. And you’re going to have to do relational joins over all of it: “Select this from there when that...” Flattening can destroy critical relationships expressed in the original structure. Stay away from BI solutions that tell you “please transform your data into a pretty table because that’s the way we’ve always done it.”

Sixth Commandment: Thou Shalt Not Wait Endlessly For Thine ResultsIn 2016 we expect things to be fast. One classic approach is OLAP cubes, essentially moving the data into a pre-computed cache, to get good performance. The problem is you have to extract and move data to build the cube before you get performance (see Commandment #1). Now, this can work pretty well at a certain scale... until the temp table becomes gigantic and crashes your laptop by trying to materialize it locally. New data will stop analysis in its tracks while you extract that data to rebuild the cache. Be wary of sampling too, you may end up building a visualization that looks great and performs well before you realize it’s all wrong because you didn’t have the whole picture. Instead, look for BI tools that make it easy to continuously change which data you are looking at.

Seventh Commandment: Thou Shalt Not Build Reports, But Apps Instead
For too long, ‘getting the data’ meant getting a report. In big data, BI users want asynchronous data from multiple sources so they don’t need to refresh anything — just like anything else that runs in browsers and on mobile devices. Users want to interact with the visual elements to get the answers they’re looking for, not just cross-filtering the results you already gave them. Frameworks like Rails made it easier to build Web applications. Why not do the same with BI apps? No good reason not to take a similar approach to these apps, APIs, templates, reusability, and so on. It’s time to look at BI through the lens of modern web application development.

Eighth Commandment: Thou Shalt Use Intelligent ToolsBI tools have proven themselves when it comes to recommending visualizations based on data. Now it’s time to do the same for automatic maintenance of models and caching, so your end user doesn’t have to worry about it. At big data scale, it’s almost impossible to live without it, there’s a wealth of information that can be gleaned from how users interact with the data and visuals, which modern tools should use to leverage the data network effects . Also, look for tools that have search built in for everything, because I’ve seen customers who literally have thousands of visualizations they’ve built out. You need a way to quickly look for results, and with the web we’ve been trained to search instead of digging through menus.

Ninth Commandment: Thou Shalt Go Beyond The Basics
Today’s big data systems are known for predictive analytical horsepower. Correlation, forecasting, and more, all make advanced analytics more accessible than ever to business users. Delivering visualizations that can crank through big data without requiring programming experience empowers analysts and gets beyond a simple fixation on ‘up and to the right.’ To realize its true potential, big data shouldn’t have to rely on everyone becoming an R programmer. Humans are quite good at dealing with visual information; we just have to work harder to deliver it to them that way.

Tenth Commandment: Thou Shalt Not Just Stand There On the Shore of the Data Lake Waiting for a Data Scientist To Do the WorkWhether you approach Big Data as a data lake or an enterprise data hub, Hadoop has changed the speed and cost of data and we’re all helping to create more of it every day. But when it comes to actually using big data for business users, it is too often a write-only system: Data created by the many is only used by the few.

Business users have a ton of questions that can be answered with data in Hadoop. Business Intelligence is about building applications that deliver that data visually, in the context of day-to-day decision making. The bottom line is that everyone in an organization wants to make data-driven decisions. It would be a terrible shame to limit all the questions that big data can answer to those that need a data scientist to tackle them.

 Source: Datanami