Komprise Deep Analytics

IT-Organisationen von Unternehmen möchten Daten für neue Anwendungen wie Big Data Analytics oder um Anwendungen in der Cloud ausführen, aber um in die Datenwissenschaft zu gelangen, benötigen Sie zunächst die richtigen Daten. Studien zeigen, dass 80 % der Zeit in Big Data damit verbracht wird, die richtigen Daten zu finden und aus den Rechenzentren zu holen.

Komprise Deep Analytics geht dieses Problem an, indem es Kunden ermöglicht, die richtigen Daten zu finden, die bestimmten Kriterien in ihrem gesamten Speicher entsprechen, und diesen dynamischen Data Lake in eine beliebige Analyseanwendung oder ein beliebiges Ziel ihrer Wahl wie Hadoop oder Amazon Lambda zu exportieren. Komprise Deep Analytics erstellt einen hocheffizienten, durchsuchbaren verteilten Index von Dateien mit Unterstützung sowohl für Standard-Metadaten als auch für benutzerdefinierte Metadaten (Tags). Kunden können Daten finden, die den von ihnen festgelegten Kriterien entsprechen, unabhängig davon, wo sich die Daten tatsächlich befinden, und der resultierende Datensatz kann als separate Einheit bearbeitet werden.

Untersuchungen von Komprise und der Industrie haben gezeigt, dass über 75 % der Daten innerhalb von Monaten nach ihrer Erstellung selten (kalt) abgerufen werden. 80 % der Datenkosten entfallen auf die Verwaltung; Die effiziente Identifizierung und Verwaltung von kalten Daten führt zu erheblichen Einsparungen. In den meisten Unternehmen werden jedoch sowohl heiße als auch kalte Daten auf teurem Tier-1-Speicher gespeichert, repliziert und (normalerweise mehrmals) gesichert. Dennoch müssen Unternehmen ihre Speicherausgaben so effizient wie möglich gestalten, insbesondere angesichts flacher oder schrumpfender IT-Budgets.

Die Komprise Intelligent Data Management-Software identifiziert schnell kalte Daten im NAS-Speicher eines Kunden. Benutzer können es dann mit der patentierten Komprise Transparent Move Technology (TMT™) auf kostengünstigere Speicheroptionen verschieben, ohne dass dies Auswirkungen auf Benutzer oder Anwendungen hat. Dieser Ansatz stellt sicher, dass nur aktive Daten auf dem teuren Tier-1-Primärspeicher aufbewahrt werden.

Deep Analytics erweitert die leistungsstarke Analyse, die Komprise bereits bietet, um einen vollständig durchsuchbaren Index aller Daten. Dies ermöglicht es Benutzern, bestimmte Datensätze im Speicher und in Milliarden von Dateien leicht zu finden. Sie können jetzt relevante Daten einfach und detaillierter suchen und finden. Benutzer können benutzerdefinierte Abfragen erstellen, um die Daten zu finden, und sie dann mit benutzerdefinierten Tags versehen, um virtuelle Data Lakes zusammenzustellen. Benutzer können jetzt beispielsweise komplexe Abfragen erstellen, bestimmte Projekte suchen (und markieren), Typen von kalten Daten identifizieren, verwaiste Daten finden, nach Daten suchen, die bestimmten Benutzern gehören, und mehr. Es ermöglicht neue Nutzungen der Daten, beispielsweise für Big Data Analytics und AI/ML-Anwendungen.

Wenn Sie Komprise einrichten, erhalten Sie innerhalb von Minuten selbst bei Petabyte an Daten einen schnellen Überblick darüber, wie Daten wachsen, wie Daten verwendet werden, wie viele kalte Daten Sie haben und Ihren geschätzten ROI basierend auf verschiedenen Szenarien
die Ihnen bei der Planung Ihrer Datenverwaltungsstrategien helfen. Analytics treibt Komprise-Datenverwaltung und -analyse sind im gesamten Produkt verfügbar, auch unter den Registerkarten Plan → Daten und Plan → Nutzung.

Deep Analytics ist eine Abfrage-Engine, die es Benutzern ermöglicht, tiefere Analysen auf Dateiebene durchzuführen, indem benutzerdefinierte Abfragen und Filteranalysen für bestimmte Datensätze innerhalb oder zwischen Freigaben verwendet werden. Auf diese Weise können Speicher-IT-Administratoren tiefere Einblicke in die Daten ihres Unternehmens und damit eine bessere Kontrolle über die Daten ihres Unternehmens gewinnen.

Deep Analytics erstellt einen durchsuchbaren Index aller Standard-Metadaten sowie erweiterter Metadaten (oder Tags) von Daten im gesamten Speicher. Derzeit werden alle von Komprise analysierten Datenquellen auch von Deep Analytics indiziert, wenn es aktiviert ist.

Mit Deep Analytics können Benutzer benutzerdefinierte Abfragen mit einer beliebigen Kombination von Dateimetadaten erstellen, um sich auf bestimmte Datensätze einzugrenzen, und Berichte mit einer Zusammenfassung sowie detaillierteren Ergebnissen herunterladen. Darüber hinaus können Benutzer Ergebnisse auch nach Dateimetadatenparametern zusammenfassen.

Hier einige Beispiele für solche Abfragen:

• Finden Sie Top-User in der Engineering-Abteilung, die die größte Datenmenge auf dem Fileserver „NAS92“ haben
• Finden Sie heraus, welche Abteilungen große Video- und Archivdateien über alle Freigaben hinweg erstellen
• Finden Sie heraus, welche Nutzer in der Forschung und Entwicklung in den letzten zwei Jahren nicht auf die meisten ihrer Daten zugegriffen haben
• Daten von Nutzern finden, die nicht mehr im Unternehmen beschäftigt sind

Deep Analytics ist eine lizenzierte Funktion und muss daher zuerst in Ihrer Lizenz angegeben werden. Nach der Lizenzierung gibt es eine Einstellung zum Aktivieren oder Deaktivieren von Deep Analytics.

Wenn Shares zu Komprise hinzugefügt und aktiviert werden, beginnt Komprise, schnell Analyseinformationen über diese Shares zu aggregieren, und diese Ergebnisse sind auf der Seite Plan verfügbar. Wenn Deep Analytics aktiviert ist, erstellt Komprise im Hintergrund den Deep Analytics-Index. Die Ausführung von Deep Analytics dauert länger als die normale schnelle Analyse, da die Metadaten jeder Datei untersucht und indiziert werden.

Nachdem ein Deep Analytics-Lauf für eine Freigabe begonnen hat, können Abfragen für Daten (Dateien) auf dieser Freigabe durchgeführt werden. Die Abfrageergebnisse sind jedoch unvollständig, bis der Deep Analytics-Lauf für die Freigabe abgeschlossen ist. Nachfolgende Deep Analytics-Ausführungen erfolgen auf jeder aktivierten Freigabe nach einem standardmäßigen Verzögerungsintervall von 30 Tagen.

Deep Analytics führt einen Index aller Standard- und erweiterten Metadaten. Es werden keine Dateiinhalte gespeichert. Zu den indizierten Metadaten gehören:

• File name
• File parent directory
• File size
• File extension
• File type (directory, file, symbolic link, Komprise file link)
• File creation date
• File last modified date
• File last accessed date
• Owner id (uid/sid)
• Owner name
• Group id (uid/gid)
• Group name
• Tags (custom Komprise metadata)

HINWEIS: Kein Dateiinhalt wird jemals von Komprise gelesen oder gespeichert.

Komprise Deep Analytics ermöglicht das Taggen von Daten und die Verwendung von Tags in Abfragen.

Tagging erleichtert das Organisieren und Auffinden von Daten basierend auf erweiterten Metadatenattributen, die über die standardmäßigen Dateimetadaten hinausgehen. Dies kann in vielerlei Hinsicht nützlich sein:

1. Einfaches Gruppieren von Daten, die mehrere Kriterien erfüllen
2. Erstellen von Tags außerhalb von Komprise (z. B. Taggen von Daten an der Quelle, wenn Sie mehr über die Daten wissen) und Nutzung der Tags, um relevante Daten in Komprise zu suchen und zu finden
3. Verwalten und Finden von Daten anhand dieser Tags, anstatt sich nur auf Standard-Dateimetadaten zu verlassen.

Beispiel: Angenommen, wir möchten eine Operation für Daten ausführen, die entweder zu Project X oder Project Y gehören. Wir können zuerst in Komprise nach Dateien suchen, die zu Project X gehören, und sie mit Project X versehen. Dann finden und markieren Sie Dateien zu Project Y. Führen Sie dann eine weitere Suche in Deep Analytics nach Dateien mit entweder Project X- oder Project Y-Tags durch und bearbeiten Sie diesen Datensatz.

Tags können auch über API außerhalb von Komprise gesetzt werden.

Alle Deep Analytics-Funktionen sind über eine API zugänglich. Die API ermöglicht Funktionen wie:

• Creating, saving, renaming, deleting, and running queries
• Setting query filters on:
  • File servers and shares
  • Directory path
  • File name
  • Last modified time
  • Last access time
  • File type
  • File extension
  • File size
  • Group
  • Owner
  • Tag
• Creating tags (keys and values)
• Applying and removing tags from files and query results
• Monitoring tagging tasks
• Retrieving the set of all tags (keys and values) created
• Summary of query results
• Top 5000 files of a query result
• Retrieving summary of query result by:
  • Top shares
  • Top file servers
  • Top owners
  • Top groups
  • File types
  • File extensions
  • File sizes
  • And retrieving the top 5000 files for any of these

Komprise Deep Analytics kann in der Cloud oder lokal ausgeführt werden, wobei die ersten Versionen nur Ersteres unterstützen. Deep Analytics nutzt sichere, Cloud-basierte Dienste, einschließlich Metadaten-Indizes und eine leistungsstarke Open-Source-Analyse- und Suchmaschine. Es müssen keine Deep Analytics-Komponenten vor Ort bereitgestellt werden und die aktuellen Komprise Observer, die in der Komprise Intelligent Data Management-Lösung verwendet werden, senden jetzt auch Dateimetadaten in die sicheren Cloud-Indizes.

Bei der Bereitstellung in der Cloud verwaltet Komprise alle Analysekomponenten in der Cloud und der Kunde muss nur lokale Observer bereitstellen. Diese Bereitstellung ist in Abbildung 4 unten dargestellt.

Zu den Vorteilen einer Cloud-basierten Bereitstellung gehören:

• Schnelle, einfache Bereitstellung, SaaS-Modell: Nur Standard-Komprise-Observer müssen lokal bereitgestellt werden
• Ermöglicht die Verwendung von Thin Observer-Ressourcen: einfachere und kostengünstigere Bereitstellung, Wartung und Wachstumsanpassung
• Berücksichtigt elastisches Wachstum und Schrumpfen der Datengröße: Sie können mehr Daten hinzufügen, um Daten zu analysieren oder zu entfernen, und Komprise passt sich automatisch an, damit Sie sich keine Sorgen machen müssen
• Ermöglicht transparente Upgrades: Nur Cloud-basierte Komponenten müssen aktualisiert werden

Wenn Deep Analytics lokal bereitgestellt wird, ist der Kunde für die Bereitstellung der geeigneten Hardware für alle Komponenten sowie für Director, Observers, Analytics Services und Search Cluster verantwortlich.

Komprise bietet Richtlinien für Anforderungen an die Servergröße und Software. In beiden Fällen gewährleistet Komprise eine sichere, skalierbare und leistungsstarke Systembereitstellung.

Um Deep Analytics in Ihrer Umgebung anzuzeigen, wenden Sie sich an sales@komprise.com.