データストリーミング : 導入

今日のデータは、IoT センサー、サーバー、セキュリティログ、アプリケーションや社内外のシステムなど、数限りないソースから生成されており、構造やデータの完全性の規制、生成されるデータの量や速度の制御はほぼ不可能な状態です。

従来のソリューションはデータへの対応前に取り込み、処理して構造化するよう設計されていますが、ストリーミングデータアーキテクチャでは、Data in Motion(躍動するデータ)を取り込み、永続的に保管し、充実化して分析することが可能です。

そのため、データストリームを取り扱うアプリケーションには、常に「ストレージ」と「処理」という2つの機能が必要となります。ストレージには、大量のデータストリームをr連続で一貫性をもって記録できることが求められ、処理には、ストレージと通信し、データを消費・分析し、データ上で計算を実行できる能力が必要となります。

また、レガシーデータベースやシステムとの併用に際しては、新たな課題や検討すべき事項が出てきます。現在では、企業によるストリーミングデータアプリケーションを構築を支援するプラットフォームやツールが多数提供されています。

ストリーミングデータの活用事例としては、リアルタイムの株式取引、分単位での小売在庫管理、ソーシャルメディアのフィード、マルチプレイヤーゲーム、ライドシェアアプリなど、ありとあらゆる業界のユースケースがあります。

例えば、利用者が Lyft に電話すると、リアルタイムのデータストリームが一体となってシームレスなユーザー体験を生み出します。こうしたデータを通じ、アプリはリアルタイムの位置情報追跡、交通統計、価格設定、リアルタイムの交通データを組み合わせ、利用者と最適な運転手のマッチング、価格計算、リアルタイムと過去のデータに基づく目的地への所要時間の推定を同時に行います。

こうした例からも分かるように、ストリーミングデータは、あらゆるデータドリブン型の組織の最初のステップとなり、ビッグデータの取り込み、統合やリアルタイム分析を促進します。

バッチ処理では、データを実行可能にする前にまずそのデータを一括ダウンロードする必要がありますが、ストリーミングデータは、リアルタイムの同時処理、保存、分析が可能になります。

旧来のバッチデータ処理では長期にわたって収集されたトランザクションのグループとしてしかデータを処理できないため、今日の複雑な要件にはそぐわず、ほとんどのユースケースで不十分となっています。現代の企業は、データが陳腐化する前にミリ秒単位のデータに基づいて行動を取る必要があります。リアルタイムでのデータへのアクセスが可能となることで、数多くの利点とユースケースを享受できるようになります。

スケーラビリティ: システム障害が発生すると、各デバイスから流入するログデータが毎秒キロビットから毎秒メガビットへ、さらに集約されて毎秒ギガビットへと増大する可能性があります。アプリケーションの拡張に合わせて容量、リソースやサーバーを追加すると、瞬時に生データの生成量が指数関数的に増加します。ストリーミングデータを取り扱う際には、スケーラビリティを備えたアプリケーション設計が欠かせません。

順序付け: データストリーム内のデータの順序の決定は些細なことではなく、多くのアプリケーションで非常に重要なことです。チャットや会話は順番が揃っていないと意味をなさず、開発者が集約されたログビューを確認して問題をデバッグする際には、各行が順番に並んでいなければなりません。生成時点でのデータパケットの順序と配信先にそうしたパケットが届く順序は異なることが多く、データを生成するデバイスのタイムスタンプやクロックにもずれが生じることがあります。データストリームを解析する際には、アプリケーションが ACID トランザクションを前提としていることを認識しておく必要があります。

一貫性と耐久性 : データストリーム処理において、データの一貫性とデータへのアクセスは常に困難な問題となります。ある時点で読み込まれたデータが、世界の別の場所にある別のデータセンターではすでに修正され、古くなっている可能性もあります。また、クラウド上のデータストリームを取り扱う際にはデータの耐久性も課題となります。

フォールトトレランスとデータの保証 : データ、ストリーム処理やその他の分散システムを扱う際に考慮すべき重要な点です。データが無数のソースやロケーションからさまざまなフォーマットや量で流入する中、システムが単一障害点による混乱を防げるか、ストリームデータを高い可用性と耐久性で保管できるかなどが焦点となります。