ストリーミングとリアルタイムデータ形式：実践ガイド

現代のWeb開発において、データはもはや単なる静的なファイルや単一のAPIレスポンスだけではありません。リアルタイムの更新、ログ、巨大なデータセットには、ストリーミング形式が必要です。これは、ペイロード全体が準備できるのを待つのではなく、データが到着した瞬間に送信して処理する方法です。本ガイドでは、ストリーミングとリアルタイム通信で最も人気のある形式を詳しく見ていきます。

1. 行区切り形式 (NDJSON & JSON Lines)

オブジェクトのリスト（データベースのレコードやログエントリなど）をストリーミングする場合、標準的なJSON配列 [...] は問題があります。パーサーが処理を開始する前に、閉じ括弧 ] を待つ必要があるためです。行区切り形式はこの問題を解決します。

NDJSON (Newline Delimited JSON)

NDJSON は、各行が有効なJSONオブジェクトであるデータを保存またはストリーミングするための標準です。

仕組み: {"id":1}\n{"id":2}\n...
主な利点: 改行 \n を受信した瞬間に、各オブジェクトを個別にパースして処理できます。
ユースケース: 大規模なデータベースのエクスポート、構造化ログ、データパイプライン。

JSON Lines (JSONL)

JSON Lines は、本質的にNDJSONと同じです。各行が有効なJSON値であるテキストベースの形式です。

主な利点: grep, awk, sed などのUnixツールとの高い親和性。
ユースケース: AI/ML学習用のデータセット保存、ログ分析。

CSV ストリーム (CSV Stream)

NDJSONと同様に、CSV ストリームはカンマ区切りの値を一行ずつ送信します。

主な利点: 究極に低いオーバーヘッド。
ユースケース: 数百万行のデータをリアルタイムでExcel互換形式にエクスポート。

2. Server-Sent Events (SSE)

Server-Sent Events (SSE) は、サーバーがHTTP経由でWebページにデータをプッシュできるようにする標準です。WebSocketsとは異なり、単方向の通信チャネル（サーバー -> クライアント）です。

仕組み: サーバーがHTTP接続を維持し、特定の text/event-stream 形式でデータを送信し続けます。

プロトコル形式:

event: user-update
data: {"name": "Alice"}

event: chat-message
data: "Hello world!"

主な利点: 自動再接続、軽量、標準のHTTP/HTTPS上で動作。
ユースケース: スポーツの速報、株価ティッカー、SNSの通知。

3. WebSockets とメッセージ形式

SSEが単方向ストリーミングであるのに対し、WebSockets は全二重（双方向）通信チャネルを提供します。

WebSocket のメッセージ形式

WebSocketsはトランスポート層のみを提供するため、開発者はメッセージ形式を選択する必要があります。

JSON: 使いやすさから最も一般的な選択肢。
バイナリ (Protobuf/MessagePack): 低レイテンシと小さなペイロードサイズが重要な場合に使用。
カスタムテキストプロトコル: シンプルなコマンドなどに使用されることがあります。
ユースケース: リアルタイム共同編集（Google Docsなど）、オンラインゲーム、チャットアプリ。

ストリーミング手法の比較

形式 / 技術	方向	オーバーヘッド	再接続	最適な用途
NDJSON / JSONL	単方向	低	N/A (ファイル/ストリーム)	ログ、データ出力
SSE	サーバー -> クライアント	極めて低	自動	リアルタイムダッシュボード
WebSockets	双方向	中	手動	インタラクティブなアプリ
CSV ストリーム	単方向	最小限	N/A	大規模レポート出力

FAQ：よくある質問

Q: ストリーミングにJSON配列をそのまま使わないのはなぜですか？

A: 標準的なJSONパーサーは「全か無か」の仕組みです。配列全体が閉じるまでオブジェクトを出力できません。NDJSONは「逐次（インクリメンタル）」パースを可能にし、メモリを節約しレイテンシを削減します。

Q: どのような場合に WebSockets ではなく SSE を使うべきですか？

A: サーバーからクライアントへの通知など、単方向のプッシュのみが必要な場合はSSEを使用してください。SSEは実装が容易で、再接続を自動で処理し、WebSocketsよりもファイアウォールを通過しやすいという特徴があります。

Q: Node.js で巨大な NDJSON ファイルを扱うには？

A: readline などのストリーミングパーサーや専用のNDJSONライブラリを使用してください。これにより、数ギガバイトのデータでも、一定の非常に少ないメモリ消費で処理することが可能です。

ストリーミングとリアルタイムデータ形式ガイド：NDJSON, SSE など