米Facebook、ログデータ収集サーバー「Scribe」をオープンソースに

米Facebookは10月24日(米国時間)、自社開発のログデータ収集サーバー技術「Scribe」 のソースコードを公開した。大量データに対応するよう設計されているという。ライセンスは「Apache Licence 2.0」を採用、SourceForge.netのWebサイトでダウンロードできる。

Scribeは、Facebookが実際に自社インフラで利用しているログ収集システムで、多数のサーバーから寄せられるログデータをリアルタイムに収集 する。ユーザー数の拡大に対応するため、自社開発したという。開発にあたり、Facebookがオープンソースとして公開している開発ツール 「Thrift」を用いた。PHP、Python、C++、Javaなどのコードからログメッセージを収集できる。

特徴は拡張性と信頼性。クライアント側を変更せずに拡張が可能で、データセンター間でメッセージをやり取りする際のバッチ処理、ファンインレイヤ の追加などの対策が容易に施せるという。スケーラビリティと信頼性のバランスを考慮して、データをディスクにスプールするがメッセージ毎のログファイル同 期はしない、というアプローチで設計されており、ハードウェア障害時にはデータ損失の可能性があるが、ほとんどのログシステムより信頼性が高いという。

引用:SourceForge.JP Magazine