米Netflix、Amazon S3上でデータの整合性を実現するライブラリ「S3mper」を公開
http://sourceforge.jp/magazine/14/01/14/193000
一方で、重要となるデータの整合性や一貫性については、S3では「結果整合性」のみが補償され、更新タイミングによっては一時的にデータの整合性がとれない可能性がある。そこで整合性を実現すべく、S3の上に整合性をチェックするレイヤを設けるためのソフトウェアが今回公開されたS3mperとなる。
S3mperはアスペクト指向言語であるAspectJで実装したもので、セカンダリンデックスとしてDynamoDBでファイルメタデータを追跡する。「単一の情報源」としてS3を使いつつ、確認レイヤーを設ける「ハイブリッドアプローチ」とし、「一貫性のある読み込みと書き出しを提供するセカンダリインデックスの利用により、ファイルメタデータを追跡する」と説明している。
一貫性がない場合にリスト化を遅らせて整合を試みるリカバリや通知、レポートなどの機能を持ち、モジュラー構造なども特徴。テーブルスキーマは軽量で、ファイルシステムの性能に大きな影響を与えないという。
