ニコニコ動画の分散ファイルシステム「frugalos」はもう使われていない?

背景

ニコニコ動画が開発し運用している分散ストレージOSSの「frugalos」を使ってみようかなと思って調べてみたのですが、どうもメンテナンスされていない様子だったため調査してみました。

時系列

2017年2月24日

gihyoの記事でRust製の分散ファイルシステムを作成したことが掲載される。
この時点では名称は明らかになっていない。

実は分散ファイルシステムも独自に開発しました。もともと既存のオープンソースのファイルシステムを使っていたのですが、それだと期待する性能が出ないことがわかり、独自に調査開発を進めることにしました。

第2回 大量トラフィックを支えるインフラ~独自プロトコル、ファイルシステムの実装もいとわない!~ | gihyo.jp
大幅なアップデートを実施したドワンゴのエンジニアである原耕司氏、太田健氏、川平航介氏にお話を伺い、プロトコルや分散ファイルシステムまで独自に開発したという、このプロジェクトの真相に迫った。

2018年10月26日

frugalosという名称でRust製分散ストレージのOSSとして公開される。
これは大きな話題になった。

Rust製の分散オブジェクトストレージをOSSとして公開しました - dwango on GitHub
ドワンゴ社内の様子や、文化、技術をご紹介します。
frugalos
frugalos has 13 repositories available. Follow their code on GitHub.

2020年12月10日

KADOKAWA Connected に RSTOR (米クラウドストレージ)を採用したとのニュースが出る。

「ニコニコ」用に高速クラウドストレージ「RSTOR」が採用
KADOKAWA Connectedは日本最大級の動画コミュニティーサービス「ニコニコ」用に高速クラウドストレージ「RSTOR」を採用した。

引用すると次のようになる。

ニコニコサービス向けのストレージには、サイトに表示する静的コンテンツ、ユーザーアイコンなどの画像ファイルなどが納められ、小さいサイズのデータに対するRead/Writeが多いことから億単位のオブジェクトが集中。

現在は300TBでの契約だが、容量に対する定額課金のみで予測不能な追加費用は発生せず、KADOKAWA Connectedではオンプレミスの現行システムに比べても1/10近いコスト削減になると試算しているという。

現行システムでは、およそ1億のオブジェクトが集中した際に障害が発生したり、大量データの一括削除で操作不能になっていたのに対してRSTORでは問題なく処理できることが検証できたという。

frugalos を廃止したとは書いていないのですが、ニコニコのストレージの話をしているので、frugalos はお払い箱になったのかもしれない。

ちなみに300TBの容量を計算すると、300TB*800円=240,000 となり、およそ24万円程度ということになります。安い。
以前のシステムは240万円ほどだったと考えられます。

2020年11月19日

時系列としては逆になりますが、このリリース(1.2.0)を最後に更新されなくなった。

GitHub - frugalos/frugalos: Frugal Object Storage
Frugal Object Storage. Contribute to frugalos/frugalos development by creating an account on GitHub.

まとめ

確実ではないのですが、frugalos はもう使われておらず、メンテナンスされていないものと考えられます。
Cephの代わりに使おうと思っていたのですが、残念ながら使うのは厳しそうです。

コメント

タイトルとURLをコピーしました