« QUMARION(クーマリオン)実物キター! | トップページ | 下半期キックオフ・ピザ会! »

MySQLで大量データ処理!

[Ji]さんから、MySQLでの大量データ処理に関連した基礎・関連ナレッジの紹介がありました(ほぼ全て実務ベースの話です)。Pict2512

1レコードの属性が数百に至る特殊な業種・案件で、レコード数自体も億に達するもの(BtoCサイトです)。
関連の連携元からCSV形式でデータを受取って毎日コンバート&updateを走らせますが、そのファイルサイズが数GBに達するという代物です。

属性が多いということは、検索条件が複雑ということ。
良い設計、良い設定が必須になります!

「良い」を得るにはどうすればよいのか?

対象となるRDBMSの仕組みの理解と、マシンスペックが必要。
メモリ、ディスク、index、SQL、...限界を目指す必要があります。

・ページキャッシュ、
・MyISAM、InnoDBの差異、
・B-Treeインデックス、断片化、
・クエリの最適化に関する各種のナレッジ、
・クエリオプティマイザの仕組みを知ること、
・LIKE検索時の挙動に付いて、
・SSDの利用が進んだ場合、これまでの問題は問題でなくなるのか?
  新たな問題として、どんなことが起きるのか?

予定の40分を大きく超えて、解説・実例と質疑が繰り返されました。

全てのことを全ての開発者が知る必要は無いのかも知れません。

しかし、比較的小さなサービスを早期に構築し、リリース、運用まで進める上で、クラウドを選択しないケースというのも存在し続けます。
クラウドは目的に応じた要素評価後の結果としての、1選択肢でしかないはずですから。

今回の[Ji]さんの場合だと、ハードウェアスペックの一部見積り(性能見積に応じたリクエスト)から、DBの論理・物理設計、各種設定まで全て担当したわけですが、
1実装者として参加する場合でも、知らないよりは知った上でプロジェクトに参加・対応する方が望ましいはずです。

経験から得る知識も当然ありますが、先ずは知識武装をしておかないと、折角身近に現れたチャンスを取り逃がすことになります。

教科書だけでなく、実務と合わせて得られた実戦的ナレッジを共有できたのは良かった!、と思います。


★クリック1つでブログランキングにご協力戴けます! m(_ _)m

|

« QUMARION(クーマリオン)実物キター! | トップページ | 下半期キックオフ・ピザ会! »

定例会、勉強会など」カテゴリの記事

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック


この記事へのトラックバック一覧です: MySQLで大量データ処理!:

« QUMARION(クーマリオン)実物キター! | トップページ | 下半期キックオフ・ピザ会! »