データ・マジシャンをオープンしました。

投稿者: 9ten -
このブログは、変幻自在のデータ扱いを紹介するサイトを目指します。

コメント

コメントを投稿

このブログの人気の投稿

MongoDB 検索結果をファイルに出力

投稿者: 9ten -
短い js の場合 mongo 127.0.0.1/db --eval "var c = db.collection.find(); while(c.hasNext()) {printjson(c.next())}" >> test.txt js ファイルを使用する場合 mongo 127.0.0.1/db script.js >> test.txt 最も簡単なコマンド mongoexport -h mongo.dev.priv -d models -c profiles -q '{ $query : { _id : "MRD461000" } }' -o MRD_Series1.json 【参考したサイト】 http://stackoverflow.com/questions/12823990/how-to-get-mongo-command-results-in-to-a-flat-file
続きを読む

MongoDB の collection 内の すべての key を取得する

投稿者: 9ten -
RDBM関連データベースの table に相当する collection に key : value のペアーが保管されている、key は field に似ていますが、一つ一つのオブジェクトに入っている key は可変です。だから、RDBMの field の一覧を出すのは簡単ですが、MongoDB は collection 内のオブジェクトを巡って取ってくる必要がある。 mr = db.runCommand({ "mapreduce" : " my_collection ", "map" : function() { for (var key in this) { emit(key, null); } }, "reduce" : function(key, stuff) { return null; }, "out": "my_collection" + "_keys" }) db[mr.result].distinct("_id") my_collection は key を取得したい collection名に変更してください。 mr = db.runCommand({ "mapreduce" : " EFｎ ", "map" : function() { for (var key in this) { emit(key, null); } }, "reduce" : function(key, stuff) { return null; }, "out": "my_collection" + "_keys" }) { "result" : "my_collection_keys", "timeMillis" : 290837, "counts" : { "input...
続きを読む

Mongodb で大量データ（390万件弱）をインポートしてみた

投稿者: 9ten -
DPC外来のEFファイル（32列、2.1GB、3,883,160件）をMongodbにインポートしてみました。進捗の表示はずっと0.0Bなので、インポートできないと思ったが、一応ちゃんとインポートされて、所要時間はおよそ2分でした。しかもデータベース上の容量は 0.461GBで収またのですね。 db.EFn.find({"EF-0":201504}) で検索してみてもすぐレスポンスがあって、全然ストレスを感じませんでした。複雑な mapReduce はしていませんが、これからいろいろ分析してみます。 【以下オペレーション記録】 mongoimport --file DPC_EFn_201504-12_title.txt --headerline --type tsv -d dpc -c EFn --drop --ignoreBlanks 2016-03-24T12:16:06.388+0900 connected to: localhost 2016-03-24T12:16:06.389+0900 dropping: dpc.EFn 2016-03-24T12:16:09.378+0900 [........................] dpc.EFn 0.0 B/2.1 GB (0.0%) 2016-03-24T12:16:12.378+0900 [........................] dpc.EFn 0.0 B/2.1 GB (0.0%) 2016-03-24T12:16:15.377+0900 [........................] dpc.EFn 0.0 B/2.1 GB (0.0%) 2016-03-24T12:16:18.378+0900 [........................] dpc.EFn 0.0 B/2.1 GB (0.0%) 2016-03-24T12:16:21.378+0900 [........................] dpc.EFn 0.0 B/2.1 GB (0.0%) 2016-03-24T12:16:24.377+0900 [........................] dpc....
続きを読む