いくつかのフィールド名を宣言し、リーダーはCSVを使用してファイルを読み取り、ファイル名を使用してファイルをJSON形式にダンプします。 ここに問題がある... CSVファイルの各レコードは異なる行にあります。 私はJSON出力を同じ方法にしたい。 問題は、それがすべて1つの巨大な長い行にダンプすることです。, 私はfor line in csvfile:ようなものを使用しようとしましたfor line in csvfile:そして、 reader = csv.DictReader( line, fieldnames)をループするreader = csv.DictReader( line, fieldnames)でその下に自分のコードを実行しますが、ファイル全体を1行で行い、別の行のファイル全体は、行がなくなるまで続きます。, 個々のフィールドがインデントされていても、別の行にはインデントされていなくても、各レコードは独自の行です。, @ SingleNegationEliminationの応答を取ってパイプラインで使用できる3ライナーに単純化しました：, Pandasを使用してcsvファイルをDataFrame（ pd.read_csv ）に読み込んだり、必要に応じて列を操作したり（値を更新する）、最後にDataFrameをJSON（ pd.DataFrame.to_json ）に戻して変換する方法について説明します。, 注：これはどれくらい効果的かを確認していませんが、これは大きなCSVをjsonに変換して変換する最も簡単な方法の1つです。, 私はこれが古いことがわかりますが、SingleNegationEliminationのコードが必要でしたが、utf-8以外の文字を含むデータの問題がありました。 これらは私が過度に心配していなかったフィールドに現れたので、私はそれらを無視することにしました。 しかし、それはいくらか努力した。 私はPythonの初心者ですので、いくつかの試行錯誤をしてそれを動作させました。 このコードは、utf-8を余分に処理したSingleNegationEliminationのコピーです。 私はhttps://docs.python.org/2.7/library/csv.htmlそれをやろうとしましたが、結局はあきらめました。 以下のコードが機能しました。, https://docs.python.org/2.7/library/csv.html. More than 3 years have passed since last update.
CSVファイルに変換したいJSONファイルがあります。 Pythonでこれを行うにはどうすればいいですか？, しかし、うまくいきませんでした。私はDjangoを使用していますが、受け取ったエラーは次のとおりです。, この問題がすでに解決されているかどうかはわかりませんが、参考のために行ったことを貼り付けてみましょう。, まず、JSONにはオブジェクトがネストされているため、通常は直接CSVに変換することはできません。これを次のように変更する必要があります。, 私はあなたのJSONファイルが辞書のリストにデコードされると仮定しています。まず、JSONオブジェクトを平坦化する関数が必要です。, pandaslibrary 、を使うと、2つのコマンドを使うのと同じくらい簡単です！, JSON文字列をパンダオブジェクト（シリーズまたはデータフレーム）に変換します。次に、結果がdfとして格納されているとします。, JSONは多種多様なデータ構造を表すことができます。JSの "オブジェクト"はPythonの辞書（文字列キーを含む）に大体似ています。JSの "配列"はPythonのリストに大体似ています。 leaf "要素は数字か文字列です。, CSVは基本的に2-Dテーブルのみを表すことができます - オプションで "ヘッダー"の最初の行、つまり "列名"を使用すると、通常の解釈ではなく辞書のリストとしてテーブルを解釈できます。リスト（やはり、「リーフ」要素は数値または文字列になります）。, そのため、一般的な場合では、任意のJSON構造をCSVに変換することはできません。いくつかの特殊なケースでは、（それ以上ネストしない配列の配列、すべて同じキーを持つオブジェクトの配列）できます。もしあれば、あなたの問題に当てはまる特別なケースはどれですか。解決策の詳細は、どの特別な場合を持っているかによって異なります。あなたがどれが当てはまるかについてさえ言及していないという驚くべき事実を考えれば、私はあなたが制約を考慮しなかったかもしれず、実際にはどちらの場合も当てはまらず、そしてあなたの問題を解決することは不可能です。しかし明確にしてください！, あなたのJSONデータがdata.jsonと呼ばれるファイルにあると仮定すれば、このコードはあなたのために働くべきです。, csv.DictWriter()を使いやすくなるでしょう、詳細な実装は以下のようになります。, これはすべてのJSONオブジェクトが同じフィールドを持つことを前提としていることに注意してください。, 私は Danが提案した解決策 で問題を抱えていました、しかしこれは私のために働きました：, 前の回答で述べたように、jsonをcsvに変換することの難しさは、jsonファイルが入れ子になった辞書を含むことができ、それゆえ多次元データ構造対2Dデータ構造であるcsvであることができるからです。しかし、多次元構造をcsvに変換するための良い方法は、主キーと結びつく複数のcsvを持つことです。, あなたの例では、最初のcsv出力はあなたの列として列 "pk"、 "モデル"、 "フィールド"を持っています。 "pk"と "model"の値は簡単に取得できますが、 "fields"列にはディクショナリが含まれているため、それは独自のcsvでなければならず、 "codename"が主キーとして表示されるので最初のcsvを完成させるために "fields"を使います。 2番目のcsvには、2つのcsvを結び付けるために使用できる主キーとしてcodenameを持つ "fields"列の辞書が含まれています。, 私はこの質問がされてから長い時間が経ったことを知っています、しかし私は私が他のみんなの答えに加えて、私が非常に簡潔な方法で説明すると思うブログ記事を共有するかもしれないと思った。, Json_to_csv.pyのような新しいPythonファイルを作成してください。, python json_to_csv.py input.txt output.csv, それはそれを行うための非常に賢い方法ではありませんが、私は同じ問題を抱えており、これは私のために働いた：, これは比較的うまくいきます。それはcsvファイルにそれを書くためにjsonを平らにします。入れ子になった要素は管理されます:), アレックの答え は素晴らしいですが、複数レベルのネストがある場合には機能しません。これは、複数レベルのネストをサポートする修正バージョンです。また、ネストされたオブジェクトが既に独自のキー（例：Firebase Analytics/BigTable/BigQuery data）を指定している場合、ヘッダー名が少しわかりやすくなります：, あなたはJSONファイルをCSVファイルに変換するためにこのコードを使用することができます。, 驚いたことに、ここに投稿された答えのどれもすべての可能なシナリオ（例えば、入れ子にされた辞書、入れ子にされたリスト、なしの値など）を正しく扱っていないことがわかりました。, データは辞書形式になっているように見えるので、適切なヘッダー情報を含む行を実際に出力するには、実際にはcsv.DictWriter（）を使用する必要があります。これにより、変換をより簡単に処理できるようになります。その後、fieldnamesパラメータは、最初の行の出力がcsv.DictReader（）による読み取りおよび処理を可能にするようにしながら、順序を正しく設定します。, ただし、初期設定をoutput = csv.DictWriter（filesetting、fieldnames = data [0] .keys（））に変更するだけです。, 辞書内の要素の順序は定義されていないため、フィールド名エントリを明示的に作成する必要があるかもしれません。あなたがそうすれば、作家は働きます。その後、書き込みは最初に示したように機能します。, 残念ながら、私は素晴らしい@Alec McGailの答えに少し貢献するという評判を得ていません。私はPython3を使用していたので、@ Alexis Rのコメントに従って、マップをリストに変換する必要がありました。, さらに私は、csv作成者がファイルに余分なCRを追加していることを発見しました（csvファイルの中にデータがある各行に空の行があります）。このスレッドに対する@Jason R. Coombsの回答に従うと、解決策は非常に簡単でした。 PythonのCSVでは、余分なキャリッジリターンが追加されています, Csv.writerにlineterminator = '\ n'パラメータを追加するだけです。それは次のようになります。csv_w = csv.writer( out_file, lineterminator='\n' ), 「datetime.datetimeがJSONのシリアライズ可能ではない」を克服するにはどうすればいいですか？, （unicode error） 'unicodeescape'コーデックは位置2-3のバイトをデコードできません：切り捨てられた\ UXXXXXXXXエスケープ, Content dated before 2011-04-08 (UTC) is licensed under.
今回は JSON 形式の文字列を Python で整形して表示する方法をご紹介します。, JSON を格納した文字列が Python コードの中で取得できている場合は、いったん loads() で読み込んだ後に dumps() で再度ダンプし直すと OK です。その際に dumps() のオプション引数 indent を指定することでインデントの大きさを決めることができます。, JSON 文字列がファイルに格納されている場合は、 load() と open() を使用します。, 上のコードの場合は loads() の部分を load() に変えて、引数を文字列からファイルオブジェクトに変更すれば OK です。, Python プログラムの中ではなくターミナル上で処理できればそれで十分な場合は、 json.tool モジュールを使う方法がお手軽でおすすめです。 json.tool は次の形で利用することができます。, python -m json.tool に JSON 文字列を渡す方法には、上の「標準入力で渡す方法」の他に「ファイル名を引数として渡す方法」もあります。, ちなみに、 python -m json.tool のヘルプは次のとおりになっています。, 私は使ったことはありませんが、 dict 型のキーをアルファベット順（辞書順）に並べられる --sort-keys というオプションがあるようです。, シンタックスハイライトを施して JSON を表示する機能は（私が知るかぎり） Python の標準ライブラリには無いので、何らかの非標準のライブラリを使用するか自分で書くかのどちらかになります。おすすめなのは pygments というライブラリを使用する方法です。, シンタックスハイライトなしの場合と同様に JSON が Python コード内で文字列として取得できている場合から見ていきましょう。, pygments.highlight() 関数にコードの文字列を渡すと、シンタックスハイライトを施した形で文字列を返してくれるので、それを利用します。, このコードの出力は次のとおりとなります。ターミナル上ではきれいにハイライトが行われて表示されます。, 出力をブラウザで利用したい場合等は、 TerminalFormatter の代わりに HtmlFormatter を利用することが利用できます。, JSON がファイルに格納されている場合は、もしターミナル上で扱えればよいだけであれば、 pygments が提供するコマンドラインツール pygmentize を使う方法がシンプルでおすすめです。, 改行やインデントを保ったままハイライトだけができればよいのであれば、 pygmentize コマンドをそのまま使用すれば OK です。, ファイルの拡張子が json の場合は自動で JSON と認識してくれるようです。拡張子が json 以外の場合は -l (--lexer) オプションでフォーマットが JSON であることを伝えれば OK です。, 改行やインデントをよきように調整してなおかつハイライトしてほしい場合は、標準ライブラリ json と組み合わせて使うとよいかと思います。 pygmentize コマンドも、対象のファイルが指定されなければ代わりに標準入力の文字列を処理してくれます。, ヘルプドキュメントの分量が多いのでここには掲載しませんが、 pygmentize には豊富なオプションがあるので、使ってみたい方は一度確認してから使ってみることをおすすめします。, 後藤隼人 (ごとうはやと)おかげさまで元気にやっています。GitHub / 別ブログ / 仕事, '{"_meta": {"hash": {"sha256": "hash"}, "pipfile-spec": 6, "requires": {"python_version": "3.6"}, "sources": [{"name": "pypi", "url": "https://pypi.python.org/simple", "verify_ssl": true } ] } }'.
python -m json. コマンドラインの最初の引数としてinput.jsonファイルを渡します。 import csv, json, sys input = open(sys.argv[1]) data = json.load(input) input.close() output = csv.writer(sys.stdout) output.writerow(data[0].keys()) # header row for row in data: output.writerow(row.values()) 整形 - python json tool csv . All Rights Reserved. Spring/RESTをテストするためのTerminal/CommandlineからCurlでJSONデータをPOSTする方法. http://stackoverflow.com/a/1920585, こちらを知りませんでした。上記のJSONの整形処理を、Python2.6+にて$ python -m json.toolで出来るそうです。 この記事では、CSVファイルを読み込んでJSONに変換する方法をご紹介します。 適当に作った以下のファイルを使います。 hoge.csv [crayon-5faa6376092d0616779815/] csvを読み込み、jsonのフォーマットでダンプし、リストに追記していく流れです。 csv_to_json.py [crayon-5faa6376092db270883834/] 実行すると以下
これをPythonを使って見やすく表示します。 jsonモジュールを使って整形しよう.
CSV出力ができればデータ分析の現場としてはどうにかなってしまうことが多いといえば多いですが、JSON形式やXML形式で … CSVファイルを複数行 ... 注：これはどれくらい効果的かを確認していませんが、これは大きなCSVをjsonに変換して変換する最も簡単な方法の1つです。 What is going on with this article? その後辞書型を整形したJSON文字列へ変換します。, お気づきかと思いますが、実はこのスクリプト書かなくても、ワンライナーで済ませることができます。 https://docs.python.jp/3.3/library/csv.html, 19.2. json — JSON エンコーダおよびデコーダ 前回の投稿では『Pythonでpandasを使ってExcelファイルを読み込んでcsvファイルを出力するまで』ということで、Pythonの環境構築からCSV出力までの段取りを書いてみました。. By following users and tags, you can catch up information on technical fields that you are interested in as a whole, By "stocking" the articles you like, you can search right away. JSONで配列を扱う. サーモン大好き、横山です。 方針として、標準入力でJSONを受け取り、JSONを一旦Pythonの辞書型に変換します。 https://www.oreilly.co.jp/books/9784873118086/, https://docs.python.jp/3.3/library/csv.html, https://docs.python.jp/3.3/library/json.html, you can read useful information later efficiently. 「jsonが見にくいけど、jqが使えない…」という場面での一つの手段として覚えておいても損はないと思います。. 前回の投稿では『Pythonでpandasを使ってExcelファイルを読み込んでcsvファイルを出力するまで』ということで、Pythonの環境構築からCSV出力までの段取りを書いてみました。, CSV出力ができればデータ分析の現場としてはどうにかなってしまうことが多いといえば多いですが、JSON形式やXML形式でも出力できると色々とやれることの幅が広がります。なので今回の投稿では各データ形式のメリット・デメリットを簡単に比較しつつ、実際にコードを書いて実行するところまでを書いてみたいと思います。, どのデータ形式もデータ活用の現場でバリバリの現役ではありますが、だからこそ、それぞれのデータ形式に適した活用シーンがあります。そのあたりを考慮しつつ、CSV, XML, JSONの順に特徴を見ていきます。（※なお下記特徴は、PythonだけでなくVBAでも処理することを念頭に書いています。）, やはりPythonで使うならCSV or JSONの2択ですね。わざわざJSONではなくXMLを使うべきシーンはなかなか思いつきません。とはいえ両方変換できるに越したことはないので、タイトル通りJSONとXMLの両方に変換してみたいと思います。, （※ちなみにCSVの読み込みとJSON処理に使っている『pandas』ライブラリについて知りたい方は Python Data Analysis Library - pandas を、XML処理に使っている『xml.etree.ElementTree』ライブラリについて知りたい方は Python Software Foundationをご覧ください。）, JSON出力はpandasの基本機能として提供されているので、圧倒的に楽ですね。一般的なフォーマットはorient="records"だと思いますが、大規模なCSV的データの場合はorient="split"にすることでデータをより軽快に扱うことができると思います。, [{"age":"0~4\u6b73","sex":"total","yyyymm":201905,"value":4810000},{"age":"0~4\u6b73","sex":"male","yyyymm":201905,"value":2470000},{"age":"0~4\u6b73","sex":"female","yyyymm":201905,"value":2350000},{"age":"0~4\u6b73","sex":"total","yyyymm":201812,"value":4827000},{"age":"0~4\u6b73","sex":"male","yyyymm":201812,"value":2473000},{"age":"0~4\u6b73","sex":"female","yyyymm":201812,"value":2354000},{"age":"0~4\u6b73","sex":"total-ja","yyyymm":201812,"value":4750000},{"age":"0~4\u6b73","sex":"male-ja","yyyymm":201812,"value":2433000},{"age":"0~4\u6b73","sex":"female-ja","yyyymm":201812,"value":2317000},{"age":"5~9\u6b73","sex":"total","yyyymm":201905,"value":5130000},{"age":"5~9\u6b73","sex":"male","yyyymm":201905,"value":2630000},{"age":"5~9\u6b73","sex":"female","yyyymm":201905,"value":2500000},{"age":"5~9\u6b73","sex":"total","yyyymm":201812,"value":5172000},{"age":"5~9\u6b73","sex":"male","yyyymm":201812,"value":2648000},{"age":"5~9\u6b73","sex":"female","yyyymm":201812,"value":2524000}, ...中略...}, {"columns":["age","sex","yyyymm","value"],"index":[0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121,122,123,124,125,126,127,128,129,130,131,132,133,134,135,136,137,138,139,140,141,142,143,144,145,146,147,148,149,150,151,152,153,154,155,156,157,158,159,160,161,162,163,164,165,166,167,168,169,170,171,172,173,174,175,176,177,178,179,180,181,182,183,184,185,186,187,188],"data":[["0~4\u6b73","total",201905,4810000],["0~4\u6b73","male",201905,2470000],["0~4\u6b73","female",201905,2350000],["0~4\u6b73","total",201812,4827000],["0~4\u6b73","male",201812,2473000],["0~4\u6b73","female",201812,2354000],["0~4\u6b73","total-ja",201812,4750000],["0~4\u6b73","male-ja",201812,2433000],["0~4\u6b73","female-ja",201812,2317000],["5~9\u6b73","total",201905,5130000],["5~9\u6b73","male",201905,2630000],["5~9\u6b73","female",201905,2500000],["5~9\u6b73","total",201812,5172000],["5~9\u6b73","male",201812,2648000],["5~9\u6b73","female",201812,2524000], ...中略...}, という構造の違いがあります。なおファイル容量はrecordsが12.7KB、splitが8.09KBとなり、splitにすることで約3分の2に減りました。もちろんフォーマットが異なるので処理する際のコードも異なるわけですが、データ容量が大きくなればなるほどこの恩恵は大きくなりますね。, さて、続いてXML出力です。私が知る限り、pandasのDataFrameを即座にXML出力する関数は存在しないので、実際にXMLのツリー構造を作ってからファイルとして出力する必要があります。ElementTreeを使えば直感的にツリー構造を作ることはできますが、まあ何も考えずにできるJSONと比べれば少し面倒な気はします。, なお上のコードでは、JSON形式で言うところのrecordsフォーマットをイメージしてツリー構造を作りました。出力時にはunicode指定して、日本語文字を日本語に変換しての出力なので、少し読みやすいです。ちなみに出力された実際のデータを見ると、,
https://docs.python.jp/3.3/library/json.html. jsonを見るときに、大活躍するjqですが、「入れたと思ったサーバに実は入ってなかった！」という経験があるんじゃないでしょうか？ 本日は、Pythonを使ってtest.jsonからJSONを読み込み実際に配列を扱って行きます。Pythonで書いていますが、今回はPythonを使うところがミソではなく、JSONを理解することが目的なので言語に拘る必要はありません。 前提・実現したいことあるpythonで書かれたプログラムを起動し、一定時間ごとのリクエストを送り、送られてきたレスポンスのJson形式のデータをcsvファイルに順次書きこみたい。 レスポンスデータ例{'timestamp': 1503841186, &apo
Copyright (C) 2014-2019 Takumi Nasuno.