Merge branch 'release'
[notmuch] / devel / nmbug / notmuch-report
1 #!/usr/bin/python
2 #
3 # Copyright (c) 2011-2012 David Bremner <david@tethera.net>
4 #
5 # dependencies
6 #       - python 2.6 for json
7 #       - argparse; either python 2.7, or install separately
8 #
9 # This program is free software: you can redistribute it and/or modify
10 # it under the terms of the GNU General Public License as published by
11 # the Free Software Foundation, either version 3 of the License, or
12 # (at your option) any later version.
13 #
14 # This program is distributed in the hope that it will be useful,
15 # but WITHOUT ANY WARRANTY; without even the implied warranty of
16 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17 # GNU General Public License for more details.
18 #
19 # You should have received a copy of the GNU General Public License
20 # along with this program.  If not, see https://www.gnu.org/licenses/ .
21
22 """Generate text and/or HTML for one or more notmuch searches.
23
24 Messages matching each search are grouped by thread.  Each message
25 that contains both a subject and message-id will have the displayed
26 subject link to an archive view of the message (defaulting to Gmane).
27 """
28
29 from __future__ import print_function
30 from __future__ import unicode_literals
31
32 import codecs
33 import collections
34 import datetime
35 import email.utils
36 try:  # Python 3
37     from urllib.parse import quote
38 except ImportError:  # Python 2
39     from urllib import quote
40 import json
41 import argparse
42 import os
43 import re
44 import sys
45 import subprocess
46 import xml.sax.saxutils
47
48
49 _ENCODING = 'UTF-8'
50 _PAGES = {}
51
52
53 if not hasattr(collections, 'OrderedDict'):  # Python 2.6 or earlier
54     class _OrderedDict (dict):
55         "Just enough of a stub to get through Page._get_threads"
56         def __init__(self, *args, **kwargs):
57             super(_OrderedDict, self).__init__(*args, **kwargs)
58             self._keys = []  # record key order
59
60         def __setitem__(self, key, value):
61             super(_OrderedDict, self).__setitem__(key, value)
62             self._keys.append(key)
63
64         def values(self):
65             for key in self._keys:
66                 yield self[key]
67
68
69     collections.OrderedDict = _OrderedDict
70
71
72 class ConfigError (Exception):
73     """Errors with config file usage
74     """
75     pass
76
77
78 def read_config(path=None, encoding=None):
79     "Read config from json file"
80     if not encoding:
81         encoding = _ENCODING
82     if path:
83         try:
84             with open(path, 'rb') as f:
85                 config_bytes = f.read()
86         except IOError as e:
87             raise ConfigError('Could not read config from {}'.format(path))
88     else:
89         nmbhome = os.getenv('NMBGIT', os.path.expanduser('~/.nmbug'))
90         branch = 'config'
91         filename = 'notmuch-report.json'
92
93         # read only the first line from the pipe
94         sha1_bytes = subprocess.Popen(
95             ['git', '--git-dir', nmbhome, 'show-ref', '-s', '--heads', branch],
96             stdout=subprocess.PIPE).stdout.readline()
97         sha1 = sha1_bytes.decode(encoding).rstrip()
98         if not sha1:
99             raise ConfigError(
100                 ("No local branch '{branch}' in {nmbgit}.  "
101                  'Checkout a local {branch} branch or explicitly set --config.'
102                 ).format(branch=branch, nmbgit=nmbhome))
103
104         p = subprocess.Popen(
105             ['git', '--git-dir', nmbhome, 'cat-file', 'blob',
106              '{}:{}'.format(sha1, filename)],
107             stdout=subprocess.PIPE)
108         config_bytes, err = p.communicate()
109         status = p.wait()
110         if status != 0:
111             raise ConfigError(
112                 ("Missing {filename} in branch '{branch}' of {nmbgit}.  "
113                  'Add the file or explicitly set --config.'
114                 ).format(filename=filename, branch=branch, nmbgit=nmbhome))
115
116     config_json = config_bytes.decode(encoding)
117     try:
118         return json.loads(config_json)
119     except ValueError as e:
120         if not path:
121             path = "{} in branch '{}' of {}".format(
122                 filename, branch, nmbhome)
123         raise ConfigError(
124             'Could not parse JSON from the config file {}:\n{}'.format(
125                 path, e))
126
127
128 class Thread (list):
129     def __init__(self):
130         self.running_data = {}
131
132
133 class Page (object):
134     def __init__(self, header=None, footer=None):
135         self.header = header
136         self.footer = footer
137
138     def write(self, database, views, stream=None):
139         if not stream:
140             try:  # Python 3
141                 byte_stream = sys.stdout.buffer
142             except AttributeError:  # Python 2
143                 byte_stream = sys.stdout
144             stream = codecs.getwriter(encoding=_ENCODING)(stream=byte_stream)
145         self._write_header(views=views, stream=stream)
146         for view in views:
147             self._write_view(database=database, view=view, stream=stream)
148         self._write_footer(views=views, stream=stream)
149
150     def _write_header(self, views, stream):
151         if self.header:
152             stream.write(self.header)
153
154     def _write_footer(self, views, stream):
155         if self.footer:
156             stream.write(self.footer)
157
158     def _write_view(self, database, view, stream):
159         # sort order, default to oldest-first
160         sort_key = view.get('sort', 'oldest-first')
161         # dynamically accept all values in Query.SORT
162         sort_attribute = sort_key.upper().replace('-', '_')
163         try:
164             sort = getattr(notmuch.Query.SORT, sort_attribute)
165         except AttributeError:
166             raise ConfigError('Invalid sort setting for {}: {!r}'.format(
167                 view['title'], sort_key))
168         if 'query-string' not in view:
169             query = view['query']
170             view['query-string'] = ' and '.join(
171                 '( {} )'.format(q) for q in query)
172         q = notmuch.Query(database, view['query-string'])
173         q.set_sort(sort)
174         threads = self._get_threads(messages=q.search_messages())
175         self._write_view_header(view=view, stream=stream)
176         self._write_threads(threads=threads, stream=stream)
177
178     def _get_threads(self, messages):
179         threads = collections.OrderedDict()
180         for message in messages:
181             thread_id = message.get_thread_id()
182             if thread_id in threads:
183                 thread = threads[thread_id]
184             else:
185                 thread = Thread()
186                 threads[thread_id] = thread
187             thread.running_data, display_data = self._message_display_data(
188                 running_data=thread.running_data, message=message)
189             thread.append(display_data)
190         return list(threads.values())
191
192     def _write_view_header(self, view, stream):
193         pass
194
195     def _write_threads(self, threads, stream):
196         for thread in threads:
197             for message_display_data in thread:
198                 stream.write(
199                     ('{date:10.10s} {from:20.20s} {subject:40.40s}\n'
200                      '{message-id-term:>72}\n'
201                      ).format(**message_display_data))
202             if thread != threads[-1]:
203                 stream.write('\n')
204
205     def _message_display_data(self, running_data, message):
206         headers = ('thread-id', 'message-id', 'date', 'from', 'subject')
207         data = {}
208         for header in headers:
209             if header == 'thread-id':
210                 value = message.get_thread_id()
211             elif header == 'message-id':
212                 value = message.get_message_id()
213                 data['message-id-term'] = 'id:"{0}"'.format(value)
214             elif header == 'date':
215                 value = str(datetime.datetime.utcfromtimestamp(
216                     message.get_date()).date())
217             else:
218                 value = message.get_header(header)
219             if header == 'from':
220                 (value, addr) = email.utils.parseaddr(value)
221                 if not value:
222                     value = addr.split('@')[0]
223             data[header] = value
224         next_running_data = data.copy()
225         for header, value in data.items():
226             if header in ['message-id', 'subject']:
227                 continue
228             if value == running_data.get(header, None):
229                 data[header] = ''
230         return (next_running_data, data)
231
232
233 class HtmlPage (Page):
234     _slug_regexp = re.compile('\W+')
235
236     def __init__(self, message_url_template, **kwargs):
237         self.message_url_template = message_url_template
238         super(HtmlPage, self).__init__(**kwargs)
239
240     def _write_header(self, views, stream):
241         super(HtmlPage, self)._write_header(views=views, stream=stream)
242         stream.write('<ul>\n')
243         for view in views:
244             if 'id' not in view:
245                 view['id'] = self._slug(view['title'])
246             stream.write(
247                 '<li><a href="#{id}">{title}</a></li>\n'.format(**view))
248         stream.write('</ul>\n')
249
250     def _write_view_header(self, view, stream):
251         stream.write('<h3 id="{id}">{title}</h3>\n'.format(**view))
252         stream.write('<p>\n')
253         if 'comment' in view:
254             stream.write(view['comment'])
255             stream.write('\n')
256         for line in [
257                 'The view is generated from the following query:',
258                 '</p>',
259                 '<p>',
260                 '  <code>',
261                 view['query-string'],
262                 '  </code>',
263                 '</p>',
264                 ]:
265             stream.write(line)
266             stream.write('\n')
267
268     def _write_threads(self, threads, stream):
269         if not threads:
270             return
271         stream.write('<table>\n')
272         for thread in threads:
273             stream.write('  <tbody>\n')
274             for message_display_data in thread:
275                 stream.write((
276                     '    <tr class="message-first">\n'
277                     '      <td>{date}</td>\n'
278                     '      <td><code>{message-id-term}</code></td>\n'
279                     '    </tr>\n'
280                     '    <tr class="message-last">\n'
281                     '      <td>{from}</td>\n'
282                     '      <td>{subject}</td>\n'
283                     '    </tr>\n'
284                     ).format(**message_display_data))
285             stream.write('  </tbody>\n')
286             if thread != threads[-1]:
287                 stream.write(
288                     '  <tbody><tr><td colspan="2"><br /></td></tr></tbody>\n')
289         stream.write('</table>\n')
290
291     def _message_display_data(self, *args, **kwargs):
292         running_data, display_data = super(
293             HtmlPage, self)._message_display_data(
294                 *args, **kwargs)
295         if 'subject' in display_data and 'message-id' in display_data:
296             d = {
297                 'message-id': quote(display_data['message-id']),
298                 'subject': xml.sax.saxutils.escape(display_data['subject']),
299                 }
300             d['url'] = self.message_url_template.format(**d)
301             display_data['subject'] = (
302                 '<a href="{url}">{subject}</a>'
303                 ).format(**d)
304         for key in ['message-id', 'from']:
305             if key in display_data:
306                 display_data[key] = xml.sax.saxutils.escape(display_data[key])
307         return (running_data, display_data)
308
309     def _slug(self, string):
310         return self._slug_regexp.sub('-', string)
311
312 parser = argparse.ArgumentParser(description=__doc__)
313 parser.add_argument(
314     '--text', action='store_true', help='output plain text format')
315 parser.add_argument(
316     '--config', metavar='PATH',
317     help='load config from given file.  '
318         'The format is described in notmuch-report.json(5).')
319 parser.add_argument(
320     '--list-views', action='store_true', help='list views')
321 parser.add_argument(
322     '--get-query', metavar='VIEW', help='get query for view')
323
324
325 args = parser.parse_args()
326
327 try:
328     config = read_config(path=args.config)
329 except ConfigError as e:
330     print(e, file=sys.stderr)
331     sys.exit(1)
332
333 header_template = config['meta'].get('header', '''<!DOCTYPE html>
334 <html lang="en">
335 <head>
336   <meta http-equiv="Content-Type" content="text/html; charset={encoding}" />
337   <title>{title}</title>
338   <style media="screen" type="text/css">
339     h1 {{
340       font-size: 1.5em;
341     }}
342     h2 {{
343       font-size: 1.17em;
344     }}
345     h3 {{
346       font-size: 100%;
347     }}
348     table {{
349       border-spacing: 0;
350     }}
351     tr.message-first td {{
352       padding-top: {inter_message_padding};
353     }}
354     tr.message-last td {{
355       padding-bottom: {inter_message_padding};
356     }}
357     td {{
358       padding-left: {border_radius};
359       padding-right: {border_radius};
360     }}
361     tr:first-child td:first-child {{
362       border-top-left-radius: {border_radius};
363     }}
364     tr:first-child td:last-child {{
365       border-top-right-radius: {border_radius};
366     }}
367     tr:last-child td:first-child {{
368       border-bottom-left-radius: {border_radius};
369     }}
370     tr:last-child td:last-child {{
371       border-bottom-right-radius: {border_radius};
372     }}
373     tbody:nth-child(4n+1) tr td {{
374       background-color: #ffd96e;
375     }}
376     tbody:nth-child(4n+3) tr td {{
377       background-color: #bce;
378     }}
379     hr {{
380       border: 0;
381       height: 1px;
382       color: #ccc;
383       background-color: #ccc;
384     }}
385   </style>
386 </head>
387 <body>
388 <h1>{title}</h1>
389 <p>
390 {blurb}
391 </p>
392 <h2>Views</h2>
393 ''')
394
395 footer_template = config['meta'].get('footer', '''
396 <hr>
397 <p>Generated: {datetime}</p>
398 </body>
399 </html>
400 ''')
401
402 now = datetime.datetime.utcnow()
403 context = {
404     'date': now,
405     'datetime': now.strftime('%Y-%m-%d %H:%M:%SZ'),
406     'title': config['meta']['title'],
407     'blurb': config['meta']['blurb'],
408     'encoding': _ENCODING,
409     'inter_message_padding': '0.25em',
410     'border_radius': '0.5em',
411     }
412
413 _PAGES['text'] = Page()
414 _PAGES['html'] = HtmlPage(
415     header=header_template.format(**context),
416     footer=footer_template.format(**context),
417     message_url_template=config['meta'].get(
418         'message-url', 'http://mid.gmane.org/{message-id}'),
419     )
420
421 if args.list_views:
422     for view in config['views']:
423         print(view['title'])
424     sys.exit(0)
425 elif args.get_query != None:
426     for view in config['views']:
427         if args.get_query == view['title']:
428             print(' and '.join('( {} )'.format(q) for q in view['query']))
429     sys.exit(0)
430 else:
431     # only import notmuch if needed
432     import notmuch
433
434 if args.text:
435     page = _PAGES['text']
436 else:
437     page = _PAGES['html']
438
439 db = notmuch.Database(mode=notmuch.Database.MODE.READ_ONLY)
440 page.write(database=db, views=config['views'])